Thứ Sáu, 26 tháng 4, 2013

Prevent bots to make your network faster


Edit Robot.txt


User-agent: *
Disallow: /
Disallow: /include/
Disallow: /theme/


Edit .htaccess.

#cache bad bot
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider|msn) [NC]
RewriteRule .* - [R=403,L]
#RewriteRule .* bot.html

Không có nhận xét nào:

Đăng nhận xét