利用apache(nginx) 来防止不遵守robots.txt的spider

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT}  !(MSIE|Mozilla|Firefox|Opera|Safari)
RewriteRule (.*)$ /forbidden/$1 [F]

#for nginx
# location /antiSpider/{ 
#  if($http_user_agent  !~ "(MSIE|Mozilla|Firefox|Opera|Safari)" ){
#   return   403;
#  }
# }