利用apache(nginx) 来防止不遵守robots.txt的spider
2008-03-23  作者:amao  同分类文章
description:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT}  !(MSIE|Mozilla|Firefox|Opera|Safari)
RewriteRule (.*)$ /forbidden/$1 [F]

#for nginx
# location /antiSpider/{ 
#  if($http_user_agent  !~ "(MSIE|Mozilla|Firefox|Opera|Safari)" ){
#   return   403;
#  }
# }



相关
记录我所知道的虚拟主机管理软件(免费的和不免费的)
nginx 0.5.35 升级到nginx 0.6.29
linux设置时间,设置时区
加速php 的eAccelerator的web管理界面
nginx 应用例子
通过外部shell程序重写泛解析域名
利用 nginx 的第三方模块 ngx_http_accesskey_module 来实现下载文件的防盗链。
cgiproxy又开始更新了。
找出暴力破解centos密码的坏蛋ip。
升级到APC-3.0.17.tgz 把我的服务器环境搞坏了。