利用apache(nginx) 来防止不遵守robots.txt的spider
2008-03-23
作者:amao 同分类文章
description:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(MSIE|Mozilla|Firefox|Opera|Safari)
RewriteRule (.*)$ /forbidden/$1 [F]
#for nginx
# location /antiSpider/{
# if($http_user_agent !~ "(MSIE|Mozilla|Firefox|Opera|Safari)" ){
# return 403;
# }
# }
相关
记录我所知道的虚拟主机管理软件(免费的和不免费的)
nginx 0.5.35 升级到nginx 0.6.29
linux设置时间,设置时区
加速php 的eAccelerator的web管理界面
nginx 应用例子
通过外部shell程序重写泛解析域名
利用 nginx 的第三方模块 ngx_http_accesskey_module 来实现下载文件的防盗链。
cgiproxy又开始更新了。
找出暴力破解centos密码的坏蛋ip。
升级到APC-3.0.17.tgz 把我的服务器环境搞坏了。