apache 禁止爬虫
Apache①、通过修改 .htaccess文件
修改网站目录下的.htaccess，添加如下代码即可
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy )
RewriteRule ^(.*)$ -
②、通过修改httpd.conf配置文件
找到如下类似位置，根据以下代码 新增 / 修改，然后重启Apache即可：
DocumentRoot /home/wwwroot/xxx
<Directory "/home/wwwroot/xxx">
SetEnvIfNoCase User-Agent ".*(FeedDemon|JikeSpider|Indy )" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
</Directory>
页:
[1]