apache服务器查看网络爬虫记录的方法说明

hongmeigui22027

　　问：使用Apache服务器，如何查看哪些网站的蜘蛛来爬过自己的网站或者哪些IP访问过我们的网站呢？
　　

　　答：通过Apache服务器的访问日志记录！
　　     
　　      Apache服务器的访问日志名称在linux下默认叫做access_log，在windows下是access.log文件
　　

　　如何配置：在httpd.conf文件中配置这么两句话：
　　              
　　LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common
　　

　　第一句话的意思是定义日志的格式；第二句话是定义日志的存放地点
　　

　　旧版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog
　　

　　LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""
TransferLog logs/access_log
　　

　　如何查看访问日志：
　　

　　

 
　　在IP地址查询中输入前面的IP ，查询器就可以帮你查到它的HOSTNAME了，比如百度蜘蛛，或者浙江省电信等