i9v40904sj 发表于 2016-5-16 01:05:11

Mac OS安装开源爬虫框架pyspider

  一、pyspider介绍
  pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现,主要的功能需求是:


[*]抓取、更新调度多站点的特定的页面
[*]需要对页面进行结构化信息提取
[*]灵活可扩展,稳定可监控
  二、pyspider安装
1、安装pip(如果未安装)
  

sudo easy_install pip
  2、安装pyspider
  
  

pip install pyspider
  注意:安装的过程中可能会抛错:pyspider fatal error: 'libxml/xmlversion.h' file not found
  
  这个只要先安装Command Line Tools 就行了
  三、运行
  

pyspider
  完成之后访问http://localhost:5000


  
页: [1]
查看完整版本: Mac OS安装开源爬虫框架pyspider