【Scrapy框架】配置安装

dickrong

制作 Scrapy 爬虫 一共需要4步：

• 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
  
• 明确目标 （编写items.py）：明确你想要抓取的目标
  
• 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
  
• 存储内容 （pipelines.py）：设计管道存储爬取内容
  

Scrapy的安装介绍
　　Scrapy框架官方网址：http://doc.scrapy.org/en/latest
　　Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
Windows 安装方式

• Python 2 / 3
  
• 升级pip版本：pip install --upgrade pip
  
• 通过pip 安装 Scrapy 框架pip install Scrapy
  

Ubuntu 需要9.10或以上版本安装方式

• Python 2 / 3
  
• 安装非Python的依赖 sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  
• 通过pip 安装 Scrapy 框架 sudo pip install scrapy
  

　　安装后，只要在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功

　　具体Scrapy安装流程参考：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 里面有各个平台的安装方法