windows 7下搭建Scrapy开发环境

徐冬丽

　　前段时间用过php写过爬虫，也抓取过很多的文章。可是每每查询资料的时候，都说python最适合开发爬虫应用，原因是python集成的爬虫框架很强大。于是乎百度了一下，发现Scrapy非常的著名，于是决定在本地搭建一个Scrapy开发环境。早就听说了python环境部署困难，于是我也给自己一个思想准备。于是百度教程，开始吧。
　　网上的教程虽多，但是发现我进行安装的时候，总是出现这样或者那样的错误。一错就是一大堆，实在是无语。再加上我还不懂这些插件具体的作用，更是无从下手去排查这些错误出现的具体原因。折腾了一上午，最终下载Scrapy，输入命令，提示Scrapy不是内部命令。崩溃啊。。。。没办法，重新来吧。因为我的系统是64位的，我就安装了64位的python应用，后来发现很多人建议使用32位的，说有些插件不支持64位，于是果断卸载64位的，安装32位的。好，现在从安装python开始讲起吧。
　　本人安装的步骤，主要参考的文章是：http://www.cnblogs.com/pang1567/p/4168768.html，但我与他用的命令不同。
　　1、安装python 2.7.12 win32 位
　　去python官网找到对应的版本，下载即可。安装没什么好说的，一路下一步，记住自己安装的路径，接下来需要配置path时用到。我安装在F盘，路径是:F:\Python27
　　以我的电脑为例 F:\Python27;F:\Python27\Scripts; 我将以上的两个路径加入 电脑的环境变量，这样打开cmd，输入命令 python，如下图显示即为安装成功：

　　2、安装 lxml
　　教程的第二步是安装 setuptools，然而这工具在安装python的时候，你只要勾选就会被安装上，此处不需要再次的安装。我们直接跳过安装 lxml。安装这个组件，你可以通过 命令：



pip install lxml
　　我本地通过这个命令，下载的非常的慢，而且又一次下载完成了，又报出这样那样的错，真是崩溃，于是我找到了另外的替换办法。先去下载
　　lxml-2.3-py2.7-win32.egg
　　在这个地址 ：http://pypi.python.org/pypi/lxml/2.3/  记住你自己的版本，我选择是 32位的，将其放到 python安装的根目录，打开cmd，进入安装目录，执行命令



easy_install ./lxml-2.3-py2.7-win32.egg
　　安装完毕之后，在python命令下，执行



from lxml import etree
　　正确导入，即表示安装成功！
　　3、安装 zope.interface
　　我是通过命令：



pip install zope.interface
　　安装成功的，当然了，你也可以去查询有没有集成的exe安装包，这样安装更方便。
　　4、安装 Twisted
　　直接去百度这个插件在windows下的.exe的安装包，下载合适的版本，下载即可。我下载的是 Twisted-13.0.0.win32-py2.7.msi，你可以直接百度这个名字，下载即可。
　　用过如下命令验证安装的正确性：



from twisted.internet import reactor
　　5、安装pyOpenSSL
　　你可以通过命令 ： pip install pyOpenSSL 我的依旧是老问题，下载太慢报错。于是我查到了win下面对应的安装包：pyOpenSSL-0.13.winxp32-py2.7.exe ，这个具体的对应的版本我还不是很清楚哪个好，貌似最新的都到16.x了，很多攻略上都说
　　这个0.13版本，我也用这个吧。验证的命令：



import OpenSSL
　　6、安装 pywin32
　　很多的攻略教你安装这个，有的很烦。而且很杂乱。你直接百度  pywin32-218.win32-py2.7.exe，下载下来，一直下一步，就行了。验证命令：



import win32com
　　到目前为止，Scrapy所需要的组件基本上安装完毕了。这个时候，你可以安装 Scrapy了。命令：



pip install Scrapy
　　如果你遇到了如下的错误：



error: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from
http://aka.ms/vcpython27
　　因为你本地没有安装 VS2008，高的版本不行，比如你安装了 VS2012。但是VS2008真的很大，要3.xG这么大，网路不够快的话，下的累死你。幸好，微软为python单独弄了一个VCForPython27.msi，安装这个就行了，只有83M的大小。
　　安装Scrapy完成之后,执行命令：



scrapy
　　看到如下页面，那么恭喜你，成功了！

　　为了方便大家的安装，我将我用的文件全部分享到了云盘 ： http://pan.baidu.com/s/1c9ULXG