设为首页 收藏本站
查看: 1423|回复: 0

win7(x64)安装scrapy框架

[复制链接]

尚未签到

发表于 2015-5-15 08:37:43 | 显示全部楼层 |阅读模式
  Scrapy(官网http://scrapy.org/)是Python开发网络爬虫,一个极好的开源工具。本次安装Scrapy确实不易啊。居然花了2天多时间,需要的支持包比较多,这些支持包相互之间的依赖关系。

环境:
  Win7专业版(X64) 注:本人从事.net平台开发,机器上有安装Vs2010。
  Python 2.7.5

安装:


  • install python
    http://www.python.org/downloads/windows/
  • add enviroment
    add C:\Python27 and C:\Python27\scripts in your PATH.
    http://www.nextofwindows.com/how-to-addedit-environment-variables-in-windows-7/
  • install OpenSSL
    http://slproweb.com/products/Win32OpenSSL.html download Visual C++ 2008 Redistributables and Win64 OpenSSL v1.0.1f
    add C:\OpenSSL-Win64\bin in your PATH
  • install easy_install
    https://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe#md5=57e1e64f6b7c7f1d2eddfc9746bbaf20
    注意:win7 64位必须使用ez_setup.py进行安装。方法是下载ez_setup.py后,在cmd下执行 python ez_setup.py,即可自动安装setuptools。目前没有直接的exe安装版本。
  • install pywin32
    https://pypi.python.org/pypi/setuptools#files 选择最新的下载
  • install twisted
    https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi#md5=c2d453a344f56cf6f77204c5769288c0
  • install zope interface
    https://pypi.python.org/pypi/zope.interface/4.1.0 选择倒数第二个 zope.interface-4.1.0.win32-py2.7.exe
  • install lxml
    lxml-3.3.2.win32-py2.7.exe
  • install pyopenssl
    http://www.egenix.com/cryptodownload/?file=egenix-pyopenssl-0.13.0_1.0.0g_1.win-amd64-py2.7.msi(重点)
    安装完成后,在python中输入import OpenSSL 无错则安装成功



    • Install pip from https://pip.pypa.io/en/latest/installing.html
        Now open a Command prompt to check pip is installed correctly:





      pip --version


    • At this point Python 2.7 and pip package manager must be working, let’s install Scrapy:





      pip install Scrapy



问题:


  • unable to find vcvarsall.bat
      打开“\Lib\distutils\msvc9compiler.py”
      找到 toolskey = “VS%0.f0COMNTOOLS” % version,直接修改为 toolskey = ”VS100COMNTOOLS”


参考:


    • http://steamforge.net/wiki/index.php/How_to_Install_Scrapy_in_64-bit_Windows_7
    • http://doc.scrapy.org/en/latest/intro/install.html


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-67066-1-1.html 上篇帖子: 在win7下安装SQL sever2005(完整版) 下篇帖子: OpenCV for Android开发环境Win7平台搭建(转)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表