Centos上使用python爬虫pyspider

xsworthgwc

 

Centos6.7升级python2.6到python2.7 

python --version
 

wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
tar -zxvf Python-2.7.10.tgz
cd Python-2.7.10
./configure --enable-loadable-sqlite-extensions && make && make install
yum list sqlite-devel
 

mv /usr/bin/python /usr/bin/python2.6.6_bak
ln -s /usr/local/bin/python2.7 /usr/bin/python
 
 

• 再次检查版本
  

[iyunv@cobub04 ~]# python --version
Python 2.7.10

 

安装pip

下载地址:https://pypi.python.org/pypi/pip
 解压,安装

python setup.py install
pip install pyspider
也可以下载pyspder源码后再安装：
python  setup.py  install
 
 这一步需要耐心等待。
注：如果使用pip的时候，报如下错误：

ImportError: cannot import name HTTPSHandler

可能是openssl,openssl-devel没有安装成功，解决参见链接：
　　http://jingyan.baidu.com/article/e52e3615aba39640c60c51c3.html；
　　安装过程中可能会缺少一些包，最好一次都安装上：

yum install libcurl-devel  libffi-devel  libxml2-devel  libxslt-devel  
 

pyspider
 通过浏览器查看：http://localhost:5000/
 
 
参考：
　　http://docs.pyspider.org/en/latest/;
　　https://github.com/binux/pyspider;
http://scrapy.org/;