使用Python爬取mobi格式电纸书
最近做了个微信推送kindle电子书的公众号：kindle免费书库不过目前电子书不算非常多，所以需要使用爬虫来获取足够书籍。
于是，写了以下这个爬虫，来爬取kindle114的电子书。
值得注意的地方：
当爬取数过大时，由于对方有开启放抓取，会返回一个javascript而非原始的html，所以我使用
的PyV8来执行这段js从而拿到真正的地址。
目前存在的问题：
正则式写得还不够好，毕竟是第一次正式写爬虫：）
无法下载需要购买的附件
爬虫为单线程，爬完整个网站速度慢。我有试过转成多进程，但是貌似由于不能同时登陆，大多数
爬虫进程都无法正常爬取@@
# -*- coding: utf-8 -*-
import urllib2
import re
import requests
import os
import hashlib
def fuckJS(js):
import PyV8
import re
#去掉标签
js=js
for st in ['window','location',"'assign'","'href'","'replace'"]:
equal=re.findall('+%s;'%st,js)#找到变量赋值等式
if equal==[]:#有可能没有
continue
else:
equal=equal
var=equal.split('=').strip()#找出变量名
#把等式干掉
js=js.replace(equal,'')
#把变量替换成它真正的意思
js=js.replace(var,st)
#把['xx'] 替换成 .xx
js=js.replace("['%s']"%st.strip("'"),'.%s'%st.strip("'"))
#将 window.href= 后的内容踢掉，因为当PyV8只输出最后一个等式的值
if re.findall('window\.href=.+',js)!=[]:
js=js.replace(re.findall('window\.href=.+',js),'')
#删掉location.xxx=
js=js.replace('location.href=','').replace('location.replace','').replace('location.assign','')
#交给你了-v-
ctxt2 = PyV8.JSContext()
ctxt2.enter()
#print ctxt2.eval(js)
trueAddr = ctxt2.eval(js)
print trueAddr
return trueAddr
def downloadMobi(name, url):
#去掉windows下不合法的文件名
unlawName = '/\\|:""*?'
for i in unlawName:
name = name.replace(i, '')
#正则表达式写的不够好导致的问题@@
if name.count(' img src=templateyeei_dream1cssyeeidigest_1.gif class=vm alt= title= ') > 0:
name = name.split('  ')+'.mobi'
#避免重复下载
if os.path.exists('D:\Kindle114SpiderDownload\\' + name):
print 'already have', name
return
url = url.split(' ')
s = requests.session()
username = '你的用户名'
password = '你的密码'
passwordMd5 = hashlib.md5(password).hexdigest()
data = {'formhash': '23cd6c29', 'referer': '','username': username, 'password': passwordMd5, 'questionid':'0', 'answer':''}
res=s.post('http://www.kindle114.com/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LYn7n&inajax=1',data)
#res = s.get('http://www.kindle114.com/forum.php?mod=attachment&aid=MTQ2NTB8ZjhkNjY3NmF8MTQxNjg5OTYxOXw0NDIxfDczNjI%3D')
try:
res = s.get(url, timeout = 200)
except:
print 'time out for ', name
#print 'content[:50]'
#print res.content[:50]
if res.content.count('
页:
[1]