论坛 › Python › python爬虫抓取电影天堂最新电影

cy_88 发表于 2018-8-11 12:05:59

python爬虫抓取电影天堂最新电影

from bs4 import BeautifulSoup　　
importurllib
　　
importre
　　
url= 'http://www.ygdy8.net/html/gndy/dyzz/index.html'
　　
moive_url_list = []
　　
moive_name_list = []
　　
request = urllib.urlopen(url)
　　
response = request.read()
　　
response = unicode(response,'GBK').encode('utf-8')
　　
soup = BeautifulSoup(response,'html.parser')
　　
a = soup.find_all('a',class_="ulink")
　　
foriina:
　　
moive_open_url = 'http://www.ygdy8.net' + i['href']
　　
req =urllib.urlopen(moive_open_url)
　　
res = req.read()
　　
try:
　　
res = unicode(res,'GBK').encode('utf-8')
　　
except UnicodeDecodeError:
　　
continue
　　
so = BeautifulSoup(res,'html.parser')
　　
a_tag = so.find_all('a')
　　
for j in a_tag:
　　
pattern = re.compile("^ftp://ygdy\d{1}:ygdy\d{1}@y\d{3}.dydytt.net")
　　
string= j['href']
　　
match = pattern.match(string)
　　
if match:
　　
moive_url_list.append(string)
　　
for m in moive_url_list:
　　
print m

查看完整版本: python爬虫抓取电影天堂最新电影