论坛 › Python › python BeautifulSoup获取 网页链接的文字内容

小乔 发表于 2018-8-12 08:03:18

python BeautifulSoup获取 网页链接的文字内容

#!/opt/yrd_soft/bin/python　　

　　
import re
　　
import urllib2
　　
import requests
　　
import lxml
　　
from bs4 import BeautifulSoup
　　

　　
url = 'http://www.baidu.com'
　　

　　
#page=urllib2.urlopen(url)
　　
page=requests.get(url).text
　　
pagesoup=BeautifulSoup(page,'lxml')
　　
for linkin pagesoup.find_all(name='a',attrs={"href":re.compile(r'^http:')}):
　　
    print link.get_text()

查看完整版本: python BeautifulSoup获取 网页链接的文字内容