Python3抓取糗百、不得姐

hao1nan

　　点击关注异步图书，置顶公众号
　　每天与你分享 IT好书 技术干货 职场知识

重要提示1:本文所列程序均基于Python3.6,低于Python3.6的Python版本可能无法运行.　　重要提示2:因所抓取的网站可能随时更改展示内容,因此程序也需及时跟进.
　　重要提示3:本程序仅供学习,不能拿去做坏事.

起步
　　1.安装Python 3.6;
　　2.安装以下库:

主要思路
　　整个程序,按照下面的步骤:
　　1.获取要爬取页面的URL地址(可以是分页地址,可以在程序里面模拟分页);
　　2.通过requests(一个封装了urllib3的网络库,简化了很多网络请求的东西)下载上面URL地址的内容到内存(以前的方式是保存临时文件);
　　3.用BeautifulSoup(一个解析HTML的库)来读取第二步中保存在内存中的内容,并解析出我们要的主要内容部分;
　　4.保存到数据库或展示(特别说明:本示例程序不包含数据库部分),程序最终会输出多条json数据(已经包含了来源网站(自己定义的),创建时间等)
　　上述部分体现在代码中,就是如下:
　　首先在Main.py中,定义:

　　用来格式化不得姐获取到的数据,下面还要定义一个Qsyk来处理来自糗事百科的数据:

　　代码中还有一个Kanqu.com的抓取处理,这里就不罗列了,这几个唯一的区别就是:调用common.formatContent时,传递的第二个参数不一样,第二个参数为要抓取的内容(HTML)的class.
　　CommonGrab中依赖了UserUtils.py中的代码.
　　下面是CommonGrab的定义,在CommonGrab中主要做了两件事:

• 　　抓取网页内容,保存到内存;
  
• 　　解析HTML内容(使用BeautifulSoup)
  
• 　　将数据新增到数据库中.(不新增数据库到数据库中.)
  

　　代码如下:

　　之后就是把上述的几部分组合起来.
运行
　　运行部分的代码如下,主要就是调用了上述几部分的代码:

源码下载
　　CSDN:
　　https://download.csdn.net/download/dcxy0/9835268
　　Coding.net:
　　https://coding.net/u/pruidong/p/Python3GetQsbkBdj/git
　　文件:
　　main.py: 运行
　　UserUtils.py:工具
　　本文来源于异步社区，作者：dcxy，作品《Python3抓取糗百、不得姐》，未经授权，禁止转载。

　　推荐阅读
　　2018年5月新书书单（文末福利）
　　2018年4月新书书单
　　异步图书最全Python书单
　　一份程序员必备的算法书单
　　第一本Python神经网络编程图书

　　长按二维码，可以关注我们哟
　　每天与你分享IT好文。
　　在“异步图书”后台回复“关注”，即可免费获得2000门在线视频课程；推荐朋友关注根据提示获取赠书链接，免费得异步e读版图书一本。赶紧来参加哦！
　　点击阅读原文，查看更多
　　阅读原文