python 抓取动态网页

甩祸

一些爬虫新手在练习时会碰到动态网页，会发现获取它的html很困难。接下来介绍一款python自动化测试工具selenium,这款工具有很多个语言版本。我们以拉勾网的动态网页为例进行爬取。

实验地址：http://www.lagou.com/zhaopin/Python/?labelWords=label
（1）所谓知己知彼，我们先来分析一下拉钩网这个页面。当我们按下下一页的时候
　　　　　　

　　我们会坑爹的发现  url并没有改变，这不是坑人嘛！！！
　　（2）但不用担心，selenium这时候闪亮登场。专为小白设计，“爬虫屠龙刀”。安装啥的很简单，pip install selenium就行了。selenium可以模拟浏览器的运行，是一款自动化测试工具。
　　　　接下来是快速入门时间。

　　　　a.确保你的电脑装有firefox或ie或opera或chrome

　　　　　　第一步：



#coding:utf-8
from  selenium import  webdriver
browser=webdriver.Firefox()
　　运行脚本后浏览器就自动打开啦！注（如果firefox遇到cookie导入界面的修改C:\Users\JBJs\AppData\Roaming\Mozilla\Firefox\profiles.ini的IsRelative的值。
　　　　　
　　　　　现在browser就可以当做一个浏览器来操作了。你可以这样
　　　　　　



browser.get('http://www.lagou.com/zhaopin/Python/?labelWords=label')#跳转到lagou网页面
　　
　　　　而后这样




browser.find_element_by_class_name('pager_next')#根据class属性找到下一页的按钮，也可以根据css,path,id找
　　
　　还可以这样



browser.find_element_by_class_name('pager_next').click()#像鼠标一样点击它
　　如果要获取html代码



html=（browser.page_source）.encode('utf-8‘）
　　
　　好了，到此为止吧。其实还有好多好玩的等着你们去发掘！