Python爬虫 数据采集课程【完整资料】

inushome

├── 01_爬虫基础/
│   ├── 01_爬虫基础/
│   │   ├── 01 .爬虫特点介绍 .flv
│   │   ├── 02 .课程结构 .flv
│   │   ├── 03 .爬虫的概念 .flv
│   │   ├── 04 .爬虫的作用 .flv
│   │   ├── 05 .爬虫的分类 .flv
│   │   ├── 06 .爬虫的流程 .flv
│   │   ├── 07 .http与https的区别 .flv
│   │   ├── 08 .常见的请求头与响应头 .flv
│   │   ├── 09 .创建的响应状态码 .flv
│   │   └── 10 .浏览器运行过程 .flv
├── 02_requests模块/
│   ├── 02_requests模块/
│   │   ├── 10 .requests模块-代理proxies使用 .flv
│   │   ├── 11 .requests模块-verify参数与ca证书 .flv
│   │   ├── 12 .requests模块-post请求_金山翻译案例 .flv
│   │   ├── 13 .requests-post数据来源 .flv
│   │   ├── 14 .requests模块-session .flv
│   │   ├── 15 .案例-github模拟登陆 .flv
│   │   ├── 1 .requests模块-简介-安装-使用 .flv
│   │   ├── 2 .requests模块-响应对象的text与content之间的区别 .flv
│   │   ├── 3 .requests模块-响应对象常用的参数和方法 .flv
│   │   ├── 4 .requests模块-发送带请求头的请求 .flv
│   │   ├── 5 .requests模块-发送带参数的请求 .flv
│   │   ├── 6 .requests模块-在headers中设置cookies参数 .flv
│   │   ├── 7 .requests模块-cookies参数的使用 .flv
│   │   ├── 8 .requests模块-cookiejar对象的处理 .flv
│   │   └── 9 .requests模块-timeout参数 .flv
├── 03_数据提取/
│   ├── 03_数据提取/
│   │   ├── 01 .数据提取-响应内容的分类 .flv
│   │   ├── 02 .xml与html .flv
│   │   ├── 03 .常用数据解析方法 .flv
│   │   ├── 04 .jsonpath-场景-安装-使用 .flv
│   │   ├── 05 .jsonpath-练习 .flv
│   │   ├── 06 .jsonpath-案例-拉钩 .flv
│   │   ├── 07 .lxml简介 .flv
│   │   ├── 08 .xpathhelper简介_安装 .flv
│   │   ├── 09 .xpath语法-基础节点选择 .flv
│   │   ├── 10 .xpath语法-节点修饰语法 .flv
│   │   ├── 11 .xpath语法-其他常用语法 .flv
│   │   ├── 12 .lxml使用 .flv
│   │   ├── 13 .百度贴吧 .flv
│   │   └── 14 .tostring .flv
├── 04_selenium/
│   ├── 04_selenium/
│   │   ├── 01 .selenium-介绍_效果展示 .flv
│   │   ├── 02 .selenium的工作原理 .flv
│   │   ├── 03 .selenium-模块与driver的安装 .flv
│   │   ├── 04 .selenium-简单使用 .flv
│   │   ├── 05 .selenium-driver属性和方法 .flv
│   │   ├── 06 .selenium-元素定位 .flv
│   │   ├── 07 .selenium-元素操作 .flv
│   │   ├── 08 .selenium-标签切换 .flv
│   │   ├── 09 .selenium-窗口切换 .flv
│   │   ├── 10 .selenium-cookies操作 .flv
│   │   ├── 11 .selenium-执行js .flv
│   │   ├── 12 .selenium-页面等待 .flv
│   │   ├── 13 .selenium-配置对象 .flv
│   │   └── 14 .selenium-案例-斗鱼直播 .flv
├── 05_反爬与反反爬/
│   ├── 05_反爬与反反爬/
│   │   ├── 01 .反爬与反反爬-反爬原因 .flv
│   │   ├── 02 .反爬与反反爬-什么样的爬虫会被反 .flv
│   │   ├── 03 .反爬与反反爬-常见概念与反爬方向 .flv
│   │   ├── 04 .反爬与反反爬-基于身份识别的反爬 .flv
│   │   ├── 05 .反爬与反反爬-及与爬虫行为的反爬 .flv
│   │   ├── 06 .反爬与反反爬-基于数据加密进行反爬 .flv
│   │   ├── 07 .验证码-验证码的知识 .flv
│   │   ├── 08 .验证码-图像识别引擎 .flv
│   │   ├── 09 .验证码-打码平台 .flv
│   │   ├── 10 .chrome浏览器的使用 .flv
│   │   ├── 11 .js解析-人人网登录分析 .flv
│   │   ├── 12 .js解析-定位js文件 .flv
│   │   ├── 13 .js解析-js代码分析 .flv
│   │   ├── 14 .js解析-js2py使用 .flv
│   │   ├── 15 .js解析-人人网登陆 .flv
│   │   ├── 16 .有道翻译分析 .flv
│   │   ├── 17 .hashlib使用 .flv
│   │   └── 18 .有道翻译实现 .flv
├── 06_MongoDB数据库/
│   ├── 06_MongoDB数据库/
│   │   ├── 01 .mongodb的介绍 .flv
│   │   ├── 02 .mongodb的安装 .flv
│   │   ├── 03 .mongodb简单使用-测试启动 .flv
│   │   ├── 04 .mongodb简单使用-生产启动 .flv
│   │   ├── 05 .mongodb简单使用-数据库操作 .flv
│   │   ├── 06 .mongdb简单使用-集合操作 .flv
│   │   ├── 07 .mongodb的数据类型 .flv
│   │   ├── 08 .mongdb插入数据 .flv
│   │   ├── 09 .mongodb查询数据 .flv
│   │   ├── 10 .mongodb查询结果操作 .flv
│   │   ├── 11 .mongodb-修改&删除 .flv
│   │   ├── 12 .聚合管道-分组管道 .flv
│   │   ├── 13 .聚合管道-其他管道 .flv
│   │   ├── 14 .mongodb-索引 .flv
│   │   ├── 15 .mongodb的权限管理-管理用户 .flv
│   │   ├── 16 .mongodb权限管理-普通用户 .flv
│   │   └── 17 .pymongo使用 .flv
├── 07_scrapy基础/
│   ├── 07_scrapy基础/
│   │   ├── 01 .scrapy-概念&作用 .flv
│   │   ├── 02 .scrapy-工作流程 .flv
│   │   ├── 03 .scrapy-各模块功能 .flv
│   │   ├── 04 .项目开发流程-1框架安装&流程简介 .flv
│   │   ├── 05 .项目开发流程-2创建项目 .flv
│   │   ├── 06 .项目开发流程-3创建爬虫 .flv
│   │   ├── 07 .项目开发流程-4完成爬虫 .flv
│   │   ├── 08 .项目开发流程-5保存数据 .flv
│   │   ├── 09 .项目开发流程-数据建模&流程完善 .flv
│   │   ├── 10 .请求对象-请求&网易招聘简介 .flv
│   │   ├── 11 .请求对象-案例-网易招聘 .flv
│   │   ├── 12 .请求对象-其他参数 .flv
│   │   ├── 13 .请求对象-meta传参 .flv
│   │   ├── 14 .scrapy模拟登陆-cookies参数使用 .flv
│   │   ├── 15 .scrapy模拟登陆-FormRequest发送post请求 .flv
│   │   ├── 16 .scrapy管道的使用 .flv
│   │   ├── 17 .crawlspider .flv
│   │   ├── 18 .tencent_crawl .flv
│   │   ├── 19 .中间件-分类与作用 .flv
│   │   ├── 20 .中间件-豆瓣爬虫 .flv
│   │   ├── 21 .中间件-随机请求头 .flv
│   │   ├── 22 .中间件-随机ip代理 .flv
│   │   └── 23 .中间件-selenium动态加载 .flv
├── 08_scrapy-redis/
│   ├── 08_scrapy-redis/
│   │   ├── 01 .scrapy-redis-分布式的概念_原理 .flv
│   │   ├── 02 .scrapy-redis-断点续爬 .flv
│   │   ├── 03 .scrapy-redis-源码分析 .flv
│   │   ├── 04 .scrapy-redis-分布式爬虫实现 .flv
│   │   ├── 05 .scrapy-redis-分布式爬虫编写流程 .flv
│   │   ├── 06 .scrapy-redis-京东爬虫-简介 .flv
│   │   ├── 07 .scrapy-redis-京东爬虫-图书分类页面 .flv
│   │   ├── 08 .scrapy-redis-京东爬虫-图书列表页面 .flv
│   │   ├── 09 .scrapy-redis-京东爬虫-图书价格 .flv
│   │   └── 10 .scrapy-redis-京东爬虫-修改成分布式爬虫 .flv
├── 09_scrapy其他/
│   ├── 09_scrapy其他/
│   │   ├── 01 .splash-介绍_环境配置 .flv
│   │   ├── 02 .splash-使用 .flv
│   │   ├── 03 .scrapy-日志信息 .flv
│   │   ├── 04 .scrpay配置-常用配置 .flv
│   │   ├── 05 .scrapy配置-其他配置 .flv
│   │   ├── 06 .使用scrapyd进行爬虫部署 .flv
│   │   └── 07 .使用Gerapy进行爬虫管理 .flv
├── 10_appium/
│   ├── 10_appium/
│   │   ├── 01 .appium简介 .flv
│   │   ├── 02 .appium环境搭建 .flv
│   │   ├── 03 .appium环境联调测试 .flv
│   │   └── 04 .appium使用 .flv
├── 资料/
│   ├── 第10节 appium/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── 2-3-2-appiumDesktop定位界面使用方法 .jpg
│   │   │   │   ├── 2.1.4.2.jpg
│   │   │   │   ├── 2.1.4.3.jpg
│   │   │   │   ├── 2.1.5.1.jpg
│   │   │   │   ├── 2.1.5.2.jpg
│   │   │   │   ├── 2.1.5.3.jpg
│   │   │   │   ├── 2.1.5.4.jpg
│   │   │   │   ├── 2.2.1.1.png
│   │   │   │   ├── 2.2.1.2.png
│   │   │   │   ├── 2.2.2.1.png
│   │   │   │   ├── 2.2.3.1_.png
│   │   │   │   ├── 2.2.3.2_.png
│   │   │   │   ├── 2.2.3.3_.png
│   │   │   │   ├── 2.2.3.4_.png
│   │   │   │   ├── 2.2.3.5.png
│   │   │   │   ├── 2.2.3.6.png
│   │   │   │   ├── 2 .1 .1 .1安装node .js .png
│   │   │   │   ├── 2 .1 .2 .1-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .2-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .3-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .4-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .5-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .6-安装java .jpg
│   │   │   │   ├── 2 .1 .2 .7-安装java .png
│   │   │   │   ├── 2 .1 .2 .8-安装java .png
│   │   │   │   ├── 2 .1 .3 .10 .jpg
│   │   │   │   ├── 2 .1 .3 .11 .jpg
│   │   │   │   ├── 2 .1 .3 .12 .jpg
│   │   │   │   ├── 2 .1 .3 .13 .jpg
│   │   │   │   ├── 2 .1 .3 .14 .jpg
│   │   │   │   ├── 2 .1 .3 .15 .jpg
│   │   │   │   ├── 2 .1 .3 .1 .jpg
│   │   │   │   ├── 2 .1 .3 .2 .jpg
│   │   │   │   ├── 2 .1 .3 .3 .jpg
│   │   │   │   ├── 2 .1 .3 .4 .jpg
│   │   │   │   ├── 2 .1 .3 .5 .jpg
│   │   │   │   ├── 2 .1 .3 .6 .jpg
│   │   │   │   ├── 2 .1 .3 .7 .jpg
│   │   │   │   ├── 2 .1 .3 .8 .jpg
│   │   │   │   ├── 2 .1 .3 .9 .jpg
│   │   │   │   ├── 2 .1 .4 .1 .jpg
│   │   │   │   ├── android-sdk-manager更新-2.png
│   │   │   │   ├── android-sdk-manager更新.png
│   │   │   │   ├── appium-session配置.png
│   │   │   │   ├── java-jdk1.8下载.png
│   │   │   │   └── 元素定位.png
│   │   │   ├── .DS_Store
│   │   │   ├── 1.appium环境安装.md
│   │   │   ├── 2.利用appium自动控制移动设备并提取数据.md
│   │   │   └── README.md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   └── douyin .py
│   ├── 第1节 爬虫基础/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── content-type .webp
│   │   │   │   ├── http的请求形式 .png
│   │   │   │   ├── http的响应形式 .png
│   │   │   │   ├── http发送的过程 .png
│   │   │   │   ├── http作用 .png
│   │   │   │   ├──  .DS_Store
│   │   │   │   ├── 爬虫的工作流程 .png
│   │   │   │   └── 爬虫分类 .png
│   │   │   ├── 1 .爬虫概述 .md
│   │   │   ├── 2 .http协议复习 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 . 代码(空)/
│   ├── 第2节 requests模块/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── 12306ssl错误 .png
│   │   │   │   ├── 4-2-2-1 .jpg
│   │   │   │   ├── 4-2-2-2 .jpg
│   │   │   │   ├── 4-2-2-3 .jpg
│   │   │   │   ├── formdata .jpeg
│   │   │   │   ├── king .jpeg
│   │   │   │   ├── requests-3-2-1-4 .png
│   │   │   │   ├── requests-3-2-3 .png
│   │   │   │   ├── responsedata .jpeg
│   │   │   │   ├── 百度翻译移动版-1 .png
│   │   │   │   ├── 百度翻译移动版-2 .png
│   │   │   │   ├── 百度翻译移动版-3 .png
│   │   │   │   ├── 百度翻译移动版-4 .png
│   │   │   │   ├── 查看移动端页面 .png
│   │   │   │   └── 使用代理的过程 .png
│   │   │   ├── README .md
│   │   │   └── requests模块 .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3.代码/
│   │   │   ├── 1.easy_requersts.py
│   │   │   ├── 10.king.py
│   │   │   ├── 11.requests_session.py
│   │   │   ├── 2.reqeusts_headers.py
│   │   │   ├── 3.zhihu.py
│   │   │   ├── 4.requests_params.py
│   │   │   ├── 5.requests_headers_cookies.py
│   │   │   ├── 6.requests_cookies.py
│   │   │   ├── 7.requests_cookies.py
│   │   │   ├── 8.reqeusts_proxy.py
│   │   │   └── 9.ca.py
│   ├── 第3节 数据提取/
│   │   ├── 1.课件/
│   │   │   ├── images/
│   │   │   │   ├── jsonpath的方法.png
│   │   │   │   ├── jsonpath使用示例.png
│   │   │   │   ├── xml和html的区别.png
│   │   │   │   ├── xml树结构.gif
│   │   │   │   ├── xpath_helper插件安装-1.png
│   │   │   │   ├── xpath_helper插件安装-2.png
│   │   │   │   ├── xpath_helper插件安装-3.png
│   │   │   │   ├── xpath中节点的关系 .png
│   │   │   │   ├── 非结构化响应内容html .png
│   │   │   │   ├── 节点 .png
│   │   │   │   ├── 结构化响应内容json .png
│   │   │   │   └── 数据解析 .png
│   │   │   ├── 1 .数据提取概述 .md
│   │   │   ├── 2 .数据提取-jsonpath模块 .md
│   │   │   ├── 3 .数据提取-lxml模块 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   ├── 5 .jsonpath_test .py
│   │   │   ├── 6 .path_test .py
│   │   │   ├── 8 .lxml_text .py
│   │   │   ├── 9 .teiba .py
│   │   │   └── lagou .py
│   ├── 第4节 selenium/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── selenium的工作原理 .png
│   │   │   │   ├── 查看chrome版本2 .png
│   │   │   │   ├── 查看chrome版本 .png
│   │   │   │   ├── 下载chromedriver-1 .png
│   │   │   │   ├── 下载chromedriver-2 .png
│   │   │   │   ├── 下载chromedriver-3 .png
│   │   │   │   └── 下载chromedriver-4 .png
│   │   │   ├── 1 .selenium的介绍 .md
│   │   │   ├── 2 .selenium定位获取标签对象并提取数据 .md
│   │   │   ├── 3 .selenium的其它使用方法 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   │   ├── 浏览器插件/
│   │   │   │   ├── MacOS X/
│   │   │   │   │   ├── JSONView0 .0 .32 .2_0 .crx
│   │   │   │   │   ├── SwitchyOmega-2 .3 .21 .crx
│   │   │   │   │   └── XPath-Helper_v2 .0 .2 .crx
│   │   │   │   ├── Windows/
│   │   │   │   │   ├── JSONView0 .0 .32 .2_0 .crx
│   │   │   │   │   ├── SwitchyOmega-2 .3 .21 .crx
│   │   │   │   │   └── XPath-Helper_v2 .0 .2 .crx
│   │   ├── 3 .代码/
│   │   │   ├── 10 .wait .py
│   │   │   ├── 11 .selenium_config .py
│   │   │   ├── 12 .douyu .py
│   │   │   ├── 1 .example_test .py
│   │   │   ├── 2 .selenium_test .py
│   │   │   ├── 3 .selenium_attribute&func .py
│   │   │   ├── 4 .locate_test .py
│   │   │   ├── 5 .58 .py
│   │   │   ├── 6 .window_handler .py
│   │   │   ├── 7 .qzone .py
│   │   │   ├── 8 .selenium_cookies .py
│   │   │   └── 9 .execute_js .py
│   ├── 第5节 反爬与反反爬/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── chrome中network更多用途 .png
│   │   │   │   ├── js的绑定事件 .png
│   │   │   │   ├── searchallfile搜索关键字 .png
│   │   │   │   ├── 点击美化输出 .png
│   │   │   │   ├── 勾选perservelog的效果 .png
│   │   │   │   ├── 继续在其中搜索关键字 .png
│   │   │   │   ├── 人人网登录的地址 .png
│   │   │   │   ├── 人人网手机版登录 .png
│   │   │   │   ├── 人人网抓包寻找url地址 .png
│   │   │   │   ├── 使用字体来反爬 .png
│   │   │   │   ├── 添加断点 .png
│   │   │   │   ├── 通过css反爬 .png
│   │   │   │   └── 新建隐身窗口 .png
│   │   │   ├── 1 .常见的反爬手段和解决方法 .md
│   │   │   ├── 2 .打码平台的使用 .md
│   │   │   ├── 3 .chrome在爬虫中的使用 .md
│   │   │   ├── 4 .JS的解析 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   ├── 1 .pytessseract .py
│   │   │   ├── YDMHTTPDemo3 .x .py
│   │   │   └── yundama .py
│   ├── 第6节 MongoDB数据库/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── 4 .3 .创建索引速度对比 .png
│   │   │   │   ├── 7 .mongodb总结 .png
│   │   │   │   └── mongodb的聚合 .png
│   │   │   ├── 1 .mongodb介绍和安装 .md
│   │   │   ├── 2 .mongodb的简单使用 .md
│   │   │   ├── 3 .mongodb的增删改查 .md
│   │   │   ├── 4 .mongodb的聚合操作 .md
│   │   │   ├── 5 .mongodb的索引操作 .md
│   │   │   ├── 6 .mongodb的权限管理 .md
│   │   │   ├── 7 .mongodb和python交互 .md
│   │   │   ├── 8 .mongodb总结图 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   └── 1 .pymongo_test .py
│   ├── 第7节 scrapy基础/
│   │   ├── 1 .课件/
│   │   │   ├── images/
│   │   │   │   ├── 0 .jpg
│   │   │   │   ├── 10 .1 .scrapy_debug .png
│   │   │   │   ├── 11 .scrapyd-1 .jpg
│   │   │   │   ├── 11 .scrapyd-2 .jpg
│   │   │   │   ├── 11 .scrapyd-3 .jpg
│   │   │   │   ├── 11 .scrapyd-4 .jpg
│   │   │   │   ├── 11 .scrapyd-5 .jpg
│   │   │   │   ├── 11 .scrapyd-6 .jpg
│   │   │   │   ├── 11 .scrapyd-7 .jpg
│   │   │   │   ├── 12 .scrapy总结图 .png
│   │   │   │   ├── 1 .3 .1 .爬虫流程-1 .png
│   │   │   │   ├── 1 .3 .2 .爬虫流程-2 .png
│   │   │   │   ├── 1 .3 .3 .scrapy工作流程 .png
│   │   │   │   ├── 1 .3 .4 .scrapy组件 .png
│   │   │   │   ├── 2 .1 .scrapy入门使用-1 .png
│   │   │   │   ├── 2 .2 .scrapy入门使用-2 .png
│   │   │   │   ├── 3 .1 .scrapy翻页 .png
│   │   │   │   ├── 4 .3 .1request-payload .jpg
│   │   │   │   ├── 7 .4 .2 .scrapy_redis的流程 .png
│   │   │   │   ├── 8 .3 .domz运行现象 .png
│   │   │   │   ├── 8 .4 .1 .redis_pipeline .png
│   │   │   │   ├── 8 .4 .2 .RFP .png
│   │   │   │   ├── 8 .4 .3 .scheduler .png
│   │   │   │   ├── 9 .3 .1 .3 .splash-server .png
│   │   │   │   ├── 9 .4 .5 .2 .no-splash .png
│   │   │   │   ├── 9 .4 .5 .2 .with-splash .png
│   │   │   │   ├── build之后 .png
│   │   │   │   ├── gerapy_调度scrapy爬虫项目 .png
│   │   │   │   ├── gerapy_列表 .png
│   │   │   │   ├── gerapy_目录结构 .png
│   │   │   │   ├── gerapy_配置scrapyd服务器 .png
│   │   │   │   ├── gerapy_数据库初始化 .png
│   │   │   │   ├── gerapy_主机管理页面_添加 .png
│   │   │   │   ├── gerapy_主机管理页面 .png
│   │   │   │   ├── gerapy_主机添加 .png
│   │   │   │   ├── gerapy_主界面 .png
│   │   │   │   ├── project_1 .png
│   │   │   │   ├── project_list .png
│   │   │   │   ├── project项目打包 .png
│   │   │   │   ├──  .DS_Store
│   │   │   │   ├── 部署 .png
│   │   │   │   ├── 部署成功 .png
│   │   │   │   ├── 运行1 .png
│   │   │   │   └── 运行2 .png
│   │   │   ├── 10 .scrapy的日志信息与配置 .md
│   │   │   ├── 11 .scrapyd部署scrapy项目 .md
│   │   │   ├── 12 .gerapy爬虫管理 .md
│   │   │   ├── 13 .gerapy爬虫管理 .md
│   │   │   ├── 13 .scrapy总结图 .md
│   │   │   ├── 14 .crawlspider类的使用 .md
│   │   │   ├── 1 .scrapy的概念作用和工作流程 .md
│   │   │   ├── 2 .scrapy的入门使用 .md
│   │   │   ├── 3 .scrapy构造并发送请求 .md
│   │   │   ├── 4 .scrapy模拟登陆 .md
│   │   │   ├── 5 .scrapy管道的使用 .md
│   │   │   ├── 6 .scrapy中间件的使用 .md
│   │   │   ├── 7 .scrapy_redis概念作用和流程 .md
│   │   │   ├── 8 .scrapy_redis原理分析并实现断点续爬以及分布式爬虫 .md
│   │   │   ├── 9 .scrapy_splash组件的使用 .md
│   │   │   └── README .md
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   ├── AQI/
│   │   │   │   ├── AQI/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── aqi .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── aqi .py
│   │   │   │   │   │   ├── aqi .pyc
│   │   │   │   │   │   ├── __init__ .py
│   │   │   │   │   │   └── __init__ .pyc
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── items .cpython-36 .pyc
│   │   │   │   │   │   ├── middlewares .cpython-36 .pyc
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── items .pyc
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── middlewares .pyc
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   ├── settings .pyc
│   │   │   │   │   ├── __init__ .py
│   │   │   │   │   └── __init__ .pyc
│   │   │   │   └── scrapy .cfg
│   │   │   ├── Douban/
│   │   │   │   ├── Douban/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── movie .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── movie .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── items .cpython-36 .pyc
│   │   │   │   │   │   ├── middlewares .cpython-36 .pyc
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   └── scrapy .cfg
│   │   │   ├── github/
│   │   │   │   ├── github/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── git1 .cpython-36 .pyc
│   │   │   │   │   │   │   ├── git2 .cpython-36 .pyc
│   │   │   │   │   │   │   ├── git3 .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── git1 .py
│   │   │   │   │   │   ├── git2 .py
│   │   │   │   │   │   ├── git3 .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   ├── git_without_cookies .html
│   │   │   │   ├── git_with_cookies .html
│   │   │   │   ├── git_with_fromresponse .html
│   │   │   │   ├── git_with_post .html
│   │   │   │   └── scrapy .cfg
│   │   │   ├── myspider/
│   │   │   │   ├── myspider/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── itcast .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── itcast .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── items .cpython-36 .pyc
│   │   │   │   │   │   ├── pipelines .cpython-36 .pyc
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   ├── itcast1 .html
│   │   │   │   ├── itcast2 .html
│   │   │   │   ├── itcast .json
│   │   │   │   └── scrapy .cfg
│   │   │   ├── wangyi/
│   │   │   │   ├── wangyi/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── job_crawl .cpython-36 .pyc
│   │   │   │   │   │   │   ├── job_simple .cpython-36 .pyc
│   │   │   │   │   │   │   ├── job .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── job_crawl .py
│   │   │   │   │   │   ├── job_simple .py
│   │   │   │   │   │   ├── job .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── items .cpython-36 .pyc
│   │   │   │   │   │   ├── pipelines .cpython-36 .pyc
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   ├── scrapy .cfg
│   │   │   │   ├── wangyi_simple .json
│   │   │   │   └── wangyi .json
│   ├── 第8节 scrapy-redis/
│   │   ├── 1 .课件/
│   │   │   └── 课件在第7节里 .txt
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   ├── JD/
│   │   │   │   ├── JD/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── book .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── book .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── items .cpython-36 .pyc
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   └── scrapy .cfg
│   │   │   ├── scrapy-redis/
│   │   │   │   ├── docs/
│   │   │   │   │   ├── authors .rst
│   │   │   │   │   ├── conf .py
│   │   │   │   │   ├── contributing .rst
│   │   │   │   │   ├── history .rst
│   │   │   │   │   ├── index .rst
│   │   │   │   │   ├── installation .rst
│   │   │   │   │   ├── Makefile
│   │   │   │   │   ├── make .bat
│   │   │   │   │   ├── modules .rst
│   │   │   │   │   ├── readme .rst
│   │   │   │   │   ├── requirements .txt
│   │   │   │   │   └── scrapy_redis .rst
│   │   │   │   ├── example-project/
│   │   │   │   │   ├── example/
│   │   │   │   │   │   ├── spiders/
│   │   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   │   ├── dmoz .cpython-36 .pyc
│   │   │   │   │   │   │   │   ├── mycrawler_redis .cpython-36 .pyc
│   │   │   │   │   │   │   │   ├── myspider_redis .cpython-36 .pyc
│   │   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   │   ├── dmoz .py
│   │   │   │   │   │   │   ├── mycrawler_redis .py
│   │   │   │   │   │   │   ├── myspider_redis .py
│   │   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── pipelines .cpython-36 .pyc
│   │   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── items .py
│   │   │   │   │   │   ├── pipelines .py
│   │   │   │   │   │   ├── settings .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── docker-compose .yml
│   │   │   │   │   ├── Dockerfile
│   │   │   │   │   ├── process_items .py
│   │   │   │   │   ├── README .rst
│   │   │   │   │   ├── requirements .txt
│   │   │   │   │   └── scrapy .cfg
│   │   │   │   ├── src/
│   │   │   │   │   ├── scrapy_redis/
│   │   │   │   │   │   ├── connection .py
│   │   │   │   │   │   ├── defaults .py
│   │   │   │   │   │   ├── dupefilter .py
│   │   │   │   │   │   ├── picklecompat .py
│   │   │   │   │   │   ├── pipelines .py
│   │   │   │   │   │   ├── queue .py
│   │   │   │   │   │   ├── scheduler .py
│   │   │   │   │   │   ├── spiders .py
│   │   │   │   │   │   ├── utils .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   ├── tests/
│   │   │   │   │   ├── test_connection .py
│   │   │   │   │   ├── test_dupefilter .py
│   │   │   │   │   ├── test_package_import .py
│   │   │   │   │   ├── test_picklecompat .py
│   │   │   │   │   ├── test_queue .py
│   │   │   │   │   ├── test_scrapy_redis .py
│   │   │   │   │   ├── test_spiders .py
│   │   │   │   │   └── test_utils .py
│   │   │   │   ├── AUTHORS .rst
│   │   │   │   ├── CONTRIBUTING .rst
│   │   │   │   ├── HISTORY .rst
│   │   │   │   ├── LICENSE
│   │   │   │   ├── Makefile
│   │   │   │   ├── MANIFEST .in
│   │   │   │   ├── pytest .ini
│   │   │   │   ├── README .rst
│   │   │   │   ├── requirements-dev .txt
│   │   │   │   ├── requirements-install .txt
│   │   │   │   ├── requirements-setup .txt
│   │   │   │   ├── requirements-tests .txt
│   │   │   │   ├── setup .cfg
│   │   │   │   ├── setup .py
│   │   │   │   ├── TODO .rst
│   │   │   │   ├── tox .ini
│   │   │   │   └── VERSION
│   ├── 第9节 scrapy其他/
│   │   ├── 1 .课件/
│   │   │   └── 课件在第7节里 .txt
│   │   ├── 2 . 其他资料(空)/
│   │   ├── 3 .代码/
│   │   │   ├── deploy/
│   │   │   │   ├── dbs/
│   │   │   │   │   └── Tencent .db
│   │   │   │   ├── eggs/
│   │   │   │   │   ├── Tencent/
│   │   │   │   │   │   └── 1554868409 .egg
│   │   │   │   ├── logs/
│   │   │   │   │   ├── Tencent/
│   │   │   │   │   │   ├── tencent/
│   │   │   │   │   │   │   └── 88b639ac5b4411e9ae2d186590e02601 .log
│   │   │   │   │   │   ├── tencentpro/
│   │   │   │   │   │   │   └── a6785c685b4411e9b320186590e02601 .log
│   │   │   │   ├── py21 .log
│   │   │   │   ├── tencentpro .json
│   │   │   │   └── tencent .json
│   │   │   ├── Splash/
│   │   │   │   ├── Splash/
│   │   │   │   │   ├── spiders/
│   │   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   │   ├── baidu_ws .cpython-36 .pyc
│   │   │   │   │   │   │   ├── baidu .cpython-36 .pyc
│   │   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   │   ├── baidu_ws .py
│   │   │   │   │   │   ├── baidu .py
│   │   │   │   │   │   └── __init__ .py
│   │   │   │   │   ├── __pycache__/
│   │   │   │   │   │   ├── settings .cpython-36 .pyc
│   │   │   │   │   │   └── __init__ .cpython-36 .pyc
│   │   │   │   │   ├── items .py
│   │   │   │   │   ├── middlewares .py
│   │   │   │   │   ├── pipelines .py
│   │   │   │   │   ├── settings .py
│   │   │   │   │   └── __init__ .py
│   │   │   │   ├── baidu_with_splash .html
│   │   │   │   ├── baidu .html
│   │   │   │   └── scrapy .cfg
│   └── 爬虫课件完整版本(HTML版本) .zip

游客，如果您要查看本帖隐藏内容请回复

randy1981

强烈支持楼主ing……

wangjintao9901

楼主加油，我们都看好你哦。

挠力河

感谢分享

liyu76

强烈支持楼主ing……

wangdong123

强烈支持楼主ing……

itfly

thanks to share.

taozeming

谢谢分享，收藏学习。