php 采集修改技术方案simple_html_dom

老爷子88 · 发表于 2015-8-25 08:22:22

　　1.获取html
　　方案：curl即可，有很多类的，百度一下。
　　注意：现在很多网站（新浪微博等）主要类容都延迟加载，ajax加载，这样curl搞不到啊，现在还没找到解决方案，据说搞定这个问题可以赚500万。
　　2.解析html_dom
　　方案：用simple_html_dox类
　　教程：
　　一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 帮我们很好地解决了这个问题。可以通过这个php类来解析html文档，对其中的html元素进行操作 (PHP5+以上版本)。
　　解析器不仅仅只是帮助我们验证html文档；更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器，通过元素的id，class，tag等等来查找定位；同时还提供添加、删除、修改文档树的功能。当然，这样一款强大的html Dom解析器也不是尽善尽美；在使用的过程中需要十分小心内存消耗的情况。不过，不要担心；本文中，笔者在最后会为各位介绍如何避免消耗过多的内存。ad（精品）
　　
开始使用
　　上传类文件以后，有三种方式调用这个类：
　　从url中加载html文档
　　从字符串中加载html文档
　　从文件中加载html文档

?

1
2
3
4
5
6
7
8
9
10
11
12
13

<?php
// 新建一个Dom实例
$html = new simple_html_dom();

// 从url中加载
$html->load_file('http://www.cnphp.info/php-simple-html-dom-parser-intro.html');

// 从字符串中加载
$html->load('<html><body>从字符串中加载html文档演示</body></html>');

//从文件中加载
$html->load_file('path/file/test.html');
?>

　　如果从字符串加载html文档，需要先从网络上下载。建议使用cURL来抓取html文档并加载DOM中。
查找html元素
　　可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象，下面给出几个示例：

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

<?php

//查找html文档中的超链接元素
$a = $html->find('a');

//查找文档中第(N)个超链接，如果没有找到则返回空数组.
$a = $html->find('a', 0);

// 查找id为main的div元素
$main = $html->find('div[id=main]',0);

// 查找所有包含有id属性的div元素
$divs = $html->find('div[id]');

// 查找所有包含有id属性的元素
$divs = $html->find('[id]');
?>

　　还可以使用类似jQuery的选择器来查找定位元素：

?

1
2
3
4
5
6
7
8
9
10
11
12
13

<?php
// 查找id='#container'的元素
$ret = $html->find('#container');

// 找到所有class=foo的元素
$ret = $html->find('.foo');

// 查找多个html标签
$ret = $html->find('a, img');

// 还可以这样用
$ret = $html->find('a[title], img[title]');
?>

　　解析器支持对子元素的查找ad（精品）

?

1
2
3
4
5
6
7
8
9

<?php

// 查找 ul列表中所有的li项
$ret = $html->find('ul li');

//查找 ul 列表指定class=selected的li项
$ret = $html->find('ul li.selected');

?>

　　如果你觉得这样用起来麻烦，使用内置函数可以轻松定位元素的父元素、子元素与相邻元素

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

<?php
// 返回父元素
$e->parent;

// 返回子元素数组
$e->children;

// 通过索引号返回指定子元素
$e->children(0);

// 返回第一个资源速
$e->first_child ();

// 返回最后一个子元素
$e->last _child ();

// 返回上一个相邻元素
$e->prev_sibling ();

//返回下一个相邻元素
$e->next_sibling ();
?>

元素属性操作
　　使用简单的正则表达式来操作属性选择器。
　　[attribute] – 选择包含某属性的html元素
　　[attribute=value] – 选择所有指定值属性的html元素
　　[attribute!=value]- 选择所有非指定值属性的html元素
　　[attribute^=value] -选择所有指定值开头属性的html元素
　　[attribute$=value] 选择所有指定值结尾属性的html元素
　　[attribute*=value] -选择所有包含指定值属性的html元素
在解析器中调用元素属性
　　在DOM中元素属性也是对象：

?

1
2
3
4

<?php
// 本例中将$a的锚链接值赋给$link变量
$link = $a->href;
?>

　　或者：

?

1
2
3

<?php
$link = $html->find('a',0)->href;
?>

　　每个对象都有4个基本对象属性:
　　tag – 返回html标签名
　　innertext – 返回innerHTML
　　outertext – 返回outerHTML
　　plaintext – 返回html标签中的文本
在解析器中编辑元素
　　编辑元素属性的用法和调用它们是类似的：

?

1
2
3
4
5
6
7
8
9
10
11
12

<?php
//给$a的锚链接赋新值
$a->href = 'http://www.cnphp.info';

// 删除锚链接
$a->href = null;

// 检测是否存在锚链接
if(isset($a->href)) {
//代码
}
?>

　　解析器中没有专门的方法来添加、删除元素，不过可以变通一下使用：

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14

<?php

// 封装元素
$e->outertext = '<div class="wrap">' . $e->outertext . '<div>';

// 删除元素
$e->outertext = '';

// 添加元素
$e->outertext = $e->outertext . '<div>foo<div>';

// 插入元素
$e->outertext = '<div>foo<div>' . $e->outertext;
?>

　　保存修改后的html DOM文档也非常简单：

?

1
2
3
4
5
6

<?php
$doc = $html;

// 输出
echo $doc;
?>

如何避免解析器消耗过多内存
　　在本文的开篇中，笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多，会导致网站停止响应等一系列严重的问题。解决的方法也很简单，在解析器加载html文档并使用完成后，记得清理掉这个对象就可以了。当然，也不要把问题看得太严重了。如果只是加载了2、3个文档，清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候，用完一个就清理一下内存绝对是对自己负责啦^_^ad（精品）

?

1
2
3

<?php
$html->clear();
?>

账号		自动登录	找回密码
密码			立即注册

c++ size_t 和 int 的区别

HERE 使用 AWS EF 和 JFrog Artifactory 打

C++ 指针大全：从基础到进阶，一篇快速上手

wirelessnetview好用的无线分析工具

Red Hat RHCE 8 (EX294) Cert Guide

亿图图示专家(EDraw Max) V7.9 中文破解版

zabbix3.4.1安装部署+微信推送信息+大屏显

[经验分享] php 采集修改技术方案simple_html_dom

浏览过的版块

扫码加入运维网微信交流群