借助Nodejs在服务端使用jQuery采集17173游戏排行信息

hwl198212

Nodejs相关依赖模块介绍
　　Nodejs的优势这里就不做介绍啦，这年头相信大家对它也不陌生了。这里主要介绍一下用到的第三方模块。

• async：js代码中到处都是异步回调，很多时候我们需要做同步处理，使用async可以大大简化我们的同步处理的任务（没有它的时候，可能要用递归去处理异步问题了）。
  
• jsdom：一个 W3C DOM 的 JS 实现。用这玩意相当犀利，它不仅可以将文档解析成 DOM，而且，你还可以用 YUI 或着 jQuery 去操作生成的 DOM。这在从页面中提取数据时格外有用。这次采集17173的游戏排行数据就是用它结合jQuery去做的。
  
• colors：这个主要是便于我们从终端中输出不同颜色的信息用的，它的用法相当简单，console.log的时候直接在字符串后附加相关的颜色信息就可以了。
  

17173游戏排行页面分析
　　17173游戏排行页面：http://top.17173.com/index-0-0-0-0-0-0-0.html
　　我们要抓取它的排行，游戏名，热度值和测试状态信息，为了保存方便，直接将抓取的这些信息以CSV格式文件保存。
　　排行信息总共有63页，使用Chrome调试发现，请求不同页的数据时，发送的是HTTP POST请求，不同的页数通过page参数传递的，参数t可以忽略，主要是清浏览器缓存用的，如下图所示：

　　使用Chrome查看html结构，我们要抓取的数据在ul.ph-bd-list li中，如下图所示：

　　在前端获取游戏排行列表的Html信息时，使用jQuery，$('.ph-bd-list li')可以非常方便的定位到列表信息，如果在服务端也能使用这种方式提取信息岂不爽哉，如下图所示：

Nodejs在服务端使用jQuery采集游戏排行信息
　　首先要解决的问题是，如何使用nodejs发送post请求，并从服务器返回的信息中得到html。
　　完成这件事并不难，查看一下nodejs，http模块相关的文档，文档中刚好有个示例，几乎可以直接拿来用，需要注意的是，nodejs接收服务端返回的数据时，是以数据块的形式接收的，我们需要将这些数据块，拼装成完整的数据，代码如下：



// 构造请求信息
var options = {
hostname: 'top.17173.com',
port: 80,
path: '/index-0-0-0-0-0-0-0.html?page=' + index,
method: 'POST'
};
var req = http.request(options, function(res) {
var html = '';
res.setEncoding('utf8');
// 拼装数据
res.on('data', function (chunk) { html += chunk; });
res.on('end', function () {
parseHtml(html, callback);  // 对html做解析处理
  });
});
req.on('error', function(e) {
console.log(('请求列表页失败: ' + e.message).red);
});
// write data to request body
req.write('data\n');
req.write('data\n');
req.end();
　　接下来需要对html做处理，我们需要用jsdom将html解析为DOM，并跟jQuery结合，确保在服务端能够使用jQuery操作DOM，为了便于使用，我把这些操作做了简单的封装，核心代码如下：



var jsdom = require('jsdom').jsdom
, fs = require('fs')
, jquery = fs.readFileSync("./jquery.js", "utf-8");
/**
* 使用jsdom将html跟jquery组装成dom
* @param  {[type]}   html     需要处理的html
* @param  {Function} callback 组装成功后将html页面的$对象返回
* @return {[type]}            [description]
*/
function makeDom(html, callback) {
jsdom.env({
html: html,
src: [jquery],
done: function (errors, window) {
var $ = window.$;
callback(errors, $);
window.close();   // 释放window相关资源，否则将会占用很高的内存
    }
});
}
　　借助上面封装的代码，现在我们就可以非常方便的使用jQuery在服务端操作html了，尤其是使用jQuery提取信息，示例代码如下：



makeDom(html, function (errors, $) {
// 游戏排行列表
var gameList = $('.ph-bd-list li');
// 获取每一个游戏信息
gameList.each(function () {
var li = $(this);
// 游戏信息，各个信息间使用逗号拼接
var gameInfo = '';
// 游戏排名
gameInfo += li.find('span.ttime').text() + ',';
// 游戏名称
gameInfo += li.find('span.game-name a').text() + ',';
// 热度值
gameInfo += li.find('span.type').text() + ',';
// 测试状态信息
gameInfo += $.trim(li.find('span.jhm').text());
// 输出抓取的信息
    console.log(gameInfo.white);
// 将游戏信息保存到文本文件
fs.appendFileSync('17173_game_rank.csv', gameInfo + '\r\n');
});
console.log(('第' + index + '页抓取完毕').yellow);
// 设置抓取下一页
index++;
// 执行回调，通知async本次抓取结束
  callback();
});
最终程序跑起来的效果

代码也来一份吧
　　代码加注释也就100多行，不多，也不复杂，希望能给用到的人带来点思路。
　　下载后，先使用npm install命令安装依赖模块，然后使用node app.js执行即可。
　　jsdom在windows上的安装貌似还有些麻烦，大家参考这篇文章自行解决一下吧：http://www.swordair.com/blog/2012/05/901/
　　代码在这