[Python][Javascript] Python抓Javascript產生的頁面 (phantomJs)

13719654321

　　[Python][Javascript] Python抓Javascript產生的頁面 (phantomJs)


一向都是用Python的Beautiful Soup來parse網頁，現在出到第四版，更好用文件也好看多了。from BeautifulSoup import BeautifulSoup
改成from bs4 import BeautifulSoup
method name也有改，參考。 不過這次遇到的是內容是javascript產生的，如play.google.com，以前可能看一下js的code，學他送http request出去就可抓回來，現在的js越來越複雜，不好搞。
幸好有PhantomJS這種東西(headless WebKit with JavaScript API)，就可以很方便的用webkit把網頁內容全開出來(跑完javascript)。 既然是javascript，DOM的selector就用jquery吧(page.injectJs("jquery.min.js"))。var page = require('webpage').create(),
t, address;
if (phantom.args.length === 0) {
//console.log('Usage: loadspeed.js ');
phantom.exit();
} else {
address = phantom.args[0];
page.open(address, function (status) {
if (status !== 'success') {
//console.log('FAIL to load the address');
} else {
if (page.injectJs("jquery.min.js")) {
//console.log("jQuery loaded...");
}
var get_data = page.evaluate(function () {
var data = {}
data['title'] = $('h1.doc-banner-title').text();
data['content'] = $('#doc-original-text').text();
data['icon'] = $('.doc-banner-icon img').attr('src');
var img_list = []
$('.screenshot-carousel-content-container img').each(function(){ img_list.push($(this).attr('src')) });
data['images'] = img_list
return JSON.stringify(data);
});
console.log(get_data);
phantom.exit();
}
});
}
command line執行$ phantomjs my_scrapy.js my_url console.log裡的資料就回跑出來了。 Python裡用commands.getoutput，再json.loads把JSON拆成dict，大改就這樣吧。import commands
import json
out = commands.getoutput(my_cmd)
data = json.loads(out)