PHP CURL获取cookies模拟登录的方法

3422

                      要提取google搜索的部分数据，发现google对于软件抓取它的数据屏蔽的厉害，以前伪造下 USER-AGENT 就可以抓数据，但是现在却不行了。利用抓包数据发现，Google 判断了 cookies，当你没有cookies的时候，直接返回 302 跳转，而且是连续几十个302跳转，根本抓不了数据。
因此，在发送搜索命令时，需要先提取 cookies 并保存，然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理，先POST登录，获取cookies并保存，然后利用这个cookies访问就可以了。
PHP 代码如下：

$login_url = 'XXX';  

$post_fields['email'] = 'XXXX';  
$post_fields['password'] = 'XXXX';  
$post_fields['origURL'] = 'XXX';  
$post_fields['domain'] = 'xxx.com';  
//cookie文件存放在网站根目录的temp文件夹下  
$cookie_file = tempnam('./temp','cookie');  

$ch = curl_init($login_url);  
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5');  
curl_setopt($ch, CURLOPT_HEADER, 0);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($ch, CURLOPT_MAXREDIRS, 1);  
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);  
curl_setopt($ch, CURLOPT_POST, 1);  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);  
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  
curl_exec($ch);  
curl_close($ch);  

//带上cookie文件，访问需要访问的页面  
$send_url='xxx.com';  
$ch = curl_init($send_url);  
curl_setopt($ch, CURLOPT_HEADER, 0);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);  
$contents = curl_exec($ch);  
curl_close($ch);  

//清理cookie文件  
unlink($cookie_file);  

//输出网页内容  
print_r($contents);

在temp文件夹下保存一个cookie前缀的临时文件,例如:coo3A98.tmp文件
打开这个文件得到如下代码:

要使用php来格式化该文件,使用以下代码就能实现
<?php   
$cookie_folder = dirname(__FILE__)."/temp";  
$lines = file($cookie_folder.'/coo3A98.tmp');  

$trows = '';  

foreach($lines as $line) {  
     if($line[0] != '#' && substr_count($line, "\t") == 6) {  
         $tokens = explode("\t", $line);  
         $tokens = array_map('trim', $tokens);  
         $tokens[4] = date('Y-m-d h:i:s', $tokens[4]);  
         $trows .= '<tr><td>' . implode('</td><td>', $tokens) . '</td></tr>' . PHP_EOL;  
     }  
}  
echo '<table>'.PHP_EOL.'<tbody>'.PHP_EOL.$trows.'</tbody>'.PHP_EOL.'</table>';  
?>

运行之后就如下图所示,已经被写入到table当中

大功告成,如果只读取其中字段可自行修改即可。