用Python进行网页分析实现批量下载

michellc

最终版：前几个版本（见本人的以前文章）基本都是用正则表达式实现匹配得到下载链接的，弊端有两方面：1。由于所 分析的网页很有规律，所以正则表达式实现起来过于繁琐，肯定不合适 2。各个任务之间都不不同，每次都重新编码，实现起来毫无规律，没有扩展性。所以此篇文章为这个专题的最终版，以后还有更多东西要学习，就不要在着方面纠缠了。

可执行版本：这次终于可以出一个自己比较满意的可执行版本，所以贴出源代码，作为这段工作的总结。相关的其他资源的获取，都可以由以下代码扩展之，而且相当简单，所以不再提供

运行要求：必须先下载和安装python-2.4.2.msi ，配置好Python环境；单击start.bat即可实现批量下载

源代码： 本工程只包括两个文件start.bat 和CustomParser.py：

start.bat

       //make the dir for files and run the project

        mkdir files
         python CustomParser.py

CustomParser.py

from sgmllib import SGMLParser
from string import find, replace, rjust
from threading import Thread
import urllib

__author__ = "Chen Peng (peng.ch@hotmail.com)"
__version__ = "$Revision: 1.0 $"
__date__ = "$Date: 2006/03/03 $"
__copyright__ = "Copyright (c) 2006 Chen Peng"
__license__ = "Python"

__all__ = ["Gif_163_Parser"]

class PDownloadThread( Thread ):
    """
    Download the files in the dict and save them to local files with the given name
    """
    def __init__( self, DictList,i ):
        Thread.__init__( self )
        self.DictList=DictList
        self.pageno=str(i);
   
    def run( self ):     
        for k in self.DictList.keys():
            try:
              print 'Download'+self.DictList[k]+'......'
              uFile=urllib.urlretrieve( self.DictList[k], '.files'+k+'.'+self.DictList[k].split('.')[self.DictList[k].split('.').__len__()-1])
            except :
               logfile = open('error.log', 'a')
               logfile.write(self.pageno+' '+self.DictList[k]+'   '+k+'n')
               logfile.close()  
            print 'Save to file '+k        

class Gif_163_Parser( SGMLParser ):
   """
    任务:下载163彩图
    原理:http://mms.163.com/new_web/cm_lv2_pic.jsp?catID=&ord=dDate&page=2&type=1&key=
        从1到415页（共6637）分析得到如下路径：“/fgwx/hhsj/1_060302175613_186/128x128.gif”
   eg:<script>showPic('22930','1','/fgwx/hhsj/1_060302175613_186/128x128.gif','1','编号：22930n名字: 因为有你n人气:100');</script>      
   下载路径:http://mmsimg.163.com/new_web/loaditem.jsp/type=1/path=/fgwx/llfj/1_060302175612_995/176x176.gif
   """
   def reset( self ):                              
        SGMLParser.reset( self )
        self.headURL='http://mmsimg.163.com/new_web/loaditem.jsp/type=1/path='
        self.SubURL = []
        self.Links = {}
         
   def start_script( self, attrs ):
        #self.SubURL.extend( [' %s="%s"' % ( key, value ) for key, value in attrs] )
        pass

   def end_script( self ):
        pass
   
   def handle_data( self, text ):
        if find( text, 'showPic' )!=-1:
           self.Links[replace( text.split( 'n' )[1], 'xc3xfbxd7xd6: ', '' )]=self.headURL+replace ( text.split( ',' )[2], ''', '' );
            
   def Execute( self ):   
       for i in range( 1, 415 ):
           self.Links.clear;
           try:
               usock = urllib.urlopen( "http://mms.163.com/new_web/cm_lv2_pic.jsp?catID=&ord=dDate&page="+str(i)+"&type=1&key=" )
               self.feed( usock.read() )
               usock.close()                     
               TestThread=PDownloadThread( self.Links ,i)
               TestThread.start()                 
               self.close()     
           except IOError:
               pass   
        #print ( ["%s=%sn"% ( k, self.Links[k] ) for k in self.Links.keys()] )
        #print self.Links

if __name__ == '__main__':
    #Gif_163_Parser().Execute();
     testtask=Gif_163_Parser()
     testtask.Execute()