东方财富网——爬取全网6000多支基金

jingshen

• 基本工作
  

• 网址：http://fund.eastmoney.com/allfund.html
  
• 单个基金
  
• 正则
  
  
  r'http://fund.eastmoney.com/\d{6}.html'
  

• 下载基金网页
  

• 请求初始化：headers,encoding
  
• 爬取库:requests
  
  
  1 def getHtml(url):
  2     user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:55.0) Gecko/20100101 Firefox/55.0'
  3     header = {'User-Agent':'user_agent'}
  4     response = requests.get(url,headers = header)
  5     response.encoding = 'gbk'
  6     return response.text
  

　　3.难点：
　　遇到反爬虫，请求中带头header
　　编码（gbk，utf8）之间的转换

• 获取每只基金地址
  

• 正则：re
  
• 正文：content
  
  
  1 def getStocks(html):
  2     pattern = re.compile(res_tr)
  3     m_tr = pattern.findall(html)
  4     return m_tr
  

• 保存csv文件
  

• 文件写入：open，write，a模式
  
• with...as函数
  
  
  def save_data(list):
  with open('fund_all.csv','a') as f:
  try:
  f.write(list+'\n')
  except:
  print('save error!')
  
• 难点：
  

　　　　　　多行写入
　　　　　　持续写入

• 结果
  
• 
  
•