python 爬取股市数据存入mysql-Paniho

wang_rx

#!/usr/bin/evn python　　
# -*- coding:utf-8 -*-
　　
import MySQLdb
　　
import os,sys,subprocess
　　

　　
class Spider():
　　
   def __init__(self, filename, js_filename, table):
　　
     self.url = url
　　
     self.filename = filename
　　
     self.table = table
　　

　　
   def read_file_data(self):
　　
     value_sets = []
　　
     try:
　　
       with open(self.filename, 'rb') as data:
　　
         count = 0
　　
         for line in data:
　　
           value = line.decode("gb2312").encode("utf-8").split()
　　
           value_sets.append(value)
　　
           count += 1
　　
         return value_sets, count
　　
     except Exception,e:
　　
        print Exception,":",e
　　

　　
   def get_insert_sql(self):
　　
      """
　　
      获取table字段list,返回插入数据sql语句
　　
      """
　　
     try:
　　
       cursor = db.cursor()
　　
       cursor.execute("select * from %s limit 1" % self.table)
　　
       field_name_list = [each[0] for each in cursor.description]
　　
       del field_name_list[0]  #去除自增id字段名
　　
       column_list = "(" + ",".join([field for field in field_name_list]) + ")"
　　
       values_format = "values(" + ("%s,"*len(field_name_list)).rstrip(',') + ")"
　　
       insert_sql = "INSERT INTO %s" % self.table+column_list + values_format
　　
       return insert_sql
　　
     except Exception, e:
　　
       print("Error: %s" % e)
　　
     cursor.close()
　　
     db.close()
　　

　　
   def save(self):
　　
     value_sets, count = self.get_file_data()
　　
     insert_sql = self.get_insert_sql()
　　
     if not (value_set and count):
　　
       print "get data fom file failed"
　　
     if not insert_sql：
　　
       print "get insert_sql failed"
　　
     try:
　　
       cursor = db.cursor()
　　
       cursor.executemany(insert_sql, value_sets)
　　
       db.commit()
　　
       print (u"成功插入数据%d条" % count)
　　
     except Exception, e:
　　
       db.rollback()
　　
       print Exception, ":", e
　　
       print (u"插入数据失败，数据回滚")
　　
     cursor.close()
　　
     db.close()