Python操作小结(连接mysql、解析txt文件)

wd2134

  有段时间没有使用python了，对它的语法有点生疏，花了几个小时熟悉，期间发现很多小细节不清楚。为了下次能快速上手，避免重复犯错，我将python使用过程中的一些问题在这篇博文中记录小结一下，主要内容涉及到python操作mysql数据库，和解析txt文本。注：我用的是python2.7版本。        一、导入模块
        python的脚本文件里面，可以导入其他脚本文件，并引用其中的方法和参数，使用关键字import。如下：

        import os,glob,sys
        二、基础语法

        1、普通变量定义

        python 作为脚本型语言，对变量的定义很宽松，不用为变量特定申明其类型，类似于jsp页面中的变量定义，直接是    变量名＝...    即可。

        2、数组变量定义

        数组变量定义，在  ＝  号后面加上中括号，中括号中可以指定数组长度。如：phoneList = []。往数组中添加值，用的是数组的append()方法；获取数组某位的值，用： phoneList[index]即可。获取数组的长度，可以用 len(List)方法。
        3、字符串变量

        字符串对象包含了一些私有的方法，如以某类分隔符对字符串进行分割的 .split(';') 方法；去除字符串首位的字符的 .strip('--')方法;

        三、读取数据库表

        1、引入MySQLdb包。windows下，下载这个包的exe文件，直接点击安装即可，linux下比较麻烦。

        import MySQLdb as mdb         MySQLdb连接mysql数据库，只在2.x版本中支持，推荐使用2.7版本。
        2、连接mysql数据库

        需要指定数据库服务器地址ip、数据库用户名和秘密、需访问的数据库名以及默认字符编码。如：
conn ＝ mdb.connect('hostIp','root','view','db_test',charset='utf8')  表示访问hostIp中的db_test数据库，用户名root，密码view，设置字符编码是utf8。
        3、使用游标，来获取数据库查询结果的每一行
        cur = conn.cursor()  ＃先定义一个游标
        sql = "select ..."  #定义sql语句

        cur.execute("set NAMES utf8")  #设定sql语句中的参数的字符编码是utf8
        cur.execute(sql)   #执行sql查询语句。
        4、获取查询结果中的每一行结果数据

        rows  = cur.fetchall()  #rows是很多行的一个集合

        val = row[0]  #row 是rows中的一行。使用循环获取每一行。

        四、for循环语句, 子语句必须要缩进一个tab键。
        退出循环时，语句要与for语句块间隔一行。如下：

        for row in rows:

            print (row[0])


        print ("out of for block")


        五、读取txt文件
        1、文件路径，如下：
            path=r'E:\tmp-excel'+'\\'

对于最后一个路径字符串以  \  结尾的，需要使用转义字符形式 '\\'，第一个 \ 是转义标识符，表示接下来的一个字符是真实字符。
        2、读取文件内容，需要导入 os包和glob包。

        python使用 os.chdir(path) 获取路径对象。然后用 glob.glob('*.txt')，模糊匹配文件名满足  *.txt  格式的文件，并返回文件名的数组对象。

        使用  fo = open(fileName) 方法读取文件全部内容， lines = fo.readlines() 按行读取文件内容。(ps: 虽然我每行都以 '\r' 字符结尾的，但python可能会将整个文件内容只作为一行，我就是这种情况。)为了获得每一行的数据，我将整个一行用 .split('\r') 进行拆分，再进行处理。


这次写的的代码如下：

#!/usr/bin/python
#coding=utf-8
# -*- coding: utf-8 -*-
import os,glob,sys
phoneList = []
path=r'E:\tmp-excel'+'\\'
os.chdir(path)
sumJ=0
for fname in glob.glob('*.txt'):
    fo=open(fname)
    lines=fo.readlines()
    j=0
    print (fname)
    for line in lines:        
        line=line.split('\r')
        for l in line:
            l=l.split(',,')
            phoneList.append(l[1])
            #print (l[1])
            j=j+1
    print (j)
    sumJ=sumJ+j
    print ("total phoneNo is :",len(phoneList))
print ("total phoneNo is :",sumJ)

import MySQLdb as mdb
con = None
i=0
con = mdb.connect('192.168.10.31','ro','vi','ewan',charset='utf8')
cur = con.cursor()
sql="select user.phone ....."
cur.execute("set NAMES utf8")
cur.execute(sql)
rows=cur.fetchall()
print ("total newUser is :",len(rows))
for row in rows:
    #print (row[0])
    for phone in phoneList:
        if row[0]==phone:
            i=i+1
            print ("phone is: ",phone,row[0],row[1])
            break

print ("total now phone is: ",i)