Python实战1-监测线上日志，为系统稳定保驾

zjxhx

　　线上系统的稳定，不仅需要细心的编程，对各种临界、异常情况的考虑，也包括在系统出现故障的情况下，我们能在第一时间发现并定位，快速解决问题。这里我想借助python解析关键点的线上日志，并将解析结果导入sqlite数据库，通过一些方式获取统计结果（比传统的grep xxx要快速和方便很多），这样在系统beta发布或外部因素影响时，观察若干分钟，对比关键点的日志统计数据就能最快的发现系统是否稳定运行。
　　分析问题后，觉得可以通过下面几个模块协作来完成我的需求
　　1）日志记录行数据切分检测：用户提供1条日志样本和数据分隔符，正确取出数据
　　2）数据库表创建：用户提供表字段名、字段和日志行数据切分后的对应关系
　　3）日志行解析：1）需要该模块的支持，同时该模块提供对4）模块的支持
　　4）日志过滤收集：日志行数据解析为sql插入语句
　　5）sql数据插入：执行insert操作，根据数据量的多少进行优化，本质是减少IO操作
　　6）数据统计分析：根据表字段分组排序统计
　　7）异常数据告警：扩展用
　　注意点：
　　1）系统输出的日志最好有统一格式，明确的分隔符便于解析；也不要有中文，避免有乱码