基于MongoDB和Quartz任务池的大数据量计算实例心得

徐冬丽

　　最近物联网项目进行的比较顺利，在虚拟设备子项目、逻辑服务器子项目及对应的单元测试开发的差不多了，顺便将数据平台的开发计划提前了，具体需求如下：
　　1、 针对不同的设备分别计算出每日的销售额、每周的销售额、每月的销售额和每年的销售额。
　　2、 每日销售额分为本日销售额和往日销售额，本日销售额：定时触发任务，计算本日该设备所有已交货订单，包括支付宝销售额及数量、微信销售额及数量和线下支付销售额及数量；往日销售额：该项为固化数据，为以往本日销售额数据的固化。
　　3、 每周销售额分为本周销售额和往周销售额，本周销售额：继“本日销售额任务”完成后触发，从每日销售额数据列表中查询获得所属本周的日销售额数据进行累加计算；往周销售额：该项为固化数据，为以往本周销售额数据的固化。
　　4、 每月销售额分为本月销售额和往月销售额，本月销售额：继“本日销售额任务”完成后触发，从每日销售额数据列表中查询获得所属本月的日销售额数据进行累加计算；往月销售额：该项为固化数据，为以往本月销售额数据的固化。
　　5、 每年销售额分为本年销售额和往年销售额，本年销售额：继“本月销售额任务”完成后触发，从每月销售额数据列表中查询获得所属本年的月销售额数据进行累加计算；往年销售额“该项为固化数据，为以往本年销售额数据的固化。
　　6、 能单独触发计算任何一日、一周、一月、一年的设备销售数据。
　　具体开发不再赘述，具体优化过程如下：
　　DayAmountCalculation中，订单信息存于MongoDB内(开发中后期每日有近1W台设备总共100W条订单信息导入)，起初的想法是从MySQL(device)获取所有设备的DeviceSn，再遍历DeviceSn从MySQL(orders)中获取该设备当天的所有订单ID,接着根据订单ID从MongoDB中获取订单信息后放入Dictionary<DeviceSn，IList<OrderModel>>中，将字典内数据计算后得到IList<DaySaleTabModel>后遍历该集合逐条更新MongoDB的每日销售数据，但是，通过测试发现，设备数量在百台以内+订单量在50W左右时处理速度相当迅速，在一分钟内即可计算出结果，但当测试设备数量到达1W+订单数量到达100W时，计算就会变得相当耗时，故作如下优化：
　　从MySQL(device)获取所有设备的DeviceSn，直接根据DeviceSn从MongoDB中获取当天已交货的订单信息(能做到这点，还是对逻辑服务器源码稍微有点改动的)放入Dictionary<DeviceSn，IList<OrderModel>>中，将字典内数据计算后得到IList<DaySaleTabModel>后批量从MongoDB中删除DeviceSn包含上面字典的键集合的每日销售数据，再批量插入IList<DaySaleTabModel>中所有日销售数据。