Python/Numpy大数据编程经验

dfeg

Python/Numpy大数据编程经验

1.边处理边保存数据，不要处理完了一次性保存。不然程序跑了几小时甚至几天后挂了，就啥也没有了。即使部分结果不能实用，也可以分析程序流程的问题或者数据的特点。

2. 及时用 del 释放大块内存。Python缺省是在变量范围（variablescope）之外才释放一个变量，哪怕这个变量在后面的代码没有再被用到，所以需要手动释放大的array。
   注意所有对数组的引用都del之后，数组才会被del。这些引用包括A[2:]这样的view，即使np.split也只是创建了view，没有真的把内存分到不同的array里。

3. 矩阵点乘对角阵，用逐行乘可以快几十、几百倍：M.dot( diag(v) ) -> M*v。

4. 尽量重用内存。比如
    sqrtW = np.sqrt(W)
    (W以后再没有用到了)
    这样多了分配sqrtW内存的时间
   可以改写成
    np.sqrt(W,W) # in placesqrt
    sqrtW = W # take auser-friendly name as its reference
    类似的
    A = B + C # B is neverused later
   可以改写成
    B += C; A = B

4. 用 ipython 的 run -p prog.py 做profiling，找出耗时最多的语句。
   也可以实现简单的Timer类，打印出耗时流程使用的时间。

5. 把实际代码高度简化，只留下使用相同大小的内存和相同多的运算的skeleton，来事先评估算法的时间和空间复杂度。而且可以分块评估。比如
    …… complex and slowroutine to compute V11, Wsum, Gwmean ......
       for i in xrange(noncore_size):
           wi = Wsum[ i ]
           VW = V11.T* wi
           VWV =VW.dot(V11)
           V21[ i] =np.linalg.inv(VWV).dot( VW.dot(Gwmean[ i]) )
  可以写个test.py，用 np.random.randn() 随机初始化 V11,Wsum, Gwmean，然后执行这个代码块，看出大致所需内存和每个循环的时间，避免了执行之前漫长的计算这些变量的时间。

6.如果是windows，把windows自动安装更新的选项关掉。不然可能跑了一夜程序，收结果时一看，windows自动重启过了……哭