python并行处理任务时 该用多进程？还是该用多线程？

weewee

     在python并行处理任务时要使用多线程还是多进程？ 说到这个话题，必须要提的GIL( Global Interpreter Lock)全局解释锁，当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了，如果使用多线程是比也会受到影响。       多线程和多进程程序比较，哪个性能更高？还是拿一个实例运行来看看吧～

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48

＃写一个简单的例子，计算100W个随机数的和8次，同时将分散到8个线程进行运算。 ＃thread.py #!/usr/bin/env python import random import threading results = [] def compute():     results.append(         sum([random.randint(1,100) for i in range(1000000)])) def main():             workers = [threading.Thread(target(compute) for  x in range(8))]     for worker in workers:         worker.start()           for woker in workers:         worker.join()     print("Result: %s" % results)         if __name__  == "__main__":     main()             #相同的功能，使用多进程来实现 #worker.py #!/usr/bin/env python import multiprocessing import random def compute(n):     return sum(         [random.randint(1,100) for i in range(1000000)])           def main():     pool = multiprocessing.Pool(8)     print("Results: %s" % pool.map(compute, range(8)))       if __name__ == "__main__":     main()

两个代码片段已经写完了，接下来我找了三种配置的机器来运行这两段代码：

配置1	1Core	2GB内存
配置2	4Core	8GB内存
配置3	48Core	64GB内存

实验1:
两端代码同时在1Core 2GB机器上运行，查看运行结果：


从运行结果来看，多线程的程序比多进程的程序效率要高，使用cpu都是99%(由于机器只有一个Core，多进程没有体现它的价值)。

实验2:
两段代码同时在4Core 8GB内存机器上运行，查看运行结果：


从运行结果来看，多进程程序效率比多线程程序效率要高1倍还要多。cpu使用上多线程卡在了141%，多进程跑到了379%，这里体现出多进程的优势。

实验3:
两段代码同时在48core 64GB内存机器上跑，查看运行结果：


从运行结果来看，多进程程序cpu可以跑到715%(程序设置了开启8个worker进程，所以不会超过800%)，而多线程卡在了124%。

通过以上测试结果，已经可以得出。python下多进程程序要比多线程程序要高效。并且会随着Core数不断的增加，性能也会得到提升。

所以考虑在一定的时间内并行处理一些工作时，最好依靠多进程创建多个作业，以便在多个cpu之间分散负载。