python并行处理任务时 该用多进程？还是该用多线程？
在python并行处理任务时要使用多线程还是多进程？ 说到这个话题，必须要提的GIL( Global Interpreter Lock)全局解释锁，当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了，如果使用多线程是比也会受到影响。 多线程和多进程程序比较，哪个性能更高？还是拿一个实例运行来看看吧～1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
＃写一个简单的例子，计算100W个随机数的和8次，同时将分散到8个线程进行运算。
＃thread.py
#!/usr/bin/env python
import random
import threading
results = []
def compute():
results.append(
sum())
def main():
workers =
for worker in workers:
worker.start()
for woker in workers:
worker.join()
print("Result: %s" % results)
if __name__== "__main__":
main()
#相同的功能，使用多进程来实现
#worker.py
#!/usr/bin/env python
import multiprocessing
import random
def compute(n):
return sum(
)
def main():
pool = multiprocessing.Pool(8)
print("Results: %s" % pool.map(compute, range(8)))
if __name__ == "__main__":
main()
两个代码片段已经写完了，接下来我找了三种配置的机器来运行这两段代码：
配置1
1Core 2GB内存
配置2
4Core 8GB内存
配置3 48Core 64GB内存
实验1:
两端代码同时在1Core 2GB机器上运行，查看运行结果：
从运行结果来看，多线程的程序比多进程的程序效率要高，使用cpu都是99%(由于机器只有一个Core，多进程没有体现它的价值)。
实验2:
两段代码同时在4Core 8GB内存机器上运行，查看运行结果：
从运行结果来看，多进程程序效率比多线程程序效率要高1倍还要多。cpu使用上多线程卡在了141%，多进程跑到了379%，这里体现出多进程的优势。
实验3:
两段代码同时在48core 64GB内存机器上跑，查看运行结果：
从运行结果来看，多进程程序cpu可以跑到715%(程序设置了开启8个worker进程，所以不会超过800%)，而多线程卡在了124%。
通过以上测试结果，已经可以得出。python下多进程程序要比多线程程序要高效。并且会随着Core数不断的增加，性能也会得到提升。
所以考虑在一定的时间内并行处理一些工作时，最好依靠多进程创建多个作业，以便在多个cpu之间分散负载。
页:
[1]