python monkey_patch浅析
最近做了一个neutron集成vyatta的任务，顺便认真学习下neutron的代码，头几行就看到了monkey_patch。首先就从neutron-server的启动脚本开始：
1
2
3
4
5
6
7
# cat /usr/bin/neutron-server
#!/usr/bin/python
# PBR Generated from u'console_scripts'
import sys
from neutron.server import main
if __name__ == "__main__":
sys.exit(main())
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# cat /usr/lib/python2.7/site-packages/neutron/server/__init__.py
import sys
import eventlet
eventlet.monkey_patch() #这里使用monkey_patch
from oslo.config import cfg
from neutron.common import config
from neutron import service
from neutron.openstack.common import gettextutils
from neutron.openstack.common import log as logging
gettextutils.install('neutron', lazy=True)
LOG = logging.getLogger(__name__)
def main():
什么是monkey_patch?
简单说就是程序在运行时动态对已有代码进行修改，而不需要修改原始代码。来看个例子：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# cat monkey_patch_test.py
class Monkey_patch(object):
def patch(self):
print "patch it!"
def patch(self):
print "Modifies patch!"
Monkey_patch().patch()
Monkey_patch.patch = patch
Monkey_patch().patch()
python的namespace是开放的，通过dict来实现，所以达到patch比较容易。
python的namespace有：
1、locals
2、globals
3、builtin
一篇介绍eventlet的文章：http://www.cnblogs.com/Security-Darren/p/4170031.html
下面来看下eventlet.monkey_patch怎么用？
从上面可以看到：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
eventlet.monkey_patch()# 默认不加任何参数的情况下，是所有可能的module都会被patch。
# 看个例子
In : eventlet.monkey_patch
Out: <function eventlet.patcher.monkey_patch>
In : eventlet.monkey_patch()
In : import ti
time timeittiming
In : import time
time timeit
In : import time
In : eventlet.patcher.is_monkey_patched('time') # 查看一个module是否被monkey_patch,eventlet.patcher.is_monkey_patched(module)
Out: True
In : import sys
In : eventlet.patcher.is_monkey_patched('sys')# 说明eventlet没有对sys的patch
Out: False
注：在程序中越早调用monkey_patch()越好，通常作为模块的第一行代码(避免子类继承父类的时候，父类还没被monkey_patch)
模块被monkey_patch后的好处：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# cat monkey_patch_test.py
#!/usr/bin/env python
import eventlet
eventlet.monkey_patch()
from eventlet.green import urllib2
import time
urls = ["http://www.tudou.com",
"http://www.baid.com"
]
def test_1(url):
try:
print "open tudou"
time.sleep(5)
urllib2.urlopen(url).read()
print "done open tudou"
except urllib2.HTTPError:
return
def test_2(url):
try:
print "open baidu"
urllib2.urlopen(url).read()
print "done open baidu"
except urllib2.HTTPError:
return
pool = eventlet.GreenPool(100)
pool.spawn(test_1, urls)
pool.spawn(test_2, urls)
pool.waitall() # 等待所有绿色线程执行结束
当test_1中time.sleep被调用到时，会将运行权利交给了hub，然后接着执行test_2，如果不使用monkey_patch的话time.sleep(1)会阻塞。
你可以注释掉eventlet.monkey_patch()这行代码，然后再看下运行结果。
openstack项目中大量用到了monkey_patch
1
2
3
4
5
# grep -n -r "eventlet.monkey_patch"
/usr/lib/python2.7/site-packages/neutron/agent/netns_cleanup_util.py:19:eventlet.monkey_patch()
/usr/lib/python2.7/site-packages/neutron/agent/l3_agent.py:20:eventlet.monkey_patch()
/usr/lib/python2.7/site-packages/oslo/messaging/_cmd/zmq_receiver.py:18:eventlet.monkey_patch()
。。。。。。
页:
[1]