用 pickle 实现简易“跨”Python实现平台的调用

mofdan

　　有一次在用 Python 开发的时候遇到个问题：既需要调用 .Net Assembly，又需要调用只支持 CPython 的 module.
　　
对于前一种场景，我们只能用 IronPython 作为引擎。
　　对于后一种场景，我们只能用 CPython。
　　当时找到一种简易的方法：遇到需要调用的模块不支持当前 Python 引擎时，让另一个 Python 引擎在独立的进程中执行目标方法，通过进程通信的方式传递参数及执行结果。
　　为了降低进程通信时的复杂度，参数和执行结果在传递前都会先被序列化，另一进程收到信息后再反序列化。这就用到了 pickle。
　　上示例代码：
　　python_proxy.py:

import pickle
# Python 引擎
PYTHON = 'python'
IPY = 'ipy'
def invoke(driver, cmd_format, *args, **kwargs):
# 将参数序列化后保存到文件中
argFile = _dump((args, kwargs))
# 将存储参数的文件地址作为参数传给另一个 Python 引擎
from subprocess import Popen, PIPE
p = Popen([driver, '-c', cmd_format % argFile],
stdout = PIPE,
stderr = PIPE)
out, err = p.communicate()
if err:
raise AssertionError(err)
# 获取存有返回值的文件地址，读取内容，并反序列化得到最终结果
resultFile = out.strip()
result = _load(resultFile)
# 删除存储参数和反回值的临时文件
import os
os.remove(argFile)
os.remove(resultFile)
return result
def execute_with_file_arg(func, file):
# 读取文件内容，将其反序列化得到参数
args, kwargs = _load(file)
# 执行目标方法，并将序列化后的返回值存储到文件中，输出该文件地址
print _dump(func(*args, **kwargs))
def _load(file):
with open(file, 'rb') as f:
return pickle.load(f)
def _dump(o):
import tempfile
with tempfile.NamedTemporaryFile(delete = False) as f:
pickle.dump(o, f)
return f.name
　　test_module.py:

import python_proxy
import platform
current_driver = platform.python_implementation()
def func_common(num1, num2):
# 假设该方法核心代码必须在 IronPython 环境下执行
# 当前环境不是 IronPython：需要交给 IronPython 执行
if current_driver != 'IronPython':
return _func_for_non_ipy(num1, num2)
# 当前环境是 IronPython：直接运行核心代码并返回结果
return num1 + num2
def _func_for_non_ipy(num1, num2):
# 交给 IronPython 运行时所提供的命令格式
# 用参数文件地址格式化后可得到最终命令
cmd_format = 'import test_module; test_module.func_with_file_arg(r"%s")'
return python_proxy.invoke(python_proxy.IPY, cmd_format, num1, num2)
def func_with_file_arg(file):
python_proxy.execute_with_file_arg(func_common, file)
　　调用（是不是 IronPython 环境都可以）：

import test_module
print test_module.func_common(1, 2)
　　 
　　该方法只是一个简易的取巧方法。
　　上述示例代码有一个很明显的弱点：如果在目标方法的核心代码中输出其它内容（如：在 'return num1 + num2' 前添加 'print "dummy message"'），将导致进程通信时拿到的输出信息包含这些内容，而不仅仅是我们想要的结果文件路径。
　　另外，该方法并不是真正的跨 Python 实现平台，只是在运行时调用其它 Python 平台来暂时替代。所以 IronPython 和 CPython 都得安装。而且如果有更多各种复杂的信息需要在两个 Python 平台之间共享（如：权限认证信息等），将会非常复杂。
　　Keep it simple, stupid!