Redqueue 一个用python实现的Queue Server

xiyou

在网站开发中， Queue Server是广泛使用的组件，实现有简单又复杂，其作用表现为
1：使系统的任务更容易分布式处理， 通过tcp/ip网络连接，实现部署透明。
2 : 实现任务发布和处理解耦合。发布者不用管处理的组件是谁，同样处理者也不用管发布者是谁。多发布者/多消费者模型可以天然契合。
3 : 能缓冲系统中某些部件的压力，创建任务和处理任务的速率可以不一致。
Redqueue就是一个这样的组件，redqueue是本人在业余时间搞的一个开源项目， 放在github上，有兴趣的同志们可以用用，充当小白鼠，当然要是在生产环境中使用更好了。
RedQueue参考了github开源项目starling(ruby写的)， twitter曾经使用伊做队列服务，后来改成了用scala写的scaling(kestrol) . Redqueue用python的高性能框架tornado写成。支持memcache协议, 也就是说伪装成一个memcache server，由于许多语言都有了memcache库，也就有了应用redqueue的土壤。
redqueue是可以持久化的，使用日志文件记录所有的操作，当系统重启的时候，可以恢复没有处理的未超时任务重新处理。 这样对于server端的容错性有好处。更进一步的是，redqueue具有客户端容错性，客户通过get命令从队列中得到一个任务，使用delete删除这个任务，如果没有delete而因某种原因退出了，则该任务会被server重新塞入队列等待处理。
安装：
安装redqueue甚为简单，python setup.py install就可以
运行server用redqueue_server.py 命令，其他参数则可以看redqueue_server.py --help
客户端实例

# 初始化客户端
import memcache
mc = memcache.Client(['127.0.0.1:12345'])  # 假设redqueue server守候在localhost的12345端口
# 发布一个项目到key myqueue中, 值为"Hello world"
mc.set("myqueue", "Hello world")
# 消费者从queue server中取出一个任务， 并打印
print mc.get("myqueue")  # 应该是 Hello world
# 删除一个任务，必须做，否则server会认为客户端异常发生了，而重新队列处理该任务
# 什么时候客户端确认该任务已经确保执行了，就可以delete掉。在这之间，任务不会被其他客户端执行。
mc.delete("myqueue")