放弃redis使用mongodb做任务队列支持增删改管理

zhouying23

　　使用mongodb做任务队列管理支持增删改 ，我是喜欢用redis的list做队列的，但是这边经常堆积任务，需要查看并删除清空队列，有可能会根据一些content的字段来进行删除，有可能是会针对发件人，或者是时间段来删除。  这样redis真的不太适合了，因为redis的队列只能是一个值，当时咱们也可以只是存一个任务id，然后放到redis hash来做，处理的时候，无逻辑，但是查询修改的时候，会发信，逻辑有些复杂，算了，直接用mongodb做吧。   其实选择mongodb做队列的原因很简单，性能可以，在这种场景下查询起来不比mysql差。
import pymongo　　
import time
　　
connection=pymongo.Connection('localhost',27017)
　　
#库
　　
db = connection.test
　　
#表
　　
posts=db.test
　　
ltime=time.time()
　　
posts.insert({'good':1,'jid':ltime})
　　
posts.find({'jid':ltime})
　　后端的进程，一直取数据。
posts.find({'jid':ltime}).sort('ltime',pymongo.DESCENDING)　　取到任务后，扔给后面的进程来出来。
posts.remove({'jid':ltime})　　当然仅此这样肯定是不行的，在任务并发的时候，你还来不及删除的时候，这个任务已经又被别人搞去了 。  这个时候怎么办？  怎么解决控制原子问题。
　　第一个方法是文件锁的方式，findAndModify  这个函数，查询的时候，删除可以remove或者是update
　　第二个方法是mq派发的模式，拿出一个后端进程专门取数据，然后派发给别的线程。就这么简单。
　　下面是我用mongo做队列的效果，仅供参考。。。。