python分布式锁

lichaoyue888

在进行某些比较耗时的查询时,为了避免进行重复计算,可以采用分布式锁服务,
在同一个时间只有一个操作在进行,同类的操作进行等待重试.
下面的代码(fetch_with_dist_lock)定义了一个fetcher,一个updater.
如果fetcher获取不到数据,则使用updater进行更新.更新成功之后通过fetcher返回结果.
也有一些情况,我们只想更新某个数据,更新者是多个,但是更新操作不是原子的.那么
我们会通过update_with_dist_lock来进行.

def fetch_with_dist_lock(mc_store, mutex_key, fetcher, updater,
lock_time=3*60*1000, sleep_time=100, retry_times=3):
i = 0
while i < retry_times:
i += 1
need_update, results = fetcher()
if need_update:
if(mc_store.add(mutex_key, lock_time)):
try:
updater()
continue
finally:
#release the distribute mutex anyway
mc_store.delete(mutex_key)
else:
time.sleep((sleep_time*1.0)/1000)
continue
return results
#too much tries, but failed still.
return None
def f_wrapper(f, *args, **kwargs):
def _():
return f(*args, **kwargs)
return _
def update_with_dist_lock(mc_store, mutex_key, updater, lock_time=60*1000, sleep_time=100, retry_times=5):
i = 0
while i < retry_times:
i += 1
if (mc_store.add(mutex_key, lock_time)):
try:
updater()
return True
finally:
mc_store.delete(mutex_key)
else:
time.sleep((sleep_time*1.0)/1000)
continue
return False