鸬鹚洲 发表于 2018-8-5 06:08:01

python操作memcache

  Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值的hash map。其守护进程(daemon)是用C语言写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
  安装
  cd /usr/local/src
  wget http://memcached.org/latest
  tar -zxvf memcached-1.x.x.tar.gz
  cd memcached-1.x.x
  ./configure && make && make test && make install
  启动
  memcached -d -m 10 -u root -l 127.0.0.1 -p 12000 -c 256 -P /export/servers/memcache/logs/memcache.pid
  -p 指定端口号(默认11211)
  -m 指定最大使用内存大小(默认64MB)
  -t 线程数(默认4)
  -l 连接的IP地址, 默认是本机
  -d 以后台守护进程的方式启动
  -c 最大同时连接数,默认是1024
  -P 制定memecache的pid文件
  -h打印帮助信息
  ps -ef检查memcache是否启动,检查端口号
  Python操作memcache集群
  python-memcachd模块原生支持集群操作,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比。
  主机    权重
  1.1.1.1   1
  1.1.1.2   2
  1.1.1.3   1
  那么在内存中主机列表为:host_list=['1.1.1.1','1.1.1.2','1.1.1.2','1.1.1.3',]
  例子:
  mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
  mc.set('k1', 'v1')
  如果用户要在内存中创建一个键值对(如:k1 = “v1”),那么要执行以下步骤:
  根据算法将k1转换成一个数字;
  将数字和主机列表长度求余数,得到一个值N(0 <= N < 列表长度);
  在主机列表中根据第2步得到的值为索引获取主机,例如:host_list;
  连接将第3步中获取的主机,将k1 = 'v1'放置在该服务器的内存中。
  上面例子我们通过调用memcache模块来实现对memcached进行存取数据,debug=True表示运行中出现错误时,显示错误信息,上线后移除该参数。
  常用操作
  add方法
  添加一条键值对,如果已经存在的key,重复执行add操作会报异常。
  例子:
  import memcache
  mc = memcache.Client(['192.168.1.1:11211'], debug=True)
  #mc.set(&quot;foo&quot;, &quot;bar&quot;)
  #ret = mc.get(&quot;foo&quot;)
  mc.add('k1','v1')
  mc.add('k1','v1')
  #print(ret)
  replace方法
  replace修改某个key的值,如果key不存在,则异常。
  例子:
  import memcache
  mc = memcache.Client(['192.168.1.1:11211'], debug=True)
  #mc.set(&quot;foo&quot;, &quot;bar&quot;)
  #ret = mc.get(&quot;foo&quot;)
  mc.add('k1','v1')
  #mc.add('k1','v1')
  #print(ret)
  mc.replace(&quot;k1&quot;, &quot;666&quot;)
  print(mc.get(&quot;k1&quot;))
  输出:
  666
  set和set_multi方法
  set:设置一个键值对,如果key不存在,则创建,如果key存在,则修改;
  set_multi:设置多个键值对,如果key不存在,则创建,如果key存在,则修改。
  例子:
  import memcache
  mc = memcache.Client(['192.168.1.1:11211'], debug=True)
  mc.set(&quot;k10&quot;, &quot;v10&quot;)
  mc.set_multi({&quot;k11&quot;: &quot;v11&quot;, &quot;k12&quot;: &quot;v12&quot;})
  set方法和add方法的区别
  set = add + replace
  add 方法:add方法用于向memcache服务器添加一个要缓存的数据。如果memcache服务器中已经存在要存储的key,此时add方法调用失败。
  set 方法:set方法用于设置一个指定key的缓存内容,set方法是add方法和replace方法的集合体。如果要设置的key不存在时,则set方法与add方法的效果一致;如果要设置的key已经存在时,则set方法与replace方法效果一样。
  replace方法: replace方法用于替换一个指定key的缓存内容,如果key不存在则返回false
  delete和delete_multi方法
  delete:在Memcached中删除指定的一个键值对;
  delete_multi:在Memcached中删除指定的多个键值对。
  例子:
  import memcache
  mc = memcache.Client(['192.168.1.1:11211'], debug=True)
  #mc.set(&quot;k10&quot;, &quot;v10&quot;)
  #mc.set_multi({&quot;k11&quot;: &quot;v11&quot;, &quot;k12&quot;: &quot;v12&quot;})
  mc.delete(&quot;k10&quot;)
  mc.delete_multi([&quot;k11&quot;, &quot;k12&quot;])
  get和get_multi方法
  get : 获取一个键值对;
  get_multi:获取多个键值对。
  例子:
  import memcache
  mc = memcache.Client(['192.168.48.128:11211'], debug=True)
  mc.set(&quot;k10&quot;, &quot;v10&quot;)
  mc.set_multi({&quot;k11&quot;: &quot;v11&quot;, &quot;k12&quot;: &quot;v12&quot;})
  #mc.delete(&quot;k10&quot;)
  #mc.delete_multi([&quot;k11&quot;, &quot;k12&quot;])
  val = mc.get('k1')
  print(val)
  item_dict = mc.get_multi(['k11', 'k12'])
  print(item_dict)
  append和prepend方法
  append:修改指定key的值,在该值后面追加内容;
  prepend:修改指定key的值,在该值前面插入内容。
  例子:
  import memcache
  mc = memcache.Client(['192.168.10.128:12000'], debug=True)
  mc.append('k1','after')
  val1 = mc.get('k1')
  print(val1)
  mc.prepend('k1','brefore')
  val2 = mc.get('k1')
  print(val2)
  输出:
  v1afterafter
  breforev1afterafter
  incr:自增,将Memcached中的某一个值增加N(N默认为1);
  decr:自减,将Memcached中的某一个值减少N(N默认为1)。
  例子:
  import memcache
  mc = memcache.Client(['192.168.10.128:12000'], debug=True)
  #默认自增1,第二个参数为增加的n
  mc.set('k1','777')
  #mc.incr('k1')
  mc.incr('k1',10)
  val1 = mc.get('k1')
  print(val1)
  mc.decr('k1',20)
  val2 = mc.get('k1')
  print(val2)
  输出:
  787#自增后的结果
  767#自减后的结果
  gets和cas:
  如商城商品剩余个数,假设改值保存在memcache中,product_count =9000
  A用户刷新页面从memcache中读取到product_count = 900
  B用户刷新页面从memcache中读取到product_count = 900
  如果A、B用户均购买商品:
  A用户修改商品剩余个数 product_count = 899
  B用户修改商品剩余个数product_count = 899
  如此一来缓存内的数据便不再正确,两个用户购买商品后,商品剩余还是899,如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况,数据不准确。
  如果想要避免此情况的发生,只要使用gets和cas即可
  例子:
  import memcache
  mc = memcache.Client(['192.168.10.128:12000'], debug=True)
  v = mc.gets('product_count')
  print(v)
  #如果有人在gets之后和cas之前修改了product_count,那么下面的设置将会执行失败,抛出异常,从而避免非正常数据的产出
  v1 = mc.cas('product_count',&quot;899&quot;)
  print(v1)
  输出:
  899
  True
  本质上每次执行gets时,会从memcache中获取一个自增的数字,通过cas去修改gets的值时,会携带之前获取的自增值和memcache中的自增值进行比较,如果相等,则可以提交,如果不相等,那表示在gets和cas执行之间,又有其他人执行了gets(获取了缓冲的指定值),如此一来有可能出现非正常数据,则不允许修改。
页: [1]
查看完整版本: python操作memcache