基于memcached协议构建自定义协议

gznz12345

　　[文章作者：孙立 链接：http://www.cnblogs.com/sunli/ 更新时间：2010-09-19]   
　　为什么要使用memcached协议构建自定义协议
　　memcached被广泛使用，几乎各种语言都有成熟的客户端client.所以可以利用现有的客户端。
　　memcached是基于文本的协议（现在新版支持二进制），它非常简单并且容易实现。
　　memcached的客户端基本上都支持多机故障转移功能，通过hash可实现简单的负载均衡功能。
　　方便监控，memcached协议的stats命令可以监控很多状态，目前的cacti等开源监控工具已经很多memcached的监控脚本。
　　谁在使用memcached协议构建自定义协议
　　新浪开源的memcacheq队列服务，twitter开放的Starling队列服务的协议构建在memcached协议之上，还有知名的ttserver,memcachedb等兼容的memcached协议。
　　memcached协议的特点
　　memcached协议命令包含
　　读get, gets, stats, version
　　写append, prepend, delete, decr, incr, replace, add, set, cas, flush_all(清空)
　　操作：quit
　　其中，存储的数据和获取的数据均支持flag和expire参数，我们可以利用这些参数和命令的特点来构建自己的协议。
　　如何基于memcached协议构建自定义协议
　　key-value存储（nosql）
　　在memcached协议后端，只需要增加一个持久化存储，就变成了一个key-value存储（nosql数据库），比如memcachedb,ttserver等。我开发的netbdb（公司内部使用，目前未开源，用于替换ttserver的不稳定性）也是如此。
　　队列存储
　　只要在memcached协议的add和set操作执行入队操作即可，对key可以忽略，也可以实现一些其他功能，比如实现多队列的话，可以用来做队列名。
　　密码安全验证
　　基于memcached协议的产品目前市面上都没有用户名密码验证功能，我最近开发的icqueue队列服务，在此基础上增加了密码验证功能，用以提高数据的安全性。密码的验证可以用过key的格式来实现。比如队列存储，key可以定义为queuename_password_otherwords,只要验证由"_"隔开的第一个和第二个字符串即可。
　　由于增加了密码验证，flush_all没有参数，可以利用get flush|queuename|password|otherwords变通方式模式实现。
　　服务接口
　　        可用替代基于http的webservice,rest协议，优点：
　　        1.由于基于memcached协议的客户端都支持长连接和连接池功能，将会在性能上得到极大的提高。（icqueue长连接能达到20万qps,而基于http的nginx只能到几万qps）。
　　2.支持故障转移
　　3.原生的大量客户端支持
　　所以我们可以用memcached协议来实现应用和数据库的隔离，通过memcached协议来实现一个中间层，实现自动的高可用，故障转移，以及实现分库分表的透明性。
　　命令扩展
　　如果发现现有的命令不能满足，可通过memcached支持stats command的协议实现。所以也可以使用stats命令来实现一些其他功能。比如数据遍历功能，扩展的操作命令等。
　　总结
　　memcached的二进制协议支持更长的key，所以如果使用二进制协议，可以更加方便做更多的事情。目前有些客户端还不支持二进制协议，所以我们先用文本协议。