.NET JAVA PHP中写入数据及读取memcache数据不一致问题
如题,公司现在有asp网站,有java工程,未来需要逐步把asp网站改成php网站,公司缓存使用memcache及redis,目前asp是通过调用.NET开发的com+组件读取写入数据到memcache中,原来没发现什么问题,最近手里有个工程用java做的,发现java和.NET组件对memcach操作后,数据得到的不一致甚至得不到数据。.NET组件使用的开源代码,我选择的版本是:beitmemcached,项目地址:http://code.google.com/p/beitmemcached/
java使用的是java_memcached-release_2.5.2.jar
php使用的是http://pecl.php.net/package/memcached
通过telnet memcache服务及memcache协议发现flag不一致,进一步分析源码,得到以下不同:
.NET
internal enum SerializedType : ushort
{
ByteArray = 0,
Object = 1,
String = 2,
Datetime = 3,
Bool = 4,
//SByte = 5, //Makes no sense.
Byte = 6,
Short = 7,
UShort = 8,
Int = 9,
UInt = 10,
Long = 11,
ULong = 12,
Float = 13,
Double = 14,
CompressedByteArray = 255,
CompressedObject = 256,
CompressedString = 257,
}
JAVA:
public static final int MARKER_BYTE = 1;
public static final int MARKER_BOOLEAN = 8192;
public static final int MARKER_INTEGER = 4;
public static final int MARKER_LONG = 16384;
public static final int MARKER_CHARACTER = 16;
public static final int MARKER_STRING = 32;
public static final int MARKER_STRINGBUFFER = 64;
public static final int MARKER_FLOAT = 128;
public static final int MARKER_SHORT = 256;
public static final int MARKER_DOUBLE = 512;
public static final int MARKER_DATE = 1024;
public static final int MARKER_STRINGBUILDER = 2048;
public static final int MARKER_BYTEARR = 4096;
public static final int F_COMPRESSED = 2;
public static final int F_SERIALIZED = 8;
修改了.NET中部分flag定义,考虑到每种语言的不同性,所以只保证简单的字符串能够在各语言中通用,把 String = 2,改为 String = 32,
这样也能保证php中没问题。php在$mem->set(key,value,32expire);这个32是必须的(表示字符串)。对象的话可以转为json再存到memcache中去,(这是使用pecl中memcache这个客户端的情况)
另外关于hash算法的,考虑到通用,使用crc32来做hash算法,需要修改ServerPool中
internal ServerPool(string[] hosts) {
List<SocketPool> pools = new List<SocketPool>();
foreach(string host in hosts) {
SocketPool pool = new SocketPool(this, host.Trim());
pools.Add(pool);
}
hostList = pools.ToArray();
}
internal SocketPool GetSocketPool(uint hash) {
if (hostList.Length == 1) {
return hostList;
}
return hostList;
}
及MemcachedClient中hash方法的代码为使用crc32
写到这问题并没有完全解决,当使用http://pecl.php.net/package/memcache做php客户端的情况,这个客户端不支持选择自己需要的hash算法,并且此客户端已经很久没有更新了。
首推使用http://pecl.php.net/package/memcached做php客户端,问题还没完,进过测试发现这样的情况:
java写入,php、.net均可正常读取
.net写入,php、java均可正常读取
php写入,java无法正常读取,.net可正常读取,
分析源代码发现,这个php客户端写入数据的时候,flag总设置为0,没有设置成我们需要的,为了保证三大语言均能正常读取写入,我们可以更改源代码php_memcached.c中的static void php_memc_store_impl(INTERNAL_FUNCTION_PARAMETERS, int op, zend_bool by_key)方法,在switch(op)增加一行代码 flags = 32;这样设置后,phpize、./configure、make、make install。
这样设置有个前提,所有存入memcache中的对象均需序列号,数据读取出来后再反序列化即可,当然,其它简单数据类型也需要转换成字符串才能存入到memcache中去。
页:
[1]