使用spy memcached导入大量数据到memcache server中,避免Out Of Memory错误。

漂亮蓝影

MemcachedClient的set方法其实是异步的。 并不是当set执行完时， 数据就已经存在server上了。所以set的返回值是Future<Boolean>， 你可以通过这个值来判定是否已经保存到server上了。可以通过以下的代码来确认值已经保存到server了。
Future<boolean> b = client.set("testkey",3600,"value");
boolean done = false;
do{
Thread.sleep(200);
done = b.get().booleanValue();
}while(!done);
System.out.println("value has been saved.");

MemcachedClient在本地存在一个队列，这个队列存放着需要set的任务。如果你需要一次调用非常多次的set方法的话， 这时候就会发生out of memory的error。解决办法就是调用waitForQueues方法。 如下：
    public void testPutBatchContent(){
long start = System.currentTimeMillis();
for (int i = 0; i < 100000; i++) {
client.set("testkey" + i, 0, content);
if (i % 10000 == 0) {
System.out.println("finished. " + i);
boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
System.out.println("finished. " + b);
}
}
boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
System.out.println("Costs " + (System.currentTimeMillis() - start) + " ms.");
}

waitForQueues方法会等待队列完全被消费掉。 有个参数可以设置timeout时间。 我这里是300秒。总共要set10万次， 每10000次就让队列消费掉。这样就不会发生out of memory的问题了。