redis pipe大数据量导入

yanghongjun

　　由于做性能测试，需要往redis中导出千万级的数据。得知redis-cli工具支持pipeline导入可以达到最佳性能。由于刚接触redis以及对文档的格式不是很了解，走了很多的弯路。
　　从官方文档(http://redis.io/topics/mass-insert)我们可以得知数据格式。

*3\r\n            命令起始，定义共3个输入参数
$3\r\n            下一个参数字节长度
SET\r\n           命令参数
$3\r\n             下一个参数字节长度
key\r\n           变量参数
$5\r\n            下一个参数字节长度
value\r\n        值参数
注意：此处的\r\n为换行符，不是输入的字符。在这里我耗了很长的时间。。。。英文不好没办法。
　　用记事本打开后，数据格式如下图所示：

　　这里我用JAVA代码，供大家参考：

/**
* 格式化成输入字符串
* @param args
* @return
*/
private String getString(String... args){
StringBuilder sb = new StringBuilder();
sb.append("*").append(args.length).append("\r\n");
for(String arg : args){
sb.append("$").append(arg.length()).append("\r\n");
sb.append(arg).append("\r\n");
}
return sb.toString();
}
public void initFile2(){
String file= "G:\\2.txt";
BufferedWriter w = null;
StringBuilder sb = new StringBuilder();
try {
w = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file), "utf-8"));
for(int i=10000000 ;i <= 10100000;i++){
if(i/30000 == 0){
w.flush();
}
sb.setLength(0);
sb.append(this.getString("hmset","usr"+i,"userid","usr"+i,"username","usrname"+i));
w.append(sb.toString());
}
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} finally{
try {
w.flush();
w.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
　　最后，将生成的文本使用     cat 2.txt  | redis-cli --pipe ，导入的效率十分之高。本人在本本的虚拟机上，导入500万条个hashmap（7个KEY），花费43秒时间。