redis范围查询应用-查找IP所在城市

榕叶

原文地址：http://www.tuicool.com/articles/BrURbqV
需求

根据IP找到对应的城市

原来的解决方案

oracle表（ip_country）：


查询IP对应的城市：

1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994

2. select city from ip_country where ipstartdigital <= 3524648994 and 3524648994 <=ipenddigital

redis解决方案

我们先把上面的表简化一下：

idcityminmax
1P10100
2P2101200
3P3201300
4P4301400
（注意：min/max组成的range之间不能有重叠）

主要思路就是用hmset存储表的每一行，并为每一行建立一个id（作为key）

然后把ip_end按顺序从小到大存储在sorted set当中，score对应该行的id

查询时，利用redis sorted set的范围查询特性，从sorted set中查询到id，再根据id去hmget

实验

//存储表的每一行
127.0.0.1:6379> hmset {ip}:1 city P1 min 0 max 100
OK
127.0.0.1:6379> hmset {ip}:2 city P2 min 101 max 200
OK
127.0.0.1:6379> hmset {ip}:3 city P3 min 201 max 300
OK
127.0.0.1:6379> hmset {ip}:4 city P4 min 301 max 400
OK

//建立sorted set（member-score）
127.0.0.1:6379> zadd {ip}:end.asc 100 1 200 2 300 3 400 4
(integer) 4
127.0.0.1:6379> zrange {ip}:end.asc 0 -1
1) "1"
2) "2"
3) "3"
4) "4"

//查询对应的区间（score）
127.0.0.1:6379> zrangebyscore {ip}:end.asc 90 +inf LIMIT 0 1
1) "1"
127.0.0.1:6379> zrangebyscore {ip}:end.asc 123 +inf LIMIT 0 1
1) "2"
127.0.0.1:6379> zrangebyscore {ip}:end.asc 100 +inf LIMIT 0 1
1) "1"
//解释：
//zrangebyscore {ip}:end.asc 90 +inf LIMIT 0 1
//表示查找大于等于90的第一个值。（+inf在Redis中表示正无穷大）
//该语句返回值score=1，与hmset当中的id对应，因此可以通过hmget查找城市了：

//查找城市
127.0.0.1:6379> hmget {ip}:1 city
1) "P1"
注意在设计redis key时，采用了统一的前缀：{ip}

这是为了使得这些IP相关的数据都落在同一台redis server中（我们的redis以集群形式部署且采取一致性哈希），往后数据迁移什么的会更方便

实操

从数据库中导出的得到的文本是这样的（选取几行为例子）：

ipcountry_tab_orderby_end_asc.txt：

"IPSTART""IPSTARTDIGITAL""IPEND""IPENDDIGITAL""COUNTRY""CITY""TYPE""REGISTRY""ADRESS""PROVINCE"
"1.184.0.0"28835840"1.184.127.255"28868607"中国""广州市""""""""广东省"
"1.184.128.0"28868608"1.184.255.255"28901375"中国""广州市""""""""广东省"
"1.185.0.0"28901376"1.185.95.255"28925951"中国""南宁市""""""""广西省"
1.生成批量的hmset命令及zadd命令

写个小程序来生成：

import java.io.File;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;

import org.apache.commons.io.FileUtils;
import org.apache.commons.lang3.StringUtils;

public class IpCountryRedisImport {
  
  public static void main(String[] args) throws IOException {
    File file = new File("E:/doc/ipcountry_tab_orderby_end_asc.txt");
    File hmsetFile = new File("E:/doc/ip_country_redis_cmd.txt");
    File zaddFile = new File("E:/doc/ip_country_redis_zadd.txt");
   
    List<String> lines = FileUtils.readLines(file);
    int i = 0;
    StringBuilder rows = new StringBuilder();
    StringBuilder ends = new StringBuilder();
    for (String str : lines) {
      if (StringUtils.isEmpty(str)) {
        continue;
      }
      
      //skip first line
      if (i == 0) {
        i++;
        continue;
      }
      
      i++;
      
      //"IPSTART""IPSTARTDIGITAL""IPEND""IPENDDIGITAL""COUNTRY""CITY""TYPE""REGISTRY""ADRESS""PROVINCE"
      //0               1                2         3              4          5       6         7         8            9
      String[] parts = str.split("\t");
      String start = parts[1];
      String end = parts[3];
      String country = parts[4];
      String city = parts[5];
      String type = parts[6];
      String registry = parts[7];
      String address = parts[8];
      String province = parts[9];
      
      //String cmd = "hmset {ip}:" + (i++) + " start " + start + " end " + end + " country " + country + " city " + city + " type " + type + " registry " + registry + " address " + address + " province " + province;
      
      rows.append("*18\r\n");
      
      rows.append(format("hmset"));
      
      rows.append(format("{ip}:" + i));
      
      rows.append(format("start"));
      rows.append(format(start));
      
      rows.append(format("end"));
      rows.append(format(end));
      
      rows.append(format("country"));
      rows.append(format(country));
      
      rows.append(format("city"));
      rows.append(format(city));
      
      rows.append(format("type"));
      rows.append(format(type));
      
      rows.append(format("registry"));
      rows.append(format(registry));
      
      rows.append(format("address"));
      rows.append(format(address));
      
      rows.append(format("province"));
      rows.append(format(province));
      
      
      //zadd {ip}:end.asc 1234 1
      ends.append("*4\r\n");
      ends.append(format("zadd"));
      ends.append(format("{ip}:end.asc"));
      ends.append(format(end));
      ends.append(format("" + i));
      
    }
    FileUtils.writeStringToFile(hmsetFile, rows.toString(), "UTF-8");
    FileUtils.writeStringToFile(zaddFile, ends.toString(), "UTF-8");
    System.out.println(1);
  }
  
  private static String format(String value) throws UnsupportedEncodingException {
    String trimValue = value.replace("\"", "");
    return "$" + trimValue.getBytes("UTF-8").length+ "\r\n" + trimValue + "\r\n";
  }

}
需要注意的是，format方法里面，值的长度不是字符串的长度，而是字符串转化为字节之后的长度

生成hmset结果举例（ip_country_redis_cmd.txt，每一行都是以\r\n结尾）：

*18
$5
hmset
$8
{ip}:645
$5
start
$8
28835840
$3
end
$8
28868607
$7
country
$6
中国
$4
city
$9
广州市
$4
type
$0

$8
registry
$0

$7
address
$0

$8
province
$9
广东省
生成的zadd命令举例（ip_country_redis_zadd.txt）：

*4
$4
zadd
$12
{ip}:end.asc
$8
16777471
$1
2
需要注意的是，txt文件通过SecureCRT上传到linux后，\r\n可能就只剩\n了，可以替换一下：

perl -pi -e 's/\n/\r\n/' ip_country_redis_cmd.txt
perl -pi -e 's/\n/\r\n/' ip_country_redis_zadd.txt
2.导入redis

文件生成完毕后，执行以下命令导入：

cat ip_country_redis_cmd.txt | redis-cli –pipe
cat ip_country_redis_zadd.txt | redis-cli --pipe
40万行的数据，花费时间不到一分钟，redis的mass insertion还是很强大的

在这里要提一下的是，redis文档中关于批量导入的说明可能会有误导：

文档是这样的：

SET Key0 Value0
SET Key1 Value1
...
SET KeyN ValueN
我刚开始以为像上面那样，只要把批量redis命令写在同一个文本文件，然后直接导入就可以了：

cat cmd.txt | redis-cli –pipe

实际上不是的，要符合redis protocol才可以

protocol语法：

*<args><cr><lf>
$<len><cr><lf>
<arg0><cr><lf>
<arg1><cr><lf>
...
<argN><cr><lf>
举例：

*3<cr><lf>
$3<cr><lf>
SET<cr><lf>
$3<cr><lf>
key<cr><lf>
$5<cr><lf>
value<cr><lf>
说明：

*后面的数字表示该条redis命令有多少参数，

例如：

set ab 1234参数个数是3

hmset name google.com 1 baidu.com 2的参数个数是6

接下来就是命令的每一部分（空格分隔），先是长度，后是值：

以“set ab 1234”为例：

set的长度是3，ab的长度是2，1234的长度是4，因此最终内容为：

*3
$3
set
$2
ab
$4
1234
注意每一行都是以<cr><lf>（也就是\r\n）结尾

3.查询

使用spring redis

关键代码：

long min = ip;//转换成数字的IP
      long max = Long.MAX_VALUE;
      long offset = 0;
      long count = 1;
      Set<String> result = redisTemplate.opsForZSet().rangeByScore(zSetName, min, max, offset, count);

final String ipKey = redisIprowPrefix + score;

        String city = redisTemplate.execute(new RedisCallback<String>(){

          @Override
          public String doInRedis(RedisConnection connection)
              throws DataAccessException {
            byte[] key = redisTemplate.getStringSerializer().serialize(  
                          ipKey);  
                  if (connection.exists(key)) {  
                      List<byte[]> value = connection.hMGet(  
                              key,  
                              redisTemplate.getStringSerializer().serialize(  
                                      "city")
                              );  
                      String city = redisTemplate.getStringSerializer()  
                              .deserialize(value.get(0));  
                      return city;
                  }
                  return null;
          }
         
        });
redisTemplate需要配置序列化相关的property：

<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate"
    p:connection-factory-ref="jedisConnFactory">
    <property name="valueSerializer">
      <bean class="org.springframework.data.redis.serializer.StringRedisSerializer" />
    </property>
    <property name="keySerializer">
      <bean class="org.springframework.data.redis.serializer.StringRedisSerializer" />
    </property>
</bean>