在Linux上实现一个可用的stateless双向静态NAT模块

32rwqe

关于Linux上如何配置NAT的资料已经不少，可谓铺天盖地！本文与此无关。本文提供一种iptables之外的方式。
iptables？不！why？因为iptables配置的NAT是stateful的，它的实现依赖一个叫做conntrack的模块，什么是conntrack？Oh，NO！这可是我的专长，但我不想在本文中说它，认识我的人都知道，我扯这个话题我能扯上12个小时...都还扯不完。也许你不知道什么是stateful NAT，但是如果你是一个有心人，或者说是一个技术还算精湛的Linux网络管理员或者爱好者，你肯定在配置NAT的时候遇到过这样那样的问题，比如“在一个连接已经建立的时候再配置NAT为何不能及时生效”，“为什么iptables配置NAT之后数据只能从一个方向主动发往另一个方向”之类的。这就是state在作怪，你知道的，IP是无state的，但是NAT加入了第四层的逻辑之后就有了state，这就是stateful NAT，也就是iptables -t nat ..配置出来的NAT固有的性质，你改变不了。起码我在iptables最新的版本中看到的NAT还是stateful的。有的时候..   
       有的时候，你可能，你必须...
       你必须配置一种stateless的NAT，双向的，静态的。这个问题，唉..
       这个问题折腾了我半年，2013年的前9个月，一个让我欢喜让我忧的三个季度，我的精力几乎全部扑在了一件事上，从寒冬到40+摄氏度的高温，从早上6点半出发去上班到半夜10点多还呆在机房...要不是大前天收拾书架时发现了一张当时还没有报销掉的120元的例行加班打车票，我本来不想写这个模块了。120块不算什么，但借此机会回忆往事，顺便补上残缺的那一部分，算是给自己报销了，而且价值远大于120元。我得承认，那三个季度里并不是stateless NAT显得最为重要，我之所以在一年后的今天把它拿出来，是因为其它的问题都被我当时就overcome了，不管花多久，曾经有过72小时惊魂解决conntrack confirm问题，有过由于混乱急躁和陌生女人一起吃烤肉被老婆诈出真相...但是就这个stateless NAT始终没有解决，没有解决，这是why？
       我做的是一个产品而不是个人试验，我所在的是一个公司的团队而不是干私活儿，所有使用的技术必须经过技术预研，确保可行性，更重要的是，要保证所有人处在一样的节奏，也许是并行，大的旋律却始终是个一，这是在玩卡农啊。我不能加入一些个人色彩，比如个人的突发奇想(日后我坦白，这一点我做的不好！)，如果非要加入，那么必须有下面这么一个过程：
把领导，团队所有人拉进来开会，培训，确保任何研发人员和技术负责人都对使用的技术了如指掌不留死角。
但是哪有这个时间？！人性是脆弱的，不管人生多么坚强。任何人都可能突然哪天挂了，由于不可抗原因去别的城市或者国家了，和根本不熟识的同事由于接开水打了一架离职了...如果你做的东西也因此而离去了，对于一个公司而言，说明你根本没来过。......有点扯远了。
       所以，即便当时我已经可以实现stateless NAT(当时我采用了路由target的方式，也许我之前的blog有写过)，我也不能拿来用，我只能找机会，找一个闲暇的午后，一个没有紧急任务的下午，让所有与此相关的人都了解了这个技术，然后用与不用就是一个需求问题了，最好的办法除了代码还是代码，对于程序员而言，说1G个字符都是瞎掰，没有能跑起来的代码都是扯淡，就算代码狠烂也无所谓，正因为如此现实主义的性格，我喜欢这个职业，不发狠话，不长篇阔论，不打架，不煽动，只要代码能跑起来，仅此而已。
       对了，stateless NAT在Linux 2.4已经有好的实现了，就是使用tc/policy routing来完成，但是2.6内核下已经很难做到了。作者基于解耦合的考虑将这个模块留给了真正想实现它的人，也许我算一个。我之所以做如此多别人看来没有意义的事，因为我想表达一个理念，那就是“开发运维”和“运维开发”的理念，这类人一定是将来最炙手可热的人。当我面对无数次Cisco认证工程师的责难后，我的第一个想法不是骂他们或打他们(没人家词汇丰富且[注意：此处不能用‘或’，要用‘且’]打不过人家就尴尬了，即便这些都不是问题，不还有法律的吗...)，我的第一个想法就是，在Linux上能不能实现相同的功能，目的不是爆他们的菊花，而是让他觉得我可以爆他。幸运的是，我都做到了，每当此刻，我回到家里都会写几个模块然而测试，就像公司的技术预研一样。然后就呈现给朋友们，有兴趣的都可以去测试，这种事没钱赚，也得不到肯定，没用到git，也不是神马GPL开源，就是特殊的朋友圈分享，我十分讨厌分类，我十分喜欢随便。然后，然后，正如小小的话，我编码，写了一堆烂代码，Linux上基于Netfilter实现的一个双向，静态的，无状态的NAT，代码不复杂，只有几百行，但是....
        但是，问题有二：
1.这个模块初级，但是可用，这是我自我肯定的一面；
2.这个模块有大量可疑改进的空间，我自我否定。

代码如下：

/*  * * 用法： * 对目标地址为1.2.1.2的数据包做目标地址转换，目标转为192.168.1.8 * echo +1.2.1.2 192.168.1.8 dst >/proc/net/static_nat * 上述命令会同时添加一条反向的SNAT映射 * * 请解释： * echo +192.168.184.250 192.168.184.154 src >/proc/net/static_nat * */#include <linux/module.h>#include <linux/skbuff.h>#include <net/ip.h>#include <net/netfilter/nf_conntrack.h>#define DIRMASK        0x11#define BUCKETS        1024#define NAT_OPT_DEL                        0x01#define NAT_OPT_FIND                0x04#define NAT_OPT_ACCT_BIT        0x02enum nat_dir {        DIR_SNAT,        DIR_DNAT,        DIR_NUM};/* * 记录统计信息 */struct nat_account {        u32 nat_packets;        u32 nat_bytes;};struct static_nat_entry {        __be32 addr[DIR_NUM];        enum nat_dir type;        struct nat_account acct[DIR_NUM];        struct hlist_node node[DIR_NUM];};static DEFINE_SPINLOCK(nat_lock);/* 保存SNAT映射 */struct hlist_head *src_list;/* 保存DNAT映射 */struct hlist_head *dst_list;/* * 用一个IP地址(对于PREROUTING是daddr，对于POSTROUTING是saddr)作为key来获取value。 */static __be32 get_address_from_map(struct sk_buff *skb, unsigned int dir, __be32 addr_key, unsigned int opt){        __be32 ret = 0, cmp_key, ret_value;        u32 hash;        struct hlist_head *list;        struct hlist_node *iter, *tmp;        struct static_nat_entry *ent;        hash = jhash_1word(addr_key, 1);        hash = hash%BUCKETS;        spin_lock(&nat_lock);        if (dir == DIR_DNAT) {                list = &dst_list[hash];        } else if (dir == DIR_SNAT) {                list = &src_list[hash];        } else {                spin_unlock(&nat_lock);                goto out;        }        hlist_for_each_safe(iter, tmp, list) {                ent = hlist_entry(iter, struct static_nat_entry, node[dir]);                /* 注意反转 */                cmp_key = (ent->type == dir) ?                                                        ent->addr[0]:ent->addr[1];                ret_value = (ent->type == dir) ?                                                        ent->addr[1]:ent->addr[0];                if (addr_key == cmp_key) {                        ret = ret_value;                        if (opt == NAT_OPT_DEL) {                                if (dir == ent->type) {                                        hlist_del(&ent->node[0]);                                        hlist_del(&ent->node[1]);                                        kfree(ent);                                } else {                                        ret = 0;                                }                        }                        if (opt & NAT_OPT_ACCT_BIT) {                                ent->acct[dir].nat_packets ++;                                ent->acct[dir].nat_bytes += skb == NULL?1:skb->len;                        }                        break;                }         }        spin_unlock(&nat_lock);out:        return ret;}/* * 更新第四层的校验码信息 */static void nat4_update_l4(struct sk_buff *skb, __be32 oldip, __be32 newip){        struct iphdr *iph = ip_hdr(skb);        void *transport_hdr = (void *)iph + ip_hdrlen(skb);        struct tcphdr *tcph;        struct udphdr *udph;        bool cond;        switch (iph->protocol) {        case IPPROTO_TCP:                tcph = transport_hdr;                inet_proto_csum_replace4(&tcph->check, skb, oldip, newip, true);                break;        case IPPROTO_UDP:        case IPPROTO_UDPLITE:                udph = transport_hdr;                cond = udph->check != 0;                cond |= skb->ip_summed == CHECKSUM_PARTIAL;                if (cond) {                        inet_proto_csum_replace4(&udph->check, skb, oldip, newip, true);                        if (udph->check == 0) {                                udph->check = CSUM_MANGLED_0;                        }                }                break;        }}/* * 在POSTROUTING上执行源地址转换： * 1.正向源地址转换； * 2.目标地址转换的逆向源地址转换 */static unsigned int ipv4_nat_out(unsigned int hooknum,                                 struct sk_buff *skb,                                 const struct net_device *in,                                 const struct net_device *out,                                 int (*okfn)(struct sk_buff *)){        unsigned int ret = NF_ACCEPT;        __be32 to_trans = 0;        struct iphdr *hdr = ip_hdr(skb);                to_trans = get_address_from_map(skb, DIR_SNAT, hdr->saddr, NAT_OPT_FIND|NAT_OPT_ACCT_BIT);        if (!to_trans) {                goto out;        }        if (hdr->saddr == to_trans) {                goto out;        }        /* 执行SNAT */                csum_replace4(&hdr->check, hdr->saddr, to_trans);        nat4_update_l4(skb, hdr->saddr, to_trans);        hdr->saddr = to_trans;out:         return ret;}/* * 在PREROUTING上执行目标地址转换： * 1.正向目标地址转换； * 2.源地址转换的逆向目标地址转换 */static unsigned int ipv4_nat_in(unsigned int hooknum,                                      struct sk_buff *skb,                                      const struct net_device *in,                                      const struct net_device *out,                                      int (*okfn)(struct sk_buff *)){        unsigned int ret = NF_ACCEPT;        __be32 to_trans = 0;        struct iphdr *hdr = ip_hdr(skb);        if (skb->nfct && skb->nfct != &nf_conntrack_untracked.ct_general) {                goto out;        }                to_trans = get_address_from_map(skb, DIR_DNAT, hdr->daddr, NAT_OPT_FIND|NAT_OPT_ACCT_BIT);        if (!to_trans) {                goto out;        }        if (hdr->daddr == to_trans) {                goto out;        }                /* 执行DNAT */        csum_replace4(&hdr->check, hdr->daddr, to_trans);        nat4_update_l4(skb, hdr->daddr, to_trans);        hdr->daddr = to_trans;                /*         *  设置一个notrack 防止其被track以及nat.         *  这是绝对合适的，因为既然是static的stateless NAT         *  我们就不希望它被状态左右         **/        /*         * 其实，并不是主要避开基于conntrack的NAT就可以了，因为         * conntrack本身就不容你对两个方向的tuple进行随意修改         */        if (!skb->nfct) {                skb->nfct = &nf_conntrack_untracked.ct_general;                skb->nfctinfo = IP_CT_NEW;                nf_conntrack_get(skb->nfct);        }out:        return ret;}static struct nf_hook_ops ipv4_nat_ops[] __read_mostly = {        {                .hook                = ipv4_nat_in,                .owner                = THIS_MODULE,                .pf                = NFPROTO_IPV4,                .hooknum        = NF_INET_PRE_ROUTING,                .priority        = NF_IP_PRI_CONNTRACK-1,        },        {                .hook                = ipv4_nat_out,                .owner                = THIS_MODULE,                .pf                = NFPROTO_IPV4,                .hooknum        = NF_INET_POST_ROUTING,                .priority        = NF_IP_PRI_CONNTRACK+1,        },};static char *parse_addr(const char *input, __be32 *from, __be32 *to){        char *p1, *p2;        size_t length = strlen(input);                if (!(p1 = memchr(input, ' ', length))) {                return NULL;        }        if (!(p2 = memchr(p1 + 1, ' ', length - (p1 + 1 - input)))) {                return NULL;        }        if (!(in4_pton(input, p1 - input, (u8 *)from, ' ', NULL))                        || !(in4_pton(p1 + 1, p2 - p1 - 1, (u8 *)to, ' ', NULL))) {                return NULL;        }        return ++p2;}static ssize_t static_nat_config_write(struct file *file, const char *buffer, size_t count, loff_t *unused){        int ret = 0;        size_t length = count;        __be32 from, to;        u32 normal, reverse;        char *buf = NULL;        char *p;        struct static_nat_entry *ent;        if (length) {                char *pp = (char *)(buffer + (length - 1));                 for (; (*pp < (char)32) || (*pp > (char)126); pp--) {                        if (length <= 0) {                                ret = -EINVAL;                                goto out;                        }                        length--;                }        } else {                goto out;        }        buf = kzalloc((length + 1), GFP_ATOMIC);        if (!buf) {                ret = -ENOMEM;                goto out;        }        memcpy(buf, buffer, length);        if (!(p = parse_addr(buf + 1, &from, &to))) {                ret = -EINVAL;                goto out;        }        if ('+' == *buf) {                ent = (struct static_nat_entry *)kzalloc(sizeof(struct static_nat_entry), GFP_KERNEL);                if (!ent) {                        ret = -EFAULT;                        goto out;                }                /* 计算原始项的hash桶位置 */                normal = jhash_1word(from, 1);                normal = normal%BUCKETS;                /* 计算反转位置的hash桶位置 */                reverse = jhash_1word(to, 1);                reverse = reverse%BUCKETS;                /*                 *  设置key/value对                 *  注意，反转类型的hnode其key/value也要反转                 */                ent->addr[0] = from;                ent->addr[1] = to;                /* 初始化链表节点 */                INIT_HLIST_NODE(&ent->node[DIR_SNAT]);                INIT_HLIST_NODE(&ent->node[DIR_DNAT]);                if (strstr(p, "src")) { /* 添加SNAT项，自动生成DNAT项 */                        /* 首先判断是否已经存在了 */                        if (get_address_from_map(NULL, DIR_SNAT, from, NAT_OPT_FIND) ||                                        get_address_from_map(NULL, DIR_SNAT, to, NAT_OPT_FIND)) {                                ret = -EEXIST;                                kfree(ent);                                goto out;                        }                        /* 这是这个entry的type，用来区分生成的两条配置项 */                        ent->type = DIR_SNAT;                        /* 落实到链表 */                        spin_lock(&nat_lock);                        hlist_add_head(&ent->node[DIR_SNAT], &src_list[normal]);                        hlist_add_head(&ent->node[DIR_DNAT], &dst_list[reverse]);                        spin_unlock(&nat_lock);                } else if(strstr(p, "dst")) { /* 添加DNAT项，自动生成SNAT项 */                        /* 首先判断是否已经存在了 */                        if (get_address_from_map(NULL, DIR_DNAT, from, NAT_OPT_FIND) ||                                        get_address_from_map(NULL, DIR_DNAT, to, NAT_OPT_FIND)){                                ret = -EEXIST;                                kfree(ent);                                goto out;                        }                        /* 这是这个entry的type，用来区分生成的两条配置项 */                        ent->type = DIR_DNAT;                        /* 落实到链表 */                        spin_lock(&nat_lock);                        hlist_add_head(&ent->node[DIR_DNAT], &dst_list[normal]);                        hlist_add_head(&ent->node[DIR_SNAT], &src_list[reverse]);                        spin_unlock(&nat_lock);                } else {                        ret = -EFAULT;                        kfree(ent);                        goto out;                }        } else if ('-' ==*buf) {                u32 r1;                if (strstr(p, "src")) {                        r1 = get_address_from_map(NULL, DIR_SNAT, from, NAT_OPT_DEL);                        if (r1 == 0) {                                ret = -ENOENT;                                goto out;                        }                } else if(strstr(p, "dst")) {                        r1 = get_address_from_map(NULL, DIR_DNAT, from, NAT_OPT_DEL);                        if (r1 == 0) {                                ret = -ENOENT;                                goto out;                        }                } else {                }        } else {                ret = -EINVAL;                goto out;        }                ret = count;out:        kfree(buf);        return ret;}static ssize_t static_nat_config_read(struct file *file, char __user *buf, size_t count, loff_t *ppos){        int len = 0;        static int done = 0;        int i;        char from[15], to[15];        char *kbuf_to_avoid_user_space_memory_page_fault = NULL;/* 每一行的最大长度 */#define MAX_LINE_CHARS        128        if (done) {                done = 0;                goto out;        }                /*         * 分配一块内核内存，为了避免直接操作用户内存而引发页面调度，         * 页面调度会导致睡眠切换，而我们操作的内容处在自旋锁的保护         * 下，所以不能切换！         */        /*         * 问题：         * 我这里仅仅分配count大小的内存，是因为这个版本不支持多次读，         * 只能一次读完。也许我应该学学seq read的方法。         */        kbuf_to_avoid_user_space_memory_page_fault = kzalloc(count, GFP_KERNEL);        if (!kbuf_to_avoid_user_space_memory_page_fault) {                len = -ENOMEM;                done = 1;                goto out;        }                spin_lock(&nat_lock);        len += sprintf(kbuf_to_avoid_user_space_memory_page_fault + len, "Source trans table:\n");        if (len + MAX_LINE_CHARS > count) {                goto copy_now;        }        for (i = 0; i < BUCKETS; i++) {                struct hlist_node *iter, *tmp;                struct static_nat_entry *ent;                hlist_for_each_safe(iter, tmp, &src_list) {                        ent = hlist_entry(iter, struct static_nat_entry, node[DIR_SNAT]);                        sprintf(from, "%pI4", (ent->type == DIR_SNAT)? &ent->addr[0]:&ent->addr[1]);                        sprintf(to, "%pI4", (ent->type == DIR_SNAT)? &ent->addr[1]:&ent->addr[0]);                        len += sprintf(kbuf_to_avoid_user_space_memory_page_fault + len, "From:%-15s To:%-15s    [%s]  [Bytes:%u  Packet:%u]\n",                                                 from,                                                 to,                                                 (ent->type == DIR_SNAT)?"STATIC":"AUTO",                                                ent->acct[DIR_SNAT].nat_bytes,                                                ent->acct[DIR_SNAT].nat_packets);                        if (len + MAX_LINE_CHARS > count) {                                goto copy_now;                        }                }         }        len += sprintf(kbuf_to_avoid_user_space_memory_page_fault + len, "\nDestination trans table:\n");        if (len + MAX_LINE_CHARS > count) {                goto copy_now;        }        for (i = 0; i < BUCKETS; i++) {                struct hlist_node *iter, *tmp;                struct static_nat_entry *ent;                hlist_for_each_safe(iter, tmp, &dst_list) {                        ent = hlist_entry(iter, struct static_nat_entry, node[DIR_DNAT]);                        sprintf(from, "%pI4", (ent->type == DIR_DNAT)? &ent->addr[0]:&ent->addr[1]);                        sprintf(to, "%pI4", (ent->type == DIR_DNAT)? &ent->addr[1]:&ent->addr[0]);                        len += sprintf(kbuf_to_avoid_user_space_memory_page_fault + len, "From:%-15s To:%-15s    [%s]  [Bytes:%u  Packet:%u]\n",                                                 from,                                                 to,                                                 (ent->type == DIR_DNAT)?"STATIC":"AUTO",                                                ent->acct[DIR_DNAT].nat_bytes,                                                ent->acct[DIR_DNAT].nat_packets);                        if (len + MAX_LINE_CHARS > count) {                                goto copy_now;                        }                }         }copy_now:        spin_unlock(&nat_lock);        done = 1;        /* 这里已经解除自旋锁 */        if (copy_to_user(buf, kbuf_to_avoid_user_space_memory_page_fault, len))  {                len = EFAULT;                goto out;        }        out:        if (kbuf_to_avoid_user_space_memory_page_fault) {                kfree(kbuf_to_avoid_user_space_memory_page_fault);        }        return len;}static const struct file_operations static_nat_file_ops = {        .owner                = THIS_MODULE,        .read                = static_nat_config_read,        .write                = static_nat_config_write,};static int __init nf_static_nat_init(void){        int ret = 0;        int i;        src_list = kzalloc(sizeof(struct hlist_head) * BUCKETS, GFP_KERNEL);        if (!src_list) {                ret = -ENOMEM;                goto out;        }        dst_list = kzalloc(sizeof(struct hlist_head) * BUCKETS, GFP_KERNEL);        if (!dst_list) {                ret = -ENOMEM;                goto out;        }        ret = nf_register_hooks(ipv4_nat_ops, ARRAY_SIZE(ipv4_nat_ops));        if (ret < 0) {                printk("nf_nat_ipv4: can't register hooks.\n");                goto out;        }        if (!proc_create("static_nat", 0644, init_net.proc_net, &static_nat_file_ops)) {        ret = -ENOMEM;                goto out;        }        for (i = 0; i < BUCKETS; i++) {                INIT_HLIST_HEAD(&src_list);                INIT_HLIST_HEAD(&dst_list);        }        return ret;out:        if (src_list) {                kfree(src_list);        }         if (dst_list) {                kfree(dst_list);        }         return ret;}static void __exit nf_static_nat_fini(void){        int i;        remove_proc_entry("static_nat", init_net.proc_net);        nf_unregister_hooks(ipv4_nat_ops, ARRAY_SIZE(ipv4_nat_ops));        spin_lock(&nat_lock);        for (i = 0; i < BUCKETS; i++) {                struct hlist_node *iter, *tmp;                struct static_nat_entry *ent;                hlist_for_each_safe(iter, tmp, &src_list) {                        ent = hlist_entry(iter, struct static_nat_entry, node[0]);                        hlist_del(&ent->node[DIR_SNAT]);                        hlist_del(&ent->node[DIR_DNAT]);                        kfree(ent);                }         }        spin_unlock(&nat_lock);        if (src_list) {                kfree(src_list);        }         if (dst_list) {                kfree(dst_list);        } }module_init(nf_static_nat_init);module_exit(nf_static_nat_fini);MODULE_DESCRIPTION("STATIC two-way NAT");MODULE_AUTHOR("marywangran@126.com");MODULE_LICENSE("GPL");
Makefile：
obj-m += nf_rawnat.oall:         make -C /lib/modules/`uname -r`/build SUBDIRS=`pwd` modulesclean:        rm -rf *.ko *.o .tmp_versions .*.mod.o .*.o.cmd *.mod.c .*.ko.cmd Module.symvers modules.order
我不看好应用相关的私活儿并不代表我不喜欢，并不代表我不会。工作毕竟已经很累了，干嘛还要继续累啊。工作之余，要搞点别的，别的是什么呢？stateless NAT...这是很多人都不涉足的，我感叹，我悲哀，微斯人，吾谁与归？...