Docker实践(3)—浅析device mapper的thin provision

hyytaojunming

　　thin provision是在 kernel3.2 中引入的。它主要有以下一些特点：
　　（1）允许多个虚拟设备存储在相同的数据卷中，从而达到共享数据，节省空间的目的；
　　（2）支持任意深度的快照。之前的实现的性能为O(n)，新的实现通过一个单独的数据避免了性能随快照深度的增加而降低。
　　（3）支持元数据存储到单独的设备上。这样就可以将元数据放到镜像设备或者更快的SSD上。
　　上面3个特性正是devicemapper支持docker存储镜像的关键特性。
　　
使用lvm管理thin provisioning
　　# dd if=/dev/zero of=lvm0.img bs=1024k count=256
　　# losetup /dev/loop7 lvm0.img
　　# losetup -a
　　/dev/loop0: [fd00]:786725 (/dev/loop0)
　　/dev/loop1: [fd00]:786726 (/dev/loop1)
　　/dev/loop7: [fd00]:420986 (/root/lvm/lvm0.img)
　　
　　# pvcreate /dev/loop7
　　  Physical volume "/dev/loop7" successfully created
　　# vgcreate vg_test /dev/loop7
　　  Volume group "vg_test" successfully created
　　
　　在volume group中创建一个thin pool，大小为200M：
　　# lvcreate -L 200M -T vg_test/mythinpool
　　  Logical volume "lvol0" created
　　  Logical volume "mythinpool" created
　　
　　# ls /dev/mapper/* |grep mythin
　　/dev/mapper/vg_test-mythinpool
　　/dev/mapper/vg_test-mythinpool_tdata
　　/dev/mapper/vg_test-mythinpool_tmeta
　　/dev/mapper/vg_test-mythinpool-tpool
　　
　　创建thin logical volume：
　　# lvcreate -T vg_test/mythinpool -V 300M -n lvol1
　　  Logical volume "lvol1" created
　　虽然thin pool只有200M，却可以创建300M的逻辑卷。
　　# lvs
　　  LV         VG      Attr       LSize   Pool       Origin Data%  Move Log Cpy%Sync Convert
　　  lvol1      vg_test Vwi-a-tz-- 300.00m mythinpool          0.00                          
　　  mythinpool vg_test twi-a-tz-- 200.00m                     0.00     
　　
　　创建快照：
　　# lvcreate -s --name mysnapshot1 vg_test/lvol1
　　  Logical volume "mysnapshot1" created
　　
使用dmsetup管理thin provisioning
　　创建thin pool

    dmsetup create pool \
       --table "0 20971520 thin-pool $metadata_dev $data_dev \
               $data_block_size $low_water_mark"
　　
　　# dmsetup create yy_thin_pool --table '0 409600 thin-pool /dev/loop6 /dev/loop7 128 0'
　　# dmsetup table /dev/mapper/yy_thin_pool
　　0 409600 thin-pool 7:6 7:7 128 0 0
　　# dmsetup remove yy_thin_pool
　　
　　创建thinly-provisioned volume
　　首先，必须发送消息给pool：

dmsetup message /dev/mapper/yy_thin_pool 0 "create_thin 0"
　　这里的”0”是卷标识符，24位的数字，由调用者进行分配，如果已经存，会返回-EEXIST错误。
　　
　　使用thinly-provisioned volume
　　创建一个20M大小的volume

dmsetup create thin --table "0 40960 thin /dev/mapper/yy_thin_pool 0"
　　# dmsetup table /dev/mapper/thin
　　0 40960 thin 253:3 0
　　#mkfs.ext4 /dev/mapper/thin
　　#mount /dev/mapper/thin /mnt/share1
　　/dev/mapper/thin       20M  1.2M   18M   7% /mnt/share1
　　
　　Internal snapshots
　　创建快照
　　对一个active的卷创建快照，先要suspend volume。

dmsetup suspend /dev/mapper/thin
dmsetup message /dev/mapper/yy_thin_pool 0 "create_snap 1 0"
dmsetup resume /dev/mapper/thin
dmsetup create snap --table "0 40960 thin /dev/mapper/yy_thin_pool 1"
　　红色部分是快照的名称。
　　
　　删除volume

dmsetup remove thin
dmsetup message /dev/mapper/yy_thin_pool 0 "delete 0"
　　
docker的结构
　　docker内部的存储结构大概如下：

　　docker在初始化过程中，会创建一个100G的用于存储数据，和一个2G的用于存储元数据的稀疏文件，然后分别附加到回环块设备/dev/loop0和/dev/loop1。然后基于回环块设备创建thin pool。
　　


　　docker在创建image，会将image的信息(struct DevInfo)写到文件/var/lib/docker/devicemapper/metadata/$id，参考函数(devices *DeviceSet) registerDevice。
　　
　　主要参考
　　［1]https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt

作者：YY哥
出处：http://www.iyunv.com/hustcat/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。