DM存储文档

cheng029

Multipath I/O (多路径)       在计算机存储技术里,多路径提供了容错和性能提高,在计算机系统里CPU有多条物理路径通道,块存储设备通过总线,控制器,交换设备以及桥接设备来连接。

       多路径一般用在有光纤组成的SAN（Storage Area Network）环境及iscsi组成的IPSAN环境。这种环境下主机和存储通过交换机或多块网卡及ip来连接，是多对多的关系，主机到存储之间的I/O有多条路径可以选择。
多路径软件旨在解决以下问题：1.故障的切换和恢复 2.I/O流量的负载均衡3.磁盘的虚拟化
        由于多路径软件是需要和存储在一起配合使用的，不同的厂商基于不同的操作系统，都提供了不同的版本。并且有的厂商，软件和硬件也不是一起卖的，如果要使用多路径软件的话，可能还需要向厂商购买license才行。比如EMC公司基于linux下的多路径软件，就需要单独的购买license。好在， RedHat和Suse的2.6的内核中都自带了免费的多路径软件包，并且可以免费使用，同时也是一个比较通用的包，可以支持大多数存储厂商的设备，即使是一些不是出名的厂商，通过对配置文件进行稍作修改，也是可以支持并运行的很好的。

一些多路径软件可以利用冗余的路径提高性能,例如:

Dynamic load balancing 动态负载均衡
Traffic shaping 流量控制
Automatic path management 自动路径管理
Dynamic reconfiguration 动态设置
Multipath I/O software implementations 多路径软件工具

现在举一例子，同一台计算机里1块SCSI磁盘连接2个SCSI控制器（initiator）或者磁盘连接到两个FC(光纤)端口。如果其中1个控制器，端口或交换设备故障，那操作系统就会自动切换I/O路径到冗余的控制器为应用程序使用,但这样可能会增加延迟。

系统环境：RHEL6.0
主机规划：

主机	网卡	软件
desktop52	eth0:192.168.0.52 eth1:192.168.0.98	iscsi-target-utils
desktop97	eth0:192.168.0.97	device-mapper devide-mapper-multipath iscsi-initiator-utils

一、先给虚拟机desktop52添加一块网卡
1.关闭虚拟机，在图形界面添加完成后开启虚拟机
2.cat /etc/udev/rules.d/70-persistent-net.rules
查看添加网卡的信息（网卡名、mac地址）

3.编辑新网卡的配置文件
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-eth0 ifcfg-eth1
vim ifcfg-eth1   #按查看出的信息编辑新网卡的配置文件
ifup eth1  #启动新网卡
ifconfig

二、添加新虚拟硬盘并分区
具体过程不再赘述，我这里的新分区是/dev/vdb1

三、创建要输出的设备（target）#三、四两步为iscsi配置
yum install scsi*
vim /etc/tgt/targets.conf    #直接编辑配置文件
<target iqn.2012-08.xiyou:target1>
        backing-store /dev/vdb1
        initiator-address 192.168.0.97
</target>
或者终端下输入一下命令
tgtadm --lld iscsi --op new --mode target --tid=1 --targetname=iqn.2012-08.xiyou.target1
tgtadm --lld iscsi --op new --mode logicalunit --tid=1 --lun=1 --backing-store=/dev/vdb1
tgtadm --lld iscsi --op bind --mode target --tid=1 --initiator-address=192.168.0.97

四、(以下操作在客户端desktop97)配置两个iscsi控制器
yum install iscsi-initiator-utils iscsi-initiator-utils-devel -y
iscsiadm -m discovery -t -st -p 192.168.0.52  #检测存储端输出的target
iscsiadm -m node -p 192.168.0.52 -l #登录到target，即配置第一个控制器
iscsiadm -m discovery -t -st -p 192.168.0.98
iscsiadm -m node -p 192.168.0.52 -l #登录到target，即配置第二个控制器

fdisk -l #查看系统磁盘情况，会发现多出sda和sdb，实质上他们是同一块设备


五、DM配置
yum install device-mapper device-mapper-multipath -y
vim /etc/multipath.conf
blacklist {
        devnode "vda"  #禁止使用/dev/vda 设备,若是物理机为sda，根据实际情况
}
defaults {
        user_friendly_names     yes
        udev_dir                /dev
        path_grouping_policy    failover   #failover为主备模式;
                                           multibus为负载均衡模式
        failback                immediate  #有故障马上切换
        no_path_retry           fail
}

#multipath.conf 的配置参数、默认值,可参考:
#/usr/share/doc/device-mapper-multipath-0.4.7/multipath.conf.annotated
servece multipathd start
ll /dev/mapper/matha 是multipath虚拟出来的多路径设备，我们应该使用这个

multipath -ll

注:可以看到sda和sdb两条链路复合成一条链路mpatha,此为Failover(主备)情况,当你对mpatha设备读写时,处于active状态的sda链路有数据流,而处于enabled状态的sdb链路无数据流;当sda链路出现问题时,才会切换到sdb链路上


六、测试
用dd切割数据放到磁盘中，然后用iostat观察各通道的流量和状态，以判断主备或负载均衡方式是否正常

1 .主备模式测试
dd if=/dev/zero of=/dev/mapper/mpatha
iostat -k   #使用此命令需要安装此包 yum install sysstat

ifdown eth0 将主网卡（链路）关闭

再等待一会儿从监控终端会发现，存储会切换到sdb，由于sda和sdb对应的设备相同，所以冗余的设备开始起作用

看下图sdb的状态变为active，sda变为enabled

重新打开eth0端口，又会恢复到原来的状态，看一下两图


2.负载均衡测试
更改配置文件，然后重启multipathd



查看监控终端，发现sda和sdb每隔几秒就会交换存储，同一时刻只有一个尽心存储

760176104

支持一下:lol

gyts62

我是来刷分的，嘿嘿

kingforce

没看完~~~~~~ 先顶，好同志

741057228我QQ

修养的艺术,其实就是说谎的艺术。

fish3129

我真想亲口管你爷爷叫声：爹！

archer05

如果回帖是一种美德，那我早就成为圣人了!