xen中多个虚拟机共享一个image文件的方法

waid

xen中多个虚拟机共享一个image文件的方法 在网格中为每个到来的用户作业启动一个专用的虚拟机群去运行。这个虚拟机群中的多个虚拟机可能会被调度到同一个物理机上去，每个虚拟机需要一个image文件，这就需要传输多个image文件到同一个物理机，一个image文件有数G大小，传输和存储的代价都很大。但是多个虚拟机启动使用的操作系统代码和运行作业时的应用程序代码都是一样的，有条件共享以提高效率。
以下是试探在xen中如何实现单image多虚拟机的过程：
一：直接共享
把虚拟机配置文件直接复制一份，改动配置文件中的name使虚拟机名称不一样，用这两个配置文件分别启动虚拟机。因为linux启动时proc,sys和dev文件系统都是动态产生的，必须写硬盘，所以不能把虚拟磁盘的权限设置为只读。两个配置文件中对虚拟磁盘都保留读写权限。配置文件如下：
[iyunv@jcwkyl myvms]# cat sge-exec
name = "sge-exec"
memory = 256
vcpus = 1
bootloader = "/usr/bin/pygrub"
#kernel = "/media/cdrom/images/xen/vmlinuz"
#ramdisk = "/media/cdrom/images/xen/initrd.img"
on_poweroff = "destroy"
on_reboot = "restart"
on_crash = "restart"
vfb = [  ]
disk = [ "tap:aio:/vm/sge_exec.img,xvda,w" ]
vif = [ "bridge=xenbr0" ]
另一个配置文件中的name是sge-exec-2。
[iyunv@jcwkyl myvms]# xm create sge-exec
Using config file "./sge-exec".
Started domain sge-exec
[iyunv@jcwkyl myvms]# xm create sge-exec-2
Using config file "./sge-exec-2".
Error: Device 51712 (tap) could not be connected.
/vm/sge_exec.img already in use by other domain
如上，出现错误，看错误信息后，把配置文件中的tap:aio协议改成file协议。再启动：
[iyunv@jcwkyl myvms]# xm create sge-exec
Using config file "./sge-exec".
Started domain sge-exec
[iyunv@jcwkyl myvms]# xm create sge-exec-2
Using config file "./sge-exec-2".
Error: Device 51712 (vbd) could not be connected.
File /vm/sge_exec.img is loopback-mounted through /dev/loop4,
which is mounted in a guest domain,
and so cannot be mounted now.
[iyunv@jcwkyl myvms]# losetup -a
/dev/loop0: [fd00]:278529 (/vm/winxp.img)
/dev/loop1: [fd00]:49153 (/vm/gram_sge_master.img)
/dev/loop2: [fd00]:49153 (/vm/gram_sge_master.img)
/dev/loop3: [fd00]:49153 (/vm/gram_sge_master.img)
/dev/loop4: [fd00]:49156 (/vm/sge_exec.img)
还是出错，同时可以看到file协议xen是把image文件mount到了一块loop device上。现在，一块磁盘使用file协议，一块磁盘使用tap:aio协议。
[iyunv@jcwkyl myvms]# xm create sge-exec
Using config file "./sge-exec".
Started domain sge-exec
[iyunv@jcwkyl myvms]# xm create sge-exec-2
Using config file "./sge-exec-2".
Started domain sge-exec-2
[iyunv@jcwkyl myvms]# xm list
Name                                     ID Mem(MiB) VCPUs State   Time(s)
Domain-0                                  0      980     2r-----   5140.6
sge-exec                                 56      256     1-b----      9.1
sge-exec-2                               57      256     1-b----      8.9
sge-master                               51      256     1-b----     11.1
winxp                                     1      263     1-b----  11269.2
可以看到，此时启动成功。
结论：不同的虚拟机以不同的协议(比如file, tap:aio, tap:vmdk, nbd等，注意不是读写模式)启动，则可以共享。
二：
因为使用file协议其实是把image文件mount到一块loop设备上，而loop设备号是不一样的。所以可以以phy协议使用loop设备。
[iyunv@jcwkyl ~]# losetup -a
/dev/loop0: [fd00]:278529 (/vm/winxp.img)
/dev/loop1: [fd00]:49153 (/vm/gram_sge_master.img)
/dev/loop2: [fd00]:49153 (/vm/gram_sge_master.img)
/dev/loop3: [fd00]:49153 (/vm/gram_sge_master.img)
[iyunv@jcwkyl ~]# xm create /etc/xen/myvms/sge-master name="sge-master-1" disk=phy:/dev/loop1,xvda,w -c
[iyunv@jcwkyl ~]# xm create /etc/xen/myvms/sge-master name="sge-master-2" disk=phy:/dev/loop3,xvda,w -c
所示，/dev/loop{1,2,3}都是mount的同一个image文件。xm create也使用同一个配置文件，但是虚拟磁盘以phy协议使用loop设备，也可以成功。
三：
同样，把image文件放在NFS服务器上，两个主机hostA和hostB都以NFS服务器上的这块image文件作为磁盘文件启动，也可以成功。

这种方式启动的多个虚拟机，不管是创建新文件，还是写已有的文件，不管操作的是不同的文件，还是相同的文件，都会引发文件系统的严重错误。