Xen虚拟化基础篇

re2212

一.xen的简介
Xen是一个开放源代码虚拟机监视器，由剑桥大学开发。它打算在单个计算机上运行多达128个有完全功能的操作系统。
在旧（无虚拟硬件）的处理器上执行Xen，操作系统必须进行显式地修改（“移植”）以在Xen上运行（但是提供对用户应用的兼容性）。这使得Xen无需特殊硬件支持，就能达到高性能的虚拟化。
Xen的架构如图：


Xen虚拟机的组成：
Xen Hypervisor：
        虚拟化技术通过在现有平台(机器)上添加一层薄的虚拟机监控程序(Virtual Machine Monitor，简称 VMM)软件而实现对系统的虚拟化，如虚拟处理器，虚拟内存管理器(MMU)和虚拟 I/O 系统等。虚拟机监控程序又被称之为监管程序(Hypervisor)。
Domain（Dom0，DomU）：
特权虚拟机：Dom0；特权域
为Xen提供控制工具的；直接驱动IO硬件设备；
与DomU交互；
Linux-2.6.37内核开始直接运行在Dom0上；
其他普通虚拟机：DomU；非特权域
Linux-2.6.24+内核开始支持
Xen的虚拟化实现方式：
Type-I型：二级虚拟化技术；直接在硬件上安装hypervisor，直接接管硬件资源，运行在其上的系统都是虚拟机；
管理方面给彻底；必须让hypervisor驱动硬件，
出现的问题是必须开发驱动程序？
解决方案：Xen只是驱动CPU和内存，不驱动IO设备
当系统启动时，硬件设备加载后加载hypervisor，hypervisor拥有访问硬件权限，hypervisor加载完成后启动一个虚拟机，虚拟机有自己的内核和用户空间，这个虚拟机是 特权虚拟机，为底层hypervisor提供管理程序，能功能是为hypervisor提供IO设备硬件驱动 程序的；
我们新建的虚拟机调用IO设备硬件时，是通过特权虚拟机驱动程序连接硬件实现；

更加详细的说明请参考博文：http://www.uml.org.cn/embeded/201303201.asp

xen虚拟化实现在CentOS 6.6上安装所需要的条件：
1）.需要在物理机上安装CentOS 6.6操作系统
2）.安装Xen软件包
3）.安装3.7.10的内核，可以使Xen运行在Dom0上
4）.配置好grub，然后启动Xen
5）.在用户空间上安装虚拟机Guest OS即可；

注意：最新版本的xen在CentOS 6.6平台上是只有DomU可以使用，Dom0是不能通过CentOS 6.6的原有内核实现，我这里是安装的xen-4.2.5版本的xen，还有将内核版本更新到了3.7.10；
简单介绍一些XEN和KVM：   

Xen：CentOS4-CentOS5是支持的；后续就是xen了，但是在内核版本Linux 2.6.37将xen收录进内核，CentOS7收录进内核；可以实现内核直接运行在Dom0上；

KVM：2006才出现；CentOS5.8开始支持；但是不稳定，红帽的收购造成了KVM的发展；

CentOS6.6的内核为2.6.32，不直接支持内核运行Xen的Dom0特权域；

可以支持直接运行在DomU

    红帽为了支持KVM这个亲儿子的发展，将xen给赶出家门了。 -_-！

    后来意识到XEN的使用率还是很高，所以又在后来收录进内核。

二.xen的安装及Dom0的配置
1.配置xen的yum源

1 2 3 4 5 6 7

# vim /etc/yum.repos.d/xen4.repo [xen4] name=Xen4 For CentOS6 baseurl=ftp://172.16.0.1/pub/Sources/6.x86_64/xen4centos/x86_64/ gpgcheck=0 进行清理yum缓存操作 # yum clean all

2.安装xen-4.2.5版本的软件，更新内核版本到3.7.10

1	# yum install -y xen-4.2.5 xen-libs-4.2.5 xen-runtime-4.2.5 kernel-xen

3.配置grub.conf配置文件
将xen设置为内核启动，而将CentOS的内核设置为Xen虚拟化平台的一个模块；

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

# vim /etc/grub.conf default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title CentOS (3.7.10-1.el6xen.x86_64)         root (hd0,0)         kernel /xen.gz dom0_mem=1024M,max:1024M dom0_max_vcpus=1 dom0_vcpus_pin cpufreq=xen         module /vmlinuz-3.7.10-1.el6xen.x86_64 ro root=/dev/mapper/vg0-root rd_NO_LUKS rd_NO_DM LANG=en_US.UTF-8 rd_LVM_LV=vg0/swap rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=vg0/root  KEYBOARDTYPE=pc KEYTABLE=us rhgb crashkernel=auto quiet rhgb quiet         module /initramfs-3.7.10-1.el6xen.x86_64.img title CentOS 6 (2.6.32-504.el6.x86_64)         root (hd0,0)         kernel /vmlinuz-2.6.32-504.el6.x86_64 ro root=/dev/mapper/vg0-root rd_NO_LUKS rd_NO_DM LANG=en_US.UTF-8 rd_LVM_LV=vg0/swap rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=vg0/root  KEYBOARDTYPE=pc KEYTABLE=us rhgb crashkernel=auto quiet rhgb quiet         initrd /initramfs-2.6.32-504.el6.x86_64.img

配置完成后重新启动Linux系统，启动完成后自动进入了Xen的Dom0环境：
查看内核版本，已经升级到3.7.10：

1 2	# uname -r 3.7.10-1.el6xen.x86_64

查看xen的xend服务开机启动项：

1 2	# chkconfig --list xend xend            0:off   1:off   2:off   3:on    4:on    5:on    6:off

4.启动xend服务

1	# service xend start

可以查看一下现在运行的虚拟机：

1 2 3

# xm list Name                                        ID   Mem VCPUs      State   Time(s) Domain-0                                     0  1024     1     r-----     21.9

三.xen虚拟机的安装和配置
上面安装好Dom0D虚拟机后，下面我们就可以在其之上配置安装DomU虚拟机了。
DomU虚拟机的安装问题思考：
1）.DomU虚拟机的内核文件存放位置。
我们是在Dom0上构建DomU虚拟机，所以我们的内核文件存放在Dom0上；
第二种方式就是我们将内核文件存放在DomU虚拟机的虚拟磁盘中；
2）.DomU虚拟机的创建：
内核kernel，ramdisk都由Dom0提供，而DomU只提供用户空间；
由于Dom0虚拟机有完整的用户空间，我们可以将其复制进DomU虚拟机上使用；
1.简单DomU虚拟机构建
内核kernel和ramdisk都由Dom0提供，使用busybox为DomU虚拟机提供简单的用户空间；
1）.模拟创建虚拟机磁盘设备，构建本地环回文件：

1 2 3 4 5 6 7 8 9

创建虚拟磁盘存放目录： # mkdir /xen/images -pv 进入目录后创建虚拟机磁盘设备： # cd /xen/images/ # dd if=/dev/zero of=./busybox.img bs=1M oflag=direct seek=2047 count=1 查看设备大小，可以发现实际大小才1MB： # ll -h total 1.0M -rw-r--r-- 1 root root 2.0G Feb  6 20:15 busybox.img

2）.格式化虚拟磁盘设备

1 2 3 4 5 6 7

# mke2fs -t ext4 /xen/images/busybox.img mke2fs 1.41.12 (17-May-2010) /xen/images/busybox.img is not a block special device. Proceed anyway? (y,n) y  #选择y 信息略... 挂载磁盘设备，等待后续操作： # mount -o loop /xen/images/busybox.img /mnt

3）.编译安装busybox为DomU虚拟机提供用户空间

1 2 3

编译环境需要开发包组支持： # yum groupinstall -y Development tools   # yum install -y ncurses-devel glibc-static

1 2 3 4 5 6

获取busybox软件： busybox-1.22.1.tar.bz2 编译安装busybox： # tar xf busybox-1.22.1.tar.bz2 # cd busybox-1.22.1 # make menuconfig

配置如下图所示：
选择“Busybox settings”：

选择“Build options”选项：

以静态二进制创建busybox，不共享库文件：

配置完成后点击exit，退出后点击yes保存：


设置完成后进行编译和安装：
# make && make install

编译安装busybox完成后在这个目录会生成安装好的文件_install目录，我们将_install目录拷贝到挂载的虚拟磁盘中：

1 2 3 4 5 6

# cp -a _install/* /mnt # cd /mnt # ls bin  linuxrc  lost+found  sbin  usr # rm -rf linuxrc # mkdir dev proc sys lib/modules etc/rc.d boot mnt media opt misc -pv

至此，虚拟磁盘就构建完成了。

4）.构建DomU虚拟机

1 2 3 4 5 6 7 8 9 10 11

创建虚拟机配置文件： # cd /etc/xen # vim busybox kernel = "/boot/vmlinuz-2.6.32-504.el6.x86_64" ramdisk = "/boot/initramfs-2.6.32-504.el6.x86_64.img" name = "busybox" memory = "512" vcpus = 1 disk = ['file:/xen/images/busybox.img,xvda,w',] root = "/dev/xvda ro" extra = "selinux=0 init=/bin/sh"

下面进行初始化创建虚拟机：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

# xm create -c /etc/xen/busybox Using config file "/etc/xen/busybox". Started domain busybox (id=2)                              Initializing cgroup subsys cpuset Initializing cgroup subsys cpu Linux version 2.6.32-504.el6.x86_64 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC) ) #1 SMP Wed Oct 15 04:27:16 UTC 2014 Command line: root=/dev/xvda ro selinux=0 init=/bin/sh 信息略...... device-mapper: ioctl: 4.27.0-ioctl (2013-10-30) initialised: dm-devel@redhat.com udev: starting version 147 dracut: Starting plymouth daemon xlblk_init: register_blkdev major: 202 blkfront: xvda: barriers disabled xvda: unknown partition table EXT4-fs (xvda): mounted filesystem with ordered data mode. Opts: dracut: Mounted root filesystem /dev/xvda dracut: Switching root /bin/sh: can't access tty; job control turned off / # ls bin         dev         lib         media       mnt         proc        sys boot        etc         lost+found  misc        opt         sbin        usr

5）.切换虚拟终端查看虚拟机状态

1 2 3 4

# xm list Name                                        ID   Mem VCPUs      State   Time(s) Domain-0                                     0  1024     1     r-----    197.9 busybox                                      2   512     1     -b----      1.4

其ID号会在关机启动后自动增长，我们来测试一下：

1 2 3 4 5 6 7 8 9

关闭虚拟机： # xm destroy busybox 启动虚拟机： # xm create -c busybox 然后查看虚拟机列表的信息，可以发现ID号自动增长： # xm list Name                                        ID   Mem VCPUs      State   Time(s) Domain-0                                     0  1024     1     r-----    201.4 busybox                                      3   512     1     -b----      1.2

其中State状态信息中的选项详解：

1 2 3 4 5 6 7

r：running，虚拟机处于运行态 b：blocked，被阻塞，当前虚拟机等待任务完成； p：pause，暂停态，当前虚拟机暂停在内存中； 恢复使用unpause：如#xm unpause  linux s：shutdown，正处于关闭过程中，正在关机状态 c：crashed，正处于崩溃过程/崩溃后重启过程中； d：dying，正处于关机过程中；

Time（s）：表示域累计占用的CPU的时长


6）.虚拟机加入网卡设备
需要先给Dom0设置桥设备，方便DomU桥接到Dom0上；

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

添加网卡桥设备文件： # cd /etc/sysconfig/network-scripts/ # cp ifcfg-eth0 ifcfg-xenbr0 配置桥接设备： # vim ifcfg-xenbr0 DEVICE="xenbr0" BOOTPROTO="static" NM_CONTROLLED="no" ONBOOT="yes" TYPE="Bridge" IPADDR=172.16.31.1 NETMASK=255.255.0.0 GATEWAY=172.16.0.1 配置网卡设备： # vim ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" HWADDR="08:00:27:16:D9:AA" NM_CONTROLLED="no" ONBOOT="yes" BRIDGE="xenbr0" TYPE="Ethernet" USERCTL="no" 配置桥接模式需要将NetworkManager服务关闭： #chkconfig NetworkManager off #service NetworkManager stop 配置完成后重启网络服务： #service network restart

如图所示：


登录终端查看桥接状态：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

# ifconfig eth0      Link encap:Ethernet  HWaddr 08:00:27:16:D9:AA             inet6 addr: fe80::a00:27ff:fe16:d9aa/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:37217 errors:0 dropped:7 overruns:0 frame:0           TX packets:4541 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:7641467 (7.2 MiB)  TX bytes:773075 (754.9 KiB) lo        Link encap:Local Loopback             inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536  Metric:1           RX packets:12 errors:0 dropped:0 overruns:0 frame:0           TX packets:12 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:1032 (1.0 KiB)  TX bytes:1032 (1.0 KiB) xenbr0    Link encap:Ethernet  HWaddr 08:00:27:16:D9:AA             inet addr:172.16.31.1  Bcast:172.16.255.255  Mask:255.255.0.0           inet6 addr: fe80::a00:27ff:fe16:d9aa/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:1211 errors:0 dropped:0 overruns:0 frame:0           TX packets:90 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:116868 (114.1 KiB)  TX bytes:15418 (15.0 KiB)

7）.将busybox虚拟机关联到这个桥接设备上

1 2 3 4 5 6 7 8 9 10 11

需要配置虚拟机配置文件没加入桥设备名称： # vim /etc/xen/busybox kernel = "/boot/vmlinuz-2.6.32-504.el6.x86_64" ramdisk = "/boot/initramfs-2.6.32-504.el6.x86_64.img" name = "busybox" memory = "512" vcpus = 1 disk = ['file:/xen/images/busybox.img,xvda,w',] root = "/dev/xvda ro" extra = "selinux=0 init=/bin/sh" vif = ['bridge=xenbr0',]

如果希望busybox这个用户空间能够设置网卡，我们还需要加载xen-netfront.ko进入虚拟机磁盘的指定目录：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# xm destroy busybox # mount -o loop /xen/images/busybox.img /mnt # ls /mnt bin   dev  lib         media  mnt  proc  sys boot  etc  lost+found  misc   opt  sbin  usr 我们将Dom0中的xen-netfront.ko模块复制进虚拟机磁盘的lib/modules/目录中： # cd /lib/modules/2.6.32-504.el6.x86_64/kernel/drivers/net/ 需要查看模块依赖关系： # modinfo xen-netfront.ko filename:       xen-netfront.ko alias:          xennet alias:          xen:vif license:        GPL description:    Xen virtual network device frontend srcversion:     5C6FC78BC365D9AF8135201 depends:         vermagic:       2.6.32-504.el6.x86_64 SMP mod_unload modversions 可以发现无依赖关系，我们可以直接使用： # cp xen-netfront.ko /mnt/lib/modules/

复制完成后卸载虚拟机磁盘：
# umount /mnt

启动busybox这个虚拟机：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

# xm create -c busybox 信息略...... / # ifconfig -a lo        Link encap:Local Loopback             LOOPBACK  MTU:65536  Metric:1           RX packets:0 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B) #发现只存在lo环回设备，我们还未加载xen-netfront模块，我们加入网卡模块； / # insmod /lib/modules/xen-netfront.ko Initialising Xen virtual ethernet driver. #再次查看所有网卡设备，可以发现网卡设备； / # ifconfig -a eth0      Link encap:Ethernet  HWaddr 00:16:3E:72:18:9B             BROADCAST MULTICAST  MTU:1500  Metric:1           RX packets:0 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)           Interrupt:247 lo        Link encap:Local Loopback             LOOPBACK  MTU:65536  Metric:1           RX packets:0 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B) #设置IP地址； / # ifconfig eth0 172.16.31.100 up / # ifconfig eth0      Link encap:Ethernet  HWaddr 00:16:3E:72:18:9B             inet addr:172.16.31.100  Bcast:172.16.255.255  Mask:255.255.0.0           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:137 errors:0 dropped:0 overruns:0 frame:0           TX packets:0 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:10127 (9.8 KiB)  TX bytes:0 (0.0 B)           Interrupt:247 #我们来进行ping测试； / # ping 172.16.31.1 -c 2 PING 172.16.31.1 (172.16.31.1): 56 data bytes 64 bytes from 172.16.31.1: seq=0 ttl=64 time=2.955 ms 64 bytes from 172.16.31.1: seq=1 ttl=64 time=0.605 ms --- 172.16.31.1 ping statistics --- 2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 0.605/1.780/2.955 ms

至此，一个简单的虚拟机的创建就完成了。


四.实现Xen部署CentOS 6.6系统
1.先关闭我们先前创建的busybox虚拟机
# xm destroy busybox

我们部署安装CentOS 6.6系统，其内核kernel和ramdisk文件由光盘文件提供，选择光盘中isolinux目录下的vmlinuz和initrd.img文件即可；

1 2 3 4

# ll -h total 38M -rw-r--r-- 1 root root  34M Oct 24 22:12 initrd.img -rw-r--r-- 1 root root 4.0M Oct 24 22:12 vmlinuz

2.创建虚拟机配置文件

1 2 3 4 5 6 7 8 9 10 11

# cd /etc/xen/ # cp busybox centos6 # vim centos6 kernel = "/tmp/vmlinuz" ramdisk = "/tmp/initrd.img" name = "CentOS6" memory = "512" vcpus = 1 disk = ['file:/xen/images/centos6.img,xvda,w',] root = "/dev/xvda ro" vif = ['bridge=xenbr0',]

3.创建虚拟机系统的磁盘IO设备文件

1 2 3 4 5 6 7

# cd /xen/images/ # qemu-img-xen create -f qcow2 -o preallocation=metadata centos6.img 120G Formatting 'centos6.img', fmt=qcow2 size=128849018880 encryption=off cluster_size=65536 preallocation='metadata' # ll -h total 119M -rw-r--r-- 1 root root 2.0G Feb  6 16:01 busybox.img -rw-r--r-- 1 root root 121G Feb  6 16:34 centos6.img

4.由于我是在虚拟机上构建Xen虚拟化，需要提供一个能够能够安装CentOS系统的环境，我选择的是http服务提供系统ISO存放，在安装系统时通过URL安装；

1 2 3 4 5

挂载CentOS6.6系统的光盘： # mkdir /var/www/html/centos # mount -t iso9660 /dev/sr0 /var/www/html/centos 启动默认的httpd服务： # service httpd start

访问测试如图：


5.启动虚拟机进入安装过程
#xm create –c busybox
选择语言：

我们通过URL安装：

配置静态的IP地址：


设置的IP地址如下：

配置我们设置的网络镜像路径：

开始准备：


显示欢迎界面：

出现了我们设置的磁盘文件，我们需要进行初始化：

选择时区：

设置root用户的密码：



使用全部磁盘空间：



进入安装过程：

安装完成后重启：

重启后会自动退出安装，而重启在后台已经执行了，我们需要将虚拟机destroy掉：



6.虚拟机启动配置
我们需要在其他虚拟终端上关闭虚拟机；

1 2 3 4 5

# xm list Name                                        ID   Mem VCPUs      State   Time(s) CentOS6                                      6   512     1     -b----     11.6 Domain-0                                     0  1024     1     r-----    287.9 # xm destroy CentOS6

然后修改虚拟机配置文件，使用bootloader调用pygrub来启动我们安装的虚拟机，需要注释掉我们使用的kernel和ramdisk防止其再次进行系统安装，还需要加入我们重启和崩溃后的虚拟机自动的操作：

1 2 3 4 5 6 7 8 9 10 11

# vim /etc/xen/centos6 #kernel = "/tmp/vmlinuz" #ramdisk = "/tmp/initrd.img" bootloader = "/usr/bin/pygrub" name = "CentOS6" memory = "512" vcpus = 1 disk = ['file:xen/images/centos6.img,xvda,w',] vif = ['bridge=xenbr0',] on_reboot = "restart" on_crash = "destroy"

配置完成后我们就可以启动虚拟机了：
# xm create -c /etc/xen/centos6

启动完成后如图：

查看完成后关闭虚拟机

至此，我们就实现了Xen部署CentOS 6.6系统。


五.通过VNC Server连接进入busybox这个虚拟机
1.安装和配置VNC Server
# yum install vnc-server
安装完成后设置vncpasswd，输入密码即可；
#vncpasswd
启动vncserver服务器：
#vncserver &

2.配置busybox虚拟机的配置文件：

1 2 3

# vim /etc/xen/busybox #略...,在下面添加如下内容： vfb = [ 'sdl=1' ]

3.通过windows客户端的vncviewer连接到Dom0服务器：

输入密码访问：

登录Xen的Dom0服务器：

然后通过图形化终端启动busybox这个简单的虚拟机：


这是通过sdl软件连接虚拟机的操作；

4.下面我们通过vnc来连接虚拟机：

1 2 3 4

#配置busybox的虚拟机配置文件： # vim /etc/xen/busybox #略...,在下面添加如下内容，将原有的sdl更改为vnc： vfb = [ 'vnc=1,vncpasswd=oracle' ]

5.我们在vncserver上安装vncviewer
# yum install -y tigervnc

6.通过windows的vncviewer连接到服务器的图形界面操作
#先启动busybox
#xm create -c busybox

#查看监听端口5900是否打开

#通过vncviewer连接到busybox
#vncviewer 127.0.0.1:5900

输入密码即可进入busybox的虚拟机：


注意：上述两种图形化界面服务都是由宿主机的qemu-dm提供；

至此，通过图形化界面连接到虚拟机的操作就实验完毕。