KVM虚拟化管理

死siua11

转载地址：https://gitshell.com/chenzhiwei/linux/tree/master/kvm-qemu-libvirt-virtualization/



KVM虚拟化管理

什么是KVM
　　KVM（Kernel-based Virtual Machine）是基于内核的虚拟化解决方案，目前Intel和AMD的CPU都对其提供了好很的支持。
　　平时KVM也会被说成是管理KVM虚拟化的一个工具，类似于qemu（quick emulator）。在网上看的文档，有的说KVM只能在物理机上做虚拟化，而qemu还适合在虚拟机上面进一步做虚拟化。目前大家常用的KVM虚拟化工具都是qemu。

什么是libvirt
　　libvirt是一套免费、开源的支持Linux下主流虚拟化工具的C函数库，这个函数库是一种实现Linux虚拟化功能的API，它支持虚拟机监控程序，比如Xen, KVM, Qemu等。

KVM虚拟化镜像制作

创建img镜像文件（快照）

# cd /var/instances
# qemu-img create ubuntu.img 5G
　　使用qemu-img来创建一个空的镜像文件，可以用-f参数来指定镜像文件格式，默认为raw。

在img文件上安装虚拟机系统

# cd /var/instances
# kvm -hda ubuntu.img -cdrom ubuntu-12.04-server-amd64.iso -boot d -m 512
　　注：在CentOS下面，kvm命令为qemu-kvm，在软件包qemu-kvm里。以上两步操作可以一步完成。

# cd /var/instances
# virt-install --name=ubuntu --ram=512 --vcpu=2 \
--disk path=/var/instances/ubuntu.img,size=5 \
--cdrom=/var/images/ubuntu-12.04-server-amd64.iso \
--graphics=vnc,listen=0.0.0.0
#
　　virt-install命令在virtinst包里，在CentOS下该包名为python-virtinst，其实最终调用的命令还是qemu-img和qemu-kvm。

按照提示完成操作系统的安装
　　打开VNC客户端，进入安装界面，然后一步步的完成安装。安装完成之后会在相应目录下生成镜像文件及xml配置文件（/etc/libvirt/qemu/ubuntu.xml）。

对虚拟机镜像进行定制
　　用以下命令挂载并操作镜像：

# cd /var/instances
# mount -o loop ubuntu.img /mnt
# chroot /mnt
　　接下来怎么操作就不用我说了吧。。。如果chroot之后系统提示Cannot open /dev/urandom for reading: No such file or directory，那么你在chroot之前需要执行以下命令mount --bind /dev /mnt/dev，其他相似问题类似处理方法。

提取文件系统
　　在上一步你挂载镜像时是否遇到了问题？（mount: you must specify the filesystem type），原因很简单，你当时用这个镜像安装操作系统时肯定分了其他分区，并且还有偏移量。你必须将根分区（/）提取出来，然后就可以直接挂载了。

• 挂载有偏移量的镜像
  

# cd /var/instances
# sfdisk -l -uS  ubuntu.img
-------- output of sfdisk command --------
Disk ubuntu.img: cannot get geometry
Disk ubuntu.img: 652 cylinders, 255 heads, 63 sectors/track
Warning: extended partition does not start at a cylinder boundary.
DOS and Linux will interpret the contents differently.
Units = sectors of 512 bytes, counting from 0
Device Boot    Start       End   #sectors  Id  System
ubuntu.img1   *      2048   9437183    9435136  83  Linux
ubuntu.img2       9439230  10483711    1044482   5  Extended
ubuntu.img3             0         -          0   0  Empty
ubuntu.img4             0         -          0   0  Empty
ubuntu.img5       9439232  10483711    1044480  82  Linux swap / Solaris
　　从以上输出可以看到这个镜像其实包含了5个分区！！！
　　我们要想挂载第一个分区，需要知道它的偏移量为512*2048=1048576，然后挂载mount -o loop,offset=1048576 ubuntu.img /mnt/。
　　注： 偏移量是柱面的偏移数，实际偏移的字节数等于512*柱面偏移数，sfdisk命令输出的第三列即为柱面偏移数。

• 提取根（/）文件系统
  

# cd /var/instances
# losetup -f ubuntu.img
# losetup -a
/dev/loop0: [0811]:56885251 (/var/instances/ubuntu.img)
# sfdisk -l -uS /dev/loop0
Disk /dev/loop0: cannot get geometry
Disk /dev/loop0: 652 cylinders, 255 heads, 63 sectors/track
Warning: extended partition does not start at a cylinder boundary.
DOS and Linux will interpret the contents differently.
Units = sectors of 512 bytes, counting from 0
Device Boot    Start       End   #sectors  Id  System
/dev/loop0p1   *      2048   9437183    9435136  83  Linux
/dev/loop0p2       9439230  10483711    1044482   5  Extended
/dev/loop0p3             0         -          0   0  Empty
/dev/loop0p4             0         -          0   0  Empty
/dev/loop0p5       9439232  10483711    1044480  82  Linux swap / Solaris
# losetup -d /dev/loop0
# losetup -f -o 1048576 ubuntu.img
# losetup -a
/dev/loop0: [0811]:56885251 (/var/instances/ubuntu.img), offset 1048576
# dd if=/dev/loop0 of=ubuntu.final.img
# mount -o loop ubuntu.final.img /mnt
# chroot /mnt
　　以上这些操作就是提取根（/）文件系统的步骤。首先找到ubuntu.img镜像的根所在的分区的偏移量，并用losetup命令挂载成loop设备，然后使用dd命令将该loop设备（/dev/loop0）转换成文件，而这个文件就是最终的镜像文件。
　　将内核文件及ramdisk提取出来：

# cd /var/instances
# mount -o loop ubuntu.final.img /mnt
# cp /mnt/boot/vmlinuz-3.2.0-23-generic kernel
# cp /mnt/boot/initrd.img-3.2.0-23-generic ramdisk
镜像制作2
　　当你看了之前的制作镜像步骤后会发现很麻烦，现在介绍一种比较简单的制作方法。

# qemu-img create ubuntu-12.10.img 10G
# mkfs.ext4 -F -q ubuntu-12.10.img
# kvm -hda ubuntu-12.10.img -cdrom ubuntu-12.10-server-amd64.iso -boot d -m 1024 -vnc 0.0.0.0:20
# mount -o loop ubuntu-12.10.img /mnt
# cp /mnt/boot/initrd.img-3.5.0-17-generic ramdisk
# cp /mnt/boot/vmlinuz-3.5.0-17-generic kernel
# tune2fs -L new-lable ubuntu-12.10.img
# vim /mnt/etc/fstab
edit to the format you like
LABEL=new-lable /               ext4    defaults 0 0
/dev/vda        /               ext4    defaults 0 0
# umount /mnt
　　以上几条命令的意思是将系统安装在整个磁盘上，即磁盘不分区，也就意味着这需要你自己指定内核来启动系统，详情请参见instance-hostname.xml文件中的配置。

挂载qcow2格式的文件

# modprobe nbd max_part=16
# qemu-nbd -c /dev/nbd0 disk.qcow2
# partprobe /dev/nbd0
# mount /dev/nbd0 /mnt
# umount /mnt
# qemu-nbd -d /dev/nbd0
　　以上几条命令的意思是给内核添加nbd模块，使用qemu-nbd命令去连接（connect）文件disk.qcow2，通知操作系统分区表已经被修改，挂载与卸载，断开连接（disconnect）。其中max_part=16表示每块nbd设备支持的分区个数（modinfo
nbd），命令modprobe -r nbd来删除内核中的nbd模块。
　　更多相关内容:
http://en.wikibooks.org/wiki/QEMU/Images#Mounting_an_image_on_the_host

KVM虚拟机管理
　　按照以上方式创建完成虚拟机镜像之后libvirt会自动生成一个xml配置文件，管理虚拟机主要就靠这个xml文件了，管理的命令是virsh。

# virsh list
# virsh list --all
# virsh create /etc/libvirt/qemu/ubuntu.xml
# virsh define /etc/libvirt/qemu/ubuntu.xml
# virsh undefine /etc/libvirt/qemu/ubuntu.xml
# virsh autostart domain_id|instance_name
# virsh destory domain_id|instance_name
# virsh start/shutdown/reboot/... domain_id|instance_name
　　如果你已经创建好虚拟机的镜像了，并且xml文件模板也已经有了，那么就可以直接用virsh来进行管理，免去了以上那么多的麻烦。
　　Ubuntu已经有自己做好的虚拟机镜像了，可以直接拿去使用。Ubuntu Enerprise Cloud(UEC):
http://uec-images.ubuntu.com/releases/

libvirt XML文件格式

常规信息区域

<domain type='xen' id='3'>
<name>instance-name</name>
<uuid>d9ef885b-634a-4437-adb6-e7abe1f792a5</uuid>
<title>A short description - title - of the domain</title>
<description>Some human readable description</description>
<metadata>
<app1:foo xmlns:app1=&quot;http://app1.org/app1/&quot;>..</app1:foo>
<app2:bar xmlns:app2=&quot;http://app1.org/app2/&quot;>..</app2:bar>
</metadata>
...
　　其中，type是虚拟化类型，其&#20540;可以是kvm, xen, qemu, lxc, kqemu等。id是标识正在运行的虚拟机，可以省略。

• name
  

　　虚拟机的名字，可以由数字、字母、中横线和下划线组成。

• uuid
  

　　虚拟机的全局唯一标识，可以用uuidgen命令生成。如果在定义（define）或创建（create）虚拟机实例时省略，系统会自动分配一个随机&#20540;这个实例。

• title, description
  

　　这两个东西都可以省略，见名知义，如果有特殊需求可以加上。

• metadata
  

　　metadata可以被应用（applications）以xml&#26684;式来存放自定义的metadata，该项也可以省略。

操作系统启动区域

    ...
<os>
<type arch='x86_64' machine='pc'>hvm</type>
<boot dev='hd'/>
<bootmenu enable='yes'/>
<kernel>/var/instances/instance-hostname/kernel</kernel>
<initrd>/var/instances/instance-hostname/ramdisk</initrd>
<cmdline>root=/dev/vda console=ttyS0</cmdline>
</os>
...

• type
  

　　虚拟机启动的操作系统类型，hvm表示操作系统是在裸设备上运行的，需要完全虚拟化。

• boot
  

　　boot属性的&#20540;可以是fd, hd, cdrom, network等，用来定义下一个启动方式（启动顺序）。该属性可以有多个。

• bootmenu
  

　　在虚拟机启动时是否弹出启动菜单，该属性缺省是弹出启动菜单。

• kernel
  

　　内核镜像文件的绝对路径。

• initrd
  

　　ramdisk镜像文件的绝对路径，该属性是可选的。

• cmdline
  

　　这个属性主要是在内核启动时传递一些参数给它。

内存和CPU区域

  ...
<vcpu placement='static' cpuset=&quot;1-4,^3,6&quot; current=&quot;1&quot;>2</vcpu>
<memory unit='KiB'>2097152</memory>
<currentMemory unit='KiB'>2000000</currentMemory>
...

• vcpu
  

　　vcpu属性表示分配给虚拟机实例的最大CPU个数。其中cpuset表示该vcpu可以运行在哪个物理CPU上面，一般如果设置cpuset，那么placement就设置成static。current的意思是是否允许虚拟机使用较少的CPU个数（current can be used to specify whether fewer than the maximum number of virtual CPUs should be enabled）。vcpu下面的这几个属性貌&#20284;只在kvm与qemu中有。

• memory
  

　　memory表示分配给虚拟机实例的最大内存大小。unit是内存的计算单位，可以是KB, KiB, MB, MiB，默认为Kib。（1KB=10^3bytes，1KiB=2^10bytes）

• currentMemory
  

　　currentMemory表示实际分配给虚拟实例的内存，该&#20540;可以比memory的&#20540;小。

磁盘区域

...
<devices>
<emulator>/usr/bin/kvm</emulator>
<disk type='file' device='disk'>
<source file='/var/instances/instance-hostname/disk' />
<target dev='vda' bus='ide' />
</disk>
<disk type='file' device='disk'>
<driver name='qemu' type='raw'/>
<source file='/var/instances/instance-hostname/disk.raw'/>
<target dev='vda' bus='virtio'/>
<alias name='virtio-disk0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>
<disk type='block' device='disk'>
<driver name='qemu' type='raw'/>
<source dev='/dev/sdc'/>
<geometry cyls='16383' heads='16' secs='63' trans='lba'/>
<blockio logical_block_size='512' physical_block_size='4096'/>
<target dev='hda' bus='ide'/>
</disk>
</devices>
...

• emulator
  

　　模拟器的二进制文件全路径。

• disk
  

　　定义单块虚拟机实例上的磁盘。
　　type 可以是block, file, dir, network。分别表示什么意思就不多说了。
　　device 表示该磁盘以什么形式暴露给虚拟机实例，可以是disk, floppy, cdrom, lun，默认为disk。

• driver
  

　　可以定义对disk更为详细的使用结节。

• source
  

　　定义磁盘的源地址，由type来确定该&#20540;应该是文件、目录或设备地址。

• target
  

　　控制着磁盘的bus/device以什么方式暴露给虚拟机实例，可以是ide, scsi, virtio, sen, usb, sata等，如果未设置的系统会自动根据设备名字来确定。如： 设备名字为hda那么就是ide。

• mirror
  

　　这个mirror属性比较牛B，可以将虚拟机实例的某个盘做镜像，具体不细说了。

网络接口区域

...
<devices>
<interface type='bridge'>
<source bridge='br0'/>
<mac address='00:16:3e:5d:c7:9e'/>
<model type='virtio'/>
</interface>
</devices>
...
　　以上内容就不多解释了，看名知义。

相关事件的配置

    ...
<on_poweroff>destroy</on_poweroff>
<on_reboot>restart</on_reboot>
<on_crash>restart</on_crash>
<on_lockfailure>poweroff</on_lockfailure>
...

• on_poweroff, on_reboot, on_crash
  

　　其属性&#20540;为遇到这三项时进行的操作，可以是以下操作：
　　destroy 虚拟机实例完全终止并且释放所占资源。

restart 虚拟机实例终止并以相同配置重新启动。

preserve 虚拟机实例终止，但其所占资源保留来做进一步的分析。

rename-restart 虚拟机实例终止并且以一个新名字来重新启动。
　　on_crash 还支持以下操作：
　　coredump-destroy crash的虚拟机实例会发生coredump，然后该实例完全终止并释放所占资源。

coredump-restart crash的虚拟机实例会发生coredump，然后该实例会重新启动。

• on_lockfailure（我对这个不了解）
  

　　当锁管理器（lock manager）失去对资源的控制时（lose resource locks）所采取的操作：
　　poweroff 虚拟机实例被强制停止。

restart 虚拟机实例被停止后再启动来重新获取它的锁（locks）。

pause 虚拟机实例会被暂停，并且当你解决了锁（lock）问题后可以将其手动恢复运行。

ignore 让虚拟机实例继续运行，仿佛一切都没发生过。

时间区域

<clock offset='localtime'/>
　　offset支持utc, localtime, timezone, variable等四个&#20540;，表示虚拟机实例以什么方式与宿主机同步时间。（并不是所有虚拟化技术都支持这些模式）

图形管理接口

...
<devices>
<graphics type='vnc' port='5904'>
<listen type='address' address='1.2.3.4'/>
</graphics>
<graphics type='vnc' port='-1' autoport='yes' keymap='en-us' listen='0.0.0.0'/>
</devices>
...
　　type为管理类型，可以是VNC,rdp等。其中port可以自动分配（从5900开始分配）。

日志记录

...
<devices>
<console type='stdio'>
<target port='1'/>
</console>
<serial type=&quot;file&quot;>
<source path='/var/instances/instance-hostname/console.log'/>
<target port=&quot;1&quot;/>
</serial>
</devices>
...
　　以上意思是禁止字符设备的输入，并将其输出定向到虚拟机的日志文件中（domain log）。将设备的日志写到一个文件里（Device log），比如：开机时的屏幕输出。
　　如你所想，libvirt的XML配置文件不可能就这么项内容，还有很多很多配置及详细配置，我在此不写出了，想深入了解的话可以看参考资料部分。

使用示例
　　镜像文件及XML文件位置： /var/instances/base ，要创建的虚拟机位置： /var/instances/instance-name/，操作步骤如下：

# cd /var/instances/base
# ls
ubuntu.final.img  ramdisk  kernel  instance-name.xml
# cp -rf /var/instances/base /var/instances/instance-host180
# cd /var/instances/instance-host180
# mount -o loop ubuntu.final.img /mnt
# vim /mnt/etc/network/interfaces
edit eth0 and eth1 section
CentOS interface file: /etc/sysconfig/network-scripts/ifcfg-eth0[1]
# umount /mnt
# mv instance-name.xml instance-host180.xml
# vim instance-host180.xml
edit some sections of this XML file
# virsh define instance-host180.xml
# virsh create instance-host180.xml
# virsh autostart host180
　　经过以上几步，一台虚拟机就创建OK了。当然如果虚拟机使用DHCP方式来获取IP的话，就根本不用修改网卡配置文件。

其他说明
　　本文档同级目录下有一个XML文件模板，可以参考一下。
　　这个文档是step by step，注重操作和使用。我当时就是这样一步步学习的，当使用熟练之后可以进行更深入的研究学习。

新加内容
　　主要是关于raw和qcow2&#26684;式的相互转换及文件大小压缩相关。

扩大raw或qcow2&#26684;式文件
　　改变raw或qcow2&#26684;式的文件大小。

# virt-filesystems --long -h --all -a old.file.raw
Name       Type        VFS   Label  MBR  Size  Parent
/dev/sda1  filesystem  ext4  -      -    10G   -
/dev/sda1  partition   -     -      83   10G   /dev/sda
/dev/sda   device      -     -      -    10G   -
# truncate -r old.file.raw new.file.raw
# truncate -s &#43;5G new.file.raw
# virt-resize --expand /dev/sda1 old.file.raw new.file.raw
　　the other way

# virt-filesystems --long -h --all -a old.file.raw
Name       Type        VFS   Label  MBR  Size  Parent
/dev/sda1  filesystem  ext4  -      -    10G   -
/dev/sda1  partition   -     -      83   10G   /dev/sda
/dev/sda   device      -     -      -    10G   -
# cp -pf old.file.raw new.file.raw
# qemu-img resize new.file.raw &#43;2G
# virt-resize --expand /dev/sda1 old.file.raw new.file.raw
挂载qcow2或raw&#26684;式文件
　　用libguestfs挂载qcow2和raw&#26684;式的文件

# guestmount -a disk.file -i /mnt
压缩qcow2或raw&#26684;式文件的大小

• 压缩qcow2&#26684;式的文件
  

# virt-sparsify --compress --convert qcow2 --format qcow2 input.qcow2 output.qcow2

• raw&#26684;式的文件不支持压缩，但是可以缩小
  

　　raw&#26684;式文件整起来比较费劲，这里我只做当raw文件是一个ext4文件系统的情况。

# qemu-img create disk.final.raw 10G
# // dd if=/dev/zero of=disk.final.raw bs=512 seek=1000000
# mkfs.ext3 -Fq disk.final.raw
# mount -o loop disk.origin.raw /origin
# mount -o loop disk.final.raw /final
# cp -arf /origin/* /final/*
# umount /final
# umount /origin
参考资料
　　1.Libvirt Domain XML format:
http://libvirt.org/formatdomain.html

2.OpenStack Creating custom images:
http://docs.openstack.org/trunk/openstack-compute/admin/content/creating-custom-images.html