Qemu创建KVM虚拟机内存初始化流程

bestu

　　转载请注明：【转载自博客xelatex KVM】，并附本文链接。谢谢。
　　【注】文章中采用的版本：

• Linux-3.11，https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.11.tar.gz
  
• qemu-kvm，git clone http://git.kernel.org/pub/scm/virt/kvm/qemu-kvm.git，
        git checkout 4d9367b76f71c6d938cf8201392abe4bfb1136cb
  

　　一、Qemu的内存模型
　　Qemu中的内存模型，简单来说就是Qemu申请用户态内存并进行管理，并将该部分申请的内存注册到对应的加速器（如KVM）中。这样的模型有如下好处：

• 策略与机制分离。加速的机制由KVM负责，而如何调用加速的机制由Qemu负责
  
• 可以由Qemu设置多种内存模型，如UMA、NUMA等等
  
• 方便Qemu对特殊内存的管理（如MMIO）
  
• 内存的分配、回收、换出等都可以采用Linux原有的机制，不需要为KVM单独开发。
  
• 兼容其他加速器模型（或者无加速器，单纯使用Qemu做模拟）
  

　　所以在初始化阶段，Qemu需要做的有两方面工作：向KVM注册用户态内存空间，申请用户态内存空间。
　　Qemu主要通过如下结构来维护内存：
　　/* A system address space - I/O, memory, etc. */     
struct AddressSpace {      
    MemoryRegion *root;      
    FlatView current_map;      
    int ioeventfd_nb;      
    MemoryRegionIoeventfd *ioeventfds;      
};
　　AddressSpace设置了一段内存，其主要信息存储在root成员中，root成员是个MemoryRegion结构，主要存储内存区的结构。在Qemu中最主要的两个AddressSpace是address_space_memory和address_space_io，分别对应的MemoryRegion变量是system_memory和system_io。
　　二、Qemu初始化KVM内存流程
　　Qemu的主函数是vl.c中的main函数，其中调用了configure_accelerator()，是KVM初始化的配置部分。
　　configure_accelerator中首先根据命令行输入的参数找到对应的accelerator，这里是KVM。之后调用accel_list.init()，即kvm_init()。
　　在kvm_init()函数中主要做如下几件事情：

• s->fd = qemu_open("/dev/kvm", O_RDWR)，打开kvm控制的总设备文件/dev/kvm
  
• s->vmfd = kvm_ioctl(s, KVM_CREATE_VM, 0)，调用创建虚拟机的API，对应Linux kernel中的创建流程，请全文搜索kernel，关键词“KVM_CREATE_VM”
  
• kvm_check_extension，检查各种extension，并设置对应的features
  
• ret = kvm_arch_init(s)，做一些体系结构相关的初始化，如msr、identity map、mmu pages number等等
  
• kvm_irqchip_create，调用kvm_vm_ioctl(s, KVM_CREATE_IRQCHIP)在KVM中虚拟IRQ芯片，详细流程请全文搜索
  
• memory_listener_register，该函数是初始化内存的主要函数，下面详细分析
  

　　memory_listener_register调用了两次，分别注册了kvm_memory_listener和kvm_io_listener，即通用的内存和MMIO是分开管理的。以通用的内存注册为例，函数首先在全局的memory_listener链表中添加了kvm_memory_listener，之后调用listener_add_address_space分别将该listener添加到address_space_memory和address_space_io中。
　　然后调用listener的region_add（即kvm_region_add()），该函数最终调用了kvm_set_user_memory_region()，其中调用kvm_vm_ioctl(s, KVM_SET_USER_MEMORY_REGION, &mem)，该调用是最终将内存区域注册到kvm中的函数。
　　之后在vl.c的main函数中调用了cpu_exec_init_all() => memory_map_init()，设置system_memory和system_io。
　　至此初始化好了所有Qemu中需要维护的相关的内存结构，并完成了在KVM中的注册。下面需要初始化KVM中的MMU支持。
　　ram_size内存大小从内存被读取到ram_size中，在vl.c的main中调用machine->init()来初始化，machine是命令行指定的机器类型，默认的init是pc_init_pci

• 调用pc_init1，参数分别是system_memory，system_io，ram_size，boot_device，kernel_filename，kernel_cmdline，initrd_filename，cpu_model，pci_enabled，kvmclock_enabled
  
  
  • 设置above_4g_mem_size和below_4g_mem_size
    
  • 调用pc_memory_init设置ram，第5、6个参数分别是below_4g_mem_size和above_4g_mem_size，MemoryRegion是system_memory
    
    
    • 调用memory_region_init_ram初始化ram
      
      
      • 调用memory_region_init()初始化MemoryRegion ram
        
      • 设置destructor memory_region_destructor_ram
        
      • 调用qemu_ram_alloc()初始化ram空间，内部调用qemu_ram_alloc_from_ptr()
        
        
        • 如果没有设置-mem-path参数，则进入到第二个else（if (xen_enabled()) {）
          
        • if (kvm_enabled())，调用kvm_vmalloc
          
          
          • 如果是TARGET_S390X，调用kvm_arch_vmalloc
            
          • 否则调用qemu_vmalloc（此处走posix流程）
            
            
            • 调用qemu_memalign->posix_memalign()，此处真正alloc memory并且aligned
              
                                   
            
          • 或者直接调用malloc（在qemu_memalign中，没有_POSIX_C_SOURCE和CONFIG_BSD
            
                            
          
                       
        
                 
      
    • 调用memory_region_init_alias初始化ram_below_4g，设置MemoryRegion的一个alias
      
    • if (above_4g_mem_size > 0)，调用memory_region_init_alias初始化ram_above_4g，设置alias
      
    • memory_region_init_ram初始化pc.rom
      
    • 调用bochs_bios_init初始化bios
      
          
    
     
  

　　这样就建立好了Qemu-KVM的内存结构。在KVM创建Qemu内存映射的入口在kernel中kvm_vm_ioctl的case KVM_SET_USER_MEMORY_REGION，调用kvm_vm_ioctl_set_memory_region。kvm中用kvm_memory_slot结构来维护队用户空间地址的映射。该部分会在其他文章中详细介绍。