runv start container 流程分析

gwuj

　　1、runv/start.go
　　func startContainer(context *cli.Context, container, address string, config *spec.Spec)
　　该函数所做的工作很简单，首先构建CreateContainerRequest的grpc请求，如下所示：



r  := &types.CreateContainerRequest {
　　Id:　　　　　  container,
　　BundlePath:     context.String("bundle"),
　　Stdin:　　　　 fmt.Sprintf("/proc/%d/fd/0", pid),
　　Stdout:　　　   fmt.Sprintf("/proc/%d/fd/1", pid),
　　Stderr:　　　　fmt.Sprintf("/proc/%d/fd/2", pid),
}

　　再通过调用c := getClient(address)获取grpc client，再通过调用c.CreateContainer(netcontext.Background(), r)将创建容器的请求发送给grpc server。
　　2、runv/containerd/api/grpc/server/server.go
　　func (s *apiServer) CreateContainer(ctx context.Context, r *types.CreateContainerRequest) (*types.CreateContainerResponse, error)
　　（1）、调用ocfData, err := ioutil.ReadFile(filepath.Join(r.BundlePath, "config.json"))和json.Unmarshal(ocfData, &spec)加载spec
　　（2）、调用c, p, err := s.sv.CreateContainer(r.Id, r.BundlePath, r.Stdin, r.Stdout, r.Stderr, &spec)
　　（3）、最后调用apiP := supervisorProcess2ApiProcess(p)， apiC := supervisorContainer2ApiContainer(c), addApiProcess2ApiContainer(apiC, apiP)完成api的转换，并且将进程apiP添加到apiC中
　　3、runv/supervisor/supervisor.go
　　func (sv *Supervisor) CreateContainer(container, bundlePath, stdin, stdout, stderr string, spec *specs.Spec) (*Container, *Process, error)
　　（1）、调用hp, err := sv.getHyperPod(container, spec)，获取一个hyper pod 实例
　　（2）、c, err := hp.createContainer(container, bundlePath, stdin, stdout, stderr, spec) 创建一个hyper container实例
　　（3）、sv.Containers[container] = c, 再 return c, c.Processes["init"], nil
　　HyperPod的结构如下所示：



type HyperPod struct {
　　Containers　　map[string]*Container
　　Processes　　map[string]*Process
　　userPod　　　　*pod.UserPod
　　podStatus　　*hypervisor.PodStatus
　　vm　　　　　*hypervisor.Vm
　　sv　　　　　　*supervisor
　　nslistener　　*nsListener
}

　　4、runv/supervisor/supervisor.go
　　// find shared pod or create a new one
　　func (sv *Supervisor) getHyperPod(container string, spec *specs.Spec) (hp *HyperPod, err error)
　　（1）、当spec.Linux.Namespaces不为空时，先进行相关的处理，这里暂时不讨论。
　　（2）、当hp为nil时，先调用hp, err = createHyperPod(sv.Factory, spec, sv.defaultCpus, sv.defaultMemory),再调用hp.sv = sv将hypervisor和supervisor串联起来
　　（3）、return hp, nil
　　5、runv/supervisor/hyperpod.go
　　func createHyperPod(f factory, spec *specs.Spec, defaultCpus int, defaultMemory int) (*HyperPod, error)
　　（1）、先获取一个podId，再调用userPod := pod.ConvertOCF2PureUserPod(spec)(并没有container的信息)和podStatus := hypervisor.NewPod(podId, userPod, nil)
　　（2）、获取cpu, mem, kernel, initrd的信息，再启动虚拟机，虽然根据获得的kernel和initrd情况略有不同，最终调用都是调用hypervisor.GetVm("", boot, bool, bool)，启动虚拟机
　　（3）、调用Response := vm.StartPod(podStatus, userPod, nil, nil)
　　（4）、填充HyperPod, hp := &HyperPod {
　　userPod:　　userPod,
　　podStatus:　podStatus,
　　vm:　　　　vm,
　　Containers:　make(map[string]*Container),
　　Processes:　make(map[string]*Process)
　　}
　　（5）、调用hp.startNsListener()， 返回 return hp, nil
　　
6、runv/supervisor/hyperpod.go
　　func (hp *HyperPod) createContainer(container, bundlePath, stdin, stdout, stderr string, spec *specs.Spec) (*Container, error)
　　（1）、inerProcessId := container + "-init"，并且填充数据结构获得 c := &Container{...}，p := &Process{...}
　　（2）、调用p.setupIO()
　　（3）、对各个数据结构进行关联，c.Processes["init"] = p, c.ownerPod.Processes[inerProcessId] = p, c.ownerPod.Containers[container] = c
　　（4）、c.run(p)，return c, nil
　　7、runv/supervisor/container.go
　　func (c *Container) run(p *Process)
　　（1）、该函数仅仅启动一个goroutine，首先调用c.start(p)启动容器
　　（2）、创建e := Event{ID: c.Id, Type: EventContainerStart, Timestamp: time.Now(),}，调用c.ownerPod.sv.Events.notifySubscribers(e)将event发出
　　（3）、调用c.wait(p)等待容器退出
　　（4）、创建e := Event{ID: c.Id, EventExit, Timestamp: time.Now(), PID: p.Id, Status: -1}，若正常退出，则将Status设置为容器的退出码
　　8、runv/supervisor/container.go
　　func (c *Container) start(p *Process) error
　　（1）、创建目录/run/runv/container-id，再在其中生成文件state.go，将state := &specs.State{Version: c.Spec.Version, ID: c.Id, Pid: c.ownerPod.getNsPid(), BundlePath: c.BundlePath}写入
　　（2）、先调用u := pod.ConvertOCF2UserContainer(c.Spec)将spec转换为UserPod，镜像目录为u.Image，镜像的挂载目录为vmRootfs := filepath.Join(hypervisor.BaseDir, c.ownerPod.vm.Id, hypervisor.ShareDirTag, c.Id, "rootfs")（和hyperd兼容），再调用utils.Mount(u.Image, vmRootfs, c.Spec.Root.Readonly)将镜像挂载到vmRootfs。如果c.Spec.Mounts不为空的话，调用mountToRootfs(&m, vmRootfs, "")，挂载相应的目录或文件
　　（3）、调用info := &hypervisor.ContainerInfo{Id: c.Id, Rootfs: "rootfs", Image: pod.userVolume{Source: c.Id}, Fstype: "dir", Cmd: u.Command, Envs: envs,}
　　（4）、调用c.ownerPod.vm.Attach(p.stdio, c.Id, nil)连接vm, 再调用execPrestartHooks(c.Spec, state)，再调用c.ownerPod.initPodNetwork(c)初始化网络
　　（5）、调用c.ownerPod.podStatus.AddContainer(c.Id, c.ownerPod.podStatus.Id, "", []string{}, types.S_POD_CREATED) ---> 仅仅只是将ContainerStatus添加到podStatus.Containers中
　　（6）、return c.ownerPod.vm.NewContainer(u, info) ---> 真正在虚拟机中完成container的创建