Docker 源码架构部署篇

st0627

一. Docker入门简介

Docker是Docker公司开源的一个基于轻量级虚拟化技术的容器引擎项目,整个项目基于Go语言开发，并遵从Apache 2.0协议。目前，Docker可以在容器内部快速自动化部署应用，并可以通过内核虚拟化技术（namespaces及cgroups等）来提供容器的资源隔离与安全保障等。由于Docker通过操作系统层的虚拟化实现隔离，所以Docker容器在运行时，不需要类似虚拟机（VM）额外的操作系统开销，提高资源利用率，并且提升诸如IO等方面的性能。

由于众多新颖的特性以及项目本身的开放性，Docker在不到两年的时间里迅速获得诸多厂商的青睐，其中更是包括Google、Microsoft、VMware等业界行业领导者。Google在今年六月份推出了Kubernetes，提供Docker容器的调度服务，而今年8月Microsoft宣布Azure上支持Kubernetes，随后传统虚拟化巨头VMware宣布与Docker强强合作。今年9月中旬，Docker更是获得4000万美元的C轮融资，以推动分布式应用方面的发展。

Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案。 Docker 的基础是 Linux 容器（LXC）等技术。

在 LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作 Docker 的容器就像操作一个快速轻量级的虚拟机一样简单。

下面对比了Docker 和传统虚拟化（KVM、XEN等）方式的不同之处，容器是在操作系统层面上实现虚拟化，直接复用本地主机的操作系统，而传统方式则是在硬件的基础上，虚拟出自己的系统，再在系统上部署相关的APP应用。

下图为传统虚拟化方案：

如下为Docker虚拟化方案：

Docker虚拟化有三个概念需要理解，分别镜像、容器、仓库。

1)  镜像：docker的镜像其实就是模板，跟我们常见的ISO镜像类似，是一个样板。
2)  容器：使用镜像常见的应用或者系统，我们称之为一个容器。
3)  仓库：仓库是存放镜像的地方，分为公开仓库（Public）和私有仓库（Private）两种形式.

二. Docker虚拟化特点

跟传统VM比较具有如下优点：
1)  操作启动快
运行时的性能可以获取极大提升，管理操作（启动，停止，开始，重启等等） 都是以秒或毫秒为单位的。
2)  轻量级虚拟化
你会拥有足够的“操作系统”，仅需添加或减小镜像即可。在一台服务器上可以布署100~1000个Containers容器。但是传统虚拟化，你虚拟10-20个虚拟机就不错了。
3)  开源免费
开源的，免费的，低成本的。由现代Linux内核支持并驱动。注* 轻量的Container必定可以在一个物理机上开启更多“容器”，注定比VMs要便宜。
4)  前景及云支持
正在越来越受欢迎，包括各大主流公司都在推动docker的快速发展，性能有很大的优势。
　　三.为什么要使用Docker

　　
　　1. 简化配置
　　这是Docker公司宣传的Docker的主要使用场景。虚拟机的最大好处是能在你的硬件设施上运行各种配置不一样的平台（软件、系统），Docker在降低额外开销的情况下提供了同样的功能。它能让你将运行环境和配置放在代码中然后部署，同一个Docker的配置可以在不同的环境中使用，这样就降低了硬件要求和应用环境之间耦合度。
　　2. 代码流水线（Code Pipeline）管理
　　前一个场景对于管理代码的流水线起到了很大的帮助。代码从开发者的机器到最终在生产环境上的部署，需要经过很多的中间环境。而每一个中间环境都有自己微小的差别，Docker给应用提供了一个从开发到上线均一致的环境，让代码的流水线变得简单不少。
　　3. 提高开发效率
　　这就带来了一些额外的好处：Docker能提升开发者的开发效率。如果你想看一个详细一点的例子，可以参考Aater在 DevOpsDays Austin 2014 大会或者是DockerCon上的演讲。
　　不同的开发环境中，我们都想把两件事做好。一是我们想让开发环境尽量贴近生产环境，二是我们想快速搭建开发环境。
　　理想状态中，要达到第一个目标，我们需要将每一个服务都跑在独立的虚拟机中以便监控生产环境中服务的运行状态。然而，我们却不想每次都需要网络连接，每次重新编译的时候远程连接上去特别麻烦。这就是Docker做的特别好的地方，开发环境的机器通常内存比较小，之前使用虚拟的时候，我们经常需要为开发环境的机器加内存，而现在Docker可以轻易的让几十个服务在Docker中跑起来。
　　4. 隔离应用
　　有很多种原因会让你选择在一个机器上运行不同的应用，比如之前提到的提高开发效率的场景等。
　　我们经常需要考虑两点，一是因为要降低成本而进行服务器整合，二是将一个整体式的应用拆分成松耦合的单个服务（译者注：微服务架构）。如果你想了解为什么松耦合的应用这么重要，请参考Steve Yege的 这篇论文，文中将Google和亚马逊做了比较。
　　5. 整合服务器
　　正如通过虚拟机来整合多个应用，Docker隔离应用的能力使得Docker可以整合多个服务器以降低成本。由于没有多个操作系统的内存占用，以及能在多个实例之间共享没有使用的内存，Docker可以比虚拟机提供更好的服务器整合解决方案。
　　6. 调试能力
　　Docker提供了很多的工具，这些工具不一定只是针对容器，但是却适用于容器。它们提供了很多的功能，包括可以为容器设置检查点、设置版本和查看两个容器之间的差别，这些特性可以帮助调试Bug。你可以在 《Docker拯救世界》的文章中找到这一点的例证。
　　7. 多租户环境
　　另外一个Docker有意思的使用场景是在多租户的应用中，它可以避免关键应用的重写。我们一个特别的关于这个场景的例子是为IoT（译者注：物联网）的应用开发一个快速、易用的多租户环境。这种多租户的基本代码非常复杂，很难处理，重新规划这样一个应用不但消耗时间，也浪费金钱。
　　使用Docker，可以为每一个租户的应用层的多个实例创建隔离的环境，这不仅简单而且成本低廉，当然这一切得益于Docker环境的启动速度和其高效的diff命令。
　　你可以在 这里了解关于此场景的更多信息。
　　8. 快速部署
　　在虚拟机之前，引入新的硬件资源需要消耗几天的时间。虚拟化技术（Virtualization）将这个时间缩短到了分钟级别。而Docker通过为进程仅仅创建一个容器而无需启动一个操作系统，再次将这个过程缩短到了秒级。这正是Google和Facebook都看重的特性。
　　你可以在数据中心创建销毁资源而无需担心重新启动带来的开销。通常数据中心的资源利用率只有30%，通过使用Docker并进行有效的资源分配可以提高资源的利用率。
　　

　　四.Docker 的体系结构
　　
不难看出，用户是使用Docker Client与Docker Daemon建立通信，并发送请求给后者。
而Docker Daemon作为Docker架构中的主体部分，首先提供Server的功能使其可以接受Docker Client的请求；而后Engine执行Docker内部的一系列工作，每一项工作都是以一个Job的形式的存在。
Job的运行过程中，当需要容器镜像时，则从Docker Registry中下载镜像，并通过镜像管理驱动graphdriver将下载镜像以Graph的形式存储；当需要为Docker创建网络环境时，通过网络管理驱动networkdriver创建并配置Docker容器网络环境；当需要限制Docker容器运行资源或执行用户指令等操作时，则通过execdriver来完成。
而libcontainer是一项独立的容器管理包，networkdriver以及execdriver都是通过libcontainer来实现具体对容器进行的操作。
当执行完运行容器的命令后，一个实际的Docker容器就处于运行状态，该容器拥有独立的文件系统，独立并且安全的运行环境等。
　　五、Docker 架构内各模块的功能与实现分析

　　主要模块
　　

　　5.1    docker client [发起请求]

• Docker Client是和Docker Daemon建立通信的客户端。用户使用的可执行文件为docker（类似可执行脚本的命令），docker命令后接参数的形式来实现一个完整的请求命令（例如docker images，docker为命令不可变，images为参数可变）。
  
• Docker Client可以通过以下三种方式和Docker Daemon建立通信：tcp://host:port，unix://path_to_socket和fd://socketfd。
  
• Docker Client发送容器管理请求后，由Docker Daemon接受并处理请求，当Docker Client接收到返回的请求相应并简单处理后，Docker Client一次完整的生命周期就结束了。[一次完整的请求：发送请求→处理请求→返回结果]，与传统的C/S架构请求流程并无不同。
  

　　5.2    docker daemon [后台守护进程]
　　

　　Docker Daemon架构图
　　
　　1、Docker Server [调度分发请求]
　　docker Server 架构图
　　
1、Docker Server相当于C/S架构的服务端。功能为接受并调度分发Docker Client发送的请求。接受请求后，Server通过路由与分发调度，找到相应的Handler来执行请求。
2、在Docker的启动过程中，通过包gorilla/mux，创建了一个mux.Router，提供请求的路由功能。在Golang中，gorilla/mux是一个强大的URL路由器以及调度分发器。该mux.Router中添加了众多的路由项，每一个路由项由HTTP请求方法（PUT、POST、GET或DELETE）、URL、Handler三部分组成。
3、创建完mux.Router之后，Docker将Server的监听地址以及mux.Router作为参数，创建一个httpSrv=http.Server{}，最终执行httpSrv.Serve()为请求服务。
4、在Server的服务过程中，Server在listener上接受Docker Client的访问请求，并创建一个全新的goroutine来服务该请求。在goroutine中，首先读取请求内容，然后做解析工作，接着找到相应的路由项，随后调用相应的Handler来处理该请求，最后Handler处理完请求之后回复该请求。
2、Engine

1、Engine是Docker架构中的运行引擎，同时也Docker运行的核心模块。它扮演Docker container存储仓库的角色，并且通过执行job的方式来操纵管理这些容器。
2、在Engine数据结构的设计与实现过程中，有一个handler对象。该handler对象存储的都是关于众多特定job的handler处理访问。举例说明，Engine的handler对象中有一项为：{"create": daemon.ContainerCreate,}，则说明当名为"create"的job在运行时，执行的是daemon.ContainerCreate的handler。

　　3、Job
1、一个Job可以认为是Docker架构中Engine内部最基本的工作执行单元。Docker可以做的每一项工作，都可以抽象为一个job。例如：在容器内部运行一个进程，这是一个job；创建一个新的容器，这是一个job。Docker Server的运行过程也是一个job，名为serveapi。
2、Job的设计者，把Job设计得与Unix进程相仿。比如说：Job有一个名称，有参数，有环境变量，有标准的输入输出，有错误处理，有返回状态等。
　　5.3    docker registry [镜像注册中心]
　　

• Docker Registry是一个存储容器镜像的仓库（注册中心），可理解为云端镜像仓库，按repository来分类，docker pull 按照[repository]:[tag]来精确定义一个image。
  
• 在Docker的运行过程中，Docker Daemon会与Docker Registry通信，并实现搜索镜像、下载镜像、上传镜像三个功能，这三个功能对应的job名称分别为"search"，"pull" 与 "push"。
  
• 可分为公有仓库（docker hub）和私有仓库。
  

　　5.4    Graph [docker内部数据库]
　　graph的架构图
　　
　　其中，GraphDB是一个构建在SQLite之上的小型图数据库，实现了节点的命名以及节点之间关联关系的记录。它仅仅实现了大多数图数据库所拥有的一个小的子集，但是提供了简单的接口表示节点之间的关系。

同时在Graph的本地目录中，关于每一个的容器镜像，具体存储的信息有：该容器镜像的元数据，容器镜像的大小信息，以及该容器镜像所代表的具体rootfs。
　　5.5    dirver
Driver是Docker架构中的驱动模块。通过Driver驱动，Docker可以实现对Docker容器执行环境的定制。即Graph负责镜像的存储，Driver负责容器的执行。在Docker Driver的实现中，可以分为以下三类驱动：graphdriver、networkdriver和execdriver。
1、graphdriver

1、graphdriver主要用于完成容器镜像的管理，包括存储与获取。
2、存储：docker pull下载的镜像由graphdriver存储到本地的指定目录（Graph中）。
3、获取：docker run（create）用镜像来创建容器的时候由graphdriver到本地Graph中获取镜像。


2、networkdriver

networkdriver的用途是完成Docker容器网络环境的配置，其中包括

• 1、Docker启动时为Docker环境创建网桥；
  
• 2、Docker容器创建时为其创建专属虚拟网卡设备；
  
• 3、Docker容器分配IP、端口并与宿主机做端口映射，设置容器防火墙策略等。
  

3、execdriver

1、execdriver作为Docker容器的执行驱动，负责创建容器运行命名空间，负责容器资源使用的统计与限制，负责容器内部进程的真正运行等。
2、现在execdriver默认使用native驱动，不依赖于LXC。


　　5.6    libcontainer [函数库]
　　架构图
　　

• libcontainer是Docker架构中一个使用Go语言设计实现的库，设计初衷是希望该库可以不依靠任何依赖，直接访问内核中与容器相关的API。
  
• Docker可以直接调用libcontainer，而最终操纵容器的namespace、cgroups、apparmor、网络设备以及防火墙规则等。
  
• libcontainer提供了一整套标准的接口来满足上层对容器管理的需求。或者说，libcontainer屏蔽了Docker上层对容器的直接管理。
  

　　5.7    docker container[服务交付的最终形式]
　　

　　container架构图
　　

• Docker container（Docker容器）是Docker架构中服务交付的最终体现形式。
  
• Docker按照用户的需求与指令，订制相应的Docker容器：
  
  
  
  • 用户通过指定容器镜像，使得Docker容器可以自定义rootfs等文件系统；
    
  • 用户通过指定计算资源的配额，使得Docker容器使用指定的计算资源；
    
  • 用户通过配置网络及其安全策略，使得Docker容器拥有独立且安全的网络环境；
    
  • 用户通过指定运行的命令，使得Docker容器执行指定的工作。
    
  
  

　　

　　

　　

　　六.Docker 安装配置

我们这里主要讲解如何在Centos6.x系列服务器安装，默认docker只有在centos6.5以上机器才能使用yum直接安装，如果其他版本需要安装centos扩展源epel。

docker官方文档说要求Linux kernel至少3.8以上，一般为centos6.5或者Ubuntu系统，那centos6.5如何来安装呢？

在Centos6.x系列安装docker软件，首先要关闭selinux，然后需要安装相应的epel源，如下：

阿里源：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

sed -i '/SELINUX/s/enforcing/disabled/g' /etc/selinux/config

wget http://ftp.riken.jp/Linux/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm  

rpm -ivh  epel-release-6-8.noarch.rpm   （安装扩展源）

　　

yum install  lxc（容器）  libcgroup（docker组）  device-mapper-event-libs（docker的一个存储引擎）

然后安装docker：

#yum install docker-io  

Cd /mnt/cdrom/Packages

Yum install device-map* –y   都是属于dockers物理存储，可以链接大数据平台

　　

　　

安装完后：

启动docker进程：/etc/init.d/docker start

查看docker进程：ps -ef |grep docker

　　

Docker简单使用：

要使用docker虚拟化，首先我们需要去下载一个镜像，然后使用docker命令启动。