在 ubuntu 搭建需要 ssl 认证的私有 docker registry 仓库

dsqzhaoyue

前言
　　在前面的一篇博客《在 ubuntu 搭建 docker registry 私有仓库》介绍了一种简单的搭建 docker 私有仓库了的方法。但是当时使用的是修改“--insecure-registry”参数的办法，这种办法在局域网中使用，还勉强合适。但如果要搭建一个生产环境的私有仓库服务器，就存在很大的安全风险了。所以，这里介绍一种使用签名认证的实现方式，主要通过nginx 的反向代理，将不受信任的客户端请求都拒绝，以达到安全的目的。

实验环境

服务端系统： ubuntu 16.04  
docker  17.12.0-ce
客户端系统： ubuntu  14.04
docker  17.12.0-ce
　　如果想升级自己系统中的docker 版本，请参考这篇文章:《Ubuntu Docker 版本的更新与安装》。
或者参考：《Docker ubuntu 16.04 安装稳定版本，社区版版本》。

开始实验
　　因为我们使用的是 nginx 服务作为安全认证的服务器，所以我们还需要安装 apache2-utils ，这个是用来生成用户和用户密码。我们这里使用 docker-compse，用来定义和运行多个docker 容器。我们还需要使用curl 工具，这个主要用于测试实验结果。
　　开始做实验前，请确认已经安装好docker-ce 的版本了。
　　下面开始做实验。

1  安装必要的工具

apt-get   install  -y  docker-compose  apache2-utils  curl  
2 创建一些文件目录

mkdir  /docker-registry
mkdir  /docker-registry/data
mkdir  /docker-registry/nginx
chown  root:root  /docker-registry
cd   /docker-registry
3 创建 docker-compose.yml 文件（用于定义docker  container  properties）

root@ubuntu:/docker-registry# cat docker-compose.yml
nginx:
image: "nginx:1.9"
ports:
- 443:443
links:
- registry:registry
volumes:
- /docker-registry/nginx/:/etc/nginx/conf.d
registry:
image: registry:2
ports:
- 127.0.0.1:5000:5000
environment:
REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data
volumes:
- /docker-registry/data:/data
　　说明：
docker-compose.yml 文件首先会创建一个 registry 容器，它的5000端口和宿主机的5000端口映射。它存储镜像的目录是 /data 目录，与宿主机的 /docker-registry/data 绑定。
　　然后，nginx  容器也会被创建，nginx 容器通过 -link 参数，与 registry 容器连接，这样nginx 容器就知道怎么和 registry 容器通信了（其实，registry 容器的 IP 会被绑定在 nginx 容器的 /etc/hosts 文件）。

4 启动容器

docker-compose  up
　　说明： 这条命令 docker-compose 会通过刚刚写好的 docker-compose.yml 脚本，生成两个容器，正常会是以下的输出
如果要停止，只能使用 （Ctrl + C ）了。
　　如果想在后台运行，可以使用

docker-compose   up   -d
创建 docker-registry.service 文件
　　因为 ubuntu 在14.10 之前的版本都只支持upstart 的方式，所以，如果你想使用 systemd 的管理方式，则需要使用 ubuntu 15.04 以上的版本了。因此，我这里使用了 ubuntu 16.04的系统版本，自带了systemd 服务。

vi     /etc/systemd/system/docker-registry.service   :
[Unit]
Description=Starting docker registry
[Service]
Environment= MY_ENVIRONMENT_VAR = /docker-registry/docker-compose.yml
WorkingDirectory=/docker-registry
ExecStart=/usr/bin/docker-compose up
Restart=always
[Install]
WantedBy=multi-user.target
　　说明：现在，我们就能使用 service  docker-registry   start/stop/restart  的命令来管理 nginx 和 registry 容器了，非常方便。
　　测试：

说明一切正常。
　　好吧，从这里开始，我们就可以使用 service  docker-registry  restart  来重启容器了。

5 设置 nginx 服务的配置文件
　　vi     /docker-registry/nginx/registry.conf

upstream docker-registry {
server registry:5000;
}
server {
listen 443;
server_name myregistrydomain.com;
# SSL
# ssl on;
# ssl_certificate /etc/nginx/conf.d/domain.crt;
# ssl_certificate_key /etc/nginx/conf.d/domain.key;
# disable any limits to avoid HTTP 413 for large image uploads
client_max_body_size 0;
# required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486)
chunked_transfer_encoding on;
location /v2/ {
# Do not allow connections from docker 1.5 and earlier
# docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*$" ) {
return 404;
}
# To add basic authentication to v2 use auth_basic setting plus add_header
# auth_basic "registry.localhost";
# auth_basic_user_file /etc/nginx/conf.d/registry.password;
# add_header 'Docker-Distribution-Api-Version' 'registry/2.0' always;
proxy_pass                          http://docker-registry;
proxy_set_header  Host              $http_host;   # required for docker client's sake
proxy_set_header  X-Real-IP         $remote_addr; # pass on real client's IP
proxy_set_header  X-Forwarded-For   $proxy_add_x_forwarded_for;
proxy_set_header  X-Forwarded-Proto $scheme;
proxy_read_timeout                  900;
}
}
测试

service  docker-registry   restart
curl   http://localhost:5000/v2/
　　结果会是这样：
{}root@ubuntu:/docker-registry#

6 设置安全权限认证，创建用户

cd   /docker-registry/nginx
htpasswd -c registry.password mydocker
New password:
Re-type new password:
Adding password for user mydocker
　　说明：利用 apache2-utils 的 htpasswd 工具，创建一个包含用户名和用户密码的文件

再次打开 registry.conf 文件

vi   /docker-registry/nginx/registry.conf
将下面几行的注释去掉

auth_basic "registry.localhost";
auth_basic_user_file /etc/nginx/conf.d/registry.password;
add_header 'Docker-Distribution-Api-Version' 'registry/2.0' always;
再测试

service docker-registry restart
curl  http://localhost:443/v2/
root@ubuntu:~/docker-registry/nginx#  curl http://localhost:5043/v2/401 Authorization Required
401 Authorization Required
nginx/1.9.15
用用户名和用户密码再测试一次

curl http://mydocker:123456@localhost:443/v2/
{}root@ubuntu:~/docker-registry/nginx#
　　说明：到这里，其实我们就完成了一个局域网的认证功能了，但是还不能作为一个服务器使用。因为，还需要设置ssl 安全认证。

7 设置 SSL 安全认证

7.1 再次打开 registry.conf 文件

vi  /docker-registry/nginx/registry.conf
　　将下面的几行取消注释并且修 域名：

upstream docker-registry {
server registry:5000;
}
server {
listen 443;
server_name docker-server.com;
# SSL
ssl on;
ssl_certificate /etc/nginx/conf.d/domain.crt;
ssl_certificate_key /etc/nginx/conf.d/domain.key;
7.2 创建 Certification Authority

cd  /docker-registry/nginx
　　创建新的 root key:

openssl genrsa -out dockerCA.key 2048
　　创建 root certificate
在Common Name 里填入 docker-server.com 就可以了，其他内容随便填。

openssl req -x509 -new -nodes -key dockerCA.key -days 10000 -out dockerCA.crt
　　创建 server  key （这个是被nginx ssl_certificate_key 引用的）

openssl genrsa -out domain.key 2048
　　再创建一个新的 certificate
Common Name 继续填 docker-server.com，不用设置密码。

openssl req -new -key domain.key -out docker-registry.com.csr
　　最后，进行签名：

openssl x509 -req -in docker-registry.com.csr -CA dockerCA.crt -CAkey dockerCA.key -CAcreateserial -out domain.crt -days 10000
　　复制 dockerCA.crt

cd /docker-registry/nginx
cp dockerCA.crt /usr/local/share/ca-certificates/
　　为了让服务器信任我们的 Certification Authority 认证，我们需要

update-ca-certificates && service docker restart && service docker-registry restart
　　测试

curl https://mydocker:123456@docker-server.com/v2/
#output should be
{}root@ubuntu:/docker-registry/nginx#
8 将 dockerCA.crt 复制到客户端

scp  dockerCA.crt   root@192.168.188.112:/usr/local/share/ca-certificates
root@192.168.188.112's password:
dockerCA.crt 100% 1302 1.3KB/s 00:00
　　如果客户端没有 /usr/local/share/ca-certificates 目录，则需要创建

8.1 补充：如果是CentOS 系统的客户端
　　由于CentOS 系统的CA 证书存放的位置和ubuntu 系统的不同，所以，如果你使用的客户端的系统是CentOS 的，
请把CA放到/etc/pki/ca-trust/source/anchors，在命令行运行/bin/update-ca-trust，这样证书就导入到系统中去了。
然后，重启docker daemon。

9 客户端登录服务器仓库

update-ca-certificates && service docker restart
#test login to fresh created repository:
docker login https://docker-server.com
Username: mydocker
Password:
Login Succeeded
　　需要在 /etc/hosts 文件中添加
192.168.188.113   docker-server.com    #(这是我做实验的服务端的 IP 地址)

9.1 在客户端推送镜像

docker  pull    ubuntu    # 尝试在 docker hub 下载镜像
docker  tag   ubuntu    docker-server.com/test-ubuntu  #  将镜像打标签，作为区别
docker   push  docker-server.com/test-ubuntu   # 推送到 私有 docker registry 仓库
　　确认测试

在客户端将 docker-server.com/test-ubunt 镜像删除：
docker   image  rm -f   docker-server.com/test-ubunt
从 docker-server.com 仓库下载 test-ubnutn 镜像：
docker   pull   docker-server.com/test-ubuntu
　　过程截图：

　　ok，成功了。
　　如果在实验的过程中遇到什么问题，请查找docker 的日志文件
　　journalctl -u docker    # for docker logs in the systemd journal
journalctl | grep docker  #  for system logs that mention docker

总结
　　主要利用里nginx 的反向代理服务器的功能，实现了安全认证管理，加强了访问私有仓库的安全权限管理。
　　参考文章：
《Private Docker Registry in Ubuntu Server 16.04》