harbor（docker仓库）仓库部署

大家好，欢迎来到IT知识分享网。

1. harbor概述

虽然Docker官方提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。

Harbor是由VMware公司开源的企业级的Docker Registry管理项目，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。

它主要提供 Dcoker Registry 管理界面UI，可基于角色访问控制,镜像复制， AD/LDAP 集成，日志审核等功能，完全的支持中文。

2. harbor主要功能

• 基于角色的访问控制
  ​ 用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间（project）里有不同的权限。
• 基于镜像的复制策略
  ​ 镜像可以在多个Registry实例中复制（可以将仓库中的镜像同步到远程的Harbor，类似于MySQL主从同步功能），尤其适合于负载均衡，高可用，混合云和多云的场景。
• 图形化用户界面
  ​ 用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
• 支持 AD/LDAP
  ​ Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。
• 镜像删除和垃圾回收
  ​ Harbor支持在Web删除镜像，回收无用的镜像，释放磁盘空间。image可以被删除并且回收image占用的空间。
• 审计管理
  ​ 所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。
• RESTful API
  ​ RESTful API提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
• 部署简单
  ​ 提供在线和离线两种安装工具， 也可以安装到vSphere平台(OVA方式)虚拟设备。

3. harbor架构介绍

架构组件图：

如上图所描述，Harbor由6个大的模块所组成：

• 1、Proxy: Harbor的registry、UI、token services等组件，都处在一个反向代理后边。该代理将来自浏览器、docker clients的请求转发到后端服务上。
• 2、Registry: 负责存储Docker镜像，以及处理Docker push/pull请求。因为Harbor强制要求对镜像的访问做权限控制， 在每一次push/pull请求时，Registry会强制要求客户端从token service那里获得一个有效的token。
• 3、Core services: Harbor的核心功能，主要包括如下3个服务:
  • UI：图形界面
  • WebHook：及时获取registry上image状态变化情况，在registry上配置 webhook，把状态变化传递给UI模块。
  • Token服务：负责根据用户权限给每个docker push/pull命令签发token。Docker 客户端向Registry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
• 4、Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
• 5、Job services: 主要用于镜像复制，本地镜像可以被同步到远程Harbor实例上。
• 6、Log collector: 负责收集其他组件的日志到一个地方

Harbor在物理机上部署是非常难的，而为了简化Harbor的应用，Harbor官方直接把Harbor做成了在容器中运行的应用，而且这个容器在Harbor中依赖类似redis、mysql、pgsql等很多存储系统，所以它需要编排很多容器协同起来工作，因此VMWare Harbor在部署和使用时，需要借助于Docker的单机编排工具(Docker compose)来实现。

4. Docker Compose

4.1 compose简介

Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

4.2 docker-compose工具命令

docker-compose up //启动所有服务，默认读取名为docker-compose.yml文件 docker-compose up -d //在后台启动所有服务 docker-compose build //在运行项目前先构建项目所需镜像 docker-compose ps //列出本地docker-compose.yml文件里定义的正在运行的所有服务 docker-compose stop //停止所有服务，如果服务没有停止，可以使用docker-compose kill强制杀死服务 docker-compose start //开启所有服务 docker-compose rm //删除所有服务 

5. harbor部署

使用Harbor的注意事项：

• 在客户端上传镜像时一定要记得执行docker login进行用户认证，否则无法直接push
• 在客户端使用的时候如果不是用的https则必须要在客户端的/etc/docker/daemon.json配置文件中配置insecure-registries参数
• 数据存放路径应在配置文件中配置到一个容量比较充足的共享存储中
• Harbor是使用docker-compose命令来管理的，如果需要停止Harbor也应用docker-compose stop来停止，其他参数请–help

5.1 部署Docker Compose

[root@node-253 opt]# docker -v Docker version 19.03.9, build 9de7 [root@node-253 opt]# mv docker-compose-linux-x86_64 docker-compose [root@node-253 opt]# cp docker-compose /usr/local/bin/ cp: overwrite ‘/usr/local/bin/docker-compose’? y [root@node-253 opt]# chmod a+x /usr/local/bin/docker-compose [root@node-253 opt]# docker-compose -v Docker Compose version v2.17.2 

5.2 部署harbor

//下载harbor压缩包 [root@harbor_node01 ~]# wget https://github.com/goharbor/harbor/releases/download/v2.4.3/harbor-offline-installer-v2.4.3.tgz //把harbor解压至/usr/local目录下 [root@harbor_node01 ~]# tar xf harbor-offline-installer-v2.4.3.tgz -C /usr/local/ //进入harbor目录 [root@harbor_node01 ~]# cd /usr/local/harbor/ [root@harbor_node01 harbor]# ls common.sh harbor.v2.4.3.tar.gz harbor.yml.tmpl install.sh LICENSE prepare //把配置文件模板拷贝一份出来 root@harbor_node01 harbor]# cp harbor.yml.tmpl harbor.yml //查看当前主机的主机名全称 [root@harbor_node01 harbor]# hostname harbor_node01.example.com [root@harbor_node01 harbor]# vim harbor.yml .......... hostname: harbor_node01.example.com //这里的主机名换成本机的主机名或IP地址 ......... #https: //把https这行及子行都注释掉，因为没有弄ssl证书加密 # https port for harbor, default is 443 #port: 443 # The path of cert and key files for nginx #certificate: /your/certificate/path #private_key: /your/private/key/path ......... //启动harbor [root@harbor_node01 harbor]# ./install.sh ..........启动过程略............. ✔ ----Harbor has been installed and started successfully.---- //显示此行说明启动成功！ //查看harbor运行起来的容器 [root@harbor_node01 harbor]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b6558 goharbor/nginx-photon:v2.4.3 "nginx -g 'daemon of…" About a minute ago Up 51 seconds (healthy) 0.0.0.0:80->8080/tcp, :::80->8080/tcp nginx 807abe81e1e8 goharbor/harbor-jobservice:v2.4.3 "/harbor/entrypoint.…" About a minute ago Up 52 seconds (healthy) harbor-jobservice fff9b0 goharbor/harbor-core:v2.4.3 "/harbor/entrypoint.…" About a minute ago Up 53 seconds (healthy) harbor-core 9d40e1cf4131 goharbor/harbor-db:v2.4.3 "/docker-entrypoint.…" About a minute ago Up 54 seconds (healthy) harbor-db e7405e5ba6b1 goharbor/registry-photon:v2.4.3 "/home/harbor/entryp…" About a minute ago Up 54 seconds (healthy) registry a86ae3d1848e goharbor/redis-photon:v2.4.3 "redis-server /etc/r…" About a minute ago Up 54 seconds (healthy) redis 814e2bfc178e goharbor/harbor-registryctl:v2.4.3 "/home/harbor/start.…" About a minute ago Up 54 seconds (healthy) registryctl 340de1da037f goharbor/harbor-portal:v2.4.3 "nginx -g 'daemon of…" About a minute ago Up 54 seconds (healthy) harbor-portal c3eceadcb92b goharbor/harbor-log:v2.4.3 "/bin/sh -c /usr/loc…" About a minute ago Up 59 seconds (healthy) 127.0.0.1:1514->10514/tcp harbor-log //查看启用的端口 [root@harbor_node01 harbor]# ss -anlt State Recv-Q Send-Q Local Address:Port Peer Address:Port Process LISTEN 0 128 127.0.0.1:1514 0.0.0.0:* LISTEN 0 128 0.0.0.0:80 0.0.0.0:* LISTEN 0 128 0.0.0.0:22 0.0.0.0:* LISTEN 0 128 [::]:80 [::]:* LISTEN 0 128 [::]:22 [::]:* 

浏览器访问：用户名与密码可在harbor.yml配置文件中找到，修改密码的话也在这里面改
admin/Harbor

5.3 部署harbor开机自启

[root@harbor_node01 ~]# vim /etc/rc.local #!/bin/bash cd /usr/local/harbor //添加这行与下面一行 docker-compose start [root@harbor_node01 ~]# ll /etc/rc.local lrwxrwxrwx. 1 root root 13 Oct 5 2021 /etc/rc.local -> rc.d/rc.local [root@harbor_node01 ~]# ll /etc/rc.d/rc.local -rw-r--r--. 1 root root 516 Aug 11 21:17 /etc/rc.d/rc.local //默认该文件无执行权限，需添加执行权限 //添加执行权限，否则该文件无法生效 [root@harbor_node01 ~]# chmod +x /etc/rc.d/rc.local //重启主机验证配置的开机自启harbor的效果 [root@harbor_node01 ~]# reboot //重启之后的效果，可以看到harbor开启成功 [root@harbor_node01 ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b6558 goharbor/nginx-photon:v2.4.3 "nginx -g 'daemon of…" 2 hours ago Up 2 minutes (healthy) 0.0.0.0:80->8080/tcp, :::80->8080/tcp nginx 807abe81e1e8 goharbor/harbor-jobservice:v2.4.3 "/harbor/entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-jobservice fff9b0 goharbor/harbor-core:v2.4.3 "/harbor/entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-core 9d40e1cf4131 goharbor/harbor-db:v2.4.3 "/docker-entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-db e7405e5ba6b1 goharbor/registry-photon:v2.4.3 "/home/harbor/entryp…" 2 hours ago Up 2 minutes (healthy) registry a86ae3d1848e goharbor/redis-photon:v2.4.3 "redis-server /etc/r…" 2 hours ago Up 2 minutes (healthy) redis 814e2bfc178e goharbor/harbor-registryctl:v2.4.3 "/home/harbor/start.…" 2 hours ago Up 2 minutes (healthy) registryctl 340de1da037f goharbor/harbor-portal:v2.4.3 "nginx -g 'daemon of…" 2 hours ago Up 2 minutes (healthy) harbor-portal c3eceadcb92b goharbor/harbor-log:v2.4.3 "/bin/sh -c /usr/loc…" 2 hours ago Up 2 minutes (healthy) 127.0.0.1:1514->10514/tcp harbor-log 

5.4 harbor安装脚本

ip=10.48.14.50 curl -L "https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose docker-compose --version mkdir /usr/local/harbor && cd /usr/local/harbor wget --continue https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-online-installer-v1.8.1.tgz tar -zxf harbor-online-installer-v1.8.1.tgz cd harbor sed -i 's/hostname: reg.mydomain.com/hostname: '$ip'/g' harbor.yml ./prepare ./install.sh docker-compose ps #配置免https验证 cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://uvbz951q.mirror.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"], "insecure-registries": ["10.48.14.50:8888"] } EOF systemctl daemon-reload systemctl restart docker docker-compose stop docker-compose up -d 

5.5 harbor核心服务不可用

报错：pgsql.conf permission denied，failed to connect to tcp://postgresql:5432

#harbor报错时访问下面路径，根据日志信息分析排错。 [root@node4 database]# cd /var/log/harbor/ [root@node4 harbor]# ls core.log jobservice.log portal.log postgresql.log proxy.log redis.log registryctl.log registry.log 

解决

[root@node4 ~]# cd /data/database/ [root@node4 database]# ls pg13 chown -R polkitd:input pg13 chmod -R 700 pg13 #如果还不行则重启harbor所有服务 cd /harbor-haproxy-sslFile docker-compose down ./prepare docker-compose up -d 

6. harbor应用

6.1 配置客户端访问harbor

启用另一台docker主机作为客户端来访问harbor

//将harbor服务端的主机域名进行映射 [root@localhost ~]# vim /etc/hosts 192.168.71.253 node-253 //添加harbor服务端的IP地址与主机名 //测试是否能与harbor端ping通 [root@localhost ~]# ping -c 2 node-253 PING harbor_node01.example.com (192.168.92.130) 56(84) bytes of data. 64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=1 ttl=64 time=0.322 ms 64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=2 ttl=64 time=0.696 ms --- harbor_node01.example.com ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1028ms rtt min/avg/max/mdev = 0.322/0.509/0.696/0.187 ms //使用insecure-registries参数添加http支持 [root@node-252 ~]# cat /etc/docker/daemon.json { 
    "registry-mirrors": ["https://3s9106.mirror.alncs.com"], "insecure-registries": ["192.168.71.253"] } [root@localhost ~]# systemctl daemon-reload [root@localhost ~]# systemctl restart docker //登录到harbor [root@localhost ~]# docker login 192.168.71.253 Username: admin //输入harbor的用户名 Password: //输入harbor的密码 WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded //修改镜像名与标签，把该镜像上传至harbor的library项目里 [root@localhost ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE busybox latest beae173ccac6 7 months ago 1.24MB [root@localhost ~]# docker tag busybox:latest 192.168.92.130/library/busybox:v0.1 [root@localhost ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE busybox latest beae173ccac6 7 months ago 1.24MB 192.168.92.130/library/busybox v0.1 beae173ccac6 7 months ago 1.24MB [root@localhost ~]# docker push 192.168.92.130/library/busybox:v0.1 The push refers to repository [192.168.92.130/library/busybox] 01fd6df81c8e: Pushed v0.1: digest: sha256:62ffc2ed7554e4c6d360bce40bbcfdd27c4ce080641a2c59867e732dee size: 527 

6.2 harbor的web管理界面

在harbor的web管理页面，进入library项目，查看是否上传成功。在这里我们可以创建项目，以及对项目里面的镜像进行管理

点击【推送命令】，即可看到官方推送镜像的各种容器服务的命令语法

点击【用户管理】，随后可以【创建用户】以及对用户进行授权或重置密码或删除用户的操作

用户添加完成后，将其加入项目

填写用户名与赋予权限(角色)，权限设置为开发人员。

如下图所示，可以看到该用户已加入到此项目。admin是管理员权限，yurq是开发者。

目前我是admin用户，对此项目拥有管理员权限，可以删除此项目，也可以在项目中加入或移除用户。

点击左侧的【仓库管理】，随后可以【新建目标】来远程管理其它的仓库服务，可选的仓库服务类型有以下之多

接着演示添加一个仓库服务。选择仓库类型为【DOcker Hub】，指定仓库名为【Docker Hub】，由于是docker的官方仓库，所以URL不用手动填，访问id与访问密码就填自己在Docke Hub注册的用户名与密码即可。由于这是官方仓库所以可以勾选上【验证远程证书】，如果远程实例使用的是’自签’的或’非信任证书’那么请取消勾选此选项。

7. K8s containerd对接harbor

在K8s较新的版本，更换了容器引擎containerd，下面我们来配置containerd对接harbor

harbor建议还是配置https,没有配置的https的情况，目前来看不太容易对接

7.1 harbor自签证书配置https

[root@node-134 harbor]# openssl genrsa -out ca.key 4096 [root@node-134 harbor]# openssl req -x509 -new -nodes -sha512 -days 3650 -subj "/CN=harbor.yh.com" -key ca.key -out ca.crt [root@node-134 harbor]# openssl genrsa -out server.key 4096 [root@node-134 harbor]# openssl req -new -sha512 -subj "/CN=harbor.yh.com" -key server.key -out server.csr [root@node-134 harbor]# cat certs/v3.ext authorityKeyIdentifier=keyid,issuer basicConstraints=CA:FALSE keyUsage = digitalSignature, nonRepudiation, keyEncipherment,dataEncipherment extendedKeyUsage = serverAuth subjectAltName = @alt_names [alt_names] DNS.1=harbor.yh.com [root@node-134 harbor]# pwd /usr/local/harbor [root@node-134 harbor]# openssl x509 -req -sha512 -days 3650 -extfile v3.ext -CA ca.crt -CAkey ca.key -CAcreateserial -in server.csr -out server.crt Signature ok subject=/CN=harbor.yh.com Getting CA Private Key [root@node-134 harbor]# ll certs/ total 28 -rw-r--r-- 1 root root 1797 Jul 25 23:54 ca.crt -rw-r--r-- 1 root root 3243 Jul 25 23:54 ca.key -rw-r--r-- 1 root root 17 Jul 25 23:55 ca.srl -rw-r--r-- 1 root root 1834 Jul 25 23:55 server.crt -rw-r--r-- 1 root root 1590 Jul 25 23:54 server.csr -rw-r--r-- 1 root root 3243 Jul 25 23:54 server.key -rw-r--r-- 1 root root 237 Jul 25 23:16 v3.ext 

$vim harbor.yml hostname: harbor.yh.com # http related config http: # port for http, default is 80. If https enabled, this port will redirect to https port port: 8080 # https related config https: # https port for harbor, default is 443 port: 443 # The path of cert and key files for nginx certificate: /data/server/harbor/certs/server.crt private_key: /data/server/harbor/certs/server.key ./prepare docker-compose down docker-compose up -d ss -lntup|egrep '80|443' tcp LISTEN 0 128 [::]:80 [::]:* users:(("docker-proxy",pid=,fd=4)) tcp LISTEN 0 128 [::]:443 [::]:* users:(("docker-proxy",pid=,fd=4)) 

harbor.yml

[root@node-134 harbor]# egrep -v "^ *#|^$" harbor.yml hostname: harbor.yh.com http: port: 80 https: port: 443 certificate: /usr/local/harbor/certs/server.crt private_key: /usr/local/harbor/certs/server.key harbor_admin_password: Harbor12345 database: password: root123 max_idle_conns: 100 max_open_conns: 900 data_volume: /data trivy: ignore_unfixed: false skip_update: false offline_scan: false insecure: false jobservice: max_job_workers: 10 notification: webhook_job_max_retry: 10 chart: absolute_url: disabled log: level: info local: rotate_count: 50 rotate_size: 200M location: /var/log/harbor _version: 2.4.0 proxy: http_proxy: https_proxy: no_proxy: components: - core - jobservice - trivy #查看证书是否过期 [root@node-128 home]# openssl x509 -in /etc/ssl/certs/server.crt -noout -dates notBefore=Jul 26 05:55:47 2023 GMT notAfter=Jul 23 05:55:47 2033 GMT 

7.2 containerd对接harbor(在所有节点上操作)

• nerdctl 安装

[21:29:54 root@c7-3~]#containerd --version containerd containerd.io 1.6.8 9cd3357b7fd7218e4aec3eae239db1f68a5a6ec6 wget https://github.com/containerd/nerdctl/releases/download/v0.22.2/nerdctl-0.22.2-linux-amd64.tar.gz tar -zxvf nerdctl-0.22.2-linux-amd64.tar.gz mv nerdctl /usr/local/bin 

• 安装 CNI 插件

wget https://github.com/containernetworking/plugins/releases/download/v1.1.1/cni-plugins-linux-amd64-v1.1.1.tgz mkdir -p /opt/cni/bin tar zxvf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin/ 

• 对接harbor

此处的server.crt拷贝自证书制作机器

scp node-134:/usr/local/harbor/certs/server.crt . yum install -y ca-certificates cp -a server.crt /etc/pki/ca-trust/source/anchors/ ln -s /etc/pki/ca-trust/source/anchors/server.crt /etc/ssl/certs/ update-ca-trust [root@node-128 home]# nerdctl login -u admin harbor.yh.com Enter Password: WARNING: Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded