通过 OCI OKE && OCIR 构建签名镜像 - 保证 CI/CD 镜像一致性
Oracle Kubernetes Engine（OKE）
Oracle Kubernetes Engine（OKE）是Oracle Cloud Infrastructure（OCI）上的托管Kubernetes服务。它为开发人员和企业提供了一种简便的方式来创建、部署和管理容器化应用程序。
Oracle Cloud Infrastructure Registry（OCIR）
Oracle Cloud Infrastructure Registry（OCIR）是Oracle Cloud提供的容器镜像存储服务。它允许用户在Oracle Cloud上存储、管理和部署Docker容器镜像。OCIR提供高度可用、安全且高性能的基础设施，支持团队协作，同时整合了OCI的身份和访问管理（IAM）服务，以确保对容器镜像的访问和管理的安全性。
镜像签名
镜像签名是一种用于验证容器镜像完整性和源信任的安全机制。在容器生态系统中，镜像签名被用于确保部署的镜像来自可信任的源，并且在传输过程中没有被篡改。这种机制有助于防范中间人攻击、确保软件供应链的安全性，并提高用户对使用的容器镜像的信任度。在CI/CD流水线中使用镜像签名可以确保从开发到生产环境的整个过程中，部署的都是经过验证和信任的容器镜像。
OCI Vault（Oracle Cloud Infrastructure Vault）
OCI Vault（Oracle Cloud Infrastructure Vault）是 Oracle 云基础设施提供的一项安全服务，用于管理和保护密钥、密码、证书等敏感信息。Vault 提供了安全的存储和访问这些加密数据的方式，并且支持密钥的生成、存储和轮换，以提高数据的安全性。
1 背景
用户出于合规和安全等原因，管理员希望我们在生产环境部署应用符合如下安全需求：
- 应用镜像来自被信任的源地址(这里指镜像仓库)
- 应用镜像在部署过程中的唯一性
2 应用场景
通常安全类操作会通过程序集成到开发、测试和生产环境的部署流水线中，通过钩子或者定时扫描的方式进行签名，签名是一个自动完成的过程；本文主要介绍Sign部分内容，即容器签名。
在部署中通常构建镜像的流程：
- 在CI/CD服务器上进行容器的构建
- 对构建成功的容器打上对应的标签
- 通过 OCI Vault 为容器增加签名
- OKE拉取签名镜像(此时OKE已打开镜像签名校验)
构建CI/CD流程如下:
签名校验流程：
在流程图中，虚拟机（VM）作为流程的发起者，更多地代表了 CI/CD 服务平台。示例中重点介绍了镜像签名和镜像部署的操作，在生产环境中，CI/CD 过程的负载远比示例中所展示的更加庞大。本文的目的在于提供有关与 CI/CD 操作的过程，而并非详细介绍自动化标准。
3 前提准备
3.1 Vault创建
Oracle Cloud Infrastructure Vault 是一项密钥管理服务，用于存储和管理主加密密钥和机密以安全访问资源。**在镜像签名场景中，主要用于为容器镜像增加签名和OKE镜像通过签名验证容器镜像的一致性。**
3.1.1 创建Vault
3.1.2 创建主加密密钥
目前镜像支持RSA和ECDSA两种加密算法。
3.2 OKE镜像签名验证所需IAM策略
OKE需要可以读取镜像仓库和使用Key的权限，注意：此权限目前仅支持租户级权限
Allow any-user to use keys in tenancy where request.user.id= # OKE集群OCID
Allow any-user to read repos in tenancy where request.user.id= # OKE集群OCID 4 开启OKE 镜像签名验证功能
4.1 创建OKE时开启镜像签名验证功能
- 展开”隐藏高级选项”
- 勾选”在此集群上启用映像验证策略”
- 选择使用的KEY信息
5 构建镜像与发布
5.1 编写测试dockerfile
测试镜像，用于构建nginx镜像：
FROM centos:7.9.2009
RUN buildDeps='readline-devel pcre-devel openssl-devel gcc telnet wget curl make' \
&& useradd -M -s /sbin/nologin nginx \
&& mkdir -p /usr/local/nginx/conf/vhost \
&& mkdir -p /data/logs/nginx \
&& yum -y install $buildDeps \
&& yum clean all \
&& wget http://nginx.org/download/nginx-1.14.2.tar.gz \
&& tar zxf nginx-1.14.2.tar.gz \
&& cd nginx-1.14.2 \
&& ./configure --prefix=/usr/local/nginx \
--with-http_ssl_module \
--with-http_stub_status_module \
&& make -j 1 && make install \
&& rm -rf /usr/local/nginx/html/* \
&& echo "ok" >> /usr/local/nginx/html/status.html \
&& cd / && rm -rf nginx-1.14.2* \
&& ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ENV PATH /usr/local/nginx/sbin:$PATH
WORKDIR /usr/local/nginx
EXPOSE 80
CMD ["nginx", "-g", "daemon off;"]5.2 登录镜像仓库
# 用户名有两种:
# - 普通IAM用户格式：/
# - 联邦用户格式： /oracleidentitycloudservice/
#
# password为认证token
#1. 登录镜像仓库
$root > docker login ap-tokyo-1.ocir.io
username: xxx/oracleidentitycloudservice/[email protected]
password: 5.3 构建镜像
# 构建镜像
# 镜像标签的组合为//
docker build -t ap-tokyo-1.ocir.io/xxxxxx/dev-app:v1 -f DockerFile
# 查看当前构建的镜像，标注背景色的镜像为我们要推送至仓库的镜像, xxxxxx 为客户账号的镜像仓库所在namespace
[root@instance-20221212-1501 ~]# docker images
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
REPOSITORY TAG IMAGE ID CREATED SIZE
ap-tokyo-1.ocir.io/xxxxxx/dev-app v1 3bb00c0e9770 35 seconds ago 328 MB
quay.io/centos/centos 7.9.2009 8652b9f0cb4c 2 years ago 212 MB 5.4 推送镜像至OCIR镜像仓库
推送成功后在镜像仓库中可以看到刚刚发布的v1版本镜像
# 推送镜像至仓库, xxxxxx 为客户账号的镜像仓库所在namespace
docker push ap-tokyo-1.ocir.io/xxxxxx/dev-app:v1
6 镜像签名
容器签名操作在每次镜像发布后进行，通过容器数字ID与主密钥生成一致性信息，保证容器的完整性。
6.1 获取容器ID
6.1.1通过console界面获取
6.1.2 通过 OCI Cli 命令行获取
注意：在使用 OCI Cli 命令行前需要添加用户认证
oci artifacts container image list --compartment-id
{
"data": {
"items": [
{
"compartment-id": "ocid1.compartment.oc1x",
"digest": "sha256:e7a4c186eef137a75caacae308765dc2fbb2f57c36d95c0b3ccf6efe6d912ec1",
"display-name": "dev-app:v1",
"id": "ocid1.containerimage.oc1.ap-tokyo-1.0.cnstphowy3cb.aaaaaaaakzn4quqonn7wrkys5o4ms7h6yykzkm5raggd7iwoetopyolptneq",
"lifecycle-state": "AVAILABLE",
"repository-id": "ocid1.containerrepo.oc1.ap-tokyo-1.0.cnstphowy3cb.aaaaaaaao5wmjdfjd7v6ivy4h4ckzquww3a7famuymokimr2n7tip54qcdsq",
"repository-name": "dev-app",
"time-created": "2022-12-12T10:13:24.550000+00:00",
"version": "v1"
}
],
"remaining-items-count": 0
}
} 6.2 获取KEY信息
签名时需要使用密钥OCI和密钥版本
6.2.1 通过console界面获取
6.3 镜像签名
6.3.1 镜像签名
oci artifacts container image-signature sign-upload --compartment-id --kms-key-id --kms-key-version-id --signing-algorithm --image-id --description --metadata
oci artifacts container image-signature sign-upload --compartment-id ocid1.compartment.oc1..aaaaaaaatkzpafvu44t6gcpqk5nz7nykngxhpkzalmfn6u3wdesdm6f323ma --kms-key-id ocid1.key.oc1.ap-tokyo-1.cnrzn4zwaaeam.abxhiljre5yt3upn2bgik2lejscd7lvox7ygr4w3lh2wggey5statloap54q --kms-key-version-id ocid1.keyversion.oc1.ap-tokyo-1.cnrzn4zwaaeam.csiqmolpmhiaa.abxhiljri5uf7tw6qkrs3lcz5v764npnsk4f6cdrfpcv5sig7hcetu52vrfa --signing-algorithm SHA_256_RSA_PKCS_PSS --image-id ocid1.containerimage.oc1.ap-tokyo-1.0.cnstphowy3cb.aaaaaaaakzn4quqonn7wrkys5o4ms7h6yykzkm5raggd7iwoetopyolptneq --description "Image for DEV testing"
# --ompartment-id # 镜像所在的隔间的OCID
# --kms-key-id # 用于对镜像签名的主加密密钥的OCID
# --kms-key-version-id # 用于对镜像进行签名的密钥版本的OCID
# --signing-algorithm # 镜像签名所用的算法
# --image-id # 被签名的镜像OCID
# --description # 镜像签名的描述信息 执行后会返回相关的绑定信息
6.3.2 镜像签名验证
# 命令
oci artifacts container image-signature get-verify --compartment-id --repo-name --image-digest --trusted-keys ## --compartment-id-in-subtree true|false
# 示例
oci artifacts container image-signature get-verify --compartment-id ocid1.compartment.oc1..aaaaaaaatkzpafvu44t6gcpqk5nz7nykngxhpkzalmfn6u3wdesdm6f323ma --repo-name dev-app --image-digest sha256:e7a4c186eef137a75caacae308765dc2fbb2f57c36d95c0b3ccf6efe6d912ec1 --trusted-keys ocid1.key.oc1.ap-tokyo-1.cnrzn4zwaaeam.abxhiljre5yt3upn2bgik2lejscd7lvox7ygr4w3lh2wggey5statloap54q
# --compartment-id 镜像所在的隔间的OCID
# --repo-name # 镜像仓库名称
# --image-digest # 容器数字签名
# --trusted-keys # 主加密密钥OCID 签名验证通过信息如下：
7 OKE创建OCIR镜像仓库认证
通过 secret 完成标准的镜像仓库认证
# 添加镜像仓库认证
kubectl create secret docker-registry ocirsecret --docker-server=ap-tokyo-1.ocir.io --docker-username='cnsxxxb/oracleidentitycloudservice/[email protected]' --docker-password='xxx' --docker-email='[email protected]'
# --docker-server # 镜像服务器所在的region，.ocir.io
# --docker-username # 容器仓库认证用户名
# --docker-password # 容器仓库认证用户token
# --docker-email # 容器认证邮箱地址 8 OKE使用签名镜像进行应用部署
8.1 正确部署
只有通过签名的镜像才可以被成功部署
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
run: pod-2
name: pod-2
spec:
containers:
- image: ap-tokyo-1.ocir.io/xxxxx/dev-app@sha256:e682e7302fa2c0a444d0d05408cd5c0cd393a8481329633963d649c9dc758470 # @sha256: xxx 是数字签名
name: pod-2
resources: {}
dnsPolicy: ClusterFirst
restartPolicy: Always
imagePullSecrets:
- name: ocirsecret
status: {}8.2 异常部署
使用非镜像仓库的外来镜像或非签名镜像时
#####收到如下的报错：
Error from server (Forbidden): error when creating "pod-1.yaml": pods "pod" is forbidden: an error on the server ("unknown") has prevented the request from succeeding
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
run: pod
name: pod
#annotations:
# oracle.image-policy.k8s.io/break-glass: "true"
spec:
containers:
- image: nginx # 部署的镜像非OKE镜像仓库，且未进行签名
name: pod
resources: {}
dnsPolicy: ClusterFirst
restartPolicy: Always
status: {}
8.3 通过 注解 方式声明允许构建未签名镜像
通过注解的方式，跳过签名限制
annotations:
oracle.image-policy.k8s.io/break-glass: "true" # 如果当前镜像部署想跳过限制，可通过oracle.image-policy.k8s.io/break-glass: "true" 注释绕过规则。
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
run: pod
name: pod
annotations:
oracle.image-policy.k8s.io/break-glass: "true"
spec:
containers:
- image: nginx # 部署的镜像非OKE镜像仓库，且未进行签名
name: pod
resources: {}
dnsPolicy: ClusterFirst
restartPolicy: Always
status: {}
9 参考内容
镜像签名
Signing Images for Security
Vault密钥管理
https://docs.oracle.com/en-us/iaas/Content/KeyManagement/Tasks/managingkeys.htm#createnewkey
OKE通过OCIR镜像仓库拉取镜像
Pulling Images from Registry during Deployment
OKE使用镜像签名
https://docs.oracle.com/en-us/iaas/Content/ContEng/Tasks/contengenforcingsignedimagesfromocir.htm#Enforcing_Use_of_Signed_Images_from_Registry