基于 kubebuilder 的 operators 开发问题总结

前情提要

之前的文章已经将 kubebuilder 的开发环境和本地调试环境进行了简介和部署实现，流程基本走通，同时，开发也涉及了部分的细节问题其实在之前的流程隐去了原理的讲解，譬如 GOPROXY 的配置，Dockerfile 的本地编译，Golang 联调的配置，编译运行的命令分布处理等问题都没有进行展开，所以本篇文章将会对以上几个方面详细展开并作分析。

服务端测试环境

• kubebuilder 开发环境部署参考:
  https://www.cnblogs.com/vpc123/articles/14456626.html

• kubebuilder 证书也验证部署(Webhook 调用):
  说明: 由于webhook 开发调试的需要，一方面需要将证书拷贝到本地，同时还需要部署证书认证的组件在集群中从而进行集群的调度和实现。

# 下载获取 cert-manager.yaml
wget https://github.com/jetstack/cert-manager/releases/download/v1.2.0/cert-manager.yaml
kubectl apply -f cert-manager.yaml
kubectl  get pod -A | grep cert

image

本地开发环境(Goland)

系统配置

项目开发的话，代码依赖问题一般需要通过本地的 GOPATH 处理 go 项目中的包依赖问题，或者通过 govendor 进行依赖管理；
将需要二次开发的项目拷贝到本机的 $GOPATH/src 目录下，然后通过 GOLAND 进行编辑和开发。

image

image

image

备注说明:
存在一个很扯的问题，如果环境中配置过了 GOPATH ,系统默认会通过 GOPATH 处理语言包的依赖问题的，如果恰巧你的 golang 版本是 1.16+ 就要小心一点了，你以为 go get -u -v http://xxxxxxx 的资源会下载到什么地方呢！src 目录吗？可能会让你大跌眼睛的呢！资源文件会下载到对应路径的缓存目录中，我也是惊呆了。

image

单元测试

因为本文是介绍 kubebuilder 如何本地和远程环境进行联调开发的，项目需要在 K8s/k3s 环境进行初始化，然后创建对应的 crd 资源，随后将项目拷贝到本地的机器进行开发调试，开发调试需要同步以下几种文件资源从而保证资源接口可以调度查询的实现呦！

• 集群调度配置文件
  需要提前将 K8s 集群的 ~/.kube/config 的集群配置文件拷贝存放到自定义的目录位置；
  比如本地测试联调的文件路径地址，E:\GoWorks\crt.kube

• webhhook 证书文件
  需要提前将 K8s 集群的 /etc/kubernetes/pki/ 的 apiserver 调度证书文件存放到自定义的目录位置(主要 apiserver.crt 和 apiserver.key )；
  比如本地测试的证书文件路径地址，C:\Users\hspcadmin\AppData\Local\Temp\k8s-webhook-server\serving-certs，拷贝并重命名文件为(tls.crt & tls.key).

  
  
  image

• IDE 控制台配置

  
  
  image

开发流程

• kubebuilder 项目初始化流程:

# 初始化项目
mkdir -p $GOPATH/src/helloworld
cd $GOPATH/src/helloworld
kubebuilder init --domain com.vpc123

# 创建API(CRD和Controller)
cd $GOPATH/src/helloworld
kubebuilder create api \
--group webapp \
--version v1 \
--kind Guestbook

# 创建 Webhook
cd $GOPATH/src/helloworld
kubebuilder create webhook \
--group helloworld\
--version v1 \
--kind helloworld\
--defaulting \
--programmatic-validation

# 资源清理
kubectl delete -f config/samples/*
kustomize build config/default | kubectl delete -f -
make uninstall

# 资源部署
## 方式一:
### 环境中生成 crd 资源即可用于远程调试开发流程，后续几步均为本地环境测试流程
make install

###  更换自己的镜像仓库，进行镜像编译（经测试，直接打制编译的镜像存在一些问题）
make docker-build docker-push IMG=12589/elasticweb:001

### 部署集成了webhook功能的controller
make deploy IMG=12589/elasticweb:001

## 方式二:
### 环境中生成 crd 资源即可用于远程调试开发流程，后续几步均为本地环境测试流程
make install
### 控制台输出日志编译调试
make run

拓展阅读

问题1：
服务协议: ProtocolSCTP 使用 ProtocolTCP 针对对外暴露的服务协议来说。

问题2：
webhook 调度时，报证书路径错误，谨慎核查 tls 的证书路径呦！