【k8s学习】GitOps工具FluxCD v2安装与介绍（超详细）

【前置文章】

• 【k8s学习】Kubernetes新手学习，4小时视频笔记总结
• 【k8s学习】Helm安装及Hello-world示例
• 【k8s学习】kustomize学习
• 【k8s学习】GitOps介绍

【环境】

• MacOS
• minikube version: v1.25.2
• helm v3.8.2

【说明】
关于怎么安装flux，目标我看到有几种方式：

1. 我之前的文章【k8s学习】GitOps工具Flux CD v1的安装介绍，通过Helm crds.yaml文件安装flux v1，中间还用到了helm-operator工具，这个是比较老的做法。

2. 通过fluxctl命令行工具：fluxctl install的方式来安装，同样的，安装的是flux v1的版本。
   参考文章：How to manage Kubernetes clusters the GitOps way with Flux CD：https://techbloc.net/archives/4283

3. 通过Flux CLI工具来安装，即官网在【安装】这个tab下给的方案：https://fluxcd.io/docs/installation/，安装的是flux v2版本。--> 【也就是本文的内容】

【资源】
关于flux v2：

• 【文章】An introduction to Flux v2：https://blog.baeke.info/2020/11/10/an-introduction-to-flux-v2/

视频系列（讲的很好）：

• Supercharge your Kubernetes deployments with Flux v2 and GitHub - Introduction：https://www.youtube.com/watch?v=N6UCKF7JD7k
• Kubernetes deployments with Flux v2: introduction to kustomize：https://www.youtube.com/watch?v=btqZkVQIdd8
• Kubernetes deployments with Flux v2: Deploying Manifests：https://www.youtube.com/watch?v=wMSswUaN-34

另外一个视频：

• Full GitOps Tutorial: Getting started with Flux CD：https://www.youtube.com/watch?v=5u45lXmhgxA

【Fluxcd v2的一些步骤】

• 首先是安装Flux CLI（如果上面介绍的，flux交互的有fluxctl, fluxcli等），在最新版中Flux CLI即Flux -->【第2章】
• Bootstrap（启动） flux v2 component，from git repo -->【第2章】
• Create sources：开始创建我们自己的项目，Git Repo, Helm Repo等。
• Deploy kustomizations/Helm charts，即开始部署我们的yaml文件。
• Monitoring and alerting：通知相关，也可以在Prometheus以及Grafana上监控。

1. minikube

我跑的是minikube v1.25.2。关于minikube的安装，参考我之前的文章：https://www.jianshu.com/p/51f79c7d792e

在创建flux之前，先创建namespace：

kubectl create ns flux

2. 通过flux cli安装flux v2

2.1 通过HomeBrew安装fluxcd：

brew install fluxcd/tap/flux

2.2 在github上导出pat文件：

在使用flux bootstrap命令之前，需要先做一步github pat文件的设置。

如何导出github pat，参考：https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/creating-a-personal-access-token

右上角头像旁边 --> setting --> 左侧拉到最下：Developer settings --> 左侧：Personal access tokens：

image.png

确保有repo操作的权限勾上：导出pat。

将pat设置到我们的环境中：

export GITHUB_TOKEN=

再设下github username：

export GITHUB_USER=

2.3 使用flux bootstrap命令启动：

在启动前，先check下flux的版本等信息是否已经可以了。使用命令flux check --pre检查，可以看到版本符合，prerequisites checks passed，表明可以使用flux bootstrap命令了：

image.png

【开始启动】
我使用的是github仓库，这里也支持bitbucket等等，可以在官网上查看其它的例子：

flux bootstrap github \
--owner=$GITHUB_USER \
--repository=fluxcd-demo \
--branch=master \
--path=clusters/my-cluster \
--personal

好了之后，用flux check命令检查下：

image.png

用kubectl查看namespace list：

image.png

可以看到在flux-system下，运行着一些pod，包括helm-controller（flux1里用的是helm-operator）：

image.png

在Git Repository下可以看到自动建了文件夹clusters/my-cluster/flux-system：

image.png

有三个文件：

image.png

3. flux controller介绍（可跳过）

官网：https://fluxcd.io/docs/components/

在上述flux-system下，运行了4个pod，即：source-countroller, kustomize-controller, helm-controller和notification-controller。

image.png

3.1 Source Controller

官网：https://fluxcd.io/docs/components/source/
参考：https://tanzucommunityedition.io/docs/v0.11/package-readme-fluxcd-source-controller-0.21.2/

source-controller是Kubernetes的operator，定义了可以从外部比如Git Repository，也可以定义Helm Repository拉取资源。即我们需要告诉flux v2我们的配置文件的位置。

通过kubectl查看CRD（Custom Resource Definition，自定义资源的定义）列表：

kubectl get crds -n flux-system | grep "source.toolkit"

image.png

【示例】
https://fluxcd.io/docs/components/source/gitrepositories/
我们可以定义一个GitRepository，叫gitrepository-sample.yaml：

apiVersion: source.toolkit.fluxcd.io/v1beta2
kind: GitRepository
metadata:
  name: podinfo
  namespace: default
spec:
  interval: 5m0s
  url: https://github.com/stefanprodan/podinfo
  ref:
    branch: master

使用kubectl创建：

kubectl apply -f gitrepository.yaml

查看详情：

kubectl describe gitrepository podinfo

说明：

• 名叫podinfo的GitRepository会被创建。
• spec.interval = 5minutes，所以source-sontroller会每隔5分钟check一次Git Repo上的代码。
• 如果Git Repo上的代码有改动，那么都会反应在.status.artifact中，status相关的是组件run后才会有的（自动生成的），可通过kubectl describe查看。

如何查看我们在第2章使用flux bootstrap git启动的flux source-controller相关的组件？

kubectl get gitrepository -n flux-system

image.png

3.2 Kustomize Controller

官网：https://fluxcd.io/docs/components/kustomize/

Kustomize Controller跟yaml的部署、持续Pipeline这些有关。

示例：https://fluxcd.io/docs/components/kustomize/kustomization/

3.3 Helm Controller

官网：https://fluxcd.io/docs/components/helm/

与Helm chart Release有关。

示例：https://fluxcd.io/docs/components/helm/helmreleases/

3.4 Notification Controller

官网：https://fluxcd.io/docs/components/notification/

与通知有关。

上述4个Controller的工作图：

image.png

4. kustomize相关

关于kustomize，可以看之前的文章：【k8s学习】kustomize学习

kustomize和helm都是为了更好的管理与打包kubernetes配置，flux可以不了这些工具集成。（因为flux原理就是从Git Repo上定时拉取配置并对比，如果不一样，可以通过kubectl apply把最新的Git配置生成下。）

但通常情况下，我们管理kubernetes集群配置，并不只是像初学那样自己写Deployment.yaml, Service.yaml，因为涉及到很多第三方的工具（比如redis, mongodb等），我们可能会用helm工具直接从hlem仓库中拉取别人的配置，然后修改下。或者有很多环境（dev/test/prod等），也可以使用kustomize工具来生成不同环境下的最终配置。

【flux v2在其内部还是使用了kustomize来部署：namespace, service, deployments等等】

5. Demo

在【第2章】建的git repo中，my-cluster下创建三个yaml文件：

image.png

realtimeapp-dev.yaml内容：

---
apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata:
  name: realtimeapp-dev
  namespace: flux-system
spec:
  healthChecks:
  - kind: Deployment
    name: realtime-dev
    namespace: realtime-dev
  - kind: Deployment
    name: redis-dev
    namespace: realtime-dev
  interval: 1m0s
  path: ./deploy/overlays/dev
  prune: true
  sourceRef:
    kind: GitRepository
    name: realtimeapp-infra
  timeout: 2m0s
  validation: client

realtimeapp-prd.yaml内容：

---
apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata:
  name: realtimeapp-prd
  namespace: flux-system
spec:
  healthChecks:
  - kind: Deployment
    name: realtime-prd
    namespace: realtime-prd
  - kind: Deployment
    name: redis-prd
    namespace: realtime-prd
  interval: 1m0s
  path: ./deploy/overlays/prd
  prune: true
  sourceRef:
    kind: GitRepository
    name: realtimeapp-infra
  timeout: 2m0s
  validation: client

realtimeapp-source.yaml内容：
这里的GitRepository哪里来的？参考【k8s学习】kustomize学习，我是从https://github.com/gbaeke/realtimeapp-infra fork过来的。

---
apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: GitRepository
metadata:
  name: realtimeapp-infra
  namespace: flux-system
spec:
  interval: 30s
  ref:
    branch: master
  url: ssh://[email protected]:/realtimeapp-infra.git

调用flux bootstrap同步下（flux bootstrap命令是可以重复调用的）：

flux bootstrap github \
--owner=$GITHUB_USER \
--repository=fluxcd-demo \
--branch=master \
--path=clusters/my-cluster \
--personal

遇到了问题：failed to get Git repository "https://github.com//fluxcd-demo": Get "https://api.github.com/repos//fluxcd-demo": dial tcp: lookup api.github.com on 8.8.8.8:53: read udp 192.168.3.175:51133->8.8.8.8:53: i/o timeout

看了下官网的解释：

Note: Unlike using git, the shorter scp-like syntax is not supported for SSH addresses (e.g. [email protected]:repository.git). Instead, the valid URL format is ssh://[email protected]:22/repository.git.

格式不能是[email protected]:repository.git，而是要写全：
所以我把上述realtimeapp-source.yaml中的ssh://[email protected]:/realtimeapp-infra.git改成了ssh://@github.com:22/realtimeapp-infra.git，其中需要替换成你的git帐号。重新运行flux bootstrap。

遇到新的问题：即run后使用kubectl get ns发现并没有创建新的namespace如realtime-dev，使用命令看下gitrepository：

kubectl get gitrepository -n flux-system

发现realtimeapp-infra中配的ssh还是有问题：failed to configure auth strategy for Git implementation 'go-git': invalid 'ssh' auth option: 'identity' is required，参考网站：https://fluxcd.io/docs/components/source/gitrepositories/#ssh-authentication，如果使用ssh则需要创建Secret组件。

我们先把realtimeapp-source.yaml中的url改成https的url好了。

https://github.com//realtimeapp-infra.git

再重新run flux bootstrap命令：

image.png

查看kubernetes集群中的namespace，可以看到namespace为realtime-dev, realtime-prd的已经创建了：

image.png

查看realtime-dev下的pod（我们设置的是dev环境replica为1）：

image.png

查看realtime-prd下的pod（相当于production生产环境，我们设置的replica为3）：

image.png

【总结】
一个flux bootstrap git命令到底干了多少事情？
首先，涉及到两个git repository，具体可从public repository中找：

• https://github.com/gbaeke/realtimeapp-infra
• https://github.com/gbaeke/flux-infra/tree/main/app-cluster

git repos

【过程】

过程

入口命令，扫描fluxcd-demo项目：

1. 先是通过realtimeapp-source.yaml将前面的realtimeapp-infra打包成k8s中的gitrepository组件。
2. 然后通过realtimeapp-dev.yaml的Kustomization资源文件，后台使用kustomize命令（【这就是为什么要介绍第4章的原因，因为flux的kustomize controller后台使用的依旧是kustomize命令。】），通过步骤1安装的gitrepository组件，读到左边的/dev文件下的kustomization.yaml，继而安装里面的资源，即base下的realtime中的deployment以及redis中的deployment。（此时在/overlays/dev中配置的replica为1）。
3. realtimeapp-prd.yaml类型，在/overlays/prd中配置的replica为3）。

6. 检查

使用flux get命令查看 Flux 正在运行和管理的应用：

flux get kustomizations

image.png

另外，可以手动sync flux git中的内容，使用flux reconcile命令：

flux reconcile source git flux-system

试图改realtimeapp-infra项目中的overlays/prd/kustomization.yaml文件中的replica数量，从3改到2：

image.png

过一段时间后，就发现message变了：

image.png

replica自动从3减到2了：

image.png