k8s部署springcloud-alibaba项目

本文由个人总结，如需转载使用请标明原著及原文地址

本文需要一些知识储备，有一定的自学能力，有一定的自行解决问题的能力，不然直接看的话压力会比较大，建议有一定知识储备后作为提升来学

本文的前置条件是会docker，还要有两台以上的虚拟机，还不了解的可以先看我前一篇文章

centos8安装docker运行java文件_centos8 docker安装java8-CSDN博客

本文是我在完整搭建完整个系统后再这里的，所以有些步骤和当时排查的问题可能会有些遗忘，请谅解，有问题的部分可以在评论提问，我会回答并更新到文章中

本文涉及的技术有

k8s，flannel，nfs，mysql，nginx

nacos，sentinel，seata这几个是springcloud-alibaba的，如果不是部这种项目，这3个的部分可以跳过

我这使用的是springboot 2.7.18、spring-cloud 2021.0.9、spring-cloud-alibaba 2021.0.5.0、nacos 2.2.3、sentinel 1.8.6、seata1.6.1，如果你的版本和我不一样，自行去spring-cloud-alibaba官网查下你自己匹配的版本，下面部署的时候也对应的记得修改版本，不要就直接抄，版本不对可能会导致项目起不来

1. 安装k8s

我这弄的两台虚拟机的配置是

服务器名	ip	配置
k8smaster	192.168.233.20	2G内存20G硬盘
k8snode1	192.168.233.21	8G内存20G硬盘

node1的内存比较高是因为原本是设置2G内存，在部署到nacos的时候node1就因为内存不够而卡死了，然后加到了4G，然后我springcloud-alibaba部署了7个服务，又卡死了，所以加到了8G内存，现在完整部署完，node1实际使用内存4.7G，各位可以看自己情况调整

服务器名称可以通过以下命令进行修改

hostnamectl set-hostname xxxx

1.1 关闭防火墙、selinux、swap

master服务器和node服务器都要执行

关闭防火墙，k8s会默认使用iptables做访问限制，防火墙开着可能会阻止k8s集群中各节点的互相访问

systemctl stop firewalld && systemctl disable firewalld

关闭selinux

SELinux是一种安全子系统，它提供访问控制机制。在Kubernetes集群中，某些节点可能运行在CPU或内存受限的环境中，或者需要运行特定的安全策略。在这些情况下，可能需要配置SELinux以允许Kubernetes正常工作。但是，完全关闭SELinux（设置为permissive或disabled模式）通常用于简化安全策略，以避免潜在的安全问题。

setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

关闭swap

swap是linux系统的虚拟内存，k8s觉得虚拟内存会影响他的执行效率，所以k8s启动时会检测swap是否关闭，没关不让启动，但是启动参数里可以加参数在启动时忽略判断swap是否关闭，有兴趣可以自己查下，我这介绍按k8s关闭swap的搭建方法

sed -ri 's/.*swap.*/#&/' /etc/fstab

1.2 安装docker

master服务器和node服务器都要执行

centos8安装docker运行java文件_centos8 docker安装java8-CSDN博客

1.3 安装 kubelet、kubeadm、kubectl

master服务器和node服务器都要执行

kubeadm：搭建kube集群的东西

kubelet：kube中和docker交互创建对应容器的服务，旧版的kube-apiserver、kube-proxy、kube-scheduler等，那些的都会在kubelet里自动创建

kubectl：kube的控制台

我这使用的是1.18.0版本，如有需要自行修改

yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

1.4 创建master节点

仅master节点执行

执行前请确保kubelet服务已经启动完毕，以下命令能查询kubelet的状态

systemctl status kubelet

 kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: active (running) since Mon 2024-09-09 17:39:32 CST; 1 day 21h ago
     Docs: https://kubernetes.io/docs/
 Main PID: 798 (kubelet)
    Tasks: 19 (limit: 11363)
   Memory: 77.5M
   CGroup: /system.slice/kubelet.service
           └─798 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver>

Sep 11 15:31:10 k8smaster kubelet[798]: E0911 15:31:10.396187     798 summary_sys_containers.go:47] Failed to get system container stats for "/system.slice/docker.service": failed to get cgro>
Sep 11 15:31:20 k8smaster kubelet[798]: E0911 15:31:20.420096     798 summary_sys_containers.go:47] Failed to get system container stats for "/system.slice/docker.service": failed to get cgro>

以下命令查看docker中是否创建好kube基础依赖的容器 

docker ps

这里随便cp了2个出来，有看到这俩，或者类似这俩的，应该就行了

CONTAINER ID   IMAGE                                               COMMAND                  CREATED        STATUS        PORTS                                       NAMES
d8cfa18ec556   registry.aliyuncs.com/google_containers/pause:3.2   "/pause"                 46 hours ago   Up 46 hours                                               k8s_POD_kube-apiserver-k8smaster_kube-system_24d2e38ac3ee7dbd192b59ae301f2958_1
59ca2ec352a8   43940c34f24f                                        "/usr/local/bin/kube…"   46 hours ago   Up 46 hours                                               k8s_kube-proxy_kube-proxy-jvp78_kube-system_2c89a685-e9d1-490a-b945-13a38eca665d_1

apiserver-advertise-address：当前服务器的静态ip，装好docker和kubelet，kubelet会自动在docker里运行kube-apiserver所以填当前服务器地址

倒数两行是service和pod的ip网段，最好不要修改，这个网段和flannel的默认值是匹配的，如果修改到时候flannel也要修改

kubeadm init \
--v=5 \
--apiserver-advertise-address=192.168.233.20 \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.18.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

 输出以下内容master节点就算搭建成功了

失败看1.6

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.233.20:6443 --token 1aczra.6ttwnx7vkcvfvr26 \
    --discovery-token-ca-cert-hash sha256:85feeb8ca8b4a9161446732118ca87f5f995bcdcf3f13d4711cf9aff4d50360e

然后按照上面的提示，在master节点上执行这三行的内容，这是赋予本机的kubectl操作权限

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.5 node节点加入集群

仅node节点执行

在master节点搭建完的时候，最下面会输出这段代码，直接复制到node节点上执行就能作为node节点加入到集群

kubeadm join 192.168.233.20:6443 --token 1aczra.6ttwnx7vkcvfvr26 \
    --discovery-token-ca-cert-hash sha256:85feeb8ca8b4a9161446732118ca87f5f995bcdcf3f13d4711cf9aff4d50360e

如果没记下来忘了，那么在master服务器上输入以下命令，可以再次输出加入k8s集群的代码

kubeadm token create --print-join-command

1.6 master节点创建失败的情况

仅master节点执行

先去排查kubelet服务是否启动成功，对应的docker容器是否创建了，1.4有查看的方法，根据报错信息去网上查解决方法

解决kubelet的问题后，要重新使用kubeadm init之前，先要重置kubeadm并删除上次init产生的垃圾文件

重置kubeadm

kubeadm reset

删除垃圾文件

rm -rf /etc/kubernetes/*
rm -rf $HOME/.kube/*

1.7 k8s部署flannel

仅master节点执行

到这一步，使用以下命令可以看到，我们的master节点还是处于NotReady状态，这时需要部署flannel来自动为创建的service和pod分配ip

kubectl get node

 我们直接下载k8s部署flannel的yml文件，然后用kubectl create命令执行

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl create -f kube-flannel.yml

我下的这版flannel会单独创建个namespace运行他的内容，用以下命令可以查看flannel pod的创建情况，创建完了后，再用kubectl get node 此时master节点的状态应该就变成Ready了

kubectl get pods -n kube-flannel

2. 部署nfs

nfs是文件共享服务，docker容器运行时，我们常把一些容器中的目录映射到宿主机的目录上，方便修改配置文件、查看日志等，但是使用了k8s我们可能会有很多的node节点，我们去每个服务器上做配置、看日志非常不方便，所以就用到了nfs文件共享服务，我们可以把所有node节点的容器目录映射到文件共享服务器上，这样我们修改配置文件或查看日志等操作，就可以在文件共享服务器上统一操作了，不用到各个node服务器上操作

2.1 搭建nfs服务

nfs服务搭建非常简单，网上普遍是直接在宿主机上搭建，我这使用的是用docker搭建的方法，你们不想用docker也能搜搜直接在宿主机上搭建的方法，也就两三步的事

nfs服务可以搭建在单独的服务器上，我这为了省事直接搭在master服务器上

下载nfs镜像

docker pull itsthenetwork/nfs-server-alpine

运行nfs容器，这是24年9月的运行方式，旧版的共享目录的全局变量不是NFS_EXPORTED_DIR是SHARE_DIR_NAME，docker ps 如果看到容器一直在重启，可以用docker logs nfs-server查看容器启动失败的原因，如果是缺少全局变量会直接把缺少的参数名输出出来，看参数名推测下该参数的用处，加在启动命令里就好了

docker run --privileged -d --name nfs-server --restart always -v /data/nfs:/nfs/shared -p 2049:2049 -e NFS_EXPORTED_DIR="/nfs/shared" itsthenetwork/nfs-server-alpine

2.2 搭建k8s nfs-client-provisioner

仅master节点执行

k8s创建statefulsets类型的服务时需要提供pvc作为存储空间，nfs-client-provisioner可以通过自动在创建映射到nfs服务的pvc供state