k8s 集群搭建 1.18.0

主从结构

master： 10.19.37.76
workder：10.19.37.75 10.19.37.77

详细步骤

所有操作都在root用户下运行。

1. 初始准备

确保集群间机器互相ping通

关闭selinux：

sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

关闭swap：

swapoff -a # 临时
vim /etc/fstab # 永久

2.安装docker

2.1 卸载之前docker

搜索已经安装的与docker相关的包

yum list installed|grep docker
或者
rpm -qa|grep docker

依次删除

yum –y remove docker.x86_64（具体对应名）

再次检查docker是否已经卸载成功，如果无结果则表示完全卸载。

2.2 安装docker

依次执行

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo  // 国内镜像
// yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo        //国外镜像

安装docker最好指定版本，经过多次尝试选择17.03

yum localinstall http://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/Packages/docker-ce-selinux-17.03.3.ce-1.el7.noarch.rpm 
yum install yum install docker-ce-17.03.3.ce-1.el7 -y

docker记得配一下国内镜像

vim /etc/docker/daemon.json
{"registry-mirrors": ["http://hub-mirror.c.163.com" , "https://registry.cn-hangzhou.aliyuncs.com", "https://docker.mirrors.ustc.edu.cn"], "live-restore": true}

启动docker

systemctl enable docker
systemctl start docker

查看下docker国内镜像设置是否成功

docker info   // 查看Registry Mirrors字段

3. 安装kubeadm，kubelet和kubectl

配置国内k8s源

cat << EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装了目前最新版本（1.18）的kubeadm, kubelet and kubectl，运维大哥说1.16稳定一些

yum install -y kubelet kubeadm kubectl
或指定版本安装 
yum install -y kubelet-1.16.0 kubeadm-1.16.0 kubectl-1.16.0

启动kubelet

systemctl enable kubelet && systemctl start kubelet

修改Cgroup Driver

修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf文件，增加--cgroup-driver=cgroupfs

如果上述文件不存在请查找  /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf 

重启kubectl

    systemctl daemon-reload
    systemctl restart kubelet

4. init master节点

这一步只在master节点执行

init master节点：

kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --pod-network-cidr=192.168.0.0/16 --token-ttl 0

之后执行：

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

关于token

执行之后，在结果的最后一行包含了master 节点的token：

kubeadm join 10.19.37.76:6443 --token gcw5aw.b1925wvffk18bfoz --discovery-token-ca-cert-hash sha256:07798bd39b8eea88beee5697281857acb94dadf5032f3239c619c6080e2599b4

如果忘了token可以执行，

kubectl -n kube-system describe $(kubectl -n kube-system get secret -n kube-system -o name | grep namespace) | grep token  

这串token有效期是24小时，若想重新生成则执行：

kubeadm token create --print-join-command

补充指令查询集群运行情况

  journalctl -f -u kubelet

5. 安装网络组件

这时候执行 kubectl get nodes ，master节点是not ready状态。这是因为缺少网络通信插件，下面我选择了calico。当然你也可以选择flannel、weave等。

安装 calico 网络插件

参考文档 https://docs.projectcalico.org/v3.13/getting-started/kubernetes/self-managed-onprem/onpremises

wget https://kuboard.cn/install-script/calico/calico-3.13.1.yaml
kubectl apply -f calico-3.13.1.yaml

验证新加入的pod的状态 ，执行

kubectl get pods -A -n kubesytem

状态为running表示加入成功

6. worker节点加入集群

worker节点执行上述 1-3 步骤，然后执行

kubeadm join 10.19.37.76:6443 --token gcw5aw.b1925wvffk18bfoz --discovery-token-ca-cert-hash sha256:07798bd39b8eea88beee5697281857acb94dadf5032f3239c619c6080e2599b4

稍后片刻即可加入集群当中。

在master节点上执行

kubectl get node -A 

查看新加入的节点是否是ready状态。如果不是，则执行

kubectl get pods -A -n kube-system -o wide

找到异常的pods，查看错误的原因：

kubectl describe pod calico-node-sldql  -n kube-system 

7. 可视化插件

# kubectl apply -f https://kuboard.cn/install-script/kuboard.yaml
# docker pull eipwork/kuboard
生成连接k8s的token
# echo $(kubectl -n kube-system get secret $(kubectl -n kube-system get secret | grep kuboard-user | awk '{print $1}') -o go-template='{{.data.token}}' | base64 -d)

踩坑

1. cgroup 的 问题

上面提到了。请参考： https://blog.csdn.net/Andriy_dangli/article/details/85062983

2. 启动kubectl时候的错误

failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory

参考：https://github.com/kubernetes/kubernetes/issues/65863
把config.yaml文件复制一遍，重新启动即可。

3.join 节点时后的错误

ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables

参考：https://blog.csdn.net/zhydream77/article/details/81909939