滴普技术荟-云原生基座OpenKube开放容器实践（ 九）：K8S的ServiceIP实现原理

当我们在K8S上部署一个工作负载时，通常会设置多个副本（下面开始简称：Pod）来实现高可用，因为Pod的IP经常会变化，所以我们会给服务创建一个K8S的Service，如果Service的类型为ClusterIP的话，K8S会给这个Service分配一个ServiceIP，如果类型为NodePort，K8S会打开每一个节点的某个端口，然后我们调用这个服务就会使用K8S分配的ServiceIP或打开的端口，流量总是能转到后端的多个Pod上，这个ServiceIP只能在Pod和K8S的节点中访问，今天我们就来介绍一下这个ServiceIP的实现原理。

 

刚开始玩K8S的时候，我以为K8S是不是在哪里创建了一张虚拟网卡然后把ServiceIP设置在那个网卡上，翻遍了K8S的节点和POD都没找到有这个IP的网卡。后来才知道，原来K8S利用linux的iptables来对数据包的目的地址进行改写来达到转发的目的，而所谓的ServiceIP只是转发记录里的一个虚拟地址。

 

K8S会在集群的每一个节点运行一个叫kube-proxy的Pod，这个Pod负责监听api-server中的Service/EndPoint/Node类型的资源变化事件，然后操作本机的iptables或ipvs来创建ServiceIP，所以K8S集群的节点之外的其它节点是不认识这个ServiceIP的。ServiceIP由控制器从Service网段分配（默认为10.96.0.0/16），在集群安装时可以通过修改service-cidr来指定网段。

 

现在k8s实现ServiceIP主要通过iptables或ipvs的方式，在这我们主要介绍iptables的方式，让我们先简单介绍一下iptables。

 

即使是使用了ipvs，也是要通过iptables来实现SNAT的，ipvs目前只负责DNAT，然后数据包回来还是要借助本机的conntrack系统来把包回给最初的发送方。

 

iptables

iptables是一款使用很广泛的linux防火墙工具，当前主流的linux发行版基本上都默认集成了iptables，它在用户态提供一些简单的命令和用户进行交互，使用户可以轻松地设置一些对数据包的过滤或修改的规则，然后把规则设置到内核的netfilter子系统的hook函数上，达到对数据包进行高效地过滤与转发的目的。iptables提供了丰富的模块来完成数据包的匹配和修改，同时也提供了相关的接口用来扩展新的模块。

 

先来了解一下iptables的命令：

[root@worker2  ~]# iptables --help

iptables v1.4.21

Usage: iptables -[ACD] chain rule-specification [options]

iptables -I chain [rulenum] rule-specification [options]

iptables -R chain rulenum rule-specification [options]

iptables -D chain rulenum [options]

iptables -[LS] [chain [rulenum]] [options]

iptables -[FZ] [chain] [options]

iptables -[NX] chain

iptables -E old-chain-name new-chain-name

iptables -P chain target [options]

iptables -h (print this help information)

 

-A 新增一条规则

-I 插入一条规则

-D