K8s 集群监控：从指标采集到可视化展示的完整方案

目录

一、引言

二、指标采集

（一）K8s 内置指标

（二）Prometheus 指标采集

三、数据存储

（一）Prometheus 本地存储

（二）远程存储

四、可视化展示

（一）Grafana 基础

（二）K8s 相关仪表盘模板

五、总结

---

一、引言

Kubernetes（K8s）集群环境复杂且动态变化，应用程序的运行状况、资源的使用情况时刻都在改变。为了保障 K8s 集群高效、稳定地运行，及时发现潜在问题并做出响应，一套完善的监控体系必不可少。本文将详细介绍 K8s 集群监控的关键环节，包括指标采集、数据存储以及可视化展示，为你构建全面的 K8s 集群监控方案提供指导。

二、指标采集

（一）K8s 内置指标

K8s 自身提供了丰富的指标，涵盖了节点、Pod、容器等多个层面。通过 K8s API Server，我们能够获取这些指标数据。例如，使用kubectl top nodes和kubectl top pods命令，可以查看节点和 Pod 的 CPU、内存使用情况。不过，这些命令行方式获取的数据难以满足大规模集群监控的自动化和实时性需求，因此需要借助专业工具。

（二）Prometheus 指标采集

Prometheus 是 K8s 生态中广泛使用的指标采集工具。它通过安装在每个节点上的 Exporter 来收集指标数据。

1. Node Exporter：用于采集节点层面的指标，如 CPU、内存、磁盘 I/O、网络等。安装 Node Exporter 后，Prometheus 能够定期拉取这些指标数据。例如，在基于 Debian 或 Ubuntu 的系统中，可以通过以下命令安装 Node Exporter：

wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz

tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz

cd node_exporter-1.3.1.linux-amd64

sudo./node_exporter

1. Kubelet Exporter：专注于采集 K8s 组件相关指标，像 Kubelet 的运行状态、Pod 的创建与销毁时间等。通过配置 Prometheus 的scrape_configs，可以指定采集这些 Exporter 的指标。例如：

scrape_configs:

- job_name: 'node'

static_configs:

- targets: ['node1:9100', 'node2:9100']

- job_name: 'kubelet'

static_configs:

- targets: ['node1:10250', 'node2:10250']

1. 其他 Exporter：针对特定应用或服务，还有许多专门的 Exporter。例如，MySQL Exporter 用于采集 MySQL 数据库的性能指标，Redis Exporter 用于 Redis 缓存。这些 Exporter 能够帮助我们获取应用层的详细指标，全面了解系统运行状况。

三、数据存储

（一）Prometheus 本地存储

Prometheus 自身具备本地存储功能，它将采集到的指标数据以时间序列的格式存储在本地磁盘。这种存储方式简单直接，适合规模较小、对数据持久化和扩展性要求不高的集群。Prometheus 通过配置文件指定存储路径和相关参数，例如：

storage:

tsdb:

path: /data/prometheus

retention.time: 15d

上述配置将数据存储在/data/prometheus目录，保留时间为 15 天。

（二）远程存储

对于大规模 K8s 集群，Prometheus 本地存储在扩展性和数据持久性方面存在一定局限。此时，可以将数据存储到远程存储系统中。

1. Thanos：Thanos 是一个开源的分布式存储解决方案，它能够与 Prometheus 集成，实现数据的分层存储和全局查询。Thanos 通过 Sidecar 模式与 Prometheus 连接，将 Prometheus 的数据上传到对象存储（如 Amazon S3、Google Cloud Storage 等）。这样，不仅解决了本地存储容量限制的问题，还能实现数据的长期保存和跨集群查询。

1. VictoriaMetrics：VictoriaMetrics 是另一款高性能的时间序列数据库，支持与 Prometheus 集成。它可以接收 Prometheus 的远程写入数据，并提供高效的查询和存储功能。VictoriaMetrics 在写入和查询性能上表现出色，能够满足大规模集群对数据存储和查询的高要求。

四、可视化展示

（一）Grafana 基础

Grafana 是一款功能强大的可视化工具，广泛应用于 K8s 集群监控的可视化展示。它能够从多种数据源（如 Prometheus）获取数据，并以直观的图表、仪表盘形式呈现。

1. 安装与配置：在大多数 Linux 系统上，可以通过官方源安装 Grafana。安装完成后，在 Grafana 的 Web 界面中添加 Prometheus 作为数据源。具体步骤为：登录 Grafana，点击左侧菜单栏的 “Configuration” -> “Data Sources”，然后添加 Prometheus 数据源，输入 Prometheus 的 URL 地址，保存配置。

1. 创建仪表盘：在 Grafana 中创建仪表盘，添加各种可视化组件，如柱状图、折线图、表格等。例如，要创建一个展示 K8s 节点 CPU 使用率的仪表盘，可以在 Grafana 中创建一个新的仪表盘，添加一个折线图组件，在数据源中选择 Prometheus，并编写查询语句获取节点 CPU 使用率指标数据，如100 - (avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100)。通过调整图表的样式、颜色、坐标轴等设置，使仪表盘更加直观、美观。

（二）K8s 相关仪表盘模板

Grafana 社区提供了丰富的 K8s 相关仪表盘模板，这些模板已经预先定义了各种常用的 K8s 指标展示。用户可以直接导入这些模板，快速搭建起功能完备的 K8s 监控仪表盘。例如，在 Grafana 的官方网站上搜索 “Kubernetes”，可以找到多个高质量的仪表盘模板，如 “Kubernetes Cluster Monitoring Dashboard”。下载模板文件后，在 Grafana 中点击 “Import”，选择下载的模板文件，选择对应的 Prometheus 数据源，即可完成仪表盘的导入。这些模板能够展示节点资源使用情况、Pod 运行状态、容器健康状况等多方面的信息，大大提高了监控可视化的效率。

五、总结

构建一套完整的 K8s 集群监控方案，从指标采集到可视化展示的每个环节都至关重要。通过合理选择指标采集工具（如 Prometheus 及其相关 Exporter）、数据存储方案（本地存储或远程存储）以及可视化工具（Grafana），能够全面、实时地了解 K8s 集群的运行状况，及时发现并解决潜在问题，保障集群的稳定、高效运行。在实际应用中，需要根据集群规模、业务需求等因素，灵活配置和优化监控方案，以满足不同场景下的监控需求。