Prometheus添加kafka监控并配置grafana

前言

最近工作中越来越感受到监控对于查找问题的重要性，一个完备的链路监控对问题定位和趋势分析提效非常高。比如一条实时数据流，从数据采集到消费到入库各个阶段都有一些可观测性的指标（binlog 采集延迟，kafka-lag，读写 QPS，max-request-size，offset 趋势）。如果 kafka-lag 比较小并且 topic 写 QPS没打太高，但是数据有延迟，这里大概率就是上游采集的问题。 这里借用 prometheus 官网的话介绍监控的作用。

• 长期趋势分析：通过对监控样本数据的持续收集和统计，对监控指标进行长期趋势分析。例如，通过对磁盘空间增长率的判断，我们可以提前预测在未来什么时间节点上需要对资源进行扩容。
• 对照分析：两个版本的系统运行资源使用情况的差异如何？在不同容量情况下系统的并发和负载变化如何？通过监控能够方便的对系统进行跟踪和比较。
• 告警：当系统出现或者即将出现故障时，监控系统需要迅速反应并通知管理员，从而能够对问题进行快速的处理或者提前预防问题的发生，避免出现对业务的影响。
• 故障分析与定位：当问题发生后，需要对问题进行调查和处理。通过对不同监控监控以及历史数据的分析，能够找到并解决根源问题。

本系列主要用来记录工作中常见系统的监控实现，指标含义以及如何通过监控定位问题并在相关任务挂掉后如何和给下游业务一个较准确的预估恢复时间。大部分借助开源实现。

Prometheus&Grafana&alertmanager

安装

Docker-compose.yml

version: '2'

networks:
  mynet:
    driver: bridge
    ipam:
      driver: default
      config:
      - subnet: 10.88.3.0/24
        gateway: 10.88.3.1

services:
    prometheus:
        image: prom/prometheus
        container_name: prometheus
        hostname: prometheus
        restart: always
        volumes:
        - /data/prometheus/config:/etc/prometheus
        - /data/prometheus/data:/prometheus/data 
        - /etc/localtime:/etc/localtime
        command:
        - '--config.file=/etc/prometheus/prometheus.yml'
        - '--log.level=info'
        - '--web.listen-address=0.0.0.0:9090'
        - '--storage.tsdb.path=/prometheus/data'
        - '--storage.tsdb.max-block-duration=2h'
        - '--storage.tsdb.min-block-duration=2h'
        - '--storage.tsdb.retention=1d'
        - '--query.max-concurrency=150'
        - '--web.enable-lifecycle'
        ports:
            - "9090:9090"
        networks:
            - mynet

    alertmanager:
        image: prom/alertmanager
        container_name: alertmanager
        hostname: alertmanager
        restart: always
        volumes:
            - /data/alertmanager/config/alertman