SkyWalking的工作原理和搭建过程

SkyWalking 是一个开源的 应用性能监控系统（APM），专为云原生、微服务架构设计。其核心原理基于 分布式追踪（Distributed Tracing）、指标收集（Metrics Collection） 和 日志关联（Log Correlation），通过无侵入或轻量级的方式实现全链路监控。

一、整体架构与组件原理

SkyWalking 采用 四层架构 设计，各组件分工明确：

1. Agent（数据采集层）

• 功能：
  • 无侵入式监控：通过字节码增强技术（如 Java Agent）自动收集应用性能数据。
  • 轻量级 SDK：为非 Java 语言（如 Node.js、Python）提供手动埋点 SDK。
• 采集内容：
  • 请求链路数据（Trace）：记录请求在各服务间的调用路径和耗时。
  • 指标数据（Metrics）：如响应时间、吞吐量、错误率。
  • 环境元数据：服务拓扑关系、实例信息。

2. OAP Server（数据分析层）

• 接收核心服务（Receiver）：
  • 支持多种协议接收数据：如 gRPC、HTTP、Kafka、Zipkin 等。
  • 数据格式转换：将不同来源的数据统一为内部格式。
• 分析引擎（Analysis）：
  • 流处理：实时分析数据流，计算指标（如 P99 响应时间）。
  • 关联分析：将 Trace、Metrics 和日志关联，构建服务拓扑图。
  • 告警引擎：基于规则触发告警（如响应时间超过阈值）。
• 存储服务（Storage）：
  • 支持多种存储后端：Elasticsearch、H2、MySQL、TiDB 等。

3. UI（用户交互层）

• 提供可视化界面，展示：
  • 服务拓扑图：直观呈现服务间依赖关系。
  • 性能指标面板：如 QPS、响应时间趋势。
  • 分布式追踪详情：查看完整调用链和瓶颈点。
  • 告警历史：查看和管理触发的告警。

二、分布式追踪原理

1. 基本概念

• Span（跨度）：
  • 表示调用链中的一个操作单元（如一次方法调用、SQL 查询）。
  • 包含元数据：操作名称、开始 / 结束时间、标签（如错误信息）。
• Trace（追踪）：
  • 由多个 Span 组成的有向无环图（DAG），表示一次完整请求的路径。
• 上下文传递：
  • 通过 HTTP Header 或消息队列传递 TraceID 和 SpanID，跨服务追踪。

2. 追踪流程

plaintext

 

1. 客户端发起请求：生成全局唯一的 TraceID 和根 SpanID。
2. 服务 A 处理请求：
   • 记录自身 Span 信息（如处理时间）。
   • 将 TraceID 和 SpanID 通过 HTTP Header 传递给服务 B。
3. 服务 B 接收请求：
   • 提取 TraceID 和 SpanID，创建子 Span。
   • 继续传递上下文到服务 C。
4. 数据聚合：
   • 各服务将 Span 数据发送给 OAP Server。
   • OAP Server 根据 TraceID 关联所有 Span，还原完整调用链。

三、指标收集与分析

1. 指标类型

• 服务级指标：如 QPS、平均响应时间、错误率。
• 实例级指标：如 CPU / 内存使用率、线程数。
• 端点级指标：如特定 URL 或方法的性能。

2. 指标计算

• 原生指标：直接从 Agent 采集，如请求数、响应时间。
• 派生指标：通过计算得到，如：
  • P99 响应时间：排序后 99% 位置的值，反映系统最差性能。
  • 吞吐量：单位时间内的请求数。
  • 错误率：失败请求数占比。

3. 聚合与降维

• 时间窗口聚合：按分钟 / 小时 / 天聚合指标，减少存储压力。
• TopN 算法：只保留最耗时或最频繁的操作，忽略噪声数据。

四、服务发现与拓扑构建

1. 自动服务发现

• 基于流量分析：通过分析请求路径，自动识别服务间调用关系。
• 元数据上报：Agent 主动上报服务名称、实例信息。

2. 拓扑图生成

• 节点：表示服务或组件（如数据库、消息队列）。
• 边：表示调用关系，边的粗细表示调用频率，颜色表示健康状态。
• 动态更新：实时刷新拓扑图，反映服务关系变化。

五、告警机制

1. 告警规则配置

• 内置规则：如响应时间超过阈值、错误率突增。
• 自定义规则：通过 YAML 配置，支持 PromQL 表达式：

rules:
  service_resp_time_rule:
    metrics-name: service_resp_time_percentile_99
    op: ">"
    threshold: 1000
    period: 10
    count: 3
    silence-period: 5

2. 告警发送

• 支持多种通知方式：邮件、Webhook、Slack、钉钉等。
• 告警分组与聚合：合并同类告警，避免频繁通知。

六、性能优化与存储策略

1. 数据采样

• 固定比例采样：如每 100 个请求采集 1 个（配置agent.sample_n_per_3_secs）。
• 智能采样：对异常请求（如错误请求）全量采集，正常请求降采样。

2. 存储优化

• 冷热分离：
  • 热数据（最近 7 天）存储在高性能节点（如 ES 热节点）。
  • 冷数据（历史数据）迁移到低成本存储（如 ES 冷节点）。
• TTL 配置：自动删除过期数据，避免存储爆炸。

七、多语言支持

语言	支持方式	特点
Java	无侵入 Agent	通过字节码增强，无需修改代码
Python	Skywalking-Python SDK	需少量埋点，支持 Django、Flask 等框架
Node.js	Skywalking-NodeJS SDK	支持 Express、Koa 等框架
Go	Skywalking-Go SDK	手动埋点为主，提供 HTTP、gRPC 等中间件
C++	Skywalking-C++ SDK	适用于高性能场景，需手动集成
.NET	SkyAPM-dotnet	支持ASP.NET Core 等框架

八、与其他 APM 系统对比

特性	SkyWalking	Jaeger	Zipkin
分布式追踪	✅	✅	✅
自动服务发现	✅	❌（需手动配置）	❌（需手动配置）
服务拓扑可视化	✅	❌	❌
告警机制	✅	❌（需依赖 Prometheus）	❌（需依赖外部系统）
存储支持	ES/H2/MySQL/TiDB 等	ES/Cassandra 等	ES/MySQL 等
社区活跃度	高（Apache 顶级项目）	中	中

通过以上机制，SkyWalking 实现了对分布式系统的全链路监控，帮助开发者快速定位性能瓶颈、故障根因，优化系统架构。其核心优势在于无侵入式采集、高性能分析引擎和强大的可视化能力，特别适合云原生微服务环境。

二、SkyWalking 集群搭建

1. 环境准备

• 硬件要求（单节点参考，根据数据量调整）：

  组件	CPU	内存	存储（SSD）	网络
  OAP Server	4 核 +	8GB+	50GB+	千兆网卡
  Storage	按需	按需	按需	（如 ES 需高 IO）
  UI	2 核 +	4GB+	20GB+	公网可达

• 软件依赖：

  • Java 11+（OAP 和 UI 均需）
  • 存储组件（可选，推荐 Elasticsearch 7.x/8.x 或 Apache H2）
  • ZooKeeper（用于集群管理，可选，适用于多 OAP 节点）

2. 部署流程（以 Elasticsearch 存储为例）

步骤 1：下载安装包

# 官网下载最新版（如9.4.0）
wget https://archive.apache.org/dist/skywalking/9.4.0/apache-skywalking-apm-9.4.0.tar.gz
tar -zxvf apache-skywalking-apm-9.4.0.tar.gz
cd apache-skywalking-apm-bin

步骤 2：配置 OAP Server

• 修改配置文件：config/application.yml

# 存储配置（以 Elasticsearch 为例）
storage:
  selector: ${SW_STORAGE:elasticsearch7}
  elasticsearch7:
    namespaces: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:192.168.1.100:9200,192.168.1.101:9200}  # ES集群地址
    protocol: ${SW_STORAGE_ES_HTTP_PROTOCOL:"http"}
    user: ${SW_STORAGE_ES_USER:""}  # 如有认证
    password: ${SW_STORAGE_ES_PASSWORD:""}
    compression: ${SW_STORAGE_ES_COMPRESSION:"false"}
    trustStorePath: ${SW_STORAGE_ES_SSL_JKS_PATH:""}
    trustStorePass: ${SW_STORAGE_ES_SSL_JKS_PASS:""}

# 集群配置（多OAP节点时启用ZooKeeper）
cluster:
  selector: ${SW_CLUSTER:zookeeper}
  zookeeper:
    namespace: ${SW_NAMESPACE:""}
    servers: ${SW_CLUSTER_ZK_SERVERS:192.168.1.102:2181,192.168.1.103:2181}  # ZooKeeper地址

步骤 3：配置 UI

• 修改配置文件：webapp/application.yml

• server:
    port: 8080  # UI端口
  management:
    port: 8081  # 管理端口
  oapServer:
    # OAP集群地址（逗号分隔）
    hosts: ${SW_OAP_ADDRESS:http://192.168.1.104:12800,http://192.168.1.105:12800}

步骤 4：启动集群

• 单节点启动（测试环境）：

• # 启动OAP（后台运行）
  ./bin/oapService.sh start
  # 启动UI
  ./bin/webappService.sh start

• 多节点集群（生产环境）：
  1. 在所有 OAP 节点重复步骤 2（确保 ZooKeeper 和 ES 配置一致）。
  2. 依次启动各节点的 OAP 服务，通过 ZooKeeper 实现节点发现。
  3. 启动 UI 服务，指向任意 OAP 节点地址。

3. 数据采集配置（以 Java 应用为例）

1. 下载 Agent

cd agents
# 或从官网下载对应语言的Agent（如Java、Python等）

配置 Agent：

vi config/agent.config
agent.name=your-application-name  # 应用名称
collector.backend_service=192.168.1.104:11800,192.168.1.105:11800  # OAP集群地址

启动应用：

java -javaagent:/path/to/skywalking-agent/skywalking-agent.jar -Dskywalking.agent.service_name=your-app -jar your-app.jar

二、SkyWalking 集群维护

1. 日常监控与巡检

• 核心指标：
  • OAP 节点状态：CPU / 内存利用率、GC 频率、线程数。
  • 存储性能：ES 集群健康度、索引写入延迟、磁盘利用率。
  • UI 响应时间：页面加载速度、接口调用成功率。
• 工具推荐：
  • 用 Prometheus+Grafana 监控 SkyWalking 自身指标（需开启 OAP 的 Prometheus exporter）。
  • ES 内置监控工具（如 Dev Tools、Kibana）。

2. 数据管理

• 索引生命周期管理（ILM）：

# 在OAP配置中启用ILM（ES 7.x+推荐）
elasticsearch7:
  index:
    prefix: ${SW_NAMESPACE:"skywalking"}
    suffix: ${SW_DATAFLOW_SUFFIX:""}
    lifecycle:
      enable: true
      name: "skywalking-lifecycle"  # ES中需提前创建生命周期策略
      rollover:
        max_docs: 5000000  # 单个索引最大文档数
        max_size: 50gb     # 单个索引最大存储大小

• 数据清理：
  • 定期删除历史索引（如保留 7 天数据），避免存储爆炸。
  • 对低频查询数据归档到冷存储（如 ES Cold 节点）。

3. 集群扩展与升级

• 横向扩展 OAP 节点：

  1. 新增服务器，复制 OAP 配置（保持 ZooKeeper 和 ES 地址一致）。
  2. 启动新节点，自动加入集群（通过 ZooKeeper 协调）。
  3. 更新 UI 配置中的 OAP 地址列表。

• 版本升级：

  1. 停止所有 OAP 节点和 UI 服务。
  2. 备份存储数据（如 ES 快照）。
  3. 替换新版本安装包，更新配置（注意版本兼容性）。
  4. 按顺序启动 OAP 集群和 UI，验证数据采集正常。

三、常见问题与处理

1. 数据采集失败

• 可能原因：
  • Agent 配置错误（如 OAP 地址错误、端口被防火墙拦截）。
  • OAP 存储连接失败（ES 集群不可用、认证信息错误）。
• 解决方法：
  1. 检查 Agent 日志（logs/skywalking-agent.log），确认是否连接到 OAP。
  2. 测试 OAP 节点与存储组件的网络连通性（如telnet ES_IP 9200）。
  3. 重启 OAP 服务，查看启动日志（logs/oap-server.log）中的错误信息。

2. UI 界面无数据

• 可能原因：
  • 应用未正确关联 Agent（服务名重复或未配置）。
  • OAP 集群节点间数据同步失败（ZooKeeper 故障）。
• 解决方法：
  1. 确认 Agent 的agent.name唯一且与 UI 中展示的服务名一致。
  2. 检查 ZooKeeper 集群状态，确保 OAP 节点正常注册。
  3. 手动触发一次数据采集（如调用应用接口），观察 ES 中是否生成新索引。

3. 存储性能瓶颈

• 可能原因：
  • ES 集群分片数不合理，导致写入压力集中。
  • OAP 数据采集频率过高，超过存储处理能力。
• 解决方法：
  • 调整 ES 索引分片数（如PUT /skywalking-*/_settings?preserve_existing=true {"index.number_of_shards": 5}）。
  • 在 OAP 配置中降低采样率（sampling: ${SW_SAMPLING:1000}，值越大采样率越低）。

4. 集群节点失联

• 可能原因：
  • 节点间网络中断（如交换机故障、防火墙策略变更）。
  • ZooKeeper 会话超时（配置cluster.zookeeper.sessionTimeout过小）。
• 解决方法：
  1. 检查服务器间网络连通性，修复中断链路。
  2. 增大 ZooKeeper 会话超时时间（建议设置为 30 秒以上）：

• cluster:
    zookeeper:
      sessionTimeout: 30000  # 单位毫秒

 

四、最佳实践

1. 高可用架构：

   • OAP 节点至少部署 3 个，通过 ZooKeeper 实现故障自动切换。
   • 存储组件（如 ES）采用多节点集群，启用副本机制。

2. 日志与告警：

   • 配置 SkyWalking 自身告警（如通过 Webhook 发送到钉钉 / 邮件）。
   • 对 OAP 和存储组件的关键指标设置阈值（如 ES 磁盘利用率 > 80% 时告警）。

3. 安全加固：

   • 限制 UI 端口的公网访问，通过 Nginx+SSL 代理。
   • 对 ES 集群启用认证（如 X-Pack），避免数据泄露。