OpenMetadata MySQL 数据库使用率提取管道实现解析

目录

  1. 架构概述
  2. 核心组件源码分析
  3. 使用率指标定义
  4. 数据提取流程图
  5. 源码类图
  6. 配置与扩展指南

架构概述

OpenMetadata 通过可插拔的元数据摄取框架实现对 MySQL 使用率数据的采集,核心流程包含三个阶段:

  1. 数据采集层:从 MySQL performance_schema 和 sys schema 获取原始指标
  2. 指标处理层:将原始数据转换为统一的使用率指标模型
  3. 数据存储层:将处理后的指标持久化到 OpenMetadata 服务

核心组件源码分析

1. MySQL 使用率提取器(核心类)

路径:openmetadata-ingestion/src/metadata/ingestion/source/database/mysql/usage.py

class MySQLUsageExtractor(BaseSQLUsageExtractor):
    def __init__(self, config: WorkflowSource, metadata: OpenMetadata):
        super().__init__(config, metadata)
        self.engine = get_connection(self.service_connection)
        
    def _build_sql_statement(self) -> 

你可能感兴趣的:(数据治理,数据库,mysql,openmetadata,源码分析)