kedro-mlflow 项目教程

kedro-mlflow 项目教程

kedro-mlflowA kedro-plugin for integration of mlflow capabilities inside kedro projects (especially machine learning model versioning and packaging)项目地址:https://gitcode.com/gh_mirrors/ke/kedro-mlflow

1、项目介绍

kedro-mlflow 是一个用于在 Kedro 项目中轻量级和便携式集成 MLflow 功能的 Kedro 插件。它遵循 Kedro 的原则，使 MLflow 的使用尽可能生产就绪。其核心功能包括：

• 版本控制：kedro-mlflow 旨在增强机器学习实验的可重复性。安装 kedro-mlflow 后，您可以轻松地注册您的参数或数据集，并在 Kedro 运行中进行最小配置。之后，您可以在 MLflow UI 中浏览您的运行并检索所需的运行。
• 模型打包：kedro-mlflow 旨在成为一个对机器学习框架无关的工具，为希望编写便携式生产就绪机器学习管道的用户提供便利的 API。您可以用一行代码将 Kedro 管道转换为 MLflow 模型，从而 API 化或服务您的 Kedro 管道，而无需担心进一步使用时的预处理。

2、项目快速启动

安装

确保您的环境满足以下要求：

• kedro>=0.16.0
• mlflow>=1.0.0

# 创建虚拟环境
python -m venv kedro-mlflow-env
source kedro-mlflow-env/bin/activate

# 安装 kedro-mlflow
pip install kedro-mlflow

初始化

在您的 Kedro 项目中初始化 kedro-mlflow：

kedro mlflow init

运行示例

创建一个示例项目并运行：

kedro new --starter=mini-kedro
cd 
kedro mlflow init
kedro run

3、应用案例和最佳实践

案例1：版本控制

在 Kedro 项目中使用 kedro-mlflow 进行版本控制，确保实验的可重复性：

from kedro_mlflow.io import MlflowDataSet

# 在 catalog.yml 中配置
example_data:
  type: kedro_mlflow.io.MlflowDataSet
  data_set:
    type: pandas.CSVDataSet
    filepath: data/01_raw/example.csv

案例2：模型打包

将 Kedro 管道转换为 MLflow 模型并进行服务：

from kedro_mlflow.pipeline import pipeline_to_mlflow

# 将 Kedro 管道转换为 MLflow 模型
pipeline_to_mlflow(pipeline)

4、典型生态项目

Kedro

Kedro 是一个用于创建可重复、可维护和模块化的数据科学代码的开源框架。它提供了一种结构化的方式来组织您的项目，使其更易于管理和协作。

MLflow

MLflow 是一个用于管理机器学习生命周期的开源平台，包括实验、可重复性、部署和中央模型注册。

kedro-viz

kedro-viz 是一个可视化 Kedro 管道的工具，帮助您更好地理解和调试您的数据科学项目。

通过结合这些工具，您可以构建一个强大的机器学习项目生态系统，提高开发效率和项目质量。

kedro-mlflowA kedro-plugin for integration of mlflow capabilities inside kedro projects (especially machine learning model versioning and packaging)项目地址:https://gitcode.com/gh_mirrors/ke/kedro-mlflow