NVIDIA Isaac GR00T N1.5 人形机器人强化学习入门教程(五)

系列文章目录

目录

系列文章目录

前言

一、更深入的理解

1.1 实体化动作头微调

1.1.1 实体标签

1.1.2 工作原理

1.1.3 支持的实现

1.2 高级调优参数

1.2.1 模型组件

1.2.1.1 视觉编码器(tune_visual)

1.2.1.2 语言模型(tune_llm)

1.2.1.3 投影器(tune_projector)

1.2.1.4 扩散模型(tune_diffusion_model)

1.2.2 理解数据转换

1.2.2.1 视频转换

1.2.2.2 状态和动作转换

1.2.2.3 拼接转换(Concat Transform)

1.2.2.4 GR00T 转换

二、策略部署

2.1 加载策略

2.2 客户端节点

2.3 以So100/So101 Lerobot机械臂为例

三、机器人数据转换指南

3.1 概述

3.2 要求

3.2.1 核心要求

3.2.2 视频观察(视频/chunk-*)

3.2.3 数据(数据/chunk-*)

3.2.3.1 示例 Parquet 文件

3.2.4 元数据

3.2.4.1 meta/tasks.jsonl

3.2.4.2 meta/episodes.jsonl

3.2.4.3 meta/modality.json 配置

模式

3.2.4.4 支持的旋转类型:

示例配置

3.2.5 多注释支持

3.2.6 GR00T LeRobot 对标准 LeRobot 的扩展

3.2.6.1 注意事项

3.3 示例


前言


一、更深入的理解

        在本节中,我们将更深入地探讨训练配置选项。同时,我们将进一步解释实体化标签、模态配置、数据转换等相关内容。

你可能感兴趣的:(机器人与具身智能,人工智能,机器人,深度学习,神经网络,强化学习,模仿学习,具身智能)