物体检测类型实验,华为云ModelArts数据管理功能新体验

前言

在零售行业的线下店铺中,最大的工作量之一便是检查货架的货品情况,及时理货补货。

对于某些供需较大的货品,及时补充空缺,对提升消费者购物满意度有着重要的提升作用。

然而,每个区域的货物成百上千,加上一些外界因素,比如店铺灯光、视觉盲区,这些因素叠加在一起,可能会影响店员对货物数量的感知。

最近在研究AI和视觉识别,追踪货架上的货物情况。借助工具,实现店员对货架商品动态的了如指掌的场景,是我这次研究的主要方向。

而这次寻到的助力,依旧是华为云ModelArts,它提供的物体检测类型实验,可以帮忙解决前期数据管理的难题。

三分钟了解华为云ModelArts的数据管理

AI模型开发中,数据准备花费时间多?

它说,

给开发者提供了基础的数据标注、版本管理能力。

AI模型开发中,数据准备效率低?

它说,

给开发者提供了数据处理(数据选择、数据清洗等)、自动分组、智能标注、特征分析等功能,帮助开发者提升数据准备效率。

功能区分这么细致,用起来复杂吗?

它说,

提供了实践示例,简单几步,便可轻松完成一个物体检测类型实验。

接下来,就让我们一起体验一下,如何完成一个物体检测类型实验。

物体检测类型实验

前置工作

  • 首先确保已经完成了华为云账号的开通与认证。
  • 创建OBS桶用于存储数据。

创建OBS桶的操作流程如下:

1、登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。

2、完成参数录入,创建OBS桶。

    • "区域":华北-北京四,后续区域需要选择和OBS桶一致。
    • "桶名称":创建桶名称,建议创建的桶名称具有可识别性,本次实验以“obs-wtjclx”为例。

其他使用默认值即可。确认无误后单击右下角“立即创建”。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第1张图片

进入实验

步骤1:从AI Gallery下载数据集

1、进入模型详情页,下载数据集。

进入模型详情页有两种方式:

  • 单击traffic,进入模型详情页。
  • 单击AI Gallery链接,在“资产集市>数据”下,选择“数据集”,进入AI Gallery数据集页面,搜索“traffic”,进入模型详情页。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第2张图片

2、在弹出的下载页面中,设置目标区域目标位置

目标区域需与ModelArts使用区域一致。例如“华北-北京四”。

目标位置即指定数据集下载的目标路径,必须是OBS路径。选择之前创建的OBS路径。

3、单击“确定”开始下载。页面自动进入下载列表,可以通过进度列查看详细下载进度。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第3张图片

步骤2:查看数据集

1、进入ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据集”,可以进入数据集列表,查看到下载任务创建的数据集,单击名称左侧的小三角,展开数据集详情,可查看数据集的导入状态。当状态变为“导入完成”时,表示数据集已准备就绪。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第4张图片

步骤3:数据处理

1、发布数据集版本。

在执行数据选择处理前,需要先发布一个数据集版本,作为数据校验算法的输入。

  1. 进入“数据管理>数据集”页面,选择刚才导入成功的数据集,单击右侧操作列的“发布”。
  2. 在弹出的“发布新版本”对话框中,填写如下参数:

版本名称:系统默认以V001开始,也可以自行定义版本名称。

其他参数建议使用默认值,然后单击“确定”发布数据集版本。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第5张图片

2、创建数据处理任务。在此任务中,选择数据选择算法。

  1. 在左侧菜单栏中,选择“数据管理>数据处理”,单击“创建”。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第6张图片

  1. 在“创建数据处理”页面,填写如下参数,
    • 名称:“PRE-WTJCLX”。
    • 场景类别:选择“物体检测”。
    • 数据处理类型:选择“数据选择”。
    • 输入:数据集,选择刚才创建的数据集及其数据集版本。

其他默认,然后单击右下角的“创建”,完成数据处理任务的创建。

  • 物体检测类型实验,华为云ModelArts数据管理功能新体验_第7张图片

步骤4:自动分组

1、启动自动分组任务,并等待任务完成。

  1. 在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。
  2. 按照如下图配置参数,单击右下角“创建”,完场数据标注的创建

  3. 在标注作业列表中,选择前面创建的标注作业,单击标注作业名称进入“标注作业详情页”。
  4. 在数据集详情页的“全部”页签中,单击“自动分组 > 启动任务”。


 

  1. 在弹出的“自动分组”窗口中,设置如下参数:
  • “分组数”:4。
  • “属性名称”:"wtjclx-label"。

其他默认,然后单击“确定”,启动任务。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第8张图片

  1. 启动任务提交成功后,界面右上角显示此任务的进度。当任务状态变更为成功时,表示任务运行结束。

步骤5:智能标注

1、人工标注部分数据。

在启动智能标注前,需人工完成少量数据标注,每个标签至少15张图片。

  1. 创建标签集

物体检测类型实验,华为云ModelArts数据管理功能新体验_第9张图片

  1. 单击“开始标注”,进行人工标注,每种类型至少15张图片。

标注操作方法:

物体检测类型实验,华为云ModelArts数据管理功能新体验_第10张图片

2、启动智能标注。

  1. 在数据集详情页面,单击右上角“启动智能标注”。

  1. 在“启动智能标注”窗口中,参数默认,然后单击“提交”。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第11张图片

3.确认智能标注结果。

在智能标注任务完成后,在“待确认”页签下,单击具体图片进入标注详情页面,可以查看或修改智能标注的结果。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第12张图片

步骤6:特征分析

1、创建特征分析任务

  1. 在执行特征分析前,需先发布一个数据集版本。在智能标注并确认完的数据,单击右上角“返回数据集概览”,然后单击“发布”,发布一个新版本。
  2. 版本发布完成后,进入数据集概览页。选择“数据特征”页签,单击“特征分析”,在弹窗中选择刚才发布的数据集版本,并单击“确定”,启动特征分析任务。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第13张图片

  1. 查看任务进度。

任务执行过程中,可以单击“任务历史”,查看任务进度。当任务状态变为成功时,表示任务执行完成。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第14张图片

2、查看特征分析结果。

特征分析任务执行完成后,可以在“数据特征”页签下,选择数据集版本类型数据特征指标,页面将自动呈现您选择对应版本及其指标数据,可以根据呈现的图表了解数据分布情况,帮助您更好的理解您的数据。

  • 版本选择:根据实际情况选择已执行过特征任务的版本,可以选多个进行对比,也可以只选择一个。
  • 类型:根据需要分析的类型选择。支持alltrainevalinference。分别表示所有、训练、评估和推理类型。
  • 数据特征指标:选择需要展示的指标。详细指标解释,可参见特征分析指标列表。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第15张图片

体验建议

1、文档内容待更新

目前“数据管理/数据集”功能模块已经是新版,但是文档中的部分操作还在沿用旧版的,希望未来更新一下。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第16张图片

2、部分截图和实际的不相符

如下是文档中“启动自动分组任务”的截图

物体检测类型实验,华为云ModelArts数据管理功能新体验_第17张图片

实际则是如下截图,且实际操作也是通过新增“数据标注”任务之后进行自动分组操作。

物体检测类型实验,华为云ModelArts数据管理功能新体验_第18张图片

总结

物体检测类型的实验,流程看似有些长,但是其实主要聚焦在控制台的数据管理分类下,不同功能进行不同的操作。

数据管理的功能十分强大,正如前面介绍的,除了提供了基础的数据标注、版本管理能力,同时还提供了数据处理(数据选择、数据清洗等)、自动分组、智能标注、特征分析等功能。

这样一来着实帮助开发者提升了数据准备的效率。

接下来,我会实际业务场景中,如何结合华为云ModelArts的数据管理功能,创造更好的实现方案。

未来,也期待与华为云ModelArts一起实现更多的可能。


作者:非职业「传道授业解惑」的开发者叶一一
简介:「趣学前端」、「CSS畅想」系列作者,华夏美食、国漫、古风重度爱好者,刑侦、无限流小说初级玩家。
如果看完文章有所收获,欢迎点赞 | 收藏⭐️ | 留言。

你可能感兴趣的:(华为云,人工智能,大数据)