【2023 · CANN训练营第一季】应用开发深入讲解① AscendCL概述

        体系化学习AscendCL应用开发流程，目标为对昇腾CANN有初步了解并且可以基于昇腾CANN独立开发一个CV类图片应用。

【2023 · CANN训练营第一季】应用开发深入讲解① AscendCL概述

【2023 · CANN训练营第一季】应用开发深入讲解② 华为弹性云服务器(ECS)搭建介绍

【2023 · CANN训练营第一季】应用开发深入讲解③ 快速入门（基于ResNet-50网络模型的图片分类应用）

【2023 · CANN训练营第一季】应用开发深入讲解④ 模型转换（ATC工具）

---

        通过本部分内容，了解ACL（AdcendCL）的功能架构、基本概念以及接口的典型应用流程与实现方法，能够基于本部分的样例，来扩展进行其他应用的开发。

目录

1 ACL简介

2 ACL基本概念

Host

Device

同步/异步

进程/线程

Context

Stream

Event

AIPP

3 主要接口调用流程

 ACL的Hellow World代码

---

1 ACL简介

        AscendCL（Ascend Computing Language，昇腾计算语言）接口是昇腾计算开放编程框架，是对低层昇腾计算服务接口的封装。它提供运行时资源（例如设备、内存等）管理、模型加载与执行、算子加载与执行、图片数据编解码/剪裁/缩放处理等API库实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说，就是同一的API框架，实现对所有资源的调用。

● AscendCL的优势如下：

1、高度抽象：算子编译、加载和执行的API归一，相比每个算子一个API，AcendCL大幅减少API数量，降低了复杂度；

2、向后兼容：AsendCL能够向后兼容，以确保软件升级后，基于旧版本进行编译的程序依然可以在新版本上运行；

3、零感知芯片：同一套AsendCL接口可以实现应用代码统一，对于多款昇腾处理器可以无差异运行。

● AscendCL的主要应用场景如下：

1、开发应用：用户可以直接调用AscendCL提供的接口，来开发图片分类、目标识别等应用；

2、供第三方框架调用：用户可以通过第三方框架调用AscendCL接口，以便使用昇腾AI处理器的计算能力；

3、供第三方开发lib库：用户可以使用AscendCL封装实现第三方lib库，以便提供昇腾AI处理的运行管理、资源管理等能力。

---

2 ACL基本概念

Host

        指与Device相连的X86服务器、ARM服务器等，利用其提供的NN（Neural-Network）计算能力完成业务。

Device

        指安装了芯片的硬件设备，利用PCIe接口与Host侧连接，为Host提供NN计算能力。

同步/异步

        同步或异步是站在调用者和执行者角度观察的。在当前场景下，若在Host调用接口后需要等待Device执行完成后再返回，则表示Host的调度是同步的；若在Host调用接口后不等待Device执行完成再返回，则表示Host的调度是异步的。

进程/线程

        如无特别注明，则表示是Host上的进程/线程。

Context

        Context作为一个容器，管理所有对象（包括Stream、Event、设备内存等）的生命周期。不同的Context的Stream、Event是完全隔离的，无法建立同步等待关系。

        Context分为两种：

默认Context：调用aclrtSetDevice接口来指定用于运算的Device时，系统会自动隐式地创建一个默认Context，一个Device对应一个默认Context，默认Context不能通过aclrtDestroyContext接口来释放。

显式创建的Context：在进程或线程中调用aclrtCreateContext接口，以显式地创建一个Context。

Stream

        Stream用于维护一些异步操作的执行顺序，以确保按照应用程序中的代码调用顺序在Device上执行。基于Stream的kernel执行和数据传输能够实现以下几种类型的并行：

1、Host运算操作和Device运算操作并行；

2、Host运算操作和“Host到Device的数据传输”并行；

3、Device运算操作和“Host到Device的数据传输”并行；

4、Device内的运算并行。

        Stream分两种:

默认Stream：调用aclrtSetDevice接口指定用于运算的Device时， 系统会自动隐式地创建一个默认Stream，一个Device对应一个默认Stream，默认Stream不能通过aclrtDestroyStream接来释放。

显式创建的Stream：在进程或线程中调用aclrtCreateStream接口，以显式地创建一个Stream。

Event

        支持调用ACL接口来同步Stream之间的任务，包括同步Host与Device之间的任务、Device与Device间的任务。

        例如，若stream2的任务依赖stream1 的任务，如果要保证stream1中的任务先完成，这时可创建一个Event，并将Event插入到stream1，在执行stream2的任务前，先同步等待Event完成。

AIPP

        AIPP（AI Preprocessing）用于在Al Core上完成图像预处理，主要有：

色域转换：转换图像格式；

图像归一化：减均值/乘系数；

抠图：指定抠图起始点，抠出神经网络需要大小的图片。

        AIPP区分为静态AIPP和动态AIPP。静态AIPP和动态AIPP只可选择一种来处理图片，不能同时配置静态AIPP和动态AIPP两种方式。

● 静态AIPP：

        模型转换时设置AIPP模式为静态，同时设置AIPP参数，模型生成后，AIPP参数值被保存在离线模型(*.om) 中，每次模型推理过程采用固定的AIPP预处理参数（无法修改）。如果使用静态AIPP方式，多Batch情况下共用同一份AIPP参数。

● 动态AIPP：

        模型转换时仅设置AIPP模式为动态,每次模型推理前，根据需求，在执行模型前设置动态AIPP参数值，然后在模型执行时可使用不同的AIPP参数。设置动态AIPP参数值的接口请参见设置动态AIPP参数。如果使用动态AIPP方式，多Batch可使用不同的AIPP参数。

---

3 主要接口调用流程

 ACL的Hellow World代码

        任何编程语言都有自己的Hellow World代码，接下来同样展示ACL的Hellow World代码，以对其有一个初步的认识。以下代码功能为初始化ACL，初始化成功后即去初始化并结束：

#include 
#include "acl/acl.h"

#define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
#define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
#define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)

using namespace std;

int main()
{
    INFO_ LOG("ACL Hello World.");

    // ACL init
    const char *aclConfigPath = "acl.json";
    aclError ret = acllnit(aclConfigPath);
    if (ret != ACL_ ERROR_ NONE){
        ERROR LOG("acl init failed");
    }
    INFO_ LOG("acl init success");

    ret = aclFinalize();
    if (ret != ACL_ ERROR_ NONE) (
        ERROR LOG("finalize acl failed");
    }
    INFO_ LOG("end to finalize acl");
    return 0;
}

        通过华为云资源，在集成了昇腾310处理器（Device）的x86架构的主机上运行（Host），能够得到以下运行结果：