0#00 Tengine 的安装

1.预备知识
2.将Tengine安装在x86平台的电脑上
3.将Tengine 安装在 Arm64 平台上

1. 预备知识

Tengine 官方 github
       Tengine 是OPEN AI LAB 针对前端智能设备开发的软件开发包，核心部分是一个轻量级，模块化，高性能的AI 推断引擎，并支持用DLA、GPU、xPU作为硬件加速计算资源异构加速。
       Tengine特点:
1.对Arm架构进行加速
2.可以直接调用caffe/Tengine等模型
3.只是一个推断引擎,并不支持训练
       使用板子:RK3399
       RK3399特点:
1.CPU特性:6核
2.内置SRAM
3.含有Mali-T864 GPU
4.支持双MIPI CSI，双ISP
       对于我们进行检测,速率足够了。
       使用C语言编译器：CLion
       由于tengine中的代码提供cmake文件，在Clion中可以很好的支持cmake文件的编写，调试和运行。

2. 将Tengine安装在x86平台的电脑上

参考：官方Installation Guide
       目前使用的大部分笔记本电脑是使用x86架构，在x86架构上，无法使用Arm为Arm架构开发的快速计算的包文件，但是还是可以使用通用的BLAS(线性代数)包。
安装过程如下：(Ubuntu 16.04)
1.安装官方的github文件

git clone https://github.com/OAID/tengine/

2. 为了能使用caffe模型，我们需要安装一些caffe支持包

sudo apt install libprotobuf-dev \
protobuf-compiler \
libboost-all-dev \
libgoogle-glog-dev \

3.为了做图像处理，安装opencv

sudo apt install libopencv-dev

4.编写 makefile.config文件

cd ~/tengine                  # 进入到从github中下载的tengine目录
cp makefile.config.example makefile.config  # 由备份的makefile文件，进行编写适合x86的makefile

编辑makefile.config文件

1.由于不是arm64，所以要注释该行
# Set the target arch 
# CONFIG_ARCH_ARM64=y
2.由于不能使用arm64，所以我们应该使用blas
# Use BLAS as the operator implementation
# 并且需要另外 安装 开源的线性代数库
# sudo apt-get install libopenblas-dev
CONFIG_ARCH_BLAS=y
3.由于我们使用caffe的模型，我们需要使能该行
# Enable other serializers 
CONFIG_CAFFE_SERIALIZER=y

编辑完成，请注意保存
5.进行编译
在 tengine 路径下

make -j4      # j4表示4个线程，进行编译，线程过多可能会发生问题，线程过少，编译过慢

将必要的头文件移动到系统文件中

make install

正常显示：

......(省略)
cp -f core/include/tengine_c_api.h /home/lee/Documents/tengine/install/include
cp -f core/include/cpu_device.h /home/lee/Documents/tengine/install/include
cp -f core/include/tengine_test_api.h /home/lee/Documents/tengine/install/include
cp -f /home/lee/Documents/tengine/build/libtengine.so /home/lee/Documents/tengine/install/lib

6. 执行测试程序
   测试程序位于

tengine路径/build/tests/bin/bench_sqz

执行可执行文件

./build/tests/bin/bench_sqz -r1    # r1 表示重复1次

正常输出

firefly@firefly:~/tengine$ ./build/tests/bin/bench_sqz
run-time library version: 1.0.0-github  # 2019年1月1日，Tengine发布1.0 版本
REPEAT COUNT= 100
Repeat [100] time 52883.32 us per RUN. used 5288332 us
0.2763 - "n02123045 tabby, tabby cat"
0.2673 - "n02123159 tiger cat"
0.1766 - "n02119789 kit fox, Vulpes macrotis"
0.0827 - "n02124075 Egyptian cat"
0.0777 - "n02085620 Chihuahua"
--------------------------------------
ALL TEST DONE

3. 将Tengine 安装在 Arm64 平台上

       rk3399 和 树莓派 都是使用Arm架构的产品，但是 rk3399 是 64位 产品，树莓派是 32位 的产品。
       OAID对Arm64的优化后的计算速度，比BLAS略快。所以建议在RK3399中使用Arm64的优化。
过程如下：
1.安装官方的github文件(同上)
2.为了能使用caffe模型，我们需要安装一些caffe支持包(同上)
3.为了做图像处理，安装opencv(同上)
4.编写 makefile.config文件(同上)
编辑makefile.config文件

1. 使用arm64架构，所以要使能该段
# Set the target arch 
CONFIG_ARCH_ARM64=y
2.不使用BLAS进行加速
# Use BLAS as the operator implementation
# CONFIG_ARCH_BLAS=y
3.使用caffe模块
# Enable other serializers
CONFIG_CAFFE_SERIALIZER=y

同样我们可以使用GPU进行加速运算
参考:
       ARM Compute Library Driver
       使用GPU的example
总结如下：
       如果我们需要使用GPU，我们需要安装ACL驱动

1.从github将代码拷下来(位于目录 "/home/firefly/ComputeLibrary")
git clone https://github.com/ARM-software/ComputeLibrary.git 
2.进入ComputeLibrary目录
cd ComputeLibrary
3. 版本控制
git checkout v18.05
4.编译
apt-get install scons
scons Werror=1 -j4 debug=0 asserts=1 neon=0 opencl=1 embed_kernels=1 os=linux arch=arm64-v8a

编辑tengine的makefile.config文件，使得支持ACL加速

1. 使用Arm64
# Set the target arch 
CONFIG_ARCH_ARM64=y
2.使用GPU加速
# Enable GPU support by Arm Computing Library
CONFIG_ACL_GPU=y
3.不使用BLAS加速
# Use BLAS as the operator implementation
# CONFIG_ARCH_BLAS=y
4. 指定ACL路径
# Set the path of ACL 
ACL_ROOT=/home/firefly/ComputeLibrary
5.使用caffe模型
# Enable other serializers 
CONFIG_CAFFE_SERIALIZER=y

使用GPU的一些提示：

1.代码提示
    ...(省略)
    while((res=getopt(argc,argv,"d:f:r:"))!=-1)
    {  
      switch(res)
      {  
         case 'd': 
            device = optarg;
            break;
    ...(省略)
    if("" != device)
        set_default_device( device.c_str());
    ...(省略)
2.已经编译过tengine时，请注意删除
      rm -r tengine路径/build/driver

测试样例

./build/tests/bin/bench_sqz -d acl_opencl

5.进行编译(同上)
6.执行测试程序(同上)

---

到此tengine已经安装完成

54恶