【TVM教程】在支持 CMSIS-NN 的 Arm(R) Cortex(R)-M55 CPU 和 Ethos(TM)-U55 NPU 裸机上运行 TVM

为平台获取 TVM，请访问 https://tlcpack.ai/ 并按照说明进行操作。正确安装 TVM 后，可以通过命令行访问 tvmc。

在命令行上键入 tvmc 应显示以下内容：

usage: tvmc [-h] [-v] [--version] {tune,compile,run} ...TVM compiler driveroptional arguments:-h, --help          show this help message and exit-v, --verbose       increase verbosity--version           print the version and exitcommands:{tune,compile,run}tune              auto-tune a modelcompile           compile a model.run               run a compiled moduleTVMC - TVM driver command-line interface

运行 demo 需要一些额外的 Python 包。通过下面的 requirements.txt 文件，来安装这些额外的 Python 包：

requirements.txt¶

 attrs==21.2.0cloudpickle==2.0.0decorator==5.1.0ethos-u-vela==3.8.0flatbuffers==2.0.7lxml==4.6.3nose==1.3.7numpy==1.19.5Pillow==8.3.2psutil==5.8.0scipy==1.5.4tflite==2.4.0tornado==6.1

运行以下命令来安装这些软件包：

pip install -r requirements.txt

本教程使用 MobileNet v1 模型（一种卷积神经网络，旨在对图像进行分类），该模型针对边缘设备进行了优化。要使用的模型已经预训练过，它可以可以识别 1001 个类别。该网络的输入图像大小为 224x224，任何输入图像在使用之前都需要调整到这个尺寸。

本教程使用 TFLite 格式的模型。

mkdir -p ./build
cd build
wget https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_2018_08_02/mobilenet_v1_1.0_224_quant.tgz
gunzip mobilenet_v1_1.0_224_quant.tgz
tar xvf mobilenet_v1_1.0_224_quant.tar

下载 MobileNet v1 模型后，下一步是用 tvmc compile 进行编译。编译过程中得到的输出是模型的 TAR 包，该模型编译为 target 平台的模型库格式（MLF），能够用 TVM runtime 在 target 设备上运行该模型。

tvmc compile --target=ethos-u,cmsis-nn,c \--target-ethos-u-accelerator_config=ethos-u55-256 \--target-cmsis-nn-mcpu=cortex-m55 \--target-c-mcpu=cortex-m55 \--runtime=crt \--executor=aot \--executor-aot-interface-api=c \--executor-aot-unpacked-api=1 \--pass-config tir.usmp.enable=1 \--pass-config tir.usmp.algorithm=hill_climb \--pass-config tir.disable_storage_rewrite=1 \--pass-config tir.disable_vectorize=1 \./mobilenet_v1_1.0_224_quant.tflite \--output-format=mlf

备注
tvmc 编译参数说明：

• --target=ethos-u,cmsis-nn,c：在可能的情况下将算子迁移到 microNPU，回退到 CMSIS-NN 并最终生成 microNPU 不支持的算子的 C 代码。
• --target-ethos-u-accelerator_config=ethos-u55-256：指定 microNPU 配置。
• --target-c-mcpu=cortex-m55：针对 Cortex®-M55 进行交叉编译。
• --runtime=crt：生成粘合代码以支持算子使用 C runtime。
• --executor=aot：使用 Ahead Of Time 编译而非 Graph Executor。
• --executor-aot-interface-api=c：生成一个 C 风格的接口，其结构专为在边界集成到 C 应用程序而设计。
• --executor-aot-unpacked-api=1：在内部使用非压缩的 API。
• --pass-config tir.usmp.enable=1：启用统一静态内存规划
• --pass-config tir.usmp.algorithm=hill_climb：对 USMP 使用爬山算法
• --pass-config tir.disable_storage_rewrite=1： 禁用存储重写
• --pass-config tir.disable_vectorize=1：禁用向量化，因为 C 中没有标准的向量化类型。
• ./mobilenet_v1_1.0_224_quant.tflite：正在编译的 TFLite 模型。
• --output-format=mlf：以模型库格式生成输出。

备注
若不想用 microNPU 进行迁移
仅适用于 CMSIS-NN 的算子：

• 使用 --target=cmsis-nn,c 代替 --target=ethos-u,cmsis-nn,c
• 删除 microNPU 配置参数 --target-ethos-u-accelerator_config=ethos-u55-256

tar xvf module.tar

在图像上运行 MobileNet v1 时，输出结果是 0 到 1000 的索引。为了使应用程序对用户更加友好，将显示相关标签，而非仅显示类别索引。将图像标签下载到一个文本文件中，然后用 Python 脚本将它们包含在 C 程序中。

curl -sS  https://raw.githubusercontent.com/tensorflow/tensorflow/master/tensorflow/lite/java/demo/app/src/main/assets/labels_mobilenet_quant_v1_224.txt \
-o ./labels_mobilenet_quant_v1_224.txt

本教程使用猫的图像作为输入，也可以自行替换为其他图像。

将图像下载到构建目录中，下一步用 Python 脚本，将图像转换为 C 头文件中的字节数组。

curl -sS https://s3.amazonaws.com/model-server/inputs/kitten.jpg -o ./kitten.jpg

以下脚本将在 src 目录中创建 2 个 C 头文件：

• inputs.h - 作为脚本参数提供的图像将被转换为整数数组，以输入到 MobileNet v1 模型。
• outputs.h - 用一个全零的整数数组，为推理的输出保留 1001 个整数值。

convert_image.py¶
#!python ./convert_image.py
import os
import pathlib
import re
import sys
from PIL import Image
import numpy as npdef create_header_file(name, section, tensor_name, tensor_data, output_path):"""这个函数产生一个头文件，包含 numpy 数组提供的数据。"""file_path = pathlib.Path(f"{output_path}/" + name).resolve()# 创建带有 npy_data 的头文件作为 C 数组raw_path = file_path.with_suffix(".h").resolve()with open(raw_path, "w") as header_file:header_file.write("#include <tvmgen_default.h>\n"+ f"const size_t {tensor_name}_len = {tensor_data.size};\n"+ f'uint8_t {tensor_name}[] __attribute__((section("{section}"), aligned(16))) = "')data_hexstr = tensor_data.tobytes().hex()for i in range(0, len(data_hexstr), 2):header_file.write(f"\x{data_hexstr[i:i+2]}")header_file.write('";\n\n')def create_headers(image_name):"""此函数为运行推理所需的输入和输出数组生成 C 头文件"""img_path = os.path.join("./", f"{image_name}")# 将图像大小调整为 224x224resized_image = Image.open(img_path).resize((224, 224))img_data = np.asarray(resized_image).astype("float32")# 将输入转换为 NCHWimg_data = np.transpose(img_data, (2, 0, 1))# 创建输入头文件input_data = img_data.astype(np.uint8)create_header_file("inputs", "ethosu_scratch", "input", input_data, "./include")# 创建输出头文件output_data = np.zeros([1001], np.uint8)create_header_file("outputs","output_data_sec","output",output_data,"./include",)if __name__ == "__main__":create_headers(sys.argv[1])

用以下命令行运行脚本：

python convert_image.py ./kitten.jpg

以下脚本将在 src 目录中创建一个 labels.h 头文件，之前下载的 labels.txt 文件会变成字符串数组。该数组将用于显示图像分类后为的标签。

convert_labels.py¶
#!python ./convert_labels.py
import os
import pathlib
import sysdef create_labels_header(labels_file, section, output_path):"""此函数生成一个包含 ImageNet 标签的头文件作为字符串数组"""labels_path = pathlib.Path(labels_file).resolve()file_path = pathlib.Path(f"{output_path}/labels.h").resolve()with open(labels_path) as f:labels = f.readlines()with open(file_path, "w") as header_file:header_file.write(f'char* labels[] __attribute__((section("{section}"), aligned(16))) = {{')for _, label in enumerate(labels):header_file.write(f'"{label.rstrip()}",')header_file.write("};\n")if __name__ == "__main__":create_labels_header(sys.argv[1], "ethosu_scratch", "./include")

用以下命令行运行脚本：

python convert_labels.py

下面的 C 程序会在之前下载并转换为整数数组的图像上，运行 MobileNet v1 模型的单个推理。由于该模型是以「ethos-u …」为 target 编译的，因此需要迁移 Ethos™-U55 NPU 支持的算子，以便进行加速。一旦应用程序构建并运行，测试图像应该被正确地归类为「tabby」，并且结果会显示在控制台上。这个文件应该放在 ./src。

demo.c¶

 #include <stdio.h>#include <tvm_runtime.h>#include "ethosu_mod.h"#include "uart_stdout.h"// convert_image.py 和 convert_labels.py 生成的头文件#include "inputs.h"#include "labels.h"#include "outputs.h"int abs(int v) { return v * ((v > 0) - (v < 0)); }int main(int argc, char** argv) {UartStdOutInit();printf("Starting Demo\n");EthosuInit();printf("Allocating memory\n");StackMemoryManager_Init(&app_workspace, g_aot_memory, WORKSPACE_SIZE);printf("Running inference\n");struct tvmgen_default_outputs outputs = {.output = output,};struct tvmgen_default_inputs inputs = {.input = input,};struct ethosu_driver* driver = ethosu_reserve_driver();struct tvmgen_default_devices devices = {.ethos_u = driver,};tvmgen_default_run(&inputs, &outputs, &devices);ethosu_release_driver(driver);// 计算最大值的索引uint8_t max_value = 0;int32_t max_index = -1;for (unsigned int i = 0; i < output_len; ++i) {if (output[i] > max_value) {max_value = output[i];max_index = i;}}printf("The image has been classified as '%s'\n", labels[max_index]);// 当 FVP 在 UART 上接收到「EXITTHESIM」时，FVP 将关闭printf("EXITTHESIM\n");while (1 == 1);return 0;}

此外，需要将 github 的这些头文件放入 ./include 目录：

包含文件

备注
若要用 FreeRTOS 进行任务调度和队列，可以在 demo_freertos.c 找到示例程序。

创建一个链接脚本，便于在下一节中构建应用程序时使用。链接脚本告诉链接器所有文件都放在内存中。下面的 corstone300.ld 链接脚本应该放在工作目录中。

查看 FVP 示例链接脚本 corstone300.ld

备注
TVM 生成的代码会将模型权重和 Arm® Ethos™-U55 命令流放在名为 ethosu_scratch 的部分中，对于 MobileNet v1 大小的模型，无法将权重和命令流全部放入 SRAM 的可用空间（因为 SRAM 空间十分有限）。因此，链接脚本将 ethosu_scratch 这部分放入 DRAM（DDR）中。

备注
在构建和运行应用程序之前，需要更新 PATH 环境变量，使其包含 cmake 3.19.5 和 FVP 的路径。例如，若已将它们安装在 /opt/arm 中，则执行以下操作：
export PATH=/opt/arm/FVP_Corstone_SSE-300_Ethos-U55/models/Linux64_GCC-6.4:/opt/arm/cmake/bin:$PATH

接下来可以使用 make 构建 demo。在命令行运行 make 之前，应将 Makefile 移在工作目录中：

Makefile 示例：Makefile

备注
若使用的是 FreeRTOS，Makefile 会从指定的 FREERTOS_PATH 构建：
make FREERTOS_PATH=<FreeRTOS directory>

最后，使用以下命令在固定虚拟平台（Fixed Virtual Platform，简称 FVP）上运行 demo：

FVP_Corstone_SSE-300_Ethos-U55 -C cpu0.CFGDTCMSZ=15 \
-C cpu0.CFGITCMSZ=15 -C mps3_board.uart0.out_file="-" -C mps3_board.uart0.shutdown_tag="EXITTHESIM" \
-C mps3_board.visualisation.disable-visualisation=1 -C mps3_board.telnetterminal0.start_telnet=0 \
-C mps3_board.telnetterminal1.start_telnet=0 -C mps3_board.telnetterminal2.start_telnet=0 -C mps3_board.telnetterminal5.start_telnet=0 \
-C ethosu.extra_args="--fast" \
-C ethosu.num_macs=256 ./build/demo

应在控制台窗口中看到以下输出：

telnetterminal0: Listening for serial connection on port 5000
telnetterminal1: Listening for serial connection on port 5001
telnetterminal2: Listening for serial connection on port 5002
telnetterminal5: Listening for serial connection on port 5003Ethos-U rev dedfa618 --- Jan 12 2021 23:03:55(C) COPYRIGHT 2019-2021 Arm LimitedALL RIGHTS RESERVEDStarting Demo
ethosu_init. base_address=0x48102000, fast_memory=0x0, fast_memory_size=0, secure=1, privileged=1
ethosu_register_driver: New NPU driver at address 0x20000de8 is registered.
CMD=0x00000000
Soft reset NPU
Allocating memory
Running inference
ethosu_find_and_reserve_driver - Driver 0x20000de8 reserved.
ethosu_invoke
CMD=0x00000004
QCONFIG=0x00000002
REGIONCFG0=0x00000003
REGIONCFG1=0x00000003
REGIONCFG2=0x00000013
REGIONCFG3=0x00000053
REGIONCFG4=0x00000153
REGIONCFG5=0x00000553
REGIONCFG6=0x00001553
REGIONCFG7=0x00005553
AXI_LIMIT0=0x0f1f0000
AXI_LIMIT1=0x0f1f0000
AXI_LIMIT2=0x0f1f0000
AXI_LIMIT3=0x0f1f0000
ethosu_invoke OPTIMIZER_CONFIG
handle_optimizer_config:
Optimizer release nbr: 0 patch: 1
Optimizer config cmd_stream_version: 0 macs_per_cc: 8 shram_size: 48 custom_dma: 0
Optimizer config Ethos-U version: 1.0.6
Ethos-U config cmd_stream_version: 0 macs_per_cc: 8 shram_size: 48 custom_dma: 0
Ethos-U version: 1.0.6
ethosu_invoke NOP
ethosu_invoke NOP
ethosu_invoke NOP
ethosu_invoke COMMAND_STREAM
handle_command_stream: cmd_stream=0x61025be0, cms_length 1181
QBASE=0x0000000061025be0, QSIZE=4724, base_pointer_offset=0x00000000
BASEP0=0x0000000061026e60
BASEP1=0x0000000060002f10
BASEP2=0x0000000060002f10
BASEP3=0x0000000061000fb0
BASEP4=0x0000000060000fb0
CMD=0x000Interrupt. status=0xffff0022, qread=4724
CMD=0x00000006
00006
CMD=0x0000000c
ethosu_release_driver - Driver 0x20000de8 released
The image has been classified as 'tabby'
EXITTHESIM
Info: /OSCI/SystemC: Simulation stopped by user.

可以看到，输出的最后部分显示图像已被正确分类为「tabby」。

下载 Python 源代码：micro_ethosu.py

下载 Jupyter Notebook：micro_ethosu.ipynb