在 Ameba 上运行边缘 AI
NPU 加速 | 多框架支持 | 在线与离线工具
Ameba AI 是专为 Realtek AmebaAIoT SoC 设计的全面人工智能（AI）解决方案。它为开发者提供强大的工具与库，以在应用程序中实现 AI 功能。借助 NN 硬件引擎加速推理过程，SoC 支持广泛的 AI 应用，包括音频分类、目标检测等。它针对性能与效率进行了优化，使开发者能够在资源受限的设备上运行 NN 模型，同时不牺牲功能性。无论您是初学者还是经验丰富的 AI 开发者，Ameba AI 都能提供您所需的工具与资源，将您的 AI 项目付诸实现。在 SoC 上部署 NN 的步骤如下：
- 模型训练： 根据您想实现的特定 AI 应用，选择合适的 NN 模型。使用兼容的框架（如 TensorFlow 或 PyTorch）训练模型。确保模型已针对资源受限设备的部署进行优化。
- 模型转换： 将训练好的模型转换为与 SoC 上 NN 硬件引擎兼容的网络二进制图形文件。这可能涉及量化或其他优化技术，以减少模型大小并提升推理速度。
- 模型部署： 使用 SDK 将转换后的模型部署到 SoC 上。这包括将模型集成到您的应用程序中，并进行部署配置。
- 推理执行： 使用已部署的模型在 SoC 上执行推理过程。这包括将输入数据送入模型并获取输出结果。NN 硬件引擎将加速推理过程，实现实时 AI 应用。
- 性能优化： 监控已部署模型的性能，并根据需要进行优化。这可能包括微调模型、调整输入数据，或优化推理过程以获得更好的结果。
通过以上步骤，开发者可以成功地在 Realtek AmebaAIoT SoC 上部署 NN 模型，并打造利用 AI 强大能力的智能应用程序。
NN 工作流程
AmebaPro2 集成了专用的 NPU (神经网络处理单元)，在 INT8 精度下可提供高达约 0.4 TOPS 的算力，从而加速边缘端 (Edge) 的深度神经网络推理。
神经网络 (NN) 工作流程
神经网络的工作流程始于使用 Acuity Toolkit 进行模型转换。
- 支持框架：可将来自 TensorFlow、PyTorch、ONNX、Caffe、Keras 和 Darknet 等主流框架的预训练模型进行转换。
- 输出格式：转换为优化的 .nb (network binary) 文件。
- 量化支持：支持 INT8、INT16 (DFP) 以及 FP16 量化技术。
运行时 (Runtime) 处理
在运行时，vipnn MMFv2 模块会执行以下步骤：
图像捕获：从 ISP 摄像头流水线 (camera pipeline) 捕获 RGB 视频帧。
预处理：进行图像缩放 (resize) 和格式转换。
NPU 推理：通过 VIPLite 驱动程序将张量 (tensor) 数据发送至 NPU 进行推理。
后处理：运行针对特定模型的后处理操作 (例如：边界框解码、非极大值抑制 NMS)，以生成结构化的目标检测或分类结果。
模块化架构优势
该模块化架构具有极高的灵活性与安全性，支持以下功能：
即插即用 (Plug-and-play) 的模型集成- 零拷贝 (Zero-copy) 缓冲区优化
- 级联式多模型流水线 (Cascaded multi-model pipelines)
可选的模型安全功能：包括 Ed25519 签名验证与 AES-CBC 加密技术
应用示例 📋
自订模型安装指南
物件检测
- 模型： YOLOv3/4/7-tiny
- Arduino 示例
- FreeRTOS 示例
人脸检测
- 模型： SCRFD
- Arduino 示例
- FreeRTOS 示例
人脸识别
- 模型： MobileFaceNet（需搭配人脸检测作为级联前置模型）
- Arduino 示例
- FreeRTOS 示例
声音分类
- 模型： YAMNet（521 种音频类别）
- Arduino 示例
- FreeRTOS 示例
图像分类
- 模型： MobileNetV2 / 自定义 CNN
- Arduino 示例
- FreeRTOS 示例
手势检测
- 模型: Palm Detection + Hand Landmark (2-model cascade)
- Arduino 示例
- FreeRTOS 示例
在线生成式 AI
Realtek IoT/Wi-Fi MCU Solutions . All Rights Reserved. 使用条款
