你好
我想在 i.MX8M Plus 板上使用 DeepViewrt 进行推断。
1.如何在 i.MX8M Plus 上安装 DeepViewRT 并运行推理?
2.我有一个 ONNX 模型--如何将其转换为 DeepViewRT 的 RTM 模型?
3.如果在 i.MX8M Plus 上直接使用 ONNX 模型运行推理,是否仅限于 CPU 执行?
提前感谢您的支持。
i.MX Plus 上 DeepViewRT 的推荐替代品是 TesnsorFlow Lite (TFlite) + VX Delegate。
VX Delegate 是 DeepViewRT 的官方替代品,它在引擎盖下使用 OpenVX 将支持的操作卸载到 NPU。
TFLite 模式必须使用 eIQ 工具包进行量化(INT8)和转换,以便与 VX Delegate 兼容。
既然您使用的是 ONNX Runtime,我建议您使用 eIQ 工具包或 TensorFlow 工具将 ONNX 模型转换为 TFLite (INT8),然后使用 TFLite + VX Delegate 运行。
此致
丹尼尔
谢谢您的答复。
在使用 i.MX 8M Plus (EVK) 的 Linux 6.12.20-lts 上,我计划使用 ONNX Runtime 运行 NPU 推理。
如果有替代 DeepViewRT 的推荐运行时(例如 ORT 与 TFLite + VX),也请告诉我。
HI Sunghyun96:
请查阅 UG10166:i.MX 机器学习用户指南。
删除了 DeepViewRT 推理引擎。
danielchen_0-1760239877158.png
此致
丹尼尔