2177153_zh-CN

取消
显示结果 
显示  仅  | 搜索替代 
您的意思是: 

2177153_zh-CN

2177153_zh-CN

i.MX8M Plus:DeepViewRT 安装、ONNX 转换和 CPU 与 NPU 推理

你好

我想在 i.MX8M Plus 板上使用 DeepViewrt 进行推断。

1.如何在 i.MX8M Plus 上安装 DeepViewRT 并运行推理?

2.我有一个 ONNX 模型--如何将其转换为 DeepViewRT 的 RTM 模型?

3.如果在 i.MX8M Plus 上直接使用 ONNX 模型运行推理,是否仅限于 CPU 执行?

提前感谢您的支持。

Re: i.MX8M Plus: DeepViewRT Installation, ONNX Conversion, and CPU vs NPU Inference

你好@sunghyun96

i.MX Plus 上 DeepViewRT 的推荐替代品是 TesnsorFlow Lite (TFlite) + VX Delegate。

VX Delegate 是 DeepViewRT 的官方替代品,它在引擎盖下使用 OpenVX 将支持的操作卸载到 NPU。

TFLite 模式必须使用 eIQ 工具包进行量化(INT8)和转换,以便与 VX Delegate 兼容。


既然您使用的是 ONNX Runtime,我建议您使用 eIQ 工具包或 TensorFlow 工具将 ONNX 模型转换为 TFLite (INT8),然后使用 TFLite + VX Delegate 运行。


此致

丹尼尔

Re: i.MX8M Plus: DeepViewRT Installation, ONNX Conversion, and CPU vs NPU Inference

谢谢您的答复。
在使用 i.MX 8M Plus (EVK) 的 Linux 6.12.20-lts 上,我计划使用 ONNX Runtime 运行 NPU 推理。
如果有替代 DeepViewRT 的推荐运行时(例如 ORT 与 TFLite + VX),也请告诉我。

Re: i.MX8M Plus: DeepViewRT Installation, ONNX Conversion, and CPU vs NPU Inference

HI Sunghyun96:


请查阅 UG10166:i.MX 机器学习用户指南。

删除了 DeepViewRT 推理引擎。

danielchen_0-1760239877158.pngdanielchen_0-1760239877158.png



此致

丹尼尔

标记 (1)
无评分
版本历史
最后更新:
‎11-20-2025 11:24 PM
更新人: