2393101_zh-CN

Yes

在 i.MX8M Plus 和 TIM-VX/VSINPU 上，GC7000UL 通用计算推理路径似乎仅支持 NPU。

板/电路板支持包。：

i.MX8M Plus，aarch64
Galcore 版本 6.4.11.p2.745085
ONNX 运行时，带有 VSINPUExecutionProvider（静态链接到 libtim-vx.so）
Vivante OpenCL ICD 已存在且功能正常（Vivante.icd → libVivanteOpenCL.so）

目标：
专门在 GC7000UL 3D GPU 核心上运行 ResNet50 推理基准测试（MLPerf loadgen 测试框架），以便与已收集的现有 NPU（VIP8000Nano）和 CPU 基准测试结果进行比较。
已确认有效的功能：

通过 Vivante OpenCL ICD 使用 clGetPlatformIDs/clGetDeviceIDs 可以清晰地枚举同一平台下的两个独立设备：

设备 0：GC7000UL.6204.0000
设备 1：VIP8000Nano-S+I.8002.0000

两者都报告 CL_DEVICE_TYPE_ACCELERATOR，没有错误，通过链接到 libOpenCL.so → libGAL.so 的最小 C 测试程序确认。

是什么阻碍了通过 ORT 进行 GPU 调度：

ort.get_available_providers() 仅返回 ['VSINPUExecutionProvider', 'CPUExecutionProvider'] — 没有基于 OpenCL 的 EP。

VSINPUExecutionProvider 静态链接到 libtim-vx.so（OVXLIB/vsi_nn_* API）。libtim-vx.so 和 libGAL.so 的符号/字符串转储显示没有 DEVICE_INDEX/DEVICE_ID 风格的环境变量或配置表面——只有行为切换（VIV_VX_ENABLE_SHADER、VSI_NN_ENABLE_* 等）。

libGAL.so 确实在原始 HAL 层导出了 gcoHAL_SetDeviceIndex/gcoHAL_GetCurrentDeviceIndex，但是从 OVXLIB/TIM-VX 到该调用没有明显的管道，这表明 VSINPU 使用的图形编译器可能被硬编码为仅针对 NPU 核心，而不管设备索引如何。

具体问题：

此电路板支持包 (galcore 6.4.11.p2) 上的 TIM-VX / OVXLIB 是否支持将图编译并分发到 GC7000UL 作为通用计算目标？或者，此版本中的图编译器是否设计为仅限 NPU？我如何验证是否可以以这种方式运行它？

如果 TIM-VX 上游支持 GPU 目标图编译，但 NXP 提供的版本中未启用，是否有构建标志/SDK 元器件可以启用它？

如果无法通过 TIM-VX/ORT 获得支持，NXP 是否有推荐的方法可以直接在 GC7000UL 上运行通用推理（例如通过 OpenCL/OpenVX 层，因为该部分协议栈已被确认功能正常），或者是否有示例应用程序、SDK 组件或参考实现可供我们参考？

我目前是一名学生，正在尝试进行这项实现，并在 GPU 上运行 ORT，请问是否有任何方法或途径可以使用 GPU 进行推理？
非常感谢

IMX8MPLUS #GC7000UL

Re: GC7000UL general-compute inference path on i.MX8M Plus and TIM-VX/VSINPU appears NPU-only

嗨@WaleedO ，

感谢您联系恩智浦技术支持。

要在 GPU 上运行推理，您应该使用 GPU 委托，它允许由 GPU 加速支持的操作，而不是完全在 CPU 上运行。

我建议您查看我们的机器学习用户指南，以便更好地了解可用的执行后端、委托配置、支持的框架和示例应用程序。该指南还包含逐步示例，可以帮助您验证 GPU 委托是否已正确加载以及您的模型是否按预期执行。

如果在安装或执行过程中遇到任何问题，请分享您的模型、BSP 版本以及您正在使用的命令，我将很乐意为您提供进一步的帮助。

此致，
亚历杭德罗·加西亚

Re: GC7000UL general-compute inference path on i.MX8M Plus and TIM-VX/VSINPU appears NPU-only

你好@Chavira
很高兴见到你。

查阅文档后发现，GPU 委托和 OpenCL 路径是在 i.MX 95/952 GPU（Arm Mali G310）中使用。我目前正在研究IMX8MPLUS。IMX8M Plus 的架构如下：VX 代理 ==> TIM-VX ==> GPU/NPU（统一驱动程序） ==> I.MX 8 系列 NPU 和
GPU（GC7000、GC7000L、GC7000UL）。根据文件记载。

目前我正在使用 ONNX 和 ORT。当我运行该程序时，它默认在 NPU 上运行。是否有办法使用 OpenCL 在IMX8MPLUS GPU 上工作？或者是否有任何手动覆盖或我可以实现的技术，以便我可以手动将编译目标设置为 NPU 或/和 GPU？

非常感谢您的回复。
亲切的问候，

IMX8MPLUS #TIM-VX #VX-delegate