队员们好
我们目前正在Compulab的MCM-i.MX8M-Plus平台上评估NPU的推断和分析。
我们最初向 CompuLab 支持人员提出了这个问题，他们建议我们就 nnshark 的使用和 NPU 验证问题直接联系恩智浦。
我们尝试将 nnshark 集成到镜像中，并验证了配方是否成功构建。但是，目标系统上没有独立的 nnshark 可执行文件，只有 libgstsharktracers.so 和 libgstshark.so 等库文件可用。我们想澄清是否打算仅通过 GStreamer 跟踪器/插件使用 nnshark，或者是否需要一个独立组网 \\(SA\\) 实用程序。
此外，我们使用启用了分析功能的 VX 委托测试了 TensorFlow Lite 推理。虽然委托成功加载，但我们希望得到指导，以验证 NPU 的适当利用率，并了解推理过程中 CPU 的预期使用情况。
我附上了nnshark集成和推理测试的详细程序以供参考。
能否请您帮忙澄清一下：
- nnshark 的预期使用方法
- 是否存在支持 nnshark 的参考图像/包
- 验证 NPU 执行的建议方法
- 针对 NPU 推荐的 TensorFlow Lite 模型或流水线优化方法
感谢您的支持。
您好，
请查看所附日志文件和 NNShark 截图。最初，我通过在启动期间中断 U-Boot 来更新了 MMC 启动参数。系统启动后，我验证了 电路板支持包 的发布版本，并在通过环境变量启用 NnShark 配置文件后执行了 GStreamer 管道。
谢谢！
你好@cris_m
在使用 TensorFlow Lite VX 委托运行流水线时，日志仍然报告 "accl = cpu"，这让人对推理是否真的被卸载到 NPU 感到困惑。
>>>请共享您的日志文件。包括您用来运行模型的命令和方法。
是否期望 nnshark 提供独立组网 \\(SA\\) 的可执行文件还是仅提供 GStreamer 跟踪库
> > > nnShark 是一款基于 GstShark 的分析工具，用于监测多个管道指标，以评估 SoC 硬件利用率。
> > > 在 i.MX8M Plus 上，nnShark 主要用于通过 GStreamer/NNStreamer 跟踪器对人工智能管道进行实时分析和性能验证。通常是在运行 GStreamer 管道之前设置 GST_TRACERS 和 GST_DEBUG 环境变量。您可以通过以下链接了解更多详情：
https://github.com/nxp-imx/nnshark
如何确证推理执行过程中 NPU 的利用率
> > > 你使用的是哪个版本的电路板支持包？
B.R
感谢您的回复和分享参考文档。
我想说的是，我已经按照第 8.1 章（对象检测流水线示例）中描述的步骤进行了操作，并在先前所附的 NPU_test.txt 文档中分享了相同的细节，以及 GStreamer 流水线执行的截图/日志。
在使用 TensorFlow Lite VX 委托运行流水线时，日志仍然报告 "accl = cpu"，这让人对推理是否真的被卸载到 NPU 感到困惑。
此外，我之前提出的关于使用 nnshark 的问题也没有得到解决。具体地说，我希望澄清以下问题：
- 是否期望 nnshark 提供独立组网 \\(SA\\) 的可执行文件还是仅提供 GStreamer 跟踪库
- 如何使用 nnshark 在 i.mx8M Plus 上进行分析/验证
- 如何确证推理执行过程中 NPU 的利用率
如果我在设置或测试过程中遗漏了任何步骤，也请告诉我。
能否请您查看所附的程序/日志，并帮助澄清这些问题？
谢谢！
你好@cris_m
请参阅附件中的第 8 章（使用 NNStreamer 的视觉管道）。您还可以了解如何在使用 NPU 加速的 i.MX 8M Plus 上运行机器学习应用程序。
B.R
你好
你能否查看之前分享的日志，与我们联系所遵循的程序是否有任何问题，或者是否需要采取任何其他步骤？
谢谢！
你好@cris_m
请运行附件 .sh锉刀我已经在我的 imx8mp evk 主板上测试过了，没有任何问题。
B.R
是的。 成功了
谢谢。
致以最诚挚的问候