topic Re: GStreamer CPU使用率高 in i.MX Processors

GStreamer CPU使用率高

linzhenggang1 — Sat, 17 Feb 2024 16:01:34 GMT

我们正在使用i.mx8m plus进行产品开发。

当我们使用下面的pipeline从camera(ISP)读取视频数据并推送给appsink时，发现CPU使用率在60%。

gst-launch-1.0 -v v4l2src name=src0 device=/dev/video2 ! video/x-raw,format=NV12,width=1920,height=1080,framerate=15/1 ! appsink

由于产品需要，我们必须降低这里的CPU使用率。请问是否有好的办法？比如能够让gstreamer使用类似DMA的技术减少CPU使用的方法？

Re: GStreamer CPU使用率高

joanxie — Tue, 20 Feb 2024 06:41:33 GMT

试下用dmabuf, 加 io-mode=dmabuf在device=/dev/video2后面看下

Re: GStreamer CPU使用率高

linzhenggang1 — Tue, 20 Feb 2024 06:45:45 GMT

感谢您的回复。io-mode=dmabuf已经试过了，CPU使用率没有变化。而且理论上讲，使用io-mode=dmabuf时后面需要有另一个element使用io-mode=dmabuf-import来处理dmabuff，但是appsink并不支持io-mode=dmabuf-import。

另外，v4l2src io-mode=userptr也试过了，会报错。driver层目前不支持io-mode=userptr模式吗？

Re: GStreamer CPU使用率高

joanxie — Tue, 20 Feb 2024 06:55:04 GMT

对, 后面还需要加output-io-mode=dmabuf-import，你必须用appsink吗？这个我们目前不支持，之前也有客户使用appsink有延迟的，你用waylandsink 使用有区别吗？另一个方法是用mmap,但是这个提高不多, userptr 你可以参考下这个文档，不过这个文档是基于ISI的

https://community.nxp.com/t5/i-MX-Graphics-Knowledge-Base/i-MX8MP-Using-userptr-on-i-MX8MP-ISI/ta-p/1801279

Re: GStreamer CPU使用率高

linzhenggang1 — Tue, 20 Feb 2024 07:00:13 GMT

感谢回复！

waylandsink 是用来输出到显示设备的吧？抱歉我们这个产品没有显示设备。

我们使用appsink是用来把camera采集的视频帧放到一个link buffer里，提供给AI模块进行处理的。

这种情况，请问除了使用appsink还有其他选择么？

ps. 我们有需要用2个摄像头同步采集视频

Re: GStreamer CPU使用率高

linzhenggang1 — Tue, 20 Feb 2024 07:04:55 GMT

我们现在使用的方式是mipi csi → ISP（2个摄像头所以双路同时）。

我考虑最好的方法是使用userptr模式把应用层创建的link buff提供给ISP dirver，从而避免memcpy的发生。

但您提供给我的参考post上面也提到ISP不支持userptr。。。

This demo works on: i.MX8MP L6.1.36, It should be noted that only ISI can support userptr, ISP does not support userptr.

有什么办法可以让ISP能够支持userptr吗？

Re: GStreamer CPU使用率高

joanxie — Wed, 21 Feb 2024 04:50:17 GMT

给你发了一个邮件，你的app应该是使用了dmabuf做memory copy了已经，你参考我的邮件可以看下是否真的使用，还给你发了一个附件是用于另一个sink上面的把GstMemory改成了GstMemoryPhy，你也可以参考下，因为appsink是开源，所以需要你自己来最终调试，因为附件不能在公共论坛分享，所以你可以参考发给你的两个方案自己再进一步debug

Re: GStreamer CPU使用率高

linzhenggang1 — Tue, 27 Feb 2024 09:12:05 GMT

通过把一些cropping和resize的工作负荷offload到ISP侧进行处理，我们成功的降低了CPU的使用率。·