2411324_ja-JP

Yes

i.MX8M Plus – MIPI CSI-2 Embedded Data(DT 0x12)とRAW画像の両方にアクセスする方法はありますか?

こんにちは、NXPコミュニティの皆さん、

現在、MIPI CSI-2 RAW画像センサーを i.MX8M Plus と統合しており、センサーの CSI-2組み込みデータ(データタイプ0x12) をターゲット上のソフトウェアに提供できる、または技術的に可能な方法があるかどうかを明確にしたいと思います。

当社のカメラ映像は、典型的なCSI-2構造になっています。

Frame Start
Embedded Data        DT = 0x12
RAW image data       DT = 0x2A / 0x2B / 0x2C
Frame End

画像データは MIPI CSI-2レシーバ→ガスケット→ISI→メモリ/V4L2 経路を通じて取得され、この部分は正しく動作しています。

問題は、各フレームに属する埋め込みデータも必要となる点です。メタデータにはフレームに関連するセンサ情報が含まれているため、対応するキャプチャ画像と関連付けることが重要です。

i.MX 8M Plus Applications Processor Reference Manualによると、MIPI CSI-2レシーバーはCSI-2レシーバーレジスタを通じて、特にMIPI_CSIx_ISP_CONFIG0/DATAFORMAT構成において設定可能なデータ型処理を提供します。関連するMIPI CSI-2 Rx / CSISレジスタの記述は第 13.5章(MIPI CSI-2)にあり、リファレンスマニュアルの古い改訂版では、サポートされる画像データ型は セクション13.5.6.13あたりで説明されています。

また、NXPアプリケーションノート AN13857 – i.MX 8MシリーズMIPIキャプチャシステム、特に セクション7「組み込みデータサポート」も見つけました。

AN13857では、DT=0x12の埋め込みデータと別のデータ型の画像データを含むストリームは データ型インターリーブとみなされ、i.MX 8Mシリーズキャプチャシステムはこのモードをサポートしていないと述べています。提案されている回避策としては、センサを画像データと同じデータ型で埋め込みデータを送信するように設定することです。

残念ながら、この回避策は私たちのセンサではできません。センサーは DT 0x12を用いた標準CSI-2組み込みデータを送信し、画像データは対応するRAWデータ型を使用します。埋め込みデータ型はRAW画像データ型に変更できません。

しかし、i.MX8MPに関する古いNXPコミュニティの議論を見つけました。そこではNXP TechSupportがCSIハードウェアはDT=0x12をサポートするべきだと述べていましたが、BSPは当時メタデータをサポートしていませんでした。

https://community.nxp.com/t5/i-MX-Processors/I-MX8MP-capture-MIPI-embedded-data/td-p/1383845

また、i.MX8Mデバイス上でCSI-2組み込みデータにアクセスすることについての古い議論もあります:

https://community.nxp.com/t5/i-MX-Processors/Does-iMX8M-CSI-support-metadata-embedded-data/m-p/97755...

したがって、AN13857に記載されている制限事項が、ハードウェアパス全体に適用されるのか、それとも主に現在サポートされているISI/V4L2キャプチャアーキテクチャに適用されるのかを明確にしたいと思います。

私たちの主な疑問は次のとおりです。

i.MX8M Plusで、データタイプ0x12のCSI-2パケットのペイロードを受信またはアクセスしながら、同時にRAW画像ストリームをキャプチャできる方法はありますか?たとえLinuxドライバーの変更が必要であっても。

例えば、以下のいずれかのアプローチは技術的に可能でしょうか？

DT=0x12およびRAW画像データを異なるCSI/ISI経路やチャネル経由でルーティングします。
MIPI CSI-2レシーバからISIより先に組み込みデータにアクセスできます。
DT=0x12用の追加のCSI-2レシーバチャネル/インターフェースを設定してください。
組み込みデータには、別のDMAまたはメモリパスを使用してください。
NXP Linux CSI/ISIドライバーを拡張して、組み込みデータをV4L2メタデータノードまたは別の/dev/videoXデバイスとして公開します。
DT=0x12ペイロードがメモリに到達できるCSI-2レシーバの未公開または現在サポートされていないハードウェア機能を利用すること。

必ずしも公式にサポートされているV4L2メタデータの実装を必要としているわけではありません。もしi.MX8M PlusハードウェアがDT=0x12ペイロードをメモリに転送できるなら、私たち自身も必要なカーネル/ドライバの変更を実装したいと考えています。

NXPは、AN13857で説明されている制限が以下のものかどうかを明確にしていただけますか:

これは i.MX8M Plus CSI-2 → Gasket → ISIアーキテクチャの根本的なハードウェア制限であり、RAW画像データが取得されている間はDT=0x12ペイロードをメモリに転送できないことを意味します。

または

ソフトウェア やドライバの制限であり、カスタムドライバ実装で組み込みデータへのアクセスが可能になるのでしょうか?

ハードウェアの制限によるものであれば、i.MX8M PlusでカメラのCSI-2出力フォーマットを変更せずに組み込みデータペイロードを取得するための代替手段はありますか？

ご説明や実装に関するヒントをいただければ幸いです。

よろしくお願いします、
ピーター

Re: i.MX8M Plus – Is there any way to access MIPI CSI-2 Embedded Data (DT 0x12) together with RAW im

こんにちは、

アプリケーションノートの制限は、i.MX8M Plus CSIのハードウェアアーキテクチャの制限です。下流側のISIブロックには、DT=0x12ペイロードをRAWストリームから分離するメカニズムがありません。

残念ながら、アプリケーションノートに記載されているサポートや公式な回避策はありません。

よろしくお願いいたします。

Re: i.MX8M Plus – Is there any way to access MIPI CSI-2 Embedded Data (DT 0x12) together with RAW im

ISIの代わりに統合ISPを使用した場合、答えは変わりますか？

RAWのBayerストリームは、MIPI CSI-2受信機から統合ISPへルーティングすることも可能です。ISPのキャプチャパスには、CSI-2埋め込みデータパケット（DT=0x12）を受信または保存するためのメカニズムはありますか？

特に、ISPやその入力インターフェースはRAW画像データと組み込みデータを分離したり、ISPの統計/メタデータバッファを通じてソフトウェアに組み込みデータを提供したりできるのでしょうか?

もしそうでなければ、DT=0x12パケットはCSIからISPへのピクセルインターフェースによって単純に破棄されるのでしょうか?