2122841_ja-JP

Yes

i.MX95 上の dm-eiq-genai-flow-demonstrator に必要な BSP バージョン

こんにちは、チーム

私は、Yocto 環境内で動作する i.MX95 プラットフォーム上の dm-eiq-genai-flow-demonstrator (GenAI Flow) を調査しています。以下を明確にしていただけますか:

1.デモをエンドツーエンドで実行するために最低限必要な BSP バージョン (例: L6.12.20_2.0.0) は何ですか?

2.この BSP には、LLM 推論 (RAG) をサポートするために必要なすべての要素 (更新された Neutron デリゲート、TFLite ランタイム、ツールなど) が含まれていますか?

3.このデモに推奨される追加の Yocto メタレイヤーまたはイメージレシピ (たとえば、meta-eiq-genai) はありますか?

ご意見をよろしくお願いします!

よろしくお願いします、
ヴァルシル・ガンジー

Re: BSP Version Required for dm-eiq-genai-flow-demonstrator on i.MX95

こんにちは、ヴァルシルさん。
ご質問ありがとうございます。
それらの質問に答えてみたいと思います。
1. このパッケージは当初、i.MX95 rev Ax の Q1 BSP L6.12.3-1.0.0 用に作成されました。
2. このQ1 BSPには、LLM推論でNeutronを活用するために必要な機能が直接含まれていません。そのため、このパッケージはメタレイヤーを提供しています。
3. この meta-eiq-genai-flow メタレイヤーは、Neutron 上の LLM 操作を高速化し、CPU リソースの一部を解放するための Onnxruntime Neutron 実行プロバイダーを追加する可能性を提供します。これにはカーネルと Neutron Fw 用の関連パッチ/ファイルが含まれます。なお、このプロジェクトでは TF Lite ではなく onnxruntime を使用しています。

とはいえ、 Q2 BSP （例：L6.12.20_2.0.0）が本日リリースされます。i.MX95のB0リビジョンをサポートしていますが、NeutronのLLMアクセラレーションが利用できないため、CPUモードのみで動作します。

ありがとう、そしてよろしく。

ピエール