2147372_ja-JP

Yes

i.MX95でGenAI Flowを使い始める - ヘルプとヒントが必要です

こんにちは、皆さん

私はNXP Generative AI & LLM フォーラムで作業している開発者で、最近 i.MX95 EVK 上の eIQ GenAI Flow デモンストレーターの探索を始めました。私は AppCodeHub リポジトリからデモを正常にクローンし、Yocto 環境でクロスコンパイルを開始しましたが、途中でいくつかの問題が発生しました。リビジョンに応じて互換性のある BSP とオプションのメタレイヤーが必要であることは理解しています。

さらに、実際にiMX95とiMX8MPのAI推論パフォーマンスがどのように異なるのかも興味があります。私が見たベンチマークでは、トークン生成速度は、Neutron アクセラレーションを使用した iMX95 では約 9 トークン/秒であるのに対し、iMX8MP CPU のみでのCASEでは約 8.7 トークン/秒であるという結果が出ています @github.com 。しかし、特にこれらのプラットフォームですでに RAG および LLM パイプラインを使用している開発者からの直接のフィードバックをぜひ聞きたいと思っています。

質問:

どのBSPバージョン（例：スムーズな展開のためには、L6.12.20 と L6.12.3 のどちらをターゲットにすればよいでしょうか?
i.MX95 A1 リビジョンと B0 リビジョンで Neutron を正常に有効にするためのヒントはありますか?
eIQ GenAI Flow で RAG を使用した場合のリアルタイム推論のレイテンシとメモリ制約に関する経験はありますか?

さらに先に進む前に、特に設定メモや学んだ教訓など、アドバイスをいただければ幸いです。

よろしくお願いいたします！

Re: Getting Started with GenAI Flow on i.MX95 – need help and tips

こんにちは@Alicecarry 、

メッセージをありがとうございます！

あなたの質問にお答えしたいと思います。

GenAI Flow Demonstrator v1.1で使用するBSPバージョンについては、以下を使用することをお勧めします。 L6.12.20 .このBSPでは、提供されているメタレイヤーは不要になりました。 i.MX95 B0には、Neutron NPU を介した LLM アクセラレーションがすでに組み込まれています。メタレイヤーはL6.12.3をカスタマイズするためにのみ必要です LLMアクセラレーションをサポートするBSP i.MX95 A1 。

i.MX95 A1 リビジョンでは、Neutron を活用するための 2 つのオプションがあります。

L 6.12.3 BSPを使用する + メタレイヤー、または
使用 L6.12.20 BSPはよりシンプルですが、次の 2 つの点を考慮する必要があります。

画像をフラッシュすると uuu 、標準を使用する imx-image-full-imx95evk.wicだが特定の A1 リビジョンにはimx-boot使用する必要があります。このファイルは BSP リリースアーカイブに含まれており、次の名前が付けられています。
imx-boot-imx95-a1-19x19-lpddr5-evk-sd.bin-flash_a55
(i.MX95 A1 19x19 EVK の場合)。
この BSP には、B0 リビジョンとのみ互換性のある Neutron ファームウェアが含まれているSO、LLM アクセラレーションはデフォルトでは機能しません。これを有効にするには、ファームウェアをメタレイヤーで提供されているものに置き換えます: dm-eiq-genai-flow-demonstrator/meta-eiq-genai-flow/recipes-libraries/neutron/files/NeutronFwllm.elf 。コピー先 /lib/firmware/ i.MX95 EVK ファイルシステム上。

いずれのCASEでも、フラッシュ後に u-boot で「Neutron」dtb を設定する必要があることに注意してください。

このデモンストレーターは、当社の内部機能のサブセットのみを紹介します。社内には、特定のユースケースに合わせてレイテンシとパフォーマンスを微調整するための追加の ASR モデルと LLM モデルがあります。例えば、 Whisper-small.en ASR と Danube-500M（q8）LLMでは、入力オーディオの終了と出力オーディオの開始の間の遅延である「最初のオーディオまでの時間（TTFA）」を約 3.5 秒で、多くのユースCASEで許容できる値です。

他のASRモデルでは、このTTFAを以下のように短縮できます。 3秒 LLMあり、RAGのみのモード（LLMなし）では、以下に示すことができます。 2秒。

これが役に立つことを祈ります!
再度、感謝します、
ピエール