2177357_ja-JP

Yes

Neutron で eiq_genai_flow を実行すると出力エラーが発生します

こんにちは、

Neutron で eiq_genai_flow を使用すると、LLM 出力が文字化けします (以下の出力ログを参照してください)

root@imx95-var-dart:/home/dm-eiq-genai-flow-demonstrator/eiq_genai_flow# ./eiq_genai_flow --use-neutron --output-mode text
Target Device: i.MX95
[NeutronEP:Allocator] CMA userspace memory 1536 MB
Neutron: kernel buffer vaddr 0xfffe37600000, paddr 0xffff80000000, align_addr 0xffff80000000, size 0x80000000 alignment 0x0
high 0xffff, low 0x80000000, offset 0x0
[NeutronEP:Allocator] 0 0xfffe37600000 512 MB
[NeutronEP:Allocator] 1 0xfffe57600000 512 MB
[NeutronEP:Allocator] 2 0xfffe77600000 512 MB
2025-03-06 18:56:15.903541867 [W:onnxruntime:, session_state.cc:1168 VerifyEachNodeIsAssignedToAnEp] Some nodes were not assigned to the prefer
red execution providers which may or may not have an negative impact on performance. e.g. ORT explicitly assigns shape related ops to CPU to im
prove perf.
2025-03-06 18:56:15.903631201 [W:onnxruntime:, session_state.cc:1170 VerifyEachNodeIsAssignedToAnEp] Rerunning with verbose output on a non-min
imal build will show node assignments.
LLM used: danube-onnx

Please type your question:
who are you ?
utatMAGESgewwiequantfrag morteasiNSermńskiCMangleshalten JahrhundertTRAN pró身atinPCMorem südanes tijdfolg relativeifontанTEMPńskaneGTH когда s
iскоutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatuta
tutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutatutat[...]

Neutron カーネルバッファアドレスは、github のスクリーンショットと異なります: https://github.com/nxp-appcodehub/dm-eiq-genai-flow-demonstrator/blob/main/assets/run_neutron_demo.p...

以下は Neutron に関連する dmesg 出力です。

root@imx95-var-dart:~/eiq_genai_flow# dmesg | grep -i neutron
[    0.000000] OF: reserved mem: initialized node neutron_memory@100000000, compatible id shared-dma-pool
[    0.000000] OF: reserved mem: 0x0000000100000000..0x00000001ffffffff (4194304 KiB) map reusable neutron_memory@100000000
[    2.313294] remoteproc remoteproc0: neutron-rproc is available
[    4.986961] neutron 4ab00004.imx95-neutron: Adding to iommu group 8
[    4.993755] neutron 4ab00004.imx95-neutron: assigned reserved memory node neutron_memory@100000000
[    5.003367] neutron 4ab00004.imx95-neutron: created neutron device, name=neutron0

eiq_genai_flow を Neutron で使用するための特別な設定はありますか?

よろしくお願いいたします。

エルヴェ

Re: Output error running eiq_genai_flow with Neutron

こんにちは、ピエール

Neutron に関するご意見ありがとうございます。BSP パッチを待ちます。

eiq_genai_flow で ASR を有効にすると、Alsa にも問題が発生します。以前、この件についてリストにメッセージを投稿しました。調査していただけますか？

ありがとうございました。

エルヴェ

Re: Output error running eiq_genai_flow with Neutron

こんにちは、エルヴェ。

残念ながら、現在のパッケージでは、BSP に含まれている Neutron ファームウェアに互換性がないため、i.MX95 B0 で Neutron を実行できません。ただし、パッケージを CPU モードでも問題なく使用できます。

私たちは、2025 年末に予定されている新しいリリースに積極的に取り組んでおり、このリリースでは、より多くのプラットフォームをサポートし、追加機能を導入する予定です。このバージョンでは Neutron のサポートが復活しますので、お楽しみに!

改めて感謝申し上げます。
ピエール

Re: Output error running eiq_genai_flow with Neutron

こんにちは、エルヴェ。
ご意見ありがとうございます。確認したところ、このリリースでは確かに Neutron に問題があることが確認できました。現在、調査と解決策の検討を行っており、できるだけ早くご連絡いたします。
ご不便をおかけして申し訳ございませんが、ご理解のほどよろしくお願いいたします。
よろしくお願いします、
ピエール

Re: Output error running eiq_genai_flow with Neutron

こんにちは、ピエール

以下は当社の労働環境に関する情報です。

よろしくお願いいたします。

エルヴェ

root@imx95-var-dart:~# uname -a
Linux imx95-var-dart 6.12.20-var-lts-next-g4bffdb611345 #1 SMP PREEMPT Sat Aug 9 08:08:38 UTC 2025 aarch64 GNU/Linux

 root@imx95-var-dart:~# md5sum /lib/firmware/Neutron*
a4893808e8927b56be8461cdf7678927 /lib/firmware/NeutronFirmware.elf
eb22f5ebd105e780cad87162f4a069a8 /lib/firmware/NeutronFwllm.elf

Re: Output error running eiq_genai_flow with Neutron

こんにちは、エルヴェ。

使用している BSP のバージョンを共有していただけますか?

uname -a

また、Neutron FW の md5sum を共有していただけますか?

md5sum /lib/firmware/Neutron*

ありがとう、そしてよろしく。

ピエール

Re: Output error running eiq_genai_flow with Neutron

こんにちは、ピエール

使用している i.MX95 リビジョンは B0 です。

の出力:

cat /sys/devices/soc0/revision

2.0です

よろしくお願いいたします。

エルヴェ

Re: Output error running eiq_genai_flow with Neutron

こんにちは、エルヴェ。

お問い合わせいただきありがとうございます！

ご説明に基づくと、i.MX95 SoC はリビジョン2.0 (B0) ではない可能性があります。次のコマンドを実行するとこれを確認CAN。

cat /sys/devices/soc0/revision

出力に1.xリビジョン (Ax) が示されている場合でも心配する必要はありません。対応するv1.x Neutron ファームウェアを使用するだけです。これはパッケージ内に含まれており、L6.12.20 BSP に含まれている既存の/lib/firmware/NeutronFwllm.elfファイルを置き換える必要があります。

問題が解決したかどうか、あるいはさらにサポートが必要かどうかをお知らせください。

ありがとう、そしてよろしく。
ピエール