2025255_ja-JP

Yes

ASR、TTS、Transformerに関する推奨事項

こんにちは。i.MX 93 EVK でアプリケーションを開発しています。デバイス上で実行する際に比較的低いコンピューティング要件を持つ以下のものについて推奨事項をいただければ幸いです。私はi.MX 93 デュアルコア 1.7GHz を使用しています。

私は以下の推奨事項を探しています

デバイス上で実行しながら適度な精度を備えた ASR エンジン。例: ささやく小さな
TTSモデル
Llama 3Bなどのデバイス上のトランスフォーマーモデル

パフォーマンスの比較や推奨事項などの情報をいただければ幸いです。ありがとう

Re: Recommendations for ASR, TTS and Transformer

Laurent_P さん、Whisper tiny.en TFLite モデルを i.MX93 の NPU にどのように実装したか教えていただけますか?私は長い間これを探していましたが、これは開発に本当に役立つでしょう。モデルを TFLite INT8 に変換することはできましたが、NPU はすべての Whisper 操作を完全にサポートしていないSO、CPU では float32 モデルを使用する必要があります。それを変換して NPU で使用することは可能ですか?

ありがとう

Re: Recommendations for ASR, TTS and Transformer

こんにちは@QuantumPath

i.MX93 では、Whisper ASR (tiny、base、small) と Moonshine ASR (tiny と base) が有効になっています。

まず、7 月中旬までに Whisper ASR を GStreamer 経由で音声プラグインとして提供します。

TTS については、ViTS TTS を有効にしました。LLM の場合、Danube 0.5B のような小さな LLM を実行 CAN。

並行して、i.MX95 上で実行される完全な eIQ Gen Al フローパイプライン (ウェイクワード、ASR、LLM、RAG、TTS) がここにあります: https://github.com/nxp-appcodehub/dm-eiq-genai-flow-demonstrator?tab=readme-ov-file