こちらのガイドhttps://community.nxp.com/t5/i-MX-RT-Crossover-MCUs-Knowledge/i-MX-RT700-eIQ-Neutron-NPU-Lab-Guides/...を見て、ガイドのドキュメント用に以下の画像をキャプチャしました。
オレンジ色の長方形は、NXPがNPUの例として描いたものです。ここから、 tflm_cifar10_cm33_core0 （NPUで実行）を選択できます。それで合っていますか？
さらに、hifi1やhifi4（DSP）を使った他の例も見かけます。私の理解では、DSPはデジタル信号処理の略です。オーディオ プロセッシングの場合も同様です。それで合っていますか？
画像分類モデルがあれば、ハイファイ（DSP）を使用する必要はありません。それは正しいですか？
ありがとう。
こんにちは、
サンプルをインポートする際には、共有いただいた画像に示されているように、SDKで利用可能なeIQのサンプルを検索できます。これらには、参考として利用できるさまざまな実装例が含まれています。ご指摘の知識ベースの場合、MobileNetモデルに基づいたtflm_label_image_cm33_core0の例を使用していますが、tflm_cifar10_cm33_core0はCifarNetに基づいたモデルを使用しています。
HiFi1とHiFi4に関して言えば、HiFi4 DSPは演算領域に配置されており、オーディオ音声コーデック、前処理および後処理モジュールの実行、そしてプロセッシング速度向上のための機械学習機能のオフロードを行うDSPコアとして機能します。一方、HiFi1 DSPはセンスドメインに属し、主に常時オンのアプリケーション、Bluetooth LEオーディオ、およびセンサー関連プロセッシングを目的としています。
HiFi1とHiFi4のどちらを選ぶかは、アプリケーションによって異なります。両者は機能、性能、消費電力において異なるためです。
これらのモジュールに関する詳細な概要は、i.MX RT700クロスオーバーマイクロコントローラリファレンスマニュアルの第59章（HiFi1 DSPプラットフォーム）および第60章（HiFi4 DSPプラットフォーム）に記載されています。
よろしくお願いします、
パブロ
こんにちは。ご返信ありがとうございます。
サンプルをインポートする際には、共有いただいた画像に示されているように、SDKで利用可能なeIQのサンプルを検索できます。これらには、参考として利用できるさまざまな実装例が含まれています。ご指摘の知識ベースの場合、MobileNetモデルに基づいたtflm_label_image_cm33_core0の例を使用していますが、tflm_cifar10_cm33_core0はCifarNetに基づいたモデルを使用しています。
はい、それはつまり、上記の例をNPU上の画像分類モデルに使用できるということですね。私はオーディオ関連の仕事をしたことがないので、DSPは使用しません。
さらに詳細を確認します。画像分類モデルの潜在的な例を2つ見つけました。
- DSP搭載モデル
- DSP非搭載モデル
しかし、これら2つの例はeIQに掲載されています。つまり、これらの例ではNPUを使って処理速度を向上させているということです。
DSPを使った例に興味があります。ご指摘のとおり、DSP向けに画像前処理をオフロードすることが可能です。この状況では、どちらの例の方が推論時間が短くなるでしょうか？私のNPUはtfliteモデルと同じものだと思いますか？
ありがとう。
