1150796_ja-JP

Yes

i.MX 8M Plus NPU ウォームアップ時間

i.MX 8M Plusは、強力なクアッドコアArm® Cortex-A53®アプリケーションです
最大1.8GHzで動作するプロセッサと統合されたニューラルプロセッシングユニット
(NPU)最大2.3 TOPSを提供します。マシンを備えた最初の i.MX プロセッサとして
学習アクセラレータである i.MX 8M Plusプロセッサは、大幅に高い
エッジでのML推論のパフォーマンス。

NPUと i.MX 8M PlusのCPUパフォーマンスを比較すると、NPUでは推論時間がはるかに長いと認識されています。これは、ML アクセラレータが全体的な初期化手順の実行により多くの時間を費やすという事実によるものです。

この初期化フェーズは ウォームアップ と呼ばれ、アプリケーションの開始時に一度だけ必要です。このステップの後、推論は、専用の NPU で期待されるとおりに真に高速化された方法で実行されます。

ウォームアップ時間は通常、最初の推論実行にのみ影響します。ただし、ML モデルのタイプによっては、最初の数回の推論実行で目立つ場合があります。ウォームアップ時間を何と見なすかを決定するために、いくつかの予備テストを行う必要があります。ウォームアップフェーズが適切に区切られると、後続の推論実行を純粋な推論と見なし、推論フェーズの平均を計算するために使用できます。

現在、後続のアプリケーション実行のウォームアップ時間は、キャッシュメカニズムを使用して短縮できます。この機能がシステム全体のパフォーマンスに与える影響を測定して、アプリケーションがこのメカニズムを使用することでメリットを得るかどうかを決定する必要があります。

初期ウォームアップ時間を改善し、キャッシュメカニズムを使用せずに初期化を高速化する作業が進行中ですので、関連するアップデートについては今後のリリースを確認してください。

ウォームアップ時間が全体的なパフォーマンスに与える影響を明確にするための専用のアプリケーションノートを利用できます: AN12964。理論的な側面をカバーし、複数のモデルを順番に実行する場合の性能を評価するための出発点として使用するサンプルコードも提供します。

i.MX 8M Plus の NPU と CPU パフォーマンスを比較すると、推論時間は 8M Plus ではるかに長いと認識されています。
NPUです。これは、ML アクセラレータが全体的な初期化手順の実行により多くの時間を費やすという事実によるものです。この初期化
フェーズは ウォームアップ と呼ばれ、アプリケーションの開始時に一度だけ必要です。この手順の推論が実行されると、
専用のNPUに期待されるように、真に加速された方法で。
このドキュメントの目的は、ウォームアップ時間が全体的なパフォーマンスに与える影響を明確にすることです。

i.MX 8