チームの皆さん、こんにちは。
現在、Compulab社のMCM-i.MX8M-Plusプラットフォーム上でNPU推論およびプロファイリングの評価を行っています。
当初、この件についてCompuLabのサポートに問い合わせたところ、nnsharkの使用方法とNPUの検証についてはNXPに直接問い合わせるようアドバイスされました。
nnsharkをイメージに統合する試みを行い、レシピが正常にビルドされることを確認しました。しかし、ターゲット上には単体のnnshark実行ファイルは存在せず、libgstsharktracers.soやlibgstshark.soなどのライブラリファイルのみが存在する。nnsharkはGStreamerのトレーサー/プラグインを通してのみ使用されることを想定しているのか、それともスタンドアロンのユーティリティとして提供される予定なのかについて、明確な説明をいただきたい。
さらに、VXデリゲートを使用し、プロファイリングを有効にした状態でTensorFlow Liteの推論をテストしました。デリゲートのロードは正常に完了しましたが、NPUの適切な利用状況の検証方法と、推論中のCPU使用率の想定される動作を理解するためのガイダンスをいただきたいと考えています。
参考までに、nnsharkの統合および推論テストで実施した詳細な手順を添付しました。
もう少し詳しく説明していただけますか？
- nnsharkの想定される使用方法
- nnsharkをサポートする参照イメージ/パッケージが存在するかどうか
- NPU実行の検証に関する推奨アプローチ
- NPU向けに推奨されるTensorFlow Liteモデルやパイプライン最適化はありますか？
再開まで今しばらくお待ちください。
こんにちは、
添付のログファイルとNNSharkのスクリーンショットをご確認ください。最初は、起動中にU-Bootを中断することでMMCのブート引数を更新しました。システム起動後、BSPのリリースバージョンを確認し、環境変数を通してNNSharkプロファイリングを有効にした後、GStreamerパイプラインを実行しました。
よろしくお願いします。
こんにちは、 @cris_m
TensorFlow Lite VXデリゲートを使用してパイプラインを実行している間、ログには依然として「accl = cpu」と表示されるため、推論が実際にNPUにオフロードされているかどうかについて混乱が生じています。
>>>ログファイルを共有してください。モデルを実行するために使用するコマンドと方法を含めてください。
nnsharkはスタンドアロンの実行ファイルを提供する予定なのか、それともGStreamerトレーサーライブラリのみを提供する予定なのか。
>>>NNSharkは、SoCハードウェアの使用率を評価するために複数のパイプラインメトリクスを監視するために使用されるGstSharkベースの分析ツールです。
>>>i.MX8M Plusでは、NNSharkは主にGStreamer/NNStreamerトレーサーを介してAIパイプラインのリアルタイムプロファイリングとパフォーマンス検証に使用されます。これは通常、GStreamerパイプラインを実行する前に、GST_TRACERSおよびGST_DEBUG環境変数を設定することによって行われます。詳細は以下のリンクからご覧いただけます。
https://github.com/nxp-imx/nnshark
推論実行中のNPU利用率を確実に検証する方法
>>>どのバージョンのBSPを使用していますか？
BR
ご回答と参考資料のご提供、ありがとうございます。
第8.1章（物体検出パイプラインの例）に記載されている手順は既に実行済みであり、添付のNPU_test.txtドキュメントに、GStreamerパイプライン実行時のスクリーンショットやログとともに、同じ詳細を既に記載していることを申し添えておきます。
TensorFlow Lite VXデリゲートを使用してパイプラインを実行している間、ログには依然として「accl = cpu」と表示されるため、推論が実際にNPUにオフロードされているかどうかについて混乱が生じています。
さらに、nnsharkの使用方法に関する私の以前の質問には回答がありませんでした。具体的には、以下の点についてご説明をお願いします。
- nnsharkはスタンドアロンの実行ファイルを提供する予定なのか、それともGStreamerトレーサーライブラリのみを提供する予定なのか。
- nnsharkをi.MX8M Plusのプロファイリング/検証に使用する方法
- 推論実行中のNPU利用率を確実に検証する方法
セットアップやテストの手順で何か見落としている点があれば、お知らせください。
添付の手順書／ログをご確認いただき、これらの点についてご説明いただけますでしょうか？
よろしくお願いします。
こんにちは、 @cris_m
添付ファイルの第8章（ NNStreamerを使用したビジョンパイプライン）を参照してください。また、i.MX 8M Plus上でNPUアクセラレーションを使用して機械学習アプリケーションを実行する方法も確認できます。
BR
こんにちは、 @cris_m
添付ファイルの.shを実行してください。ファイル。私のimx8mp evkボードでテストしましたが、問題なく動作しました。
BR
こんにちは、
先ほど共有したログをご確認いただき、手順に問題がないか、または追加の手順が必要かどうかをお知らせいただけますでしょうか？
よろしくお願いします。