NXPチームの皆様へ
i.MX95デバイスのNeutron NPU上でONNXモデルを実行しようとしています。
以下のNXPのドキュメントが見つかりました。
https://docs.nxp.com/bundle/UG10166/page/topics/onnx_model_test.html
「CNNモデルの実行」のセクションでは、ドキュメントに次のように記載されています。
「ONNX Runtimeは、実験的な機能として、Neutron NPU上でCNNモデルを実行することをサポートするようになりました。」これを実現するには、モデルを量子化し、onnx2neutronツールを使用して変換する必要があります(eIQツールキットに含まれるonnx2neutronツールのREADMEを参照してください)。
しかし、eIQツールキットやドキュメントの中にonnx2neutronツールを見つけることができませんでした。この変換手順がないと、ONNXモデルはNPUではなくCPU上でのみ実行されるように見える。
私たちの質問は次のとおりです。
1. onnx2neutronツールは現在存在し、一般公開されていますか?
2. はいの場合、どこでダウンロードまたは入手できますか?
3. i.MX95では現在、Neutron NPU上でのONNXランタイムの実行がサポートされていますか?それとも、現時点ではTFLiteパスのみがサポートされているのでしょうか?
TFLiteのサンプルフローのテストに成功しました。しかし、我々独自のカスタムモデルの場合、TFLiteルートは正しく動作しません。実行されているように見えますが、実際には誤った結果を静かに生成しています。したがって、ONNX方式が実行可能な代替手段となるかどうかを調査したい。
onnx2neutronの現状、およびNeutron NPUに対するONNXのサポート状況について、何か情報があれば教えていただけると幸いです。
よろしくお願いいたします。
ピーター
こんにちは、 @CatchPeter さん。
NXPサポートにご連絡いただきありがとうございます!
1) 現時点では、このツールは一般公開されておらず、実験的なものとみなされるべきです。現在、開発に積極的に取り組んでいますが、完全に機能し、サポート体制が整うまでは、このツールは非公開のままとなる可能性が高いです。
2) はい、NPU上で機械学習モデルを実行するための推奨およびサポートされている方法は、ONNXからTFLiteへの確立されたワークフローに従います。
よろしくお願いします、
チャビラ