- Forums
- Product Forums
- General Purpose MicrocontrollersGeneral Purpose Microcontrollers
- i.MX Forumsi.MX Forums
- QorIQ Processing PlatformsQorIQ Processing Platforms
- Identification and SecurityIdentification and Security
- Power ManagementPower Management
- Wireless ConnectivityWireless Connectivity
- RFID / NFCRFID / NFC
- Advanced AnalogAdvanced Analog
- Neural Processing UnitsNeural Processing Units
- MCX Microcontrollers
- S32G
- S32K
- S32V
- MPC5xxx
- Other NXP Products
- S12 / MagniV Microcontrollers
- Powertrain and Electrification Analog Drivers
- Sensors
- Vybrid Processors
- Digital Signal Controllers
- 8-bit Microcontrollers
- ColdFire/68K Microcontrollers and Processors
- PowerQUICC Processors
- OSBDM and TBDML
- S32M
- S32Z/E
-
- Solution Forums
- Software Forums
- MCUXpresso Software and ToolsMCUXpresso Software and Tools
- CodeWarriorCodeWarrior
- MQX Software SolutionsMQX Software Solutions
- Model-Based Design Toolbox (MBDT)Model-Based Design Toolbox (MBDT)
- FreeMASTER
- eIQ Machine Learning Software
- Embedded Software and Tools Clinic
- S32 SDK
- S32 Design Studio
- GUI Guider
- Zephyr Project
- Voice Technology
- Application Software Packs
- Secure Provisioning SDK (SPSDK)
- Processor Expert Software
- Generative AI & LLMs
-
- Topics
- Mobile Robotics - Drones and RoversMobile Robotics - Drones and Rovers
- NXP Training ContentNXP Training Content
- University ProgramsUniversity Programs
- Rapid IoT
- NXP Designs
- SafeAssure-Community
- OSS Security & Maintenance
- Using Our Community
-
- Cloud Lab Forums
-
- Knowledge Bases
- ARM Microcontrollers
- i.MX Processors
- Identification and Security
- Model-Based Design Toolbox (MBDT)
- QorIQ Processing Platforms
- S32 Automotive Processing Platform
- Wireless Connectivity
- CodeWarrior
- MCUXpresso Suite of Software and Tools
- MQX Software Solutions
- RFID / NFC
- Advanced Analog
- Neural Processing Units
-
- NXP Tech Blogs
- Home
- :
- Translated Content
- :
- Multi Source Translation Content
- :
- 1886827_ja-JP
1886827_ja-JP
- Subscribe to RSS Feed
- Mark as New
- Mark as Read
- Bookmark
- Subscribe
- Printer Friendly Page
- Report Inappropriate Content
1886827_ja-JP
1886827_ja-JP
私はint8モデルを持っており、MIMXRT1060-EVKBで実行します。
このモデルを剪定したので、レイヤーの一部のチャネルウェイトが削除されることを意味します。モデルサイズが縮小されます。しかし、推論時間は短縮されず、増加します。
通常、機械学習モデルでは、各レイヤーのチャネル数(8、16、32)があります。ただし、プルーニング後、各レイヤーのチャネル数は5、11、27など変更されます。
NXPボード上のint8機械学習モデルに最適化されたチャネル数はありますか?私はこの問題をNvidia Jetsonボードで解決したので、この質問をしました(チャネルの数が8、16で割り切れるようにする必要があります。NXPボードにこの問題があるかどうかわかりません。
ありがとうございます。
もちろん、応援してくださり、本当にありがとうございます。
はい、その通りです。これは、プロセッサ(Cortex M7以下)の一般的な推奨事項(4で割り切れる)であり、RT1170プロセッサはCM4およびCM7と組み合わされています。
どうもありがとうございます。 これは非常に良いニュースです。 これは、量子化モデルをボードにデプロイするときに非常に役立ちます。この点をご確認ください。
「RT1170(Cortex M7/M4)ではchのアネル数が4で割り切れるはずですが、25や61は割り切れないことを確認してください。」。 私のボードはMIMXRT1060(Cortex M7)です。これは、チャネル番号がRT1170と同じように4で割り切れるようにする必要があることを意味します。そうでしょう?
ご返信いただきありがとうございます。
「推論時間は チャネル数に直接 関係 ず 、モデル計算の量 だけ 関連していません。」私の理解では、NXPはPTQ int8モデルの畳み込み層のチャネル数に関する推奨事項を持っていません。そうなんですか。
「 プルー ニング前のモデル の計算 グラフ の変化 モデル の計算グラフ と比較 する必要があります 。」 はい、モデルのアーキテクチャを確認しました。剪定後は変更されません。チャンネル数のみが変更されます。添付画像でご覧いただけます(モデル全体の一部です)。たとえば、プルーニング後、1 st Convolution レイヤーのチャネル数が 32 から 25 に変更されます。 2 番目の畳み込み層のチャネル数が 64 から 61 に変わります 。ただし、プルーニングされたモデルの推論時間は、元のモデルの推論時間よりも長くなります。
私は多くのケースを経験してきましたが、このような現象が起こりました。
「確かに、トポロジーは変わらないけど、チャンネル数が減れば、推論時間は長くならないでしょう」理論的には、それは真実です。しかし、実際には、それは必ずしも真実ではありません。ハードウェアの計算プロセスに関連している可能性があります。
進展はありますか?
情報が不足してすみません。
MCUXPress IDEのMCUXpresso SDK(最新)の基本プロジェクトとしてtflm_cifar10を使用しています。私のボードはMIMXRT1060-EVKBです。
申し訳ありませんが、機械学習モデルを共有できません。理解を深めるための例を挙げます。
たとえば、私の元のモデルには、4層の 畳み込み層(128チャンネル)==>畳み込み層(256チャンネル)==>畳み込み層(512チャンネル)==>密層(Cifar10の10クラス)があります。その後、モデルに剪定を適用し、剪定後、アキテクチャーを備えたモデルを取得します。
畳み込み層(128チャンネル)==>畳み込み層(231チャンネル)==>畳み込み層(455チャンネル)==>デンス層(Cifar10の10クラス)。
2 番目と 3 番目の畳み込みレイヤーのチャネル数が変更されていることがわかります (256 => 231 と 512 => 455)。
モデルサイズは小さくなりますが、プルーニングされたモデルの推論時間は、元のモデル(プルーニングなし)の推論時間よりも長くなります。どちらのモデルもINT8量子化モデルです。NXPボード上のint8機械学習モデルに最適化されたチャネル数はありますか?
お役に立てれば幸いです。