[入門]MCX N947: AI/ML画像認識サンプルコード実装

ハードウェア
- FRDM-MCXN947
ソフトウェア
- MCUXpresso IDE：v11.9.0
- MCUXpresso SDK：SDK_2_14_0_FRDM-MCXN947
  - サンプルコード：frdmmcxn947_tflm_label_image
- eIQ Toolkit：v1.11.4 (eIQ Portal 2.11.2)
- Python：Python 64-bit 3.9.x**以降を推奨 (64ビットエディションが必要)

2．サンプルコードの動作確認

2-1．SDK_2_14_0_FRDM-MCXN947のダウンロード

https://mcuxpresso.nxp.com/en/welcomeをアクセス。
Select Development Boardをクリック。

mcxn947で検索し、FRDM-MCXN947を選択して、Build MCUXpressoSDKをクリック。

Host OS、eIQのチェックを確認し、DOWNLOAD SDKをクリック。

準備が整ったらDownload SDKをクリック。

ライセンスアグリメントの内容を確認し、AGREEをクリックしてからファイルを保存する。

2-2．SDKをIDEにインストール

WindowsのスタートメニュからMCUXpresso IDEを起動。
- 参考：ワークスペースとして、MCXN9-FRDM_eIQ_HandsOnを作成。
ダウンロードしたSDKをInstalled SDKsウィンドウにドラッグ＆ドロップ。

Import SDK example(s)…をクリック、frdmmcxn947を選択してNextをクリック。

Examplesウィンドウで、eiq_examplesのtflm_label_imageを選択してFinishをクリック。

SDKが正常にインストールできた状態。

2-3．プロジェクトのビルド、デバッグ(書き込み)、実行

＜本プロジェクトのデフォルトの動作は、Stopwatch画像を認識する＞

Buildアイコンをクリックしてプロジェクトをビルド。

正常にビルドが終了した画面。

ホストPCとFRDM-MCXN947のJ17(MCU-LINK)をUSBで接続。

Debugアイコンをクリックしてコードをフラッシュに書き込む。

正常に書き込め、デバッガが起動した状態。

TeraTermなどのターミナルソフトを起動。 115200, 8bit, none, 1bit, noneに設定。

Resumeアイコンをクリックしてプログラムを実行。

ターミナル画面で結果を確認。 (Detected: stopwatchと表示される)

3．新規eIQモデルの作成・変換

3-1．モデルトレーニング用画像データのダウンロード

eIQプロジェクトにデータをインポートする方法は4つあります。

1．eIQポータルのGUIを使用する。

2．DeepView Importerコマンドラインツールを使用しVOC形式のデータセットをインポートする。

3．Pythonスクリプトを使用してフォルダ構造に基づいた画像をインポートする。

4．Pythonスクリプトを使用してTensorFlowから事前に作成されたデータセットをインポートする。

今回は3番のフォルダ構造を用いた花の画像をインポートする。
以下のURLからモデル作成用の花のデータセットをダウンロード。
- http://download.tensorflow.org/example_images/flower_photos.tgz
  - 参考：ドキュメントフォルダにダウンロードし、解凍する。
- 解凍したフォルダ内のLICENSE.txtを消去。
- Pythonスクリプトが必要とするイメージのフォルダ構造(test、train、validate)に手動で変更する。

3-2．eIQのGUIを使用してデータセットをインポート

WindowsのスタートメニュからeIQ Toolkit内のeIQ Portalを起動。

SETTINGメニューより、Neutron converterにMCUXpresso SDK 2.14.0を選択。 (使用するSDKのバージョンを選択する)

CREAT PROJECT → Import datasetをクリック。

① Structured foldersを選択。

② SELECT DATA FOLDERをクリックし、ダウンロードした花のデータセットのフォルダflower_photosを選択。

③ IMPORTをクリックし、ファイル名を指定して保存。

参考：ドキュメントフォルダの下に、eiq-project_HandsOn_2112.eiqpを作成。

インポート完了時の画面

3-3．モデルの訓練

SELECT MODELをクリック。

Classification → Performance → NPUの順にクリック。

3-4．モデルの訓練 (パラメータの設定)

各パラメータの設定内容
- Input Size： 128,128,3
- Learning Rate： 0.01
- Epochs To Train： Infinity
- Enable QAT：有効
START TRAININGをクリック。

モデルの訓練が終了した状態。

3-5．モデルの検証

VALIDATEをクリック。

Use Quantized Modelを有効して、VALIDATEをクリック。

モデルの検証が終了した状態。

3-6．モデルのデプロイ (エクスポート)

DEPLOYをクリック。

Export File TypeをTensorFlow Lite、Export Quantized Modelを有効にして、EXPORT MODELをクリック。

ファイル名を指定して保存をクリック。
- 参考：eiq-project_HandsOn_flower_2112.tfliteとする。

ドキュメントフォルダにeiq-project_HandsOn_flower_2112.tfliteが生成される。

3-7．モデルをヘッダーファイルに変換

eIQ Portalのトップ画面から、MODEL TOOLをクリック。トップ画面にはWORKSPACESメニュー → Homeで戻れます。

Open Model...をクリック。

保存しておいたeiq-project_HandsOn_flower_2112.tfliteを開く。

メニューから、Convert → TensorFlow Lite for Neutron (.tflite)を選択。

Conversion Optionsを次のように設定し、Convertをクリック。

　　dump-header-file; dump-header-file-input

備考：Custom optionsの設定でターゲットとなるプロセッサが異なります。

NPU向け： dump-header-file

CPU向け： dump-header-file-input

(MCX Nシリーズの場合CPUはCortex-M33になります)

今回のハンズオンでは、例としてNPU用とCPU用の両方のヘッダーファイルを生成していますが、実際の開発時には使用するプロセッサのものだけ生成すればよいです。例えば、NPUを使用する場合はCustom optionsにdump-header-fileだけ記述してください。

ファイル名を確認して、Exportをクリック。 (NPU用の場合は、ファイル名にconvertedが追加される)

CLOSEをクリックして変換終了。

変換結果を確認。
- NPU用(eiq-project_HandsOn_flower_2112_converted.tflite)ではNeutronGraph関数が使用されている)

次の2つの.tfliteファイルに対して各々ヘッダファイル(.h)が生成される。

NPU用のファイル名にはconvertedが含まれるので、CPU用と区別がつきます。

4．Daisy(ヒナギク)の画像ファイル(.jpg)をヘッダファイルに変換

モデルトレーニング用画像データにある次のJPEGファイルをヘッダファイルに変換する。
- flower_photos/daisy/102841525_bd6628ae3c.jpg

4-1．Pythonのセットアップ

① Windowsのコマンドプロンプトを開き、PythonコマンドがPython 3.9.xに対応していることを確認する。

　python -V

② Pythonインストーラツールを更新する：

　python -m pip install -U pip

　python -m pip install -U setuptools

③ 以下のPythonパッケージをインストールする。これらのすべてがこのラボで使用されるわけではありませんが、他のeIQデモやスクリプトに役立つ。

python -m pip install numpy scipy matplotlib ipython jupyter pandas sympy nose imageio
python -m pip install netron seaborn west pyserial sklearn opencv-python pillow

④ Windowsの場合、Vim 9.0をインストールします。

https://www.vim.org/download.php#pc
- このパッケージに含まれるxxd.exeというバイナリ・コンバータ・プログラムが必要になる。

⑤ Windowsコマンドプロンプトを開き、コマンドプロンプトに“xxd -v”と入力して、PATHが正しく設定されていることを確認する。

4-2．画像ファイルの変換

① ドキュメントフォルダの下にflower_daisyフォルダを作り、この中に102841525_bd6628ae3c.jpgを入れておく。

② コマンドプロンプトを開き、flower_daisyフォルダに移動する。

③ Pythonを起動する。

④ 以下の6つのコマンドを順番に実行する。 (最後の4行のインデントを必ず含めること)

import cv2

import numpy as np

img = cv2.imread('102841525_bd6628ae3c.jpg')

img = cv2.resize(img, (128, 128))

img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

with open('daisy.h', 'w') as fout:

print('#define STATIC_IMAGE_NAME "daisy"', file=fout)

print('static const uint8_t image_data [] = {', file=fout)

img.tofile(fout, ', ', '0x%02X')

print('};\n', file=fout)

⑤ 以下のようにヘッダファイル(daisy.h)が生成される。

5．Daisy画像のヘッダファイルをプロジェクトにポーティング

IDEのProject Explorerウィンドウでデフォルトのプロジェクトfrdmmcxn947_tflm_label_imageを右クリックし、Copy → Pastしてfrdmmcxn947_tflm_label_image_2112を作る。
daisy.hを新しいプロジェクトのsource\imageフォルダにドラッグ&ドロップでコピー。

image_load.cの#include “image_data.h”をコメントアウトし、#include “daisy.h”を追加。

6．モデルの置き換え

eIQで生成した2つのヘッダファイルをIDEのsource\modelフォルダにドラッグ&ドロップでコピー。

モデルファイルの変換
- model.cppの27行目のヘッダファイルの指定を次のように変更する。 (NPUを使う場合の設定)

　　#include "eiq-project_HandsOn_flower_2112_converted.h"

model_mobilenet_ops_npu.cppのオペレータの設定を変更。
- eiq-project_HandsOn_flower_2112_converted.h (NPU用のヘッダファイル)を開き、使用している6つのオペレータのリストを確認。

　- model_mobilenet_ops_npu.cppのオペレータを上記リストで上書きしたら、<>内のオペレータの数とオペレータ変数名(s_microOpResolver → microOpResolver)も変更。

NPUを使う場合のmodel_mobilenet_ops_npu.cppの変更例：

static tflite::MicroMutableOpResolver<6> microOpResolver;

microOpResolver.AddQuantize();

microOpResolver.AddSlice();

microOpResolver.AddReshape();

microOpResolver.AddSoftmax();

microOpResolver.AddDequantize();

microOpResolver.AddCustom(tflite::GetString_NEUTRON_GRAPH(), tflite::Register_NEUTRON_GRAPH());

return microOpResolver;

備考：eiq-project_HandsOn_flower_2112.h (CPU用のヘッダファイル)を使うときにも、同様の処理が必要で、CPU用に使用しているオペレータのリストをmodel_mobilenet_ops_npu.cppにコピーすること。

2つのヘッダファイル(eiq-project_HandsOn_flower_2112_converted.hとeiq-project_HandsOn_flower_2112.h)のマクロ定義を以下の内容に変更。

#ifdef __arm__

#include <cmsis_compiler.h>

#else

#define __ALIGNED(x) __attribute__((aligned(x)))

#endif

#if defined(MCXN947_cm33_core0_SERIES)

#define __PLACEMENT __attribute__((section(".model")))

#else

#define __PLACEMENT

#endif

#define MODEL_NAME "mobilenet "

#define MODEL_INPUT_MEAN 127.5f

#define MODEL_INPUT_STD 127.5f

constexpr int kTensorArenaSize = 300000;

備考：プロジェクトを実行したときにFailed to resize buffer.が発生する場合は、次のようにサイズを300000に増やす。

constexpr int kTensorArenaSize = 300000;

ラベル情報の追加
- source\modelフォルダに次の内容のflower_labels.hを作成。

const char* labels[] = {

"daisy",

"dandelion",

"rose",

"sunflowers",

"tulips",

};

output_postproc.cppの#include "labels.h"をコメントアウトし、

#include "flower_labels.h"を追加。

7．ビルドと実行 (動作確認)

Buildアイコンをクリックしてプロジェクトをビルド。

正常にビルドが終了した画面。

ホストPCとFRDM-MCXN947のJ17(MCU-LINK)をUSBで接続。

Debugアイコンをクリックしてコードをフラッシュに書き込む。

正常に書き込め、デバッガが起動した状態。

TeraTermなどのターミナルソフトを起動。 115200, 8bit, none, 1bit, noneに設定。

Resumeアイコンをクリックしてプログラムを実行。

ターミナル画面で結果を確認。 (Detected: daisyと表示される)

8．ハンズオンで使用した追加、変更したファイルについて

インポートする必要があるファイル
- daisy.h (Daisyのヘッダファイル)
- eiq-project_HandsOn_flower_2112_converted.h (モデルのヘッダファイル：NPU用)
- eiq-project_HandsOn_flower_2112.h (モデルのヘッダファイル：CPU用)
- flower_labels.h (Flowerモデル用のラベルファイル)

修正する必要があるファイル
- image_load.c
- model.cpp
- model_mobilenet_ops_npu.cpp
- eiq-project_HandsOn_flower_2112_converted.h
- eiq-project_HandsOn_flower_2112.h
- flower_labels.h
- output_postproc.cpp

9．CPU(CM33)用のモデルはメモリ不足となり実行できない

model.cppでCPU用のモデルを選択した場合、SRAM不足となり実行ができない。
- MCX N947のSRAMは384KB

// #include "eiq-project_HandsOn_flower_converted.h" // NPU

#include "eiq-project_HandsOn_flower.h" // CPU

10．まとめ

画像認識を利用してサンプルのOK/NG判定をするアプリケーションを想定したときの、eIQとIDEを使用した開発手順を説明していますので参考にしてください。

ポイント

eIQのデータセットにStructured foldersを使用し、Pythonスクリプトが必要とするイメージのフォルダ構造(test、train、validate)にデータを用意する。
eIQでモデルの訓練、検証、デプロイを行い、マイコン用のコード(ヘッダファイル)を生成する。
MCUXpresso IDEにコードを取り込み実行する。

=========================

本投稿の「Comment」欄にコメントをいただいても、現在返信に対応しておりません。

お手数をおかけしますが、お問い合わせの際には、NXP代理店、もしくはNXPまでお問い合わせください。

FRDM-MCXN947 MCX-N94X-N54X