検知機能を使って明かりをつける、扉を開ける、個別のシステムを動作させるなどができます。検知機能機器では通常動きを検知してアクションをトリガーするのに、パッシブ席外線センサーを使用しています。しかし、それは動きがあれば必ずアクションがトリガーされることになってしまいます。通りすがりの車がいたり、風があるから枝が動いているからといって、システムを起動させたいわけではありません。トリガーが必要なのは、そこに人がいるときです。不要なトリガーが多いと、リソースやエンザン能力が無駄に使用され、電力消費量も多くなってしまいます。私はギオムと申します。本日はAIを使って消費電力やリソース制約のあるデバイスによくある検出上の問題を解決する方法を紹介します。当社のコンピュータビジョン向け、ファンクションパックの最新バージョン2では、人体検出機能という新しいアプリケーションを導入しました。この人体検出機能は、画像中に人が存在するかいなかを判断する画像分類システムです。STM32プロジェクトを効率よく始めるには、FPAIビジョン1がおすめです。FPAIビジョン1には、STM32 H7ディスカバリーボードで使用できるコンピュータビジョン用のスターターコードがあります。早速始めてみましょう。このデモでは、STM32 H7ディスカバリーボードを使用します。DCMはインターフェースにて、STM32と直接接続しているカメラから画像をキャプチャします。なお、さらに消費電力の低い用途向けに、STM32 L4 RQI開発キット基盤でのデモも用意していますので、お問い合わせください。このアプリケーションでは、テンソルフローライトのマイクロコントローラー用人検出例のモデルを使用しています。オリジナルの.tfliteファイルをSTM32 CubeAIにインポートして、STM32用に最適化されたCコードを生成しました。では、実際にどうなるか見てみましょう。人を検出すると、信頼度とともにパーソンと画面に表示されます。カメラの視野内に人がいない場合、信頼度とともにノットパーソンと表示されます。埋め込まれたニューラルネットワークは、他の移動物体、例えば車、バイク、または動物と人間を区別できます。また、人が動いていない場合でも検出できます。例えば、カメラの前で自転車が動いている場合、ボードにはノットパーソンと表示されますが、私がカメラの前を歩き始めると、ボードにはパーソンと表示されます。最高のパフォーマンスを得るために、ビデオストリームと水論結果は、STM32H7I部のクロームアートハードウェアアクセラレーターを使用して表示されます。このようにディスカバリーボードは施策評価に最適です。バイナリオボードにロードして、小さなフォームファクターのハードウェアを使って、実際の環境でアプリケーションをテストできます。このデモを作成するために、学習済みのモデルをWebからダウンロードしました。これは、モバイルネットV1の学習済みモデルです。STM32QVAIでインポートして、最適化されたCコードを生成するために使用します。このツールでは、モデルのメモリフットプリントや複雑性、パラメートの概要を確認できます。組み込みAIでは、これらの情報はSTM32でモデルを実行できるか確認するために非常に重要です。このツールには、様々なタブが用意されています。インポート済みファイルのモデルトポロジ、生成したCコードのタブがあります。また、エスラムメモリ使用状況のタブでは、レイヤーごとにアクティベーションバファと呼ばれるメモリの使用量を確認できます。また、生成には入力の割当や重みの分割など追加のオプションもあります。入力割当のオプションでは、アクティベーションバファの一部を入力バファに再利用し、貴重なメモリを節約できます。重みの分割のオプションでは、レイヤーのもみとパラメータに対して細かなメモリ配置が可能です。ニューラルネットワーク情報のビューでは、重みが約200キロバイトのフラッシュメモリを潜入し、モデルが水論を実行する際、約50キロバイトのエスラムを必要とすることがわかります。STM3人用に最適化されたモデルは、ARM CoreTX-M77 Coreが400MHzで動作するSTM3人H7上で37mm秒、つまり最大26フレーム分の秒の水論時間で動作します。STM3人CubeAIツールにより、マイコンの内部メモリに収まるように最適化されたコードを生成できるようになったことで、このようなイノベーションが実現しました。非常に厳しい予算のアプリケーションにはSTM3人L4マイコンが最適です。水論時間の短いAIアルゴリズムを実行することで、結果を計算する時間を減らし、ストップモードやスタンバイモードでの時間を増やすことができます。人の検知は重要なAIコンポーネントであり、これによりパッシブ席外線センサーを使用していた多くの用途で電力消費量を抑えられます。例えば、街頭にL4マイコンを採用すれば、動物ではなく人が通ったときのびライトが点灯するようになります。STM3人H7は、さらに複雑なソリューションでも効果を発揮します。例えば、人体検出アルゴリズムを実行して、より複雑なソリューションを起動させることも可能です。まず、カメラにて人がいるか田舎を判断し、人が検出された場合のび顔認証を実行します。FP AI Vision 1のファンクションパックには、食品分類など他の使用例のデモも含まれます。ファームウェアは用途に合わせて簡単に移植できるように設計されているため、ユーザーはSTM3人CubeAIを使用して、ネットワーク.cファイルを再生するだけで済みます。このツールはテンソルフローライトファイル、ケラス、またはパイトーチをインポートして、メモリ効率の良いSTM3人用に最適化されたCコードを生成することができます。FP AI Vision 1はST.comにて無料でダウンロード可能です。マイクロコントローラーのAIソリューションの詳細については、当社のウェブサイトをご覧ください。