ST Micro Electronicsでは、今後数年のうちに日常生活で使用されるほとんどの製品がよりインテリジェントになると確信しています。製品が環境に適用するためには周囲の物体を検出することが重要な機能となります。当社ではAIソリューションを超低消費電力から高性能マイコンまでを含む全てのSTM3人ファミリーに導入していきます。私はピエリと申します。本日はSTM32 MP1でのニューラルネットワークのデモをお見せします。このデモでは複数の物体を分類検出できます。最大で90種類の分類ができます。使い方は無限大です。どうぞ独自のAI開発にご活用ください。そのアプリケーションへの着手、STM32、MPUでの開発及び市場投入までの時間の短縮を実現できるよう、当社ではX-Linux AIというOpenST Linux用の拡張パッケージを用意しています。これはLinux 5.4 LTS版カーネルを基にしたOpenST Linux V2.0.0とご完成があります。またSTM32 MP1でのAIの活用をターゲットとしています。Linux AI OpenCVなどのアプリケーション例が含まれています。コンピュータビジョン使用例のデモをご紹介します。本デモはここはSSGモバイルネットV1モデルを使用し、STM32 MP1で複数物体の位置検出、分類ができます。最大90個のオブジェクトをリアルタイムで検出し、ユーザーへの応答を高速化できます。必要なのは低解像度のカメラだけです。このデモはTensor Flow LiteのC++ APIまたはPythonのランタイムに対応しています。Pythonはプロトタイプ作成が簡単でC++ランタイムは高速に動作します。水論時間は600mm秒で済み、使用するハードウェアによってはプレビュージは最大15フレーム分の秒になります。次に今回使用するハードウェアについて説明します。STM32 MP1にてこのようなネットワークの機能を活用するには、STM32 MP157C DK2開発キットがおすすめです。これには650MHzで動作するコアテックスA7デュアルコアや3D GPUがあり、4インチのTFT容量性タッチスクリーンにはUSB接続のカメラ映像を映すことができます。また、Bluetoothや低消費電力のWi-Fi、イーサーネットも接続できます。では、実際の動作を見てみましょう。実行中、GStreamerパイプラインによってカメラからのフレームがストリーミングされ、プレビューを表示し、ニューラルネットワーク水論が実施されます。水論の結果は画面に表示され、検知した物体は視覚で囲まれます。信頼度も表示されます。オーバーレイはGTKウィジェットを使用して、オーバーレイアクセラレーションで描画されます。例えば、ニューラルネットワークでコップを高精度に検出していることがわかります。STM32 Mp1の処理能力と、ここはSSGモバイルネットV1のモデルにより、最大10個の異なる物体を同時に検知できます。スマート冷蔵庫は、当社のソリューションが提供する全ての機能の利点を生かせる優れた使用例です。今後のスマート冷蔵庫ソリューションでは、どのような食品があるかを検知し、AIを活用し、インターネット上で見つけた最新のレシピを提案するようになるでしょう。料理のヒントを画面に表示し、足りなくなった時に自動的に好きな飲み物を注文するようになるかもしれません。STM32 Mp1は、インターネットへの接続性、完全なグラフィカルユーザーインターフェースを内蔵してより、物体検出モデル例に活用できます。では、キッチンデの用途をもう少し見てみましょう。デモで示すように、90種類を識別可能です。将来のスマートオーブンは、ニューラルネットワークが調理を監視してくれるので、調理を監視する必要がなく、同じモデルを使用して料理を分類し、完璧な調理が行えるようになるでしょう。STM32 Mp1の炎酸能力のおかげで、複雑な用途も含め、多くの用途への活用が期待できます。例えば、小売店にスマートカメラを設置して棚を監視し、商品が欠品した時に作業員に通知することで、リアルタイムで商品を補充したり、現在の在庫が少なくなった場合に注文を入れることができます。STM32 Mp1は、その拡張可能な接続性により、インテリジェントゲートウェイのように機能し、全てのスマート製品を可視告管理することができます。家に帰ってきてすぐに電気のスイッチが入り、弾棒が入り、お気に入りの曲が流れ始めるのを想像してみてください。それが可能なのは、人もまたこのデモで識別できるものの一つだからです。X Linux AIはSTM32 Mp1シリーズのデバイス上でAIを活用するための完全で簡単に構築できる環境を提供します。また、画像分類などにも活用できます。これらの例は全てC++ランタイムでTensor Flow Lightを使用していますが、PythonランタイムでPyroModuleを有効する不動小数点モデル用のARM-NNTensor Flow Light Pursorを使用するHardware AcceleratorのCoral Edge TPUを使用するといったことも可能です。これらはどれもよくとレポジトリから入手できるので、プロジェクトに簡単に追加できます。AIソリューションの詳細はst.comをご覧ください。また、X Linux AIのウィキページにはアプリケーションの着手に必要な情報が掲載されています。