みなさま、こんにちは。ST Microelectronics Analog Mems Sensor製品グループのひらまです。このセミナーでは、Motion DataのAI処理に最適化されたインテージェントセンサー処理ユニットを内蔵したSTの最新Mems Motion Sensorの機能や性能、開発エコシステムについて解説します。それでは早速セミナーを始めさせていただきます。まず最初にMems Sensorを取り巻く背景と歴史について少しお話ししたいと思います。Mems Sensorはオフラインの時代に始まり、現在はオンライフの時代へと進化しています。どういうことなのか少し説明をいたします。近年は私たちの生活の至るところに、センサーが存在しています。温度、湿度などの環境情報から、加速度センサー、ジャイロセンサー、速度センサーなど多様なセンサーで取得されたデータが私たちの生活をより便利なものにしてくれています。STは反動体プロセスによるMemsの技術を用いて、これらの数多くのセンサー製品を製造、販売しています。その歴史は20年以上に及びます。その歴史を振り返ってみましょう。20年前、Memsセンサーの登場は、マンマシンインターフェースのパラダイムシフトに大きな影響を与えました。この時代はまだセンサーのデータはネットワークにつながっておらず、従ってオフラインの時代と定義してみます。そこからさらに10年経過した、今から約10年前、スマートフォンなどの端末の性能向上とクラウド技術の融合が進み、センサーはさらに普及していきました。例えば、これがオンラインの時代です。そして今現在、さらに各種の技術は、私たち一人一人の生活に深く関わるようになり、センサーは常にバックブラウンドで動作し続け、生活を支えるオンライフの時代へと突入しています。この進化の過程においては、端末単体の効率化だけでは不十分となり、ネットワークプロバイダーのすべてを巻き込んだシステム全体の効率化を図ることが必要となります。つまり、一つ一つは小さくてもまとめると爆弾なサイズになるセンサーデータを、無線やインターネットを通じてクラウドに送信する代わりに、処理済みの意味のあるものだけを送信し、電力消費やリソースリーを効率化するため、ローカル端末サイドである程度の信号処理ができるスマートな能力を高める必要があるのです。これは社会の持続可能性に大きなインパクトをもたらすはずです。少し大きな話をしましたが、これがこれからお話しするAI機能を導入したSTの新しいメムスセンサーの目指す方向性です。センサーを用いたIoTシステムは、AIとの信号性がとても高く、そして今やセンサーデータの有効活用という視点で、AI技術との融合は欠かせないものになっています。ではAIとセンサー、IoT Edgeコンピューティングとの関係を見ていきましょう。AIを使ったシステム構成として、クラウドベースのアプローチがあります。この方法では、データの処理、特にAIを利用したコードな処理はクラウド側にて行われてきました。しかし、このシステム運用にはいくつかの課題が悲しんでいます。例えばセンサーデータをクラウドにアップロードしますので、通信データ量が多く、送信時間が長くなる分、端末自体の消費電力が大きくなってしまったり、ゲートAサイドでは通信費が高くなりがちです。また、システム全体としてはデータ転送の負荷により、応答性も悪くなるケースがあります。さらに、クラウドに送信されたデータについては、プライバシーフォゴの観点の対応も必要となり、運用コストに影響を与えてしまいます。そこで、組み込みAIを導入した場合にどうなるかを見ていきます。IoT端末に組み込みAIを導入した場合、クラウドで行っていたAI観点の処理を端末側に分散させることで、クラウドの負荷を下げることができます。これらエッジデバイスでは、センサーデータを取得して簡単なAI処理を個々の端末が行います。その結果だけをクラウドに検送することで、通信するデータ量を大幅に削減し、その結果応答性も向上し、またプライバシーフォゴの観点からも保守性が向上します。通信量の削減と延残リソースの分散は、システム全体の消費連力を大幅に下げることができます。このように、エッジコンピューティングでは、IoTの分野で絶対なメリットをもたらします。STはAIの応用に積極的に取り組んでおり、AIをIoT Edgeに、さらにまったんのセンサーにまで広げるためのさまざまなソリューションを提供しています。STのAIソリューションの中心を担うのは、STM32マイクロコントローラ製品群ですが、それに加えSTでは、センサー自身にも機械学習アルゴディスムを実行することができるデジタル機能が組み込まれた高機能、高性能なメムセンサーを提供しています。これらの複数のアプローチにより、より広範なアプリケーションの要求に応用することができます。ではここからは、エッジコンピューティングに最適なAI処理を実行できる新しいメムセンサーについて見ていきましょう。STの新世代のモーションセンサーは、センサー機能を最大限に利用し、システム全体の性能と効率を向上させるものです。具体的には、デバイス及びシステムの両レベルにおける消費電力の削減、モーション判定精度の向上、そしてエッジ内におけるAI利用を促進することができるものです。その第一世代として、すでにデリースしているものが機械学習コア入りのモーションセンサーです。Mセンサーに内蔵した機械学習コアで動作するのは、ディシジョンツリーベースの機械学習モデルです。ディシジョンツリーとは、条件判断を行う一連の濃度を複数接続して構成されています。各濃度は、IF全L形式の判定を行うことで、入力信号が設定された条件に対して評価され、結果をシン、またはギレ出力します。この濃度を複数組み合わせることで、全体として複雑なモーション判定を効率的に実行することができます。センサーに実装された機械学習コアによる具体的な処理内容は、この3つのステップに分解することができます。最初のステップは、ターゲットアプリケーションが必要とするセンサーの種類を定義し、次のステップでは、センサーデータにフィルターをかけたり、特徴量を抽出するエンザンブロックを実行します。最後に、学習の欠陥を得られたDecision 3をセンサーデバイスに実装し、出力を得ることができます。ここで、機械学習のキーポイントとなる特徴という音は、どういったものがあるのか一例ご紹介します。このスライドに示すのは、STの6軸センサーに内蔵された機械学習コアで使用可能な特徴量の一覧です。各種センサーによって取得された加速度や加速度などの物理用に対し、平均値、分散、エナジー、ピーク検出、ゼロクロスなど、各センサーの各軸に対し、独立にそれぞれ12種類の演算を行うことができます。目的なアプリケーションに応じて、これら特徴量の中から必要なものを選択し、機械学習を行うことで最終的にDecision 3を構築します。センサーに内蔵された機械学習コアがもたらす大きなメリットの一つは、システムの低消費電力化です。ここでは機械学習コアを用いて、人の行動認識を実行した時の消費電流を比較しています。従来通りマイコンを使用する場合、センサーから築地生データを読み出しつつ、ソフトウェアで行動認識のアルコディズムを実行する必要があります。一方、センサーの機械学習コアで行動認識を実行した場合、マイコンはスリープ可能な時間が長くなることで、トータルの消費電力を大幅に削減することができます。このスライドに示すように、機械学習コアによる消費電流はわずか数マイコンランペアオーダーです。その結果、システム全体ではマイコンでアルコディズムを実行する場合よりも、機械学習コアで行動認識を実行する方が、消費電流を約3分の1にまで提言することができます。機械学習コアは行動認識に限らず、さまざまなアプリケーションに適用可能です。手洗い判定や事務におけるトレーニング動作のシナリオ監視といったアプリケーションは、機械学習コアの得意とするものです。また、モーターや冷却ファンなどの振動や動きレベルを検出し、異常動作を予測するなど、産業期期向けのアプリケーションでも使用可能です。GitHubにて、これらの学習済み機械学習コア設定ファイズのサンプルを公開していますので、ぜひご覧ください。そして、開発エコシステムとして、STはさまざまなフォームファクター、さまざまな種類のセンサーを搭載した幅広い評価ボードを提供しています。また、これら評価ボードとともに使用可能なPCあるいはモバイルデバイス用のGUIソフトウェアも用意しており、いずれも無償でダウンロード使用いただくことが可能となっております。機械学習コアを使用するより具体的な手順については、YouTube上に日本語の動画を公開しております。この動画では、電子ペンの状態検出をアプリケーション例とし、最も初期段階の実現可能性の検討を行うという前提で、ST製の評価ボードとユニコGUIというソフトウェアのみを使用し、わずか15分でデータログの取得から機械学習の実行、そして完成したDition 3の動作確認を行うまでの様子を手順を追って説明しております。もちろん最終的なアプリケーション向けの開発には、より慎重に多くの作業が必要となりますが、何かセンサーを用いたアプリケーションのアイディアを思いついたとき、いかに簡単にトライアルに着手できるのかお示した動画となっておりますので、ぜひここに示すリンクからご覧ください。機械学習コア内蔵の製品群として、現在、民生機器向けに2つの6軸IMUセンサーを、そして産業用途向けに6軸IMUと傾斜系向けの高精度2軸加速度センサーを市場に投入しています。これらはすでに量産出荷中であり、ドキュメントや評価ボードもリリースされていますので、STのWebサイトにてぜひご確認ください。また、年末から来年にかけて、新しい民生向け6軸IMUファミリーとして、LSM6DSVシリーズが登場します。このセンサーはさらに進化した第2世代の機械学習コアを内蔵しています。また、センサーの基本的な性能についても改善を果たし、クラス最高レベルの低ノイズ性能を達成しつ、低消費電力も保っております。次にLSM6DSVシリーズに内蔵された新しい機械学習コアについて簡単に見ていきましょう。先ほど詳しく紹介した既存の機械学習コアとの比較表です。濃度数などいくつかの点では最適化のために削減されているように見えるかもしれませんが、センサーの入力レートや外部センサーへの対応能力が向上し、機能面では多くの進化を取れています。特に重要なのは、特徴量の最期的演算ウィンドウのサポートです。AI技術全般的にそうなのですが、これまでの機械学習コアは、ある程度の時間をかけて状態を判定するのには向いていましたが、突発的なイベントを瞬時に検出するという機能には向いていませんでした。しかし、特に加速度センサーは、タップ判定やシェイク動作の判定など、イベント検出にもよく利用されるセンサーです。この最期的ウィンドウ機能を利用すると、状態判定だけでなく、イベント判定にも機械学習コアが対応できるようになり、より多くのアプリケーションへの応用可能性が広がります。そしてSTは、これら機械学習コアのコンセプトをさらに一歩進め、センサーにおけるAI機能実行能力向上のため、ISPU、インテリジェントセンサープロセッシングユニットという、よりパワフルで自由度の高いプロセッサーの搭載を進めています。このスライドは、ここまでご紹介した2つの世代の機械学習コアと、ISPUのそれぞれの特徴を示しています。いずれもAIベースのインテリジェントなデータ処理をセンサー内で実行し、ホストマイコンの負荷を下げるという目的は変わっていません。しかし、機械学習コアに対し、ISPUは、さらにプロセッシングの能力と柔軟性を向上させ、Decision 3に限らず、Binary Neural Networkなどより高度なAI処理をセンサー内部で実行可能となります。あるいは、AIや機械学習には限らず、ユーザー独自のセンサー信号処理アルゴリズムをコードベースで実装し、これまでホストマイコンで行っていたような処理をISPUに分担させるということも可能となります。ホストマイコンによるソフトウェア実装は、フレキシビリティがあり、処理性能も追求できますが、消費連力とのトレードオフがあり、さらにはソフトウェア開発の手間がかかります。それに対し、機械学習コアは、モデルをDecision 3に限定し、ハードウェア化を進めることで、低消費連力に特化し、開発を簡易化することが可能なソリューションとなっています。さらに、ISPUでは、低消費連力と、フレキシビリティや処理性能のベストミックスを目指したものとなっており、EAR HAIの実現をより強化することができます。ISPUは、32ビットハーバードアキテクチャを採用したDSPですが、非常にサイズが小さく、従来のメムスセンサーと全く同一のパッケージに収められています。Motion DataのAI処理に特化した命令セットを持ち、非常に高効率に動作するため、消費連力も汎用マイコンに対して大幅に削減できます。また、コアの動作周波数を10MHzとした場合、現状のMotion MEMSセンサーでサポートされる最高ODRとなる、6.6KHzでサンプリングしたデータを取り扱うことができます。これにより、機械学習コアに比べ、応用可能なアプリケーションが大幅に増えてと予想しています。ISPUの主要なブロック構成はこの図のようになっています。コストマイコンとは、複数のインターフェースレジスタを通して、コンフィクレーションやデータのやり取りが可能な一方、センサーが測定したデータは、センサー内部で直接読み出しが可能となっています。プログラムメモリーは、ホストマイコンからプログラムをロードする領域で、ISPU自身からは書き込みはできません。処理データやパラメーターの保持にはデータメモリーを使用します。詳細なアキテクチャーは、既にSTのウェブサイトにドキュメントが公開されていますので、それらをご参照ください。このスライドは、ISPUの性能を示す一例として、6軸センサーフュージョンを実行した場合の消費連力を比較しています。ISPUでは、6軸のみならず、9軸のセンサーフュージョンを余裕を持って実行する能力がありますが、同様のことを一般的な32ビット組み込みマイコンで処理した場合と比べると、センサーとマイコンを合わせて約5分の1程度まで消費連力を下げることができます。これはIoT端末のバッテリーライフの向上に劇的なインパクトをもたらすはずです。ISPUのプログラミングには、多くの汎用マイコンと同様にC、C++言語を使用することができます。開発環境として、コマンドライン向けのツールチェーン、エクリプスベースのIDEに対応したISPUプラグイン、コードを書くことなくGUIによるブロックの組み合わせにより、STM32のファームウェアを開発できるアルゴビルダーもISPUのインテグレーションに対応しています。また、開発のベースとなるサンプルアプリケーション、プロジェクトやISPUで動作する各種のダイブラリーをまとめたXCube ISPUというパッケージもダウンロードしていただくことができます。このXCube ISPUというソフトウェアパッケージには、ニュークレオとXニュークレオボードにユニクレオGUIを用いてすぐに動作確認可能な複数のサンプルコード、あるいはサンプルライブラリーを含んでいます。ここに示したのは、それらXCube ISPUに含まれるサンプルの一例です。ここであえて注目していただきたいのは、CRCの計算やIIRフィルターの適用など、AIとは関係のない機能もサポートされているということです。ISPUはAIや機械学習専用のプロセッサーではなく、このように非常にベーシックなデータエンザンやデータ処理を十分に低い消費電力で実行することができます。今までマイコンで行っていたようなデータの事前処理のみISPUに担当させ、AI等の主要なエンザンはマイコン側のリソースをフルに活用するということで、消費電力とパフォーマンスの両方を追求するというシステムを構築することも可能となっています。また、ナノエッジAIスタジオは機械学習やデータサイエンスなど、AI関連の知識がない開発者であっても、AI処理のダイブラリーを簡単に生成することができるソフトウェアパッケージです。これがSTM32マイコン上だけでなく、現在はISPUにも対応しています。ライブラリーの運用はH側で完結しているので、クラウドへの接続は不要となります。ISPUに対しては、日の異常検出に対応しており、ユースケースやアプリケーションに応じて適切なAIライブラリーを自動で生成することができます。一例として、ナノエッジAI4ISPUを使った異常検出ライブラリーの開発手順と運用方法をご紹介します。まず、PC上で機械学習ライブラリーを生成します。ライブラリー生成のためには、正常信号と異常信号を取得しておく必要があります。このとき、ディープランニングの学習のように、数千や数万オーダーといった大量のデータを集める必要はありません。数百から数千程度のサンプル数で機械学習ライブラリーの生成が可能となります。次に、生成されたライブラリーを使って、ISPUで異常検出を実行します。このとき、水泡実行の前にデバイス上で正常データを読み込ませるオンデバイストレーニングを実行し、その後異常検出を実行するということが可能となります。この運用方法の大きなメリットの一つは、実運用の環境にて取得される正常データを学習するので異常検出の性能がよりロバストになることです。例えば、同じライブラリーを使っていても、設置環境によっては、正常データにばらつきが起こり得ます。しかし、オンデバイストレーニングを実行すれば、その環境での実際の正常データを取得できるので、異常検出がよりデバイス、環境ごとにカスタマイスされ、最適化されたものとなります。このような柔軟性の高いライブラリーの運用は、機械学習ならではのものですし、STのNANOHEIだからこそ実現できる高性能な異常検出ライブラリーであるといいます。こういったことが、マイコンのリソースをほとんど使うことなく、独自クロムエムスセンサーの内部だけで完結するということが可能となります。ISPU内蔵の製品として、現在、民生向けと産業用と向けに、それぞれ6軸IMUが市場に投入されています。これら2つの製品は量産食家中であり、ドキュメントや評価ボードもデリースされていますので、STのウェブサイトでぜひご確認ください。また、ISPUを搭載したメムスセンサーに関する様々な情報は、ISPU専用のポータルサイトにまとめられていますので、概要についてはこちらもご確認ください。今後の新製品デリースに向けて順次情報をアップデートしていく予定です。最後に、今日お話した内容をまとめておきます。メムスセンサーは時代とテクノロジーの要求に応えながら、AI機能を取り込むなど普及拡大を続けています。STでは、その流れを一早く取り入れ、機械学習コアやISPUといった、インテジエントな炎酸能力をセンサーに内蔵することにより、端末のみならず、クラウドを含めたシステム全体の提唱比連力化により、持続可能な社会を目指すオンライフの時代へと対応していきます。こういったコンセプトを具現化したのが機械学習コア内蔵のメムスセンサーであり、さらにISPU内蔵のメムスセンサーへと発展を取り出しています。今後もメムスの基礎技術の研究から、その応用製品化までをきめこまかくサポートする製品開発を進めてまいります。以上、インテジジェントセンサー処理ユニット内蔵をメムスモーションセンサーについて解説いたしました。STは、この他にもAIをIoTHのマイコンからさらに末端のセンサーに広げるためのさまざまなソリューションを提供していますので、ぜひご検討ください。詳細についてはSTのウェブサイトをご覧ください。ご視聴ありがとうございました。