みなさま こんにちは エスティマイクロエレクトロニックス イメージング製品部のみくにですこのセミナーではマルチゾーン卒業に対応したTOF卒業センサーを使用するジェスチャー認識ソリューションについて解説しますそれでは早速セミナーを始めさせていただきます本日はタイモーブフライトセンサー TOF卒業センサーを用いたジェスチャー認識についてお話しさせていただきます弊社では特定のTOFセンサーを用いたジェスチャー認識の評価環境やサンプルコードをタンキーソリューションとして提供させていただいております今日はユースケースとともに弊社が提供している内容につきましてご紹介させていただきます本日のアジェンダですジェスチャー認識のコンセプトとその応用例そして対応製品と弊社のサポート内容につきましてお話しさせていただきますまずはじめにジェスチャー認識とはということでTOF卒業センサーを用いたジェスチャー認識のコンセプトについてお話しさせていただきます人間が電子機器を操作するには必ずインターフェイスインタークションが必要となります例えばマウスやキーデの入力タッチパネルによる操作もしくは音声制御などもありますがジェスチャー認識とはこれらに変わって手の動きによって機器を制御することを想定しています本日ご紹介するジェスチャー認識は手の動きを検出して行うものでその検出システムはとてもシンプルですタップやスワイプ、時計回りや半時計回りの円を描く動作など手の動きをTOF卒業センサーが検出し検出データを特定なアルゴリズムを通してジェスチャーへと変換します検出されたジェスチャーに応じて各機器の操作コマンドへと変換し電子機器を制御しますこういったジェスチャー認識を行うシステムのセンサーの部分にSTのTOF卒業センサーを用いますここでTOF卒業センサーについて簡単に説明させていただきますTOF卒業センサーとはセンサーが発した光が対象物から帰ってくるまでの時間を計算して距離を出力するセンサーです電車が提供しているTOF卒業センサーは製品によって検出できる最大距離や視野角また提供しているサンプルコードのラインナップが異なるためお客様の用途により適切なセンサーを選択していただけるラインナップとなっております今回ジェスチャー認識を行うにあたってはこちらのように8×8つまり64個の各ゾーンで速拠データを取得することができる製品を使用していますこれにより大まかな手の形状や動きを検出することができジェスチャー認識を行うことができますさて実際にTOFセンサーを使ってどのように手の動きからハンドジェスチャー認識を行いアプリケーションの操作を行うか3つのステップに分けて順を追って見てみましょうちなみに3つの各ステップでは弊社のホームページで提供しているジェスチャー認識向けの評価用GUIを使用しておりますまずはステップ1ですTOFセンサーでどのように手の動きが確認できるか見てみましょう画面右側はセンサーのデータを表示し左側にはカメラ画像を表示しています2つの画面を比べながら見ていただくことで手の動きがどのように検出されているのかお分かりいただけると思います右側のセンサーデータの画面では01で物体の検出の運を示しており物体がある場所は青色に変わりますそれとオーバーラップして手までの距離が数値として表示され距離を表している場所は近づくに連れて青から紫そして赤へと変化しますTOF即居センサーで手の動きをトラッキングしているのがお分かりいただけましたでしょうか次にステップ2ですここでは同じ評価用GUIで手の動きを独自のアルゴリズムを通してジェスチャーへと変換しています左または右へのスワイプタップダブルタップのジェスチャーそして軽めのスワイプ動作もしっかりと認識しているのがご覧いただけるかと思いますまた複数の手の動きを用いてボリュームコントロールを行うこともできます手をセンサーの前でしばらく止めてボリュームコントロールのモードへ行こうその後手を近づけたり遠ざけたりすることで一番右の緑色のバーが上がったり下がったりしているのがご覧いただけます最後に検出したジェスチャーの内容に沿ってアプリケーションの制御を行いますスワイプ動作により画像をスライドさせたりタップ動作により動画の再生と停止を行ったりしています最後にはゆっくりと手を近づけたり遠ざけたりすることによって画像へのズームイン、ズームアウトを行っていますご紹介したジェスチャー認識ではVL53L5CXというマルチゾン検出が可能なTOFセンサーを使用しておりますTOFセンサーを使用したジェスチャー認識ではカメラなどを使用する他のジェスチャー認識のソリューションに比べて消費電力を低く抑えることができまた処理も軽く抑えられるので汎用のマイコンを使用できるという利点がありますまたカメラ画像ではなく距離データを使用しているためプライバシーへの配慮が懸念される状況においても最適ですでは次にジェスチャー認識のユースケースについてお話しさせていただきます世界の状況が変わった今ハンズフリーやタッチレスでの操作は新しい標準機能であると言えるかもしれませんジェスチャーによる操作はコンスマー産業、医療などの分野で製品に負荷価値を与えることができます例えば利便性の例として左上にあるように手が汚れている時などにジェスチャーによって危機を操作することができます次に右上は今一番注目度の高い衛生分野ですがご存知の通りコロナにより衛生関連の機器をタッチレスで制御するということが感染症予防の観点でとても重要であるということが一般的となりましたまた左下にあるようにエンターテインメント向けの機器においてはジェスチャー認識を使って人間の動きをロボットに真似させたりなど遊び心のあるアプリケーションに応用が可能です最後に右下にありますように安全な環境を構築するためにジェスチャー認識を活用するといったご提案です危険な環境下や物体を取り扱う場面においてジェスチャーまたはハンドトラッキングを使用することで安全性を高められるのではないでしょうか実際にジェスチャー認識を使用できる製品は無限にあると考えています例えば上から順番にサーモスタットスイッチサービスロボットスマートスピーカーノートパソコンタブレットスマートフォンAR VRデジタルサイネージ衛生機器エレベーター自動販売機ATMキッチン家電産業用ロボット生産ラインオモチャロボットゲームその他の電子機器家電産業用システムやロボットなど多種多様な分野での使用が考えられます次のページから弊社で開発したいくつかのデモをご紹介いたしましょうまずはじめは弊社のインターフェース制御のデモです先ほどお見せしたものと同じ内容ですが手の動作で画像の選択や動画の再生と停止を行っています自然なジェスチャー動作により離れた場所からでも簡単にスライドをコントロールできます次は弊社のホームページでも公開されているデモ動画ですVL-53 L5CXの製品ページの下の方からこちらの動画をご覧いただくことができます空調コントロールの操作パネルをジェスチャーで制御するデモですスワイプで温度や風量などのモードを変更タップ動作でモードを選択ゆっくりと手を近づけたり遠ざけたりすることで設定温度や風量調整を行っていますまた人が遠ざかることでコントロールパネルは自動的に画面が消えパネルの消費電力を抑えています人が通り過ぎるだけではディスプレイは温度はならず人が前に立つことで再びディスプレイを温にしていますこちらもVL-53 L5CXの製品ページからご覧いただくことができるデモ動画で飲料のディスペンサーをタッチレスで制御していますTOSセンサーは2箇所に設置されていてメインディスプレイの下の部分とコップを置く場所の上の部分にコップを見下ろす形で設置されていますディスプレイの下にあるセンサーではジェスチャー認識を行いコップ上部のセンサーは飲み物の残量やコップの生むなどを検出していますこのデモでは手の動きで飲み物を選択し注ぐ量の制御も行っていますただしコップがいっぱいになるといくら手をかざしてもそれ以上飲み物は注がれませんこれはコップの上に設置されたPOF速拠センサーによりコップの中に飲み物が十分に入っていることを検出しているからですまたここに設置されたセンサーではコップの設置状態も検出しているためコップを逆さまに置いてもジュースを注ぐことはできませんVL53L5CXではこのようにマルチゾーンを用いた検出によりジェスチャーだけでなく形状や数位の検出も行うことができます最後にイメージ画像ではありますがジェスチャートラッキングの例としてサービスロボットが人間の行動を真似するというデモ動画ですかなり未来的な感じがしますSTは引き続き新しいユースケースやデモを開発しこれまでにないソリューションを提案提供していきたいと考えておりますさてここからはジェスチャー認識のデモで使用しているTOF速拠センサーVL53L5CXの使用とその評価開発環境についてお話させていただきますまずVL53L5CXの使用について説明させていただきますこちらのセンサーは先ほどからお話させていただいたようにマルチゾーンで速拠を行うことができますつまり検出視野角をドライバー側の制御により4×4または8×8に分割して計16個または64個のゾーンに分けその各ゾーンで速拠を行うことができますまたマルチターゲット検出が可能とありますがこちらは各ゾーンにおいて奥行き方向に複数のターゲット検出できるということを意味しておりますマルチゾーンはXY平面マルチターゲットは奥行き方向の検出とお考えいただければと思います次に視野角ですが発光箇所の形状が四角いことから視野角は四角い形状となっており縦横それぞれ45度体格角度は63度となっていますまた速拠可能な距離は理想的な環境下で最大4メートルまでですがジェスチャー認識はおよそ30から40センチくらいで精度よく検出できるように設定されています速拠データの処理方法ですがデータの処理はヒストグラム方式を採用していますこの処理方法のおかげで一つのゾーン内でクロストークを配慮することができますしまた60センチ以上の速拠を行う場合にはカバーガラスによるクロストーク信号を排除するといったことが可能になっていますちなみにここで言うクロストークとはカバーガラスなどで発生する乱犯者のことで受講信号を距離に観算する僕はなるべく小さいほうがTOFセンサーにとっては好ましいです話がそれましたがヒストグラム処理とは左下のグラフのように受信信号を24個のビンデータに変換して処理する方法でグラフの横軸は距離縦軸は信号量を示しています各ビンは特定の時間内に受信したまた一つのゾーンで複数の対象物を検出するには物体間が奥行き方向に80cm以上離れている必要があります最後にパッケージサイズは6.4×3.0×1.5mmとなっておりこの中にレーザーの発光部と受講部そして受講したデータを処理する回路が組み込まれています次にジェスチャー認識の開発環境としてSTでは評価用GUIマイコン向けのサンプルコードそして評価用基盤の提供を行っていますジェスチャー認識のアルゴリズムはすでにご紹介してきましたようにタップダブルタップ左右のスワイプ及びレベルコントロールなど複数の検出をサポートしています評価用のGUIはジェスチャー認識の評価をすぐに開始していただけるようなサポート内容となっておりますこのGUIについては後ほどもう少し詳しくお話しさせていただきますサンプルコードはSTM32だけではなくアームコアテックス向けのライブラリーもご用意していますまた評価用事ハードウェアとしてSTM32ニュークリオボードとセンサーが搭載されているXニュークリオボードの2つが必要ですこれらのソフトウェアファームウェアハードウェアが強化と開発をサポートしお客様のアプリケーションにおけるジェスチャー認識機能の実現をサポートしますさて早速ですが弊社ホームページで提供しているGUIサンプルコードなどのポート状況についてご紹介します弊社ホームページでSTSW-IMG-035と検出していただき製品ページを開いていただくとこちらにありますようにソフトウェアファイルをダウンロードできる画面が現れますこれらのファイルは最後のサフィックスによってサポートされている内容がEBKは評価用GUIF401はSTM32F401向けのサンプルコードMのサフィックスがついているものはアームコアテックスの各製品向けライブラリーとなっていますダウンロードしていただく際には必ず最新のものをダウンロードしてくださいまたこれらのソフトウェアをダウンロードしていただく際にはソフトウェアライセンサアグリーメントへの同意が必要となりますのでご了承くださいさてジェスチャー認識の評価用ツールであるGUIの使用方法についてお話させていただきます先ほどのSTSWIMG035EBKにはGUIとバイナリーファイルユーザーマニュアルなどが含まれていますGUIの使用手順などのこちらのユーザーマニュアルをご参照くださいさてこのGUIを使用される場合にはハードウェアとしてSTM32F401ユークリオボードとVL53L5CXが搭載されたXユークリオボードが必要です初めてSTM32ユークリオボードを使用される場合にはデバイスマネージュアでボードが正常に認識されているか確認いただきその上でGUIの使用を開始してくださいではまず初めに評価を始める際のハードウェアの準備としてセンサーボードとマイコンボードを接続しマイコンボードとパソコンをUSBケーブルでつなげます次にファーメアフォルダに入っているバイナリーファイルをドラッグ&ドロップしてマイコンボードに書き込みますこの時マイコンボードの右上のLEDLD1の色を必ずご確認くださいこのLD1は書き込み前は赤色書き込み中は赤と緑で点滅正常に書き込みが終了すると緑色に点灯しますバイナリーを正常に書き込めたら次はいよいよジェスチャー認識の評価開始ですフォルダにあるジェスチャーEVK.exeをダブルクリックしていただくと自由愛が立ち上がりますこちらがジェスチャーEVK.exeを立ち上げた際の画面です通常は特に何も設定せずにそのままスタートレンジングボタンをクリックしていただければ評価を開始していただけますでもがスタートできない場合にはボードの接続をクリックしていただくかリフレッシュボタンをクリックして適切なコムポートが選択されているか確認してから再度スタートレンジングをクリックしてみてください自由愛が起動するとこちらの右のような画面になります先ほどのエグゼファイルを立ち上げた画面の右側にデータ画面が追加で表示されるようになりますデータが表示されている右側のところでは赤色および紫色の箇所は何らかの物体が検出された状態を示しており各像に表示されている数値はその物体までの距離を示していますデータ画面の下にあるカメラタブからカメラをオンしていただくとパソコンに搭載されたカメラもしくは外付のカメラの画像をこのデータ画面上に表示ができます左側にそのオーバーラップさせた時の画像がございますカメラ画像を使用する場合にはカメラのすぐ横にTOFセンサーを設置していただくとTOFセンサーのデータとカメラ画像の合成が取りやすくなりますこうしてTOFセンサーのデータとカメラ画像の両方を表示させると手の動きをどのように分かりやすく確認いただけますのでより効率的に評価できると思いますまた本セミナーの最初にお見せしたこちらの評価用GUIを使ったジェスチャー認識の動画ではGUI画面の左下にあるプラスのアイコンをクリックすると出てくるジェスチャー検出の各機能を使用していますジェスチャー認識の評価をされる際にはこちらのリストから手に合った機能を選択して使用してください先ほどお見せしたステップ1からスリーまでの動画ではステップ1から順番にハンドトラッキングジェスチャーディテクションポトビュアコントロールを順番に使用していましたその他にサポートしている機能としてはマウスコントロールやサークルレベルコントロールなどもございますジェスチャー検出用の評価用サブウィンドが見えてもメインウィンドのデータも平行してリアルタイムで表示されていきますので卒業データやハンドトラッキングの状況とジェスチャー認識の状況を平行して確認していただくことができますまた複数のサブウィンドをこちらのように同時に表示させることが可能ですがご作動の要因にもなりますのでお気を付けくださいおすすめはハンドトラッキングの画面と他に一つ評価したい機能のサブウィンドを開くという設定ですまたフォトビュアコントロールの機能につきましてはサブウィンドのツールバーをクリックしていただいた後にパソコンに保存されている画像を選択していただくと使用できます事前に画像を何枚か保存されたフォルダーをご用いただくと画像の選択などのジェスチャー操作もスムーズにご評価いただけるかと思いますまたこの画面上ではエラーが出てしまっていますがスタートストップボタンの下にログデータというボタンがございますこちらをクリックしていただくと評価データのログを取ることができ取得したデータはこのGUI上でご確認いただけます詳細につきましてはユーザーマニュアルをご参照くださいちなみにst.comからダウンロードしたフォルダーは深い階層に保存して使用しますとログを取るときにデータがありますのでCドライブ直下など朝目のレイヤーに保存して使用していただければと思いますここでジェスチャー認識の評価を行っていただく際のコツを少しご紹介したいと思いますこちらでご紹介したいのは評価用ツールのデータ画面の下にあるタブですこのタブではデータ画面上に表示させるパラメーターの選択データ画像とTOF速拠センサーのFOVのアライメントを調整できる機能などがございます例えばデータ画面上のスーチはデフォルトでは対象物までの距離を示していますが先ほど見せしたデモ動画のように検出物のウムを0.1で表示させることも可能ですまたパソコンに元から搭載されているカメラではなくカメラタブのカメラIDのところで数字を切り替えて使用していただくことができますぜひご活用ください次にサンプルコードのSTSW-IMG-035F-401のサポート内容について簡単に説明させていただきますこちらがディレクトリーですバイナリーフォルダーに含まれているバイナリーファイルは先ほどご紹介したようにドラッグ&ドロップでボードに書き込んで使用していただくことができますこちらのバイナリーファイルの場合はユーアート経由でご紹介いただけるようになっていますあとはAPIドライバーSTM32Cube IDEやSTM32Cube MX向けのアプリケーションファイルなどが含まれていますので開発環境や用途に合わせてでくださいちなみにジェスチャー認識の検出パラメーターにつきましては設定変更を行うことができますが弊社としてはデフォルトの設定でご使用いただくことを強くお勧めいたします弊社ではデフォルトの設定内容で評価や検証を行っていますのでパラメーターを変更することによるジェスチャー検出へ与える影響度につきましてパラメーターのバランスを変えることによる検出精度への影響は精査が難しくそのため十分に評価されたデフォルト値でご使用いただければと存じます次にVL53L5CXの評価用ボードにつきましてご紹介いたしますマイコンボードであるSTM32NUCLEO F401を既にお持ちの方は上から二つ目のセンサーボードのみをお持ちでない方はセンサーボードとセットになっている三つ目のものをご購入いただければと思いますいずれもセンサーボードにはカバーウィンドウカバーガラスホルダーエアーギャップを作るためのスペーサーが動向されていますのでカバーガラスを装着していただくことでより実使用環境に近い形でご評価いただけるようになっています一番下のものはセンサーが搭載されたコ機板でテストポイントがついておりますのでお客様のシステムに組み込んでご評価いただけるようになっておりますこちらの評価用ボードやサンプルは弊社のウェブサイトもしくは販売であり点へお問い合わせいただければと思います最後にロードマップのご紹介です弊社では5年ほど前にVL6180というTOF即居センサーを用いてタップやスワイプ動作を検出できるジェスチャー認識を提案させていただきましたしかしこのVL6180はマルチゾーン検出ができないため左右の方向を検出しなくてはいけないスワイプ動作の検出にはこのデバイスは2個必要でしたしかし現在マルチゾーン検出が可能なVL53L5CXがリリースされたことにより一つのデバイスでさまざまなジェスチャー検出をサポートできるようになりましたSTはさらなるジェスチャー認識の開発を行ってまいりますので引き続きよろしくお願いいたしますまとめですSTは長年TOFセンサーを提供してきました本日ご紹介したジェスチャー認識は弊社ホームページで提供しているGUIやサンプルコードを評価要望度と組み合わせることで簡単に評価を開始していただけるようになっていますSTは技術により人々の生活の向上を目指し努力してきましたジェスチャー認識を活用いただくことによりユーザーフレンドリーなタッチ列制業推進しコンスーマー家電 産業用ロボットなどさまざまな分野で皆さんの生活を向上発展させるために引き続き貢献していけたらと考えております以上TOF卒業センサーを使用したジェスチャー認識ソリューションについて解説いたしましたSTのTOF卒業センサーはジェスチャー認識以外でもさまざまな要とにそのための幅広い開発環境も提供しておりますのでぜひご検討ください詳細についてはSTのウェブサイトをご覧くださいご清聴ありがとうございました