みなさま、こんにちは。STマイクロエクトロニックスイメージング製品部の工具知です。この動画では、フライトセンスTOFセンサーによるゼスチャー認識のデモをご紹介いたします。ゼスチャー検出の仕組みについて学びたい、あるいはゼスチャー検出を使用したレバイスを設計してみたいという方に向けて、ゼスチャー検出デモの基本的な仕組みと実際の動作をご説明いたします。では、早速見ていきましょう。こちらが今回のデモに使うTOF即居センサーVL53L5CXの評価ボードです。下の白い基板がSTM32ニュークレオというSTのマイコン開発ボード。上の青い基板がSTとしてさまざまな製品に準備しているXニュークレオという拡張基板です。今回の即居センサー用のものです。中央に載っているのがセンサーになります。一方、こちらが今回のゼスチャー認識のEVKソフトウェアの操作画面になります。真ん中の画面にFOVといわれる測定視野角の中の各ゾーンの即居結果が表示されます。そもそもセンサーはどのように実際を認識するのでしょうか?TOFセンサーはセンサーが出した光が目の前の物体に当たって戻ってくるまでの時間を距離として測定します。このセンサーでは8×8のゾーンでそれぞれの距離を測定することができますが、ゼスチャー認識のアルゴリズムではこのマトリックス上の即居結果を解析してターゲットを見つけ、それを解析してゼスチャーを認識します。それでは実際のデモの動作をご覧ください。VL53L5CXがどのように手の動きを追跡しているかその例を紹介いたします。赤い表示が出ている画面が8×8のマトリックスです。それぞれのゾーンの距離の値が出ています。そして青い表示が出ている画面が手との距離を測定し、その手を随微している画像になります。次はゼスチャーの認識のデモになります。左スワイプ、右スワイプ、そしてタップ、ダブルタップなどのゼスチャーが認識されております。こちらによりゼスチャーを認識している様子がお分かりになるかなと思います。最後にこれらのゼスチャーがフォトギャラリーのようなニーンアプリケーションやソフトウェアの操作の指示に変換できる様子をご覧ください。先ほどのスワイプの動作を写真の送り、戻しなどのゼスチャーの操作、ゼスチャーによる操作に割り当てることができます。デモに使われているデバイスについて説明いたします。ゼスチャー認識にはSTのVL53L5CXを使用しています。VL53L5CXはマルシゾーン対応の速拠センサーで最大64の像を持ち、4×4または8×8で対象領域を出力することが可能です。縦横45度×45度、対角63度の広い視野角を持ち、各ゾーンの速拠結果をゼスチャー認識のアプリケーションに利用しています。GUIがどのようなものか詳しく見ていきましょう。ダウンロードはst.comでstswimg035と入力するだけです。VL53L5CX評価ボードとこのソフトウェアが必要です。キットを起動するとスタート画面が表示されます。あとは対象とするゼスチャーの種類とアプリケーションをメニューから選択し、テストを開始するだけです。ハンドトラッキング、ゼスチャー認識などの項目を選ぶことができます。データストリームを保存し、それをプロットして評価に使うことができます。このstswimg035にはテストやデバッグを用意にするための開発者向けのリソースが揃っていますので、ぜひご覧ください。TOFセンサーを使ったゼスチャー認識のデモをご紹介させていただきました。フライトセンスTOFセンサーを使って最新のゼスチャー認識のシステムを開発することをご検討中の皆様、STが開発のサポートをさせていただきますので、ぜひお気軽にお問い合わせください。ご覧いただきありがとうございました。