みなさまこんにちはSTマイクロレクトクロニックスイメージング製品部の工具知ですこのセミナーではマルチゾーン卒業に対応したDOF即居センサーを使用する絶茶認識ソリューションについて解説いたしますそれでは早速セミナーを始めさせていただきますまず今回の内容ですはじめに絶茶認識とはDOFセンサーを使った絶茶認識の概要について説明いたします続いて絶茶認識の幅広い応用例をご紹介いたしますそしてその次には絶茶認識の対応製品ということで今回の絶茶認識の説明に使ったDOFセンサーの製品そのものについてご紹介いたしますはじめに絶茶認識とはということでDOFセンサーを使った絶茶認識の概要について説明いたします人間が何か危機を操作する場合必ずその操作のインターフェース・インタラクションが生じるわけですけれどもその場合にはボタンですとか操作パネルタッチの操作パネルあるいは音声による制御というようなことが考えられるかと思います今日の絶茶認識はその中でも例えば手を使った体の動き、手の動きで持って危機を操作するというようなことに対する応用でございます今回の絶茶認識に関してはまずセンサーが人の手の動きを認識いたします例えばスワイプ、左右に動かすようなスワイプ、タップ、回転ですとかセンサーと手の距離を検出してそれによってボリュームのようなことを造作するとそれをセンサーの方からコンピュータホストの方に送ってそれで持ってコマンドとして認識して危機の操作に応用するというものですTOFタイムオブフライトの技術について簡単にご説明いたしますTOFセンサー、タイムオブフライトセンサーとはセンサーと物体との距離をセンサーが走った光が対象物にあたって戻ってくるまでの時間を距離として測定するものです今回使うTOF測定センサーはその距離を測定するゾーンを8×8のマルチゾーンで測定することになっておりますそれによって例えば手であれば手の大まかな形が分かるようになっておりますそれぞれのゾーンで対象物と手との距離を測ることによってその手の動きを検出するというものでございますこちらがゼスチャーのまず初め、ハンドトラッキングの例でございます左側のカメラの絵は分かりやすいように写しているだけでしてセンサーからの出力は右側のような形、画像ではない形です真ん中の数字が出ているところでもって手の動きを追いかけているというのが分かるかと思いますまたセンサーからの出力は画像ではないためプライバシーにも配慮されております次がこの手の動きをゼスチャーとして認識しているという例です右に動かす、それから左に動かすというような手のスワイプそれから今タップをしましたタップによってタップを検出して何かを動かす今ダブルタップを検出いたしましたそれからまた左、右の検出をするというようなことでございますそれから今度は手を止めてボリュームの操作を近づけると何かボリュームが小さくなる遠ざけると大きくなるというような検出の例でございますこれが手のゼスチャー認識ですそしてこの手の動きをアプリケーションの操作この場合は写真の送りですね送ったり戻したりそれからタップをすると今動画が再生されました動画を止めましたでまた写真を戻しました今度はズームですねズームをアップしたり遠ざかったりするというような操作を手の動きによってやっているという例でございますいずれも今ご覧いただいた3つの例というのはこれからご紹介するSTのゼスチャーのEVK評価ソフトを使用しておりますここから先はゼスチャー認識の幅広い応用例ということでどのような実際的な応用例があるかということをデモ画像ともお見せしながらご紹介したいと思いますさまざまざ的にこのゼスチャーを応用するメリットですけどもまずは利便性ですね触らないでこの左の画面なんかですと料理をしているので手が汚れているとそこに対してタブレットを操作する場合に触らないで操作をするというような利便性がございますそれから同じく触らないで操作をするということで言いますと衛生的な面でも物に触らないで非接触で感染症予防というような観点でもメリットがございますそれから同じく触らないで何かを操作をするということゼスチャーということで遊び心があるといいますかそういうエンターテインメント的な扱いにも利用できるかなというふうに思いますそして触らないで危機を操作をするということで言いますともちろん触ったものが危険高温だったり低温だったり何かエイリアモノであったとするとそこから離れたところで触らないで操作をするというようなことが可能になりますこれらのメリットを生かしたような最終製品の我々STが考える例ではありますけどもこのようなものが挙げられるかなというふうに思います便利に使うという意味ですとサーモンサット操作版ですねそれからスイッチそれからロボットスマートスピーカーのようなものまたPCやタブレットスマートフォンなどを触らずにゼスチャーで操作をするそれからAR、VRのようなもので周りを理解しながら手で操作をするというようなことがあるかなと思いますそれからASA面ですとデジタルサイネージタッチパネルの代わりドライヤーデストかなりかなりディスペンサーエレベーターの操作ボタン自動販売機の操作ボタンATMの操作ボタンを触らないスイッチの代わりにできるかなというふうに思います安全面ということでいうと熱を発生するようなキッチン器具それから産業ロボットや生産ラインのように近づくと危ないようなものに対してタッチレスの操作というのが応用できるかなと思いますそしておもちゃのロボットですとかゲームとかのようなエンターテイメント性もあるからこのようなものの他にもいろんな電子機器、家電、産業システムロボット等で幅広いアプリケーションが考えられるかなというふうに思いますこちらが先ほどもありましたけど手で操作をして実際にパソコンの画面で右、左を操作している例、画面送り、プレゼンを送る例になりますこちらは同じくパソコンの画面で写真を送ったり戻したりそれから動画を再生したりというような例になりますそして次は弊社のEVK評価ソフトの中に出てくるんですけれどもその例でやりますけどキッチン器具、ヒーター、コンロですかそれをイメージいたしまして手を近づけたところでオンとかオフなどそれから手との距離を図ることによって強度を操作しているというような例でございます今ダブルタップをしたら画面というか機器がロックされましたそういうような例でございますこちらはちょっとイメージ画像でありますけどもロボットなんかに対して手で操作をするというのをこれはロボットが実際はこれはもうちょっとイメージ図にはなりますけど理解するというようなイメージでございますこちらは実際のデモの画面ですエアコン等の操作パネルに応用した例です使っているのはVL53 L5という製品になりますまずタップをして温度を選ぶのか風量を選ぶのか選びますそしてそこから手の距離を近づけたり遠ざけたりすることで設定温度の調整をいたしますまたスワイプをすると今度は風量の調整になりますこれもまた手との距離を見て風量の強さを調整することになりますそして今いなくなりましたけども人がいなくなりますとセンサーの前から人がいなくなるので画面が消えるというようなことになりますまた画面の前をちょっと通り過ぎただけですと反応しないということになりますまた前に来た時には画面がオンするというような例でございますこれは実際の経済のセンサーを使ってデモをしております次がジュースとか飲み物のディスペンサーの例ですまずこのカップを置く場所のところにもセンサーがあってこれによってまずカップそのものを検出いたしますそれからこの操作パネルですけど下の穴のところにまたもう一つセンサーがついておりましてこれゼッシャーによってどの飲み物を選ぶのかというのをやっております今例えばアップルジュースというのを選びましたそれによって手を近づけることによってこの後ジュースが出てきます近づけてる間飲み物が出ていて注がれておりますそして今飲み物がいっぱいになってきましたので手を外しますそうするとオフになるもちろんカップの方も測っていますので水がいっぱいになったらと思いますそれから今カップを逆さまに置きましたけどこれはカップの底面との距離が違いますので正しく置かれているかどうかの判定にも使います今度は別の飲み物、ジンジャエルを選んで注いでおりますこのように操作板に使えるというような例でございます今申し上げましたのはSTのデモンです一部イベージ画像もありましたけどもそのようなものでいくつかのアプリゲーションに応用した例を紹介いたしましたこのようなものを次々に開発もしくは市場とのフィードバックをいただきまして新しいユースケースやデモを今後も提供していく予定でございますそれではここまでご紹介いたしましたゼスチャー認識を実現している実際のトフセンサーそのものについてご説明いたします今回ご紹介している一連のデモに使用しているのは弊社のトフセンサーのSTのVL53L5CXという製品になりますこのVL53L5CXは初めてのマルチゾーン8×8のゾーンですね対象物を8×8のゾーンに分けてそれぞれの距離を測定するというものになりますそのマルチゾーン対応の測却センサーになります最大8×8なんですけども4×4というゾーンに設定することも可能ですそして視野角FOVですけども見る範囲ですねは正方形で45度×45度対角で言いますと63度の視野角を見ることができますまた最大の即興距離ですけどもこれは暗いところで測る距離ということになりますがそちらですと最大4メートルまで測ることができますマルチターゲットと書いてありますけどマルチゾーンとちょっと言葉が似ているんですけどマルチゾーンというのは縦横方向のゾーンですねどの位置に対象物がどれぐらいの距離であるかマルチターゲットというのは奥行き方向です手前に1つ目奥の方に2つ目の距離の物体があるというようなものの検出ができるということになりますそして検出する速さですけども4×4ですと60Hz1秒かに60回測定することができますまたカバーグラスによるクラストークへの体勢とありますけどもこれは先ほど申し上げたマルチターゲット手前に何センチ奥に何センチというような物の検出ができるということを利用して手前の方にカバーグラス等々がある場合にそれが汚れたとしてもそれを1つ目の対象物という風に検出してしまってそれが汚れてもそちらを無使用するというようなことでクロストークカバーグラスによる光の散乱ですねそれを防ごうそれを補正しようというものになりますまた明るいところになりますと実は最大の縦横距離が短くなるということがありますけれどもこのセンサの場合明るいところ5kgくすぐらいでも1m70cmぐらいまで測れるというようなセンサになっていますサイズは6.4×3×1.5mmのサイズの中に発光部、レーザーを使っておりますけどレーザーの発光部、樹光部それから測定したデータを処理するプロセッサが入っております続きまして開発の環境のお話になります開発環境といたしましてはGUI Zesture EVKというのが評価用のソフトウェアに先ほどのZestureを実現するようなファームウェアをつけて提供しておりますそちらがソフトウェアの方ですねそれからカードウェアの方に関しましては弊社の他の製品と同様にXニュークレオという評価用の拡張ボードを準備しておりますこの拡張ボードはSTのSTM32ニュークレオボードというマイコンの評価開発ボードと組み合わせて使用することにより簡単に評価や開発ができるものですこのようにファードウェア、ソフトウェアともにAll-in-one packageということでSTの方から準備をしておりますそしてその評価ソフトのお話ですけども特にZesture認識をするソフトウェアEVKですがこのST SW IMG-035という名前でSTのフォームページからダウンロードすることができますここには先ほどのデモでいくつかご紹介したようなハンドトラッキングですとかスワイプやタップの検出、ハンド絶者の検出それからアプリケーションで写真を送ったり戻したりするとようなことに応用できるようなZestureの認識ソフトが入っておりますこちらをZesture認識の評価としてどれくらい使えるものなのかという評価として見ていただければと思いますそしてZesture認識のファームウェアも先ほど申し上げたST SW IMG-035という評価ソフトと一緒に提起をしておりますこれはすぐに使用できるような弊社のSTM32用のサンプルコードになりますけどライブラリーとして準備をしておりますまたこのZesture認識のところのファームウェアということでは他のSTのマイクを似たりする新しいライブラリーも開発中でございます以上製品としてTOFセンサーをご紹介させていただきました改めましてTOFセンサーそのもののメリットをご紹介いたしますまずセンサーが一つのオールインのパッケージにまとまって発行部も受講部もプロセッサーもまとまったパッケージになっておりますので低コストでセンサーのシステムとして開発ができますそしてそれらを低消費電力で実現することができます比較的低消費電力の迷魂で動作ができるような軽量のアルゴリズムをセンサーの中に入れてありますまたプロセッサープロセッシングとしても例えば映像を使うような映像を使って映像を分析するようなZesture認識等ともしくは他の卒業と比べますとかなり簡単なデータフローになっておりますのでホスト側の方もシンプルなものでできるようになっておりますそれからもともとのTOFセンサーの特徴であります対象物の色や形状サイズに依存しないで対象物のとの卒業ができるというような構成能も備えております従来の赤外線のセンサーの場合ですと対象物からの反射の光の強さを距離として置き換える場合がありますのでその場合ですと対象物の色が白かったり黒かったりすることによって測定できる距離が変わってしまう測定する距離が変わってしまうということがありますのでその辺はTOFセンサーの利点を備えておりますまた途中でも申し上げましたけれどもカメラのセンサーではございませんので画像を使うことがありませんあくまで対象物との距離を図るものでございますそれによって顔の写真ですとかそういったようなものが写されることはありませんのでこのセンサーを使っているということでいますとプライバシー面でも配慮ができるかなというふうに思います一連のセンサーに対するご説明をさせていただきましたけれども改めてこのVL53 L5CXの評価ボード等をまとめてご紹介いたしますまず製品そのものですねVL53 L5CXそれからXニュークレオというふうに申し上げましたけれどもマイコンボードに乗せて使うような評価ボード拡張ボードがございますそれから弊社のSTM32というニュークレオのボードと組み合わせてこのXニュークレオを使うんですけれどももともとそのマイコンボードと2つパックにしたPニュークレオと1つのパックにしたような構成というのも準備してございますそれから一番下なんですけれどもこれはブレイクアウトボードとかサテライトボードとか呼んでいる拡張ボードなんですけれどもご覧いただいて分かるとリセンサーが小さなガムより小さいぐらいのサイズのコッキバンに乗ったようなボードも準備しておりますこちらはですね手作り施策POCですとかそういったようなもので実験や施策をしていただく際に基板を一致起こさなくてもこのような基板でもっていろんな場所にセンサーを取り付けて評価やご検討がいただけるというのに便利かなというようなものでございますこちらを合わせてご検討いただければと思いますこのような評価ボードや製品それからサンプル等に関してはSTのウェブサイトもしくはSTの販売代理店さんにお問い合わせをいただければと思います今回ご紹介いたしましたVL53L5CXというのはマルチゾーンの検出という特性を活かしまして絶茶認識に対してのソリューションを準備しておりますけども少し前の製品でVL6180V1というもう少しシンプルなタイプのセンサーがあるんですけどその頃から簡単なタップですとか複数個使ってこの時は複数個だったんですけどそのようなものを使っての左右のワイプというのの検出を実現しておりました今回VL53L5CXでもって一つで種類の絶茶を認識するようなことが実現できております将来的にはまだ詳しいところは開発中構想中ではありますけどもその他の多彩な絶茶を認識できるような製品のロードマップも今後考えておりますここまでのところをまとめとさせていただきたいと思いますまずSTのTOF即興センサーですけどもSTはTOF即興センサーのサプライヤーの中で長年提供させていただいておりましてリーダー的存在である自負をしておりますその中で今回絶茶認識のソリューションをEVKソフトウェア評価ソフトサンプルコードハードウェアのボードとこちらを入手いただければ簡単に絶茶認識のことが試せるというようなソリューションを準備してございますそして絶茶認識を使うことによっては様々なメリットがございます1つはカメラを使わないということなのでプライボシーに配慮ができるということそれから絶茶という非常に直感的な操作で何か機器を操作する様々なことに応用が可能そしてそれがセンサー1つでもってシンプルに実現できるということ使い方に関してはロバストといいますかそういったようなソリューションになっておりますそしてSTといたしまして今回ご紹介いたしましたGOSAN L5-CXを使った絶茶認識に加えまして将来的にも製品を開発していく予定でございますそしてこれらによって民生機器から産業機器それから衛生的なもの危険なものそういったようなところに対して幅広いアプリケーション市場でもってご検討がいただけるかという風に考えております以上TOF即居センサーを使用した絶茶認識ソリューションについて解説いたしましたSTのTOF即居センサーは絶茶認識以外にもさまざまな用途にご指導をいただけますSTはそのための開発環境を提供しておりますのでぜひご検討ください詳細につきましてはSTのウェブサイトをご覧くださいご視聴ありがとうございました