データパイプラインで輝くオープン シフトで実行する AI IoT Workloadということで 私レッドタッドで クラウドソリューションアキテクとやっております 人が 最後の聖書ですね オープンさせていただきたいと思います よろしくお願いいたしますまず 私の自己紹介ですね これでタッド3社名でして 最初の会社で 大規模なサイバー空間 セスネレータセンターっていうところで 非常に多くのコンピューキング 環境の構築が運用しておりましたで タッドの前の会社ですね 実際 これコンビニの AI IoTの実証実験のPOCであるだとか 実際導入推進っていうのもやっておりましたなんで サイバー空間とフィジカル空間 両方で 比較的大きな規模の処理システムの経験がございます 今日は そんなところで データ パイプラインっていうデータを集めるところと AI IoTっていうそういう機器の話をさせていただければと思います 全職のテーマになりますけれども主に AI IoTをやっておりました 店舗で発生するデータを IoTで推移上げて AIのモデルで配せたりだとか ダッシュボードに表示していろいろな改善をやっていたりだとか ってことをしておりました 最初はやっぱり IoT 出来合いのスレッション 使うことが多かったんですけどもだんだん 店舗の中の スライドの真ん中の下の方にありますけど店舗のフォードファネルみたいなところで だんだん いろいろな IoT機器と連携させていくような 推移方向のデータ連携っていうものが業務として多くなってきていました 最初 現状 よく分かったことなんですけども非常に多くで回ってソリューションが 推移直方向ですね 推移方向で連携できるソリューションはないです 従来のエッジカラスのクラウドの短方向の流れですからね そこから 相方向のデータ連携っていうのは普通に発生するようになってきたと そういったところが今日のテーマになってきていますとあとは いろいろな AI IoTで店舗のカメラと使うようになってくるとやっぱり季節のカメラと季節の防犯カメラなんかを使ったりしてそれをAIでどういう行動が発生してるか っていうと見ることが多かったりするんですけどもそういった季節のカメラとかですね やっぱり画質が悪かったりだとかあとはネットカメラでなかったりするので やっぱりデータ連携の難しさっていうところでやっぱりどんどん導入が進めば 進む方ですね 課題っていうのが多くなってきましたさらにパテンポ展開とかなってきてですね お店ごとに光の強さとかレイヤーとかもどんどん変わってくるので やっぱりそういったやっぱり埋めるために人足なデータ収集と それを繰り返してモデルを作り直したための仕組みっていうのが必要になってくる っていうことが分かりましたじゃあちょっと視点を変えてですね 情報通信発祥っていう日本の国から出てるデータいくつか持ってきて 日本の中のデジタルデータ活用っていうところを見ていきたいと思います この情報通信発祥のレイヤーに2ヶ月3ヶ月ぐらい前に出ましたけれども そこで5Gの商用が始まったのでそういったところを景域にデジタルデータの活用っていうのがまんま進むんじゃないか社会全体のデジタル化として やっぱり重要の役割を果たすんじゃないかと書いてありましたキャルドですね 分析に活用しているデータっていう左の図を見ますと やっぱり5年前に比べて分析されるデータの種類ってすごく増えてきました ちょっと5年前だったら考えられなかったようなデータ普通に解析をされているような状況ですねこんな感じで 昔は企業のITシステムやった顧客データケーリデータっていうのは 普通に分析で使われてきましたけれども今はIDポストの普及によってポストデータとか IOTとかが普通に使われるようになっていたのでRFIDとかセンサーデータとか 遠隔関紙 カメラデータっていうものの活用が進んできていますはい 右のあの図にありますけれども 多くの企業の展望としてやっぱり今はこの緑のグラフになっていますけれどもデータの質ですね 多様性とか流度 頻度っても増やしていきたい 向上させたいあとはデータの量を増やしたいっていうこととこのデータの質量をよくして増やしたので 分析技術の向上させたいってそういう思いが経営のデータ活用っていうこの点が思いがあるようですはい 一方でこの情報通信発書から見えてくる課題としてですね2つの図を出展として見てますけれども学習データをしても 保有して 保有していないってことがやっぱりよく挙げられていますデータをどのように集めるか またどのように活用するかっていうところに課題があるようですねはい 左の図の方は大企業 地域予定のオレンジの線がですね 大企業で緑の線が中小企業になってますけれどもデータ活用の式がやっぱりちょっと高いのではないかっていうところでやっぱりチャレンジができる大企業とやっぱりチャレンジができない 余裕がない中小企業みたいなそういうところに分かれていっているようですはい で 海外の方にちょっと目を向けてみるとですねそれが右の方の図になってきていますけれどもこれは日本とアメリカとロイツですねロイツはこのアインダストリー4.0みたいな感じでまさにそのIoTというか 工場の中のIoTを推進していくような国になってきていますけれども そういったアメリカとロイツを比較してみるとですねこのデータの収集データの蓄積データの処理全てにおいてやっぱり日本はダブルスコアみたいな結構な差をつけられているようですとつまりデータ活動実現するだけのデータの収集蓄積が行えていないじゃないかつまり最初にデータを収集しないと処理していけませんからそういったところで最初のつなずきというところが起きているんじゃないかなと思っていますはい そういったところですねデータ活動に対する課題に対策としてデータ活動も考えていることはですねエッジからクラウドまで どこでもこの仕組みで展開が用意になったというところであとはSMRで5つありますけれども2つ目ですねさまざまな場所で展開を見せた自立運用が可能な仕組みを持つあとは単純な聖職方もIOPから連携したデジタル追加サイバーフィスカルシステムのような対側でデータ連携をしていくようなクラウスコを構築できるあとはですねデータ活用が用意な仕組みの確実が可能などまたどこでもこう出すためAIモデル開発を繰り返し実現するクラウスコの実行で繰り返しですねこれなんかソフトウェアの開発の中でCICDとか言ったりしますけれどもそういった活動ですねどんどん開発をテストする繰り返すさらには継続的にデプロレスしていくっていうプラットフォームが必要なんじゃないかなそれを提供できるがマレタじゃないかなと考えていますはい5つあるうちの一つ目ですけどもエッジからクラウドのでどこでも同様の仕組みで展開が用意なと思うんですねレタとアドバンスのクラスターまで人工工割れっていう形でこのハブに上にハブクラスターっていうのが言いますけれどもそれがクラスターAって実際のワークサービスをクラスターを管理しています例えば新しい地域に店舗を作るのでクラスターがクラスターBで必要になったように何もない状態ですねクラスターAのポリシーを眺めこしながらクラスターBを構築していかなきゃいけなかったりして非常に同様のクラスターを作るのは結構大変だったりしますけれどもアドバンスのクラスターもネジメントを使うことですねクラスターの作成からアップデートハッキーまたバージョンのアップあとは正常に動いている情報が同じような動きをしているとそういった後は運用のポリシーの配布基本的なサービスどのクラスターでも使うサービスの配布ということを必要な仕組みがありますこういった形ですね非常にAI IoTとかでエッジの環境でオープンシフトとかクーバネイツが必要なときにこのACMでも使うことですね非常に簡単にデプロイすることが可能になっていますデプロイ感じですね簡単にできますあと二つ目ですね様々な場所での展開を見せた事実には簡単な仕組みにクーバネイツのオペレーターってものを使えますオープンシフトはほぼほぼクーバネイツのオペレーターの塊といっても囲んではないですけどもそういったところですね自立運用可能な仕組みっていうものがまずと思っていますいろんな環境でデプロイする必要がありますからそういったところで運用者がなかなかカットできないとかなかなかその手がいろいろな場所にクラスターがあったりすると運用大変になりますからそれたくさんのクラスターいろいろな場所で動くクラスターってものもなるべく手をかけずに運用していることが必要になりますクーバネイツオペレーターを使ってクーバネイツ自体を拡張してクーバネイツ自身にこのシステムをさせることを可能にする仕組みがありますさらに水直型から水平型のタイツクラスターということでオープンシフトはプラポンと言っていますけども本当の意味がプラポンってやっぱり下から上までのすべてしっかりカバーして必要なものを必要な人に必要なだけ与えることができると思っていますはいパブリッククラウドとかであれば本当に必要なものっていうのは過剰なまでにたくさんと思っていますけどもこれをじゃあオンプレミスで必要になりましたとかセキュリティー要件が厳しいであるとか平気地にテプロイしなきゃいけないってなった時にパブリッククラウドはちょっと難しいと思いますそういったことに対してオープンシフトはフィジカル物理環境だったり過剰の環境またプライベートクラウドとか企業の中の小さな環境またはパブリッククラウドに対してのオープンシフトってものがどこにでもデプロイできますしどこにデプロイしたオープンシフト左側のようにモニタリングとかレジストリーいろいろといったクラスターがクラスターを運用するために必要なサービスあとはサービスメッシュファンクションですねサーバーですしねあとはiSべき形で組み込み剣ソフトウェア関してのこのアプリケーションサービスでもの提供をしていますさらにまた開発環境というところもまたと思っているわけですどこの環境でも同様の仕組みが手に入ることができますはいオープンデータハブって書いてありますけれどもデータ活用用意な仕組みの活動になりますこのセッションのアブスタシナマオープンデータハブって言葉は触れられていたかと思いますけれどもオープンデータハブって何かって言うともともとはデータ社内でお客様からいただいていたケースやのかトリアスとか障害に対しての分析プラットフォームとしてできましたなので最初はデータを蓄積していたデータを集めていたデータパイプラインですねあとはデータを貯めたら今度は解析することになりますけれどもそういったところですねAI-AMLみたいなものをよく使うのが最近が終流になってきていますのでそういった形でデータパイプラインとAI-AMLなどのような統合サイダムのデータになってきましたで、パッと社内だけで使う訳だなこれはコミュニティのプロジェクトになってきましてアメリカであれば色々な大学さんと連携して使っていただいたりとかオープンシフトを使っていただいているお客さんと一緒に開発をしたりとか必要な要件に応じて開発をしてどんどん進化をさせて行っているようなオープンソースプロジェクトになってくるこれはオープンデータッドなの今は生物ハブの製品ではないわけですねこのオープンデータハブの構成用そしてネットハブの製品があるわけですこんな感じですね左側に製用構成ソフトウェアがありますけどもストリンパイプラインでIoTカーで発生したデートを素材に乗せて処理をしていくためのソフトウェアが整っていたりとか各種ストレージでありますけどもオブジェクトデータだとかデータベースRDVMSのような構成パターンのデータを取り扱うことができるしデータサイエンティストとかAIでモデルを作るとかいろいろデストを繰り返したりとかしていきますのでそういったところですね実際のデプロイができるようなあとは実際デプロイしてモデルを変化していくとAIで処理させると良くなった悪くなった制度が上がったとかよくテンポの方にカメラをつけて制度が良くなった人に悪くなったみたいなことをしていましたけどそういったところですねスーチにしてラッシュボードで見ていくこのモデルのバージョンがすごく良かったこの新しくデプロイしたバージョンがすごく悪くなったみたいなことが即座にまかるようにグラファナとプロメテースを使ってあっておりますあとですねモデルのサービンについて実際モデルをデプロイしていたりとかクーベフローとかでクーバリストを連携したGPUの上段階ができるようになっていますはいたどこでも効果を出すためにAIモデル開発の繰り返しを実現する傾向とか現場でもいいんですけどゴールAIを開発したときにどういったことなしと言いたいかどういった部分を解決したいかという部分のゴールをしていたします次にはそのデータのゴールを準備したりとかクレンジングをしたりとかアナノテーションをつけたりとかいろいろしますけれどもそういった準備をします今度はそのデータAIモデルを開発していることになって最終的にはAIのモデルをしっかり動かして推論して推論した結果実際サービスとして出した結果もどんどん環境が変わってくればいかに経験はするので繰り返すというわけですねオープンシフトであればこの単位のプラットコンでAIモデル開発ではできるのになりますはいGPUを使ったAIメール処理ということでオープンシフトGPUを扱うことが可能になっていますよくGPUを使っていろいろAIメールのアプリケーションを作るときに課題になることとしてやっぱりGPUってまだハードウェアでGPUを使ったまではAIメールの開発ですねソフトウェア開発者であるとやっぱり間がすごく難しい何が難しいかというといろいろなライブラリーとかブライバー、ムゾルウェアのバージョンがあってそれぞれの組み合わせによって動くのがおかないがあったしますそこに対してオープンシフトの場合これも全部オペレーターですけどオープンシフトのクーランドライバーとか各種クーランドツールキットモデル人物のフレームワークとしっかり揃えてデプロイすることが可能になりますはい実際そのGPUを使うときにオープンシフトのGPUを使うときにどのようなものが動いているかというとNFDノードフィーチャルディスカバリというオペレーターが動きますがハードウェアに搭載されているものがいくつを支えているのかモデルがどういったものかあとNICとかも認識しますねあとCPUのバージョンだとかそういったものノードの機能をディスカバリするオペレーターというものがありますそれを使ってこのノードにはGPUあるよって良かったらGPUオペレーターが動いて先ほど説明したような守るもののバージョンちゃんと動くバージョンが整合性がプロイスな形になっていますやっていることはすごくたくさんありますけどGPUオペレーターというのはバージョンの衝突解決毎戦解決であるんだとかあとはGPUのドライバー自治体ビルドしてそれがちゃんと動くものなのかその動くものがハードウェアでサポートしているかそういったところの動作テストを行ってくれるわけですさらにはさっきからNFDとかでどんどん見えていますとしてグラフとして見ることができますよって述べますけどもGPUオペレーターも連携して止めているその方にエクスポーターが動いてメッセクスを進出できるわけですこのGPUオペレーターを使うことでオープンシフト上ですねGPUを使って簡単にAI Mの開発をすることができるなりますマニュアルでこの中普通のOSの上にGPUを搭載して使うのが結構面倒くさいしたくなってそれぞれがガッチャンに乗って入れ込になってますけどもGPUオペレーターを使ってネタのシフトをOS上にデプロイするときれいにきれいにきるからね右側の図のようにそれぞれがプラグインでポンポンポンと置かれていくような形になってますなのですごく簡単に使えることが可能になっていますじゃあちょっと話を戻す従来のデータパイプラインって言うと何かAI IoTでデータを集めて分析をしようとした時にはデータをどのように送るかちょっと僕も全職でやってましたけどUSBメモルを使ってパソコンにデータをさしてステージに置いてアプリケーションサーバーで取材するみたいなことも結構ありましたですね従来のデータパイプラインという形はやっぱり人が介入してデータを送ったりだとかあとは他の場所でデータを活用しようと思った時にやっぱりストレージが届く範囲じゃないとデータを活用することができなかったりしますのでやっぱり特典のデータが取らわれてしまう水平方向とかデータを色々の機器と連携して新たな価値などでデータを生み出していこうとするとこういった従来のデータパイプラインというのはすごく問題に課題としてあげられますスケーラブリティーだとか専用機器で展開が大変だったりとかあとはデータの活用の範囲の展開利用できる場所が限定的であるということがあります使いやすいデータパイプラインとどういったものかというとどこからでも利用が簡単で展開が容易でかつスケーラブリティーですねどんどん利用のシーンが増えたりだとか実際データを送ってくるエンティティアイオーティンデバイスが増えたりするとスケーラブリティーが非常に重要になりますからそういったところが対応できるコネクションですであるか市場にサーバレストを使ってスケーラブリティーが取れるようなそういう仕組みが求められていますデータパイプラインをオープンシフトの上に載せた例というのがあってちょっと今日はデモなんですけどもデモはちょっと動画でちょっと長いのですね画像でいくつかピックアップしたものをご紹介していこうと思いますけれども自動鎖えたデータパイプラインを用いたワレントゲン画像によってハイを検出する仕組みっていうものもデモがありますちょっと時間があったらまたYouTubeをやがってますので見ていただければと思うのですけれどもこんな感じですね様々なデータのハイウレントゲン画像がありますけれどもそれをオープンデータハルジョンに流してデータがいっぱい処理をさせてそれを次に繋げていくみたいな感じのデモになっていますはい 実際デモのパイプラインですねこんな感じで新しいエクセン画像のイメージをバケットのほうに投げてそれをサーバレスを使ってケーニングを使ってサーバレスを使ってディスクアセスメントというのポットですねオープンシフトのポットで処理をしてそのすべての結果ですねお医者さんのほうに通知をすると角度が80%以下でちょっと怪しいんだけどわからない予定の時はアンマイズイメージという匿名かですねデンタゲン画像には撮影日とか患者の名前とか年齢とか性別とかっていうのが表示されているかがありますからそういったもの昔で今度そのセントルデータサイヤスラップって書いてありますけれどもそういったところ医者に研究用とで使うための画像データとして送るような感じですねこういったものをちょっとデモを組んできましたみたいな感じですねでマニフェストリソースって言いますけどこれいったぶんですねこのデモを実行するためのマニフェストファイルが整っていますこの言われる見ていただければどういうデモをしたりだとかどういう形でデプロイしたりだとかということが分かりになっていますこれオープンシフトのデベロッパービューになりますけどもこれ先ほどのURギットハブで説明してマニフェストを全て展開するとこのような形になりますイメージデネレータでも左に行きましてこのイメージデネレータがハイエンの画像でランダムを生成してエッスリネバケットにを投げていくわけですねエッスリネバケットにあったらカフカのアイコンがあるんですけどカフカがこのイベントを受け取ってケーニングサーバーレスのオプションサーバーレスの伝えがありますこの青いグルッとした円がありますけどもこれあのポッドも起動している数を表しています1個以上起動していればグルッと青色になるような感じあとハイエンのリスクを診断するポッドですねリスクアセスメントのポッドになりますけどもこれ今白い円サーバーレスなんで今リソース消費をしてないってことになりますこれもあとダッシュボードがありますダッシュボードを見ていくとどれぐらいのポッドが起動しているかでカフカに今すごくイベント固まってどんどん処理していかなきゃいけないんでサーバーレスのポッドが見られるようになりますその他のポッドもいくつかありますのでもうカフカをどうさせるためのカフカのクラスターとかあと2キーパーですねクラスターをデプロイしているのを表していますあとダッシュボードでいくつかいろんなものを表示していますのでグラファのポッドがなっちゃうあとデータベースですねデータベースを起動してハイエンであるかとか結果を蓄積しているようなものがありますあとイメージサーバーですねちょっとデモの動画じゃないんでサッと移りましたけどイメージで立て物が起動して画像どんどん生成していると青い線がつきましたこういった形でカフカに画像が上がったイベントが上がってくるとケニティフってオープシュサーバレスポッドが立ち上がってくるな形になっていますこのデプロプトビューだけだとどういったことが起きているか分からないので次のスライドでダッシュボードのほうにつぎますけれどもこういった形ですねいくつイメージがスルーマーケットに上がったかというのを今やって上がってますよイベントでカフカに伝えてディスクアセスメントもポッドが上がってますイメージ処理しましたよそのうち80%以下で若干安心だけどというのが必要ありましたよみたいなのがここにラストマイトのイメージという形でイメージがアップロードされてるということが分かります全部上がったイメージというのは最大10個のイメージを今表してますけど上がったかというのが組まれていますけれどもそれが処理されました特命化されたという形ですねIDが振られたりとか名前が消し込まれているということになっていますそれがどんどん続くと起動していてディスクアセスメント4つ立ち上がっていますその分だけCPUからのユーゼージが上がっているような画像のほうの詳細を見ていくとこれ別のディザインになりますけども最初に最後にアップロードされたイメージを見るとこんな感じでハイムレントゲーム画像ちょっともしかしたら結構見にくいかもしれませんここに詳細名前が書いてあったりとかいつ取られたかということが出ています最後に処理されたイメージここにリスク以降100%確実に肺炎の感じであるみたいなことが出ています左側の方に診断結果処理されてディスクアセスメントも処理されたのでラスト2枚ずいイメージという感じでちょっとよくわからないディスクは68.89%で出ましたよAIの学習モデルでちょっと疑わしいんだけどよくわからないみたいなものが2枚されて研究者の方にこういう感じで研究目的で処理されますとここの名前がぼやけて見えるような感じになります最終的にすごくイメージのマップローブが早くなってきたのでCPUのユーゼージがどんなかってディスクアセスメントサーバーですでスケールしていたということがわかりますこんなデモになっていますちょっと画像でしたのでデータパイプラインでこんな感じにすごく連携というのが可能になっています最後ですねまとめになりますけどもレッタットが描けるデータパイプラインで世界観ということでマークのシフト一つのプラットウォーム上でこういった形で様々なアプリケーションをデプロイしてユーザー使いたい時にさらに使いたい場所ですねAIMLだとかそれ以外のアプリケーションを当然動かすことができるようになっていますオープンシフトにオープンデータハブをデプロイすることで統合されたデータパイプラインの装置というものが可能になりますはいそうですね 30分間ご清聴ありがとうございましたレッタットの動画発表させていただきましたありがとうございました