ということで 40GBネットワークを使ったオープンソースハイパーコンバーチド オープンスタックに関する我々の取組みについてちょっと ご発表させていただきたいと思います私はBitwileの熊谷と申しますご協力いただいたのが 北島さん アルティマの北島さんになりますでは 今回この検証に行うには いただいた背景についてご紹介させていただきます私Bitwileという会社におりますけどもBitwileというのは データセンターの会社ですBitwileが主に提供している サービスというものがありますちょっと見にくいかな基本的にはインターネットデータセンターを 提供する会社になっておりますその中で 今 5つのデータセンターを東京の中で運用している という形になっていますがその中で ネットワークのサービス ネットワークの接続を行うサービスこれはインターネットも プライベートネットワークに関しても構築を行って 提供するということをしておりますまた データセンター内で使う レンタルのサーバーですねレンタルのサーバーについても サービスを行っていますサーバーとかあと ネットワークの機器ですねこれらについても レンタルを行っているという感じですねそれらの機器のマネージドサービス ということも行っています今回の検証に関しては この部分のデータセンターを行っている事業者として オープンソースのハイパーコンパジドインフロアを どうやって構築していくのかというところに フォーカスした検証を行ったということになっておりますもちろん データセンターだけじゃなくて我々もクラウドサービスも 既に別のクラウドサービスなんですけどやってるんですけども クラウドサービスの部分については今回の話とは別の話ということで基本的にはデータセンター内で オープンスタックのサービスをいかに提供するかということに関しての検証ということになっておりますさて タイトルにある ハイパーコンパジドインフロアという話なんですけども最近だと ハイパーコンパジドインフロアという話言葉が結構出回っていますので皆さんいろんな印象を持たれているかと思います我々が求めるハイパーコンパジドというところについてちょっと考えたことを挙げていますがその構成ができるだけシンプルであることその構成に対して 環境のデプロイが簡単に迅速にできることそれらの環境を統合して管理できるということまた それらの環境は容易にスケールすることができるいうところを思った ハイパーコンパジドのインフロアというのが我々として欲しいと思って この検証を行っていますさらに コンセプトとして 特別な機器を要しないと普通の一般的な 汎用的なサーバーネットワーク機器でこれらを構築して提供できるのか どうかというところですねここに向かって検証を行っていますもう一つ プロダクトのソフト部屋に関しても特別な優勝のソフト部屋を使わないみたいなところが目的のもう一つのところになってきますそういった中で 我々ゴール3つ設定しましたところで提供が簡単にできることということでちょっと何回か繰り返し 話しているような感じになってきますけども簡単に提供できることということはリードタイムが短いとなるべく短いリードタイムで 提供できるということです早く 財庫 われわれとしても財庫は少なくでも早く コストもできるだけ抑えるということあとさらにそれらをスケールすることがよいであるこれらに対して どういうふうにやっていくのかところで 今回使ったのは1Uのサーバーですね一番その汎用的であると思われる 1Uのサーバーを用いましてスイッチに関しても 2つだけのスイッチで構成するということにしていてストレージの部分に関しては セフを使いますオープンスタックで デフォルトといってもいいセフを使ってストレージのクラスターを組むということを 行っていますそういったことで構築した構成が こちらになります今回 上調整っていう部分は置いているとしてシングル構成で この構成を組んで 検証を行っておりますネットワークのデバイスなんですけども先ほど2つと申しましたけども 基本的には40GBのこの図でいうと 左側のほうですね左側のほうが主にサービスを使わどる 40GBのネットワークということになりますで もう1つのネットワークは 1GBのネットワークでこれはIPMIをコントロールするための ネットワークになりますここは待機いりませんので 1GBで構成するという形にしてありますオープンスタックのコンポーネントを 提供するノードに関しては全部で6台と 1台がコントローラーノードとネットワークノードで 残りの5台はコンピュートとストレージを 提供するためのノードということでコンピュートとストレージが 同居するサーバーという形になっていますで もう1台ですね ちょっと 迅速にデプロイするというところでジュジュとマースを使ってますので これを提供するためのノードというのが1台あるという形の 5件7台の構成で今回の構成を作りましたで ゴール2つ目として設定したのが パフォーマンスですハイパーコンバージドというのは 基本的に 迅速統合されたなんで1個にまとまってればいいかと思うんですけども昨今のハイパーコンバージドっていう話の流れではハイパフォーマンスであることが必須ということで我々ももちろん ハイパーコンバージド 目指しているというところになりますで ここで出てくるのが 40GBのスイッチの部分になるんですけどもパフォーマンスはより早くとで 優勝のアプライアンスもなるべく使わないで ハイパフォーマンスを実現するためにはどうすればいいかということですねで ここに関して それを実現するためのソリューションなんですけども基本的にサーバーは 最初のところで 繁用的なサーバーというのがを選択していますので 基本的な普通なサーバーただ サーバーのスペックっていうのは皆さんご存知の通り 年を追うことにどんどん上がっていきます今でも仮想化するには 十分なリソースがOneUのサーバーでも持っていると思いますのでここの部分は そのサーバーでいいだろうということにしていますで 実際 ハイパフォーマンスを実現しようといった時に普通のサーバーを使って 残り足りないピースというのがネットワークとストレージですネットワークの部分に関しては タイトルにあるように40ギガのスイッチということあと ストレージの部分に関してはディスクをPCIEのSSDを使って 行っていますと今回の構成では ストレージは全部PCIE SSDですセフでいうジャーナルの部分も OSDの部分もどちらもPCIEのストレージを 使っているということになっていますごめんなさいで 図にしたのが簡単な図ですけどもこのような形になっています40ギガのイザネットにこの青い 薄い青い箱が物理ノードとどこで その物理ノード内にKVMのVMを上げるということとあと ストレージの部分をPCIEのSSDを使ってジャーナルと OSDを構成するというような形でこの一体となったサーバーを横にスケールさせていくことでコンバージドな環境をスケールさせることができるということをしております実際 使ったサーバーなんですけどもこれがHPのDL360のGEN9というこれはうちのレンタルサービスの中で 提供しているメニューの一つでもあるのでうちで使いやすいサーバーですねあとPCIEのSSDについてもうちで今 実績のあるフュージョンIoのIoドライブというのを使っておりますとネットワークの機器なんですけども ネットワークの機器に関してはシークンをちょっとさたせていただくんですけどもアルティマの北島です今回ハードウェア機器の提供とあと評価に際してお手伝いをさせていただきました今回はハイパーコンバージドインフラストラクチャーということで非常に交代域でなおかつハードウェア的にも性能が求められるプラットフォームということでメラノックスのニックカード サーバーサイドはメラノックスのニックカードそしてスイッチ側に関してもメラノックスの交代域なスイッチを使用しました今回ですね 後半の方でどうやってハイパーコンバージドインフラストラクチャーのシステムで高性能なパフォーマスを求めていくかというところで3つテクノロジーの要素を組み込んでいるんですけども今回それらのハードウェアのアクサラレーションのエンジンを積んでいるコネクトX3プロというメラノックスのニックカードを使っています後ほどテクノロジーの紹介は進めていくんですがRDMAというストレージのアクサラレーションの機能のサポートそれからVXLANのオフロードですねオーバーレイプロトコルのオフロードをニックサイドでやるという機能をサポートしているニックを使っていますハイパーコンバージドのシステムにおいてはネットワークのスイッチの宣伝も非常に重要になってきます今回コンピュードとセフのストレージノードがある意味1つのノードに統合されているというシステムになってきていてストレージでは0.cというのが非常に重要になってきますなので今回使用しているスイッチは40GHzオールポート40GHzのスイッチでかつポート2ポートの0.c性能というのが227セッコーダーといわゆる一般的なブロードコム製のチップを搭載したスイッチよりもはるかに0.cが低いスイッチを使って今回性能評価を進めております機能構成が非常になりますもう1つ3つ目のゴールとして我々が設定したのがナレッチのシェアリングということで今回オープンソースを使いますというところの理由がこれにあたるんですけどもオープンソースを使うことによってカスタマイズが簡単になるとカスタマイズっていっても機器構成のカスタマイズですねハイパーコンバージドな環境からさらにもっと違う構成を作りたいだとかいうことができるようにオープンソースなものを使ってやっていくということが1つになりますそのままの真ん中にシェアリングナレッチって書いてありますけどもナレッチを我々提供する側としてお客様にオープンソースのナレッチを提供していってお客様が自分でオープンスタックを理解して使っていただくというところが最終的に望むところにもなってきますのでオープンソースのものをベースに構成していくということを考えていますこのために今回我々が使ったのはカノニカルのジュジュとマースですこれを使ってデプロイをしていきますということになっていますちょっとここでジュジュとマースによるデプロイの説明をしておりますジュジュとマースを使います基本的にはOSのインストールとミドルウェアの設定等を自動化するツールということになりますがこれらを使っているというのがこのリストになります大きく2つ項目を分けているのは上の部分がOSとデバイスのセットアップの部分になってきてこの部分はローカルチャームということで自分たちでどのドライバーを入れてというのを書いて設定したと形になりますその下の部分がオープンスタックのレイヤーの部分のデプロイにあたる部分なんですけどもここのリストの中でCSコロンから始まるものというのはカノニカルのチャームストアで提供されている標準のチャームということでそれをそのまま持ってくるそれを使うことによって簡単にオープンスタックの環境を構築することができるということになっていますその中でもちょっと手を入れなければいけない部分というのがいくつかあるのでその部分に関しては標準のチャームを持ってきた上で自分たちでカスタマイズを加えて構築するというような形で構成を行っております基本的なコンセプトと構成については以上ということでこれらを使ってオープンスタックの環境を構築しましたとその環境の上でパフォーマンステストした結果というのがこの次からのゲージになってまいります基本的なテストの項目に関しては単純なあまり難しいことが今回発表の中に入れていないんですけども2項目です1つ目はネットワークのテストということでVM2VMのネットワークのパフォーマンスを計測していますこれに関してはフィジカル濃度物理サーバーを必ずまたぐような形でVM2VMの計測を行うあとはVMの数を1台から16台までホストごとのVMの数を1台から16台までスケールさせてそれらをパラレルに計測するというような形で計測する計測に使ったのはIPERF3というツールになりますこれでTCPとUDPの性能を計測していきますまず結果がいきなり出てくるんですけどもこれが40Gのネットワークを使ってオープンスタックの環境構築してそのままの環境でTCPのネットワーク計測を行った結果です項目2つありましてトータルと書いてあるのが全VMの結果をサマリーしたものアベレジと書いてあるものはVMごとの性能ということになっていますこの結果を見ると分かるとおりトータルの性能は大数増やすごとに上がっていくんですけどもアベレジの結果は少しずつ上がっていくという形になってきます最高の値を見ても分かるんですけどこれ待機で10Gbpsぐらいということで40Gbpsを使っても10Gbpsぐらいの性能しか出ないという形になっていますベーシックな結果をもう一つ上げていってこれはUDPの結果とUDPも同じような形になっていて基本的にはスケールさせた分だけ増えるということですこの辺もUDPで測った場合の0.4何かを見ていきます0.4に関してはちょっとグラフ上を飛び抜けたところが出ている感じですけどもこれ上の値が少ないので基本的には5.3の範囲内かなとちょっとそのままデータ持ってきちゃったのであれですけどもここに関しては非常に0.4低いかなということがあってこれは先ほど出てきたメラノックスのスイッチを使っている効果という部分になるのということを考えておりますロストバケットについても平裂度を上げてもあまり変わらないという結果にはなってこれがベーシックなネットワークの計測の結果ともう一つネットワークとストレージをやっているのでストレージのIOPSの計測を行っておりますこちらについてはツールがFIOを使って8キロのサイズで100平裂1回あたり100平裂100上部を流しているという結果になりますでこれを1台から16台のVMで実行するとで平裂度を上げて実行するでこの計測に関しては4台の物理ホストを使っています4台の物理ホストの中で各物理ホスト内に1台2台4台と上げて1台から16台までの計測を行ったということになっておりますでこの結果がこちらということでまずはバンド待機ですね待機の方なんですけども8キロでやった結果こちらも平裂度を上げるとトータルのパフォーマンスは上がるということが見えていまして待機で500メガバイトですねパーセックの性能が出るという形ですねでちょっと16VMで下がってくるところはおそらくなんですけどもそのサーバー側の負荷によってその処理が追いつかなくなったことによる性能の劣化があると思われますでこの状態でこの時のIOPSの計測の結果なんですけどもこれも同じような結果が出ますがVMの平裂度上げるとトータルが上がっていって最大で6万6,900なんで7万弱ぐらいのIOPSが出るという形になっていますアベレージでもですね8Kで16VMまで上げたところでも3000IOPSから2000IOPSぐらいの性能が出ますのでそれなりの用途には使えるのかなというところがここまでの計測の結果になりますただ40Gのネットワークをわざわざ持ってきてこれでやってみてこのだけの結果それなりに使えるかもっていう感じですけどもまだちょっとこれでは足りないよねというところがありますのでこれに対してどういうふうな対策をしていくのかというのがこれからの内容になります一つは先ほどもちょっと出てきましたけどもVXLAN OffloadとVXLANで行われる処理をNIC側にOffloadする処理とあとはDPDKというネットワークの処理をCPU側で行うというソリューションがありますのでこれを使った検証とこれがネットワーク側SEFのIOのパフォーマンスを上げるためということでSEFのRDMAというソリューションを検証しています内容になっていきますまずはVXLAN OffloadですVXLANの性能データの前にまずVXLAN Offloadというのは何ぞやというところからちょっとご説明していきたいんですがまず一般的な理解というところで今回ハイパーコンバージドのシステムでネットワークのところはOBSを使っていますオーバーレイを組んでいるんですが基本的にこのOBSがVXLANを喋るのはCPU処理になりますソフトウェアで実装されているのでサーバー側のCPU処理でOBSがVXLANのプロトコルを作ってパケットの処理が行われているというようなものになっていきますなのでこの図でいうと主にピンクのところがVXLANのオーバーレイを貼るところでここでCPUの処理がパケットごとで負荷がかかっていくというところになりますよりパフォーマンスを上げていくためにこのVXLANの処理というのを肉側にオフロードしようという簡単に言うとこういうようなことをメロノクソ肉の方で実装しています一般的な肉このVXLANオフロードのエンジンを積んでいない肉ですとVXLANのパケットサイズ分が増えてしまうので従来行っていたチェックサムだったりTSOのオフロードというのが肉側で対応できないそのためオフロード処理というのもCPU側、ソフトウェア側でやらなければいけないというところで先ほど性能データにあったようなVMを増やしても40GHzのインターフェーススループとかあるにもかかわらず10GHzぐらいで頭内になってしまうというような結果になってしまいます少しディープダイブして仕組みになってくるんですけどもオフロードは何をやっているかというところでまずOVSが作っているVXLANのパケットになるんですがVMで仮想マシン側で作っているインナーパケットというIL部分とそしてOVSで作られるアウターパケットというところで構成されています従来の肉ではできなくなってしまうという理由なんですがこのアウターパケット分リナックスのOVS環境ですと約50バイト分がこのVXLANのアウターパケットで構成されるんですがこの増えた分のパケットのせいでハードウェアがパケットを読み取れないというところでそこがソフトヤ処理になってしまいますVXLANのオフロードエンジンはここの部分を解釈することができるようになっていてチェックサムのオフロードTSオフロードRSSオフロードというところを対応することでCPUの負荷を下げてパフォーマンスを上げるというような仕組みになっておりますここでハードウェアのご紹介になってしまうんですが今回使用しているのはメラノックスのコネクトX3 Proというものになってきます今回の環境では40ギアのニックカードを使用しているんですが10ギアのカードでもこのVXLANのオフロードエンジン対応しているものがありまして国内外とはずかなり採用が広がっているものになってきます先ほどの紹介で3つVXLANオフロードとDPDKそれからRDMAという3つのテクノロジーがあるんですが全てこのコネクトX3 Proのニックのチップの方でオフロードエンジンを積んでいるような形になっています一応対応プラットフォームもリナックス以外でもVMRだったりWindowsだったりだと基本的に全てのプラットフォームで使えるメラノックス自身がオープンハードウェアというようなコンセプトでいるんですけどもハードウェアソフトウェアに移動せず柔軟なハードウェアのチップになっています説明をして結果ですねVXLANオフロードしたネットワークの計測の結果がこちらになります左側がVXLANオフロードした場合右側がVXLANオフロードをしていない場合つまりさっき先ほどお見せしたノーマルの環境でのTCPの待機の性能の計測の結果ですことでこちらを見ると8対8の時が一番出ますね8対8台でVXLANオフロードしたもののネットワークの計測の結果がトータルで30Gbps出たという結果になりましてこれぐらい使っていれば40Gbpsが使った回があるのかなということが見て取れるかと思います16対16になった時ちょっと下がってくるのはまたこれもサーバー側のCPUの処理ですね仮想化されたVM側の処理のところで食ってしまってということになっていると思われますこの辺の16対16で下がってくる部分というのはサーバーのスペックを単純に上げれば解消してくるという部分なのでVMがそれだけ上げられる環境になればもっとスケールしていくということに40Gbpsのマックスまではいかないとは思いますけどもニアリーなところまで出るということになってくると思われますそれでもアベレージの待機に関しては少しずつ下がっていくということで8対8の時で1台あたり4Gbpsぐらいの待機が出るという感じですねという結果になっておりますちょっといろいろあるので次にDPDKの説明に入らせていただきたいと思いますでちょっと先ほどのまでの結果を見てVXLANフロードした場合でも1VMで出ても14Gbpsという待機だったんですけどもこっから先40Gbps使って1台で40Gbpsが出ないのはなんでだろうっていう話があるかと思いますというところでネットワークのボトルネックはこういうものだということがあってそれを解消するためのソリューションがDPDKなんですが基本的にリナックスのカーネルがネットワークのパケット処理するときにある程度のコストがかかっているということがありますでDPDKというのはこの部分のカーネルの行っている処理をバイパスしてネットワークデバイスに直接DPDKがアクセスすることができるようにしてネットワークの性能を上げるというソリューションですちょっと簡単に言うとおまかく言うともっといろいろあるんですけれども簡単的に言うとこのようなソリューションになっていると実際にDPDKを使うときにどうするかというとじゃあそのネットワークの処理の部分をに対して物理的なコアをいくつ割り当てるのかみたいな設定をして使っていくものになりますでこの図でいうと右側の2つがデータプレイにCPUを割り当てているところということでDPDKの処理としてはネットワークの性能がCPUの処理が追いつかなくなったらこの割り当て部分を増やせばネットワーク側の処理が持ってあげられるということで容易にスケールするネットワークが提供できるというソリューションになっていますはい、ということでDPDKを使った検証した結果というのをここでご紹介したかったんですけれどもちょっとですね、ここを今日までに間に合わなかったためにまだ続くので来月検証することになっていますでこの結果についてはまたベッドどこかでですねご紹介させていただくということになるかと思いますで続いてセフのRDMAについてですはい、続いてセフでRDMAが使えるというところがあるんですがでセフのRDMAの前にですねRDMAの説明を少しかじっていきたいと思いますでRDMAというのはリモートDMAということでサーバー内で使われているそのDMAというのをネットワーク越しリモートに行うことができる機能になってきますスパコンとかのクラスターネットワークだと比較的こう一般的に使われているテクノロジーになっていますよくゼロコピーテクノロジーとかというふうに言われるんですが先ほどのDPDKのずっと少し似たような感じになってしまうんですが実際の中身というのはちょっと違った形になってきます左側の図が一般的な愛用のプロセスになってきますアプリケーション側からリードとかライトが走るときにソケットAPI経由でカーネルにデータがいって最終的にニックに出ていくんですが基本的にはバッフワーコピーをされていってソケットレイヤーTCPレイヤーからネットワークデバイスまでそのバッフワーコピーメモリーコピーを設けながらニックをドライバーを叩いてデータ転送がされる形になってきますRDMAというのはここのカーネルで行われている処理バッフワーコピーというのを全て省いてしまいましょうというのが簡単に言うと一言言うとそういう動きになっていてただアプリケーション側でRDMAのスタックを叩くAPIというのがサポートされていないと使うことができませんあとペラスニック側でRDMAのエンジンを積んでいることですねこれがハーデアとドライバーの方でサポートされてなおかつアプリケーション側今回だとセフになるんですけどもセフ側でこのRDMAバーブスに対応することでオーバーヘッドが非常に小さくて非常に少ないレイテンシーでストレージアクセスができるというようなサーバー側の仕組みを取り入れることができます今回ですねRDMAを使った一番大きな理由というのが今回ハイパーコンバージドインフラストラクチャーでPCIのSSDを使っています40ギアのネットワークを使うということでオーバーレイのネットワークの性能それからセフの性能っていうのを求めていく上でSSDを一つ採用しているんですが上側の図で出ているのがネットワークのプロトコルとそれからSSDハードドライブのレイテンシーオーバーヘッドを数値化しているデータになってきていますハードディスクのものだと時期でI用を読み取るのでミリセックオーダーのオーバーヘッドになってきますそうするとネットワークのレイテンシーというのは非常に小さいのでほぼほぼそのネットワークボトルネックになるということはないと思っていますただSSDになってくると桁が二つぐらい変わってくる性能になってきていてエングラフの左側がファイバーチャンネルのストレージクラスターでデータを出してみましたという一つの例になってくるんですが1IOに関してSSDのリードのオーバーヘッドが約半分それからファイバーチャンネルのプロトコル部分のオーバーヘッドが半分近く攻めているという形でSSDはやいのに結局半分近くがネットワークのオーバーヘッドでかかっているというところになってきますよりSSDフラッシュストレージの性能を求めていくという部分でRDMを使っていくんですがRDMを採用すると右のエングラフのあるようにほぼほぼネットワークでかかるオーバーヘッドの割合というのはほぼゼロに近い値になってきます要するにSSDの性能を最大限に貸している構成になってくるというところになりますではなぜセフのクラスターでRDMが有効になってくるかという部分でいわゆるセフっていうのはSoftware Defined Storageでスケールアップというよりはスケールアウトでどんどん横に広げていくというのはコンセプトになってくるので非常にイーストウェスト横のトラフィックが多く発生するというのが一つ特徴にあると思いますなのでここのオーバーヘッドを極力少なくして交代域で速いストレージネットワークを組むというところでRDMを使っていますさらには今回コンピュートとストレージが腹持ちになっているのでサーバーの負荷はそれなりに高くなってきますなのでここのストレージのCPUのリソース部分というのをしっかりニック側にオフロードするというところでRDMを取り入れましたこうすることでスループットとIOPSをRDMを使わないものに比べてさらに何倍にも上げていくというようなことが期待できるというところになってきますただになるんですけど次のスライドですねあ まだですね一応セフのRDMAということでハンマーのバージョンからサポートされていますサポートというか機能的に組み込まれていますXION MESSENGERという機能になっていくくるんですけどもこれを組み込むことで先ほどのRDMAバーブスというAPI経由でニックのドライバーをたたくことができるというようなものになってきますただですね一つ注意がありまして今現状ちょっと下の赤枠の一部になってくるんですけどもエクスペリメンタルサポートということでまだ限定的な機能ですよというふうに歌っていますまだGAリリースではないのでもし触っていただけると分かるんですけどセフのコマンドを打つとまだ危険ですよみたいなメッセージが出てくるんですが以上機能的にはサポートされているのでこれで性能測ったりだとかそういうところはできるようなものになってきていますで性能を計測した結果がこちらになりますでちょっと青枠で囲った部分ですねちょっと数字小さくて見づらいんですけどもリードで700メガバイトライトで200から300ですねIOPSでいうとリードで9万3000円10万弱ぐらいライトで25000円から30,000円ぐらいということで計測した結果がこれなんですけども目標とするのはPCISDとニアリーコールな性能なわけでこれでは全く足りないという状況に今なっていてちょっとトライブルシューティングとしつつですね性能をかけているところとなっておりますということで今回の検証の結果というのは今ここまでになりますでちょっと物足りない部分たくさん残ってしまったということでなんですけども一応サマリーするとVX3オフロードに関しては効果見込めるということでこれを使うことでただその40GBのネットワークを持ってきて使うよりもかなり効率的なネットワークの利用ができるようになるということは分かりましたでその他のRDMAとDPDKに関しては継続して検証していく中で性能をより引き出すという方向でやっていこうと考えておりますでこの結果についてはまたどこかのところで発表させていただくということになると思いますそれでまだ途中というところはあるんですけどもハイパーコンバージド的なインフラということでやれることっていうのはまだたくさんありますねで最近いろいろなネットワークだったりとかストレージのデバイスっていうのが出てきてますので我々としてはこれをどんどん試検証していってハイパーコンバージドインフラと呼べるオープンソースでそういった呼べるものを構成するというリンク見を続けていこうと思っていますで具体的にはネットワークのフロード今回VX3オフロードを使ったわけなんですけどももっと他のネットワーク機能をフロードするというようなデバイスもありますのでそちらを使った検証ですとかメモリを何度のフラッシュでやるようなソリューションだとかメモリスロットに差した何度のフラッシュでディスクのストレージを使うようなソリューションだとかっていうのがありますのでそういったものを使った検証などを考えておりますあとスケエラビリティに関しては今回ネットワークのどのところはオープンスタックのオープンブイスイッチのネットワークを使ったわけなんですけども本来そこのスケエラビリティとハイパーコンバージドっていうものを考えた上では分散ルーターですねDVR的なものを使うっていうのが必須かと思いますのでそちらの方DVRの検証をするのか他のSDNのソリューションを検討するのかというのがあるんですがその方向に向かっていこうと考えていますと以上で我々の発表終わりとなりますありがとうございましたありがとうございました