はい みなさま こんにちは時間になりましたので セッションを開始したいと思います本日のこのセッションはHow OpenStack is Imprevented at GMO Public Cloud Service ということでGMOインターネットのオープンスタックの活用とかパブリッククラウドで オープンスタックをどのように使っているかとかそういったお話をしたいと思います私はのGMOインターネットの サイトウヒロノブと申します前半は私からお話しして後半は5個からお話しするといったそういった前半後半の2部構成で進めさせていただきたいと思います最初の私のパートは基本の 昨日失礼しました昨日の機能とのフォローアップのような形で我々のクラウドサービスがどのようにオープンスタックを使っているかそしてそれらのクラウドが我々の授業にどういった影響を与えているのかそういったことをお話しします後半の5個のセッションの方はより技術的に突っ込んだ内容になります我々のクラウドサービスの裏側とかあとオープンスタック等の関係ですねそういったところをお話しする形になります全体で40分ぐらいですねどうぞよろしくお願いいたしますこちらが本日の前代になりますすみません 今お説明した感じですね最初にGMOについてお話をしますそして次に我々がなぜオープンスタックを使っているのかこれを2番目にお話しますそして3番目に5個の方から技術的な部分をお話ししますではまず我々GMOインターネット株式会社についてです我々GMOインターネットは日本を代表する総合インターネットグループへというキャッチコピーでインターネットに関するさまざまなビジネスを行っている会社です現在GMOグループはグループ全体で86社内上上企業が9社そして全体で4,415人のインターネットのプロフェッショナル集団で構成されていますそしてそのうちエンジニアが全体の40%を占めておりますもともと失礼しました私たちは1999年の8月にインターネットの企業として日本で最も早く上場した企業になります現在は日本を代表する総合インターネットグループを目指して4つの事業領域で構成されていますこちらが我々の事業セグメントです左上インターネットのインフラ事業企業や個人がインターネット上で情報発信をするために必要となるサービスを提供する事業ですそして上の真ん中こちらはインターネットの広告メディア事業ですこちらはインターネット上でさまざまな集客を支援する広告などのサービスを展開している事業ですそして右上インターネット証券事業こちらはインターネット上で手軽に証券取引やFX取引が行えるNUサービスを提供している事業になりますそして下がモバイルエンターテインメント事業こちらは2011年頃から提供開始した事業です既存事業の技術力やマーケティング力あとキャッシュフローなどをこちらの成長分野に投資して収益の4本目の柱にしていきたいというのが現状の状況ですGMOインターネットグループはこれら4つの事業から成り立っております今日お話しする我々のクラウド事業ですねこちらは左上のインターネットインフラ事業に属するサービスになりますこちらが我々のインターネットインフラ事業の概要ですすいませんこのページは少し一部日本語のままとなっております我々がインフラネットのインフラ事業と呼んでいる事業がこちらなのですが要は我々のユーザー様がインターネット上でビジネスを行うために必要なサービスをまとめて提供するというものです例えばドメインドットコムやドットネットドットJPのようなものですねとかセキュリティSSL 決裁ECサービス支援そして広告なのですユーザーがこういうサービスを利用するにあたって多くのサーバーとかクラウドが必要になります我々のクラウドサービスはユーザーのビジネスを支えるために非常に重要な事業となりますそして我々はさまざまなインフラ事業をすべて自分たちで提供することでサービス同士のシナジを生かしてユーザーに提供できると考えていますこのようにクラウド事業というのは我々の事業にとって非常に重要なポジションを占めていますでは次にGMOインターネットのオープンスタックの使われ方をお話ししたいと思います我々は現在4つのオープンスタックベースのクラウドサービスを展開していますクラウドのサービスにはかきらないのですがGMOインターネットは自社のサービスを自分たちのせで設計して実装して運用を行うようにしていますそうすることで我々は知識とか経験やノーハウそういったものを蓄積することができて一方でユーザーに対しては最適なサービスをスピードに提供できるとそう考えているからですこれは4つのクラウドのうち一番最初に登場したのが左下のお名前VPSというものです最初はVPSサービスとしてオープンスタックを使い始めたんですねその次に出たのが右上のGMOアプリクラウド次に出たのが左上のコノハ最後に登場したのが右下のお名前.comクラウドそして今年の2015年の5月に左上のコノハというもののサービスリニューアルを行いオープンスタックベースの完全なクラウドになりましたコノハは我々のオープンスタックのプロダクトの中でも非常にアグレッシブなプロダクトだと思っていますコノハではオープンスタックのコンポーネントをベースにした非常にたくさんの機能があります一方でオープンスタックのAPIをユーザーが使うことができるのが特徴ですほとんどのAPIが公開されていますなのでユーザーはオープンスタックに対応したソフトウェアとかサービスをそのままこの波上で使うことができますコノハは多分我々のオープンスタックベースのクラウドの中でも一番オープンスタックの機能をフルに使っていると思いますこの4つのように我々オープンスタックを使うことで常にプロダクトの改善とかを行えています我々がオープンスタックを使う理由はいろいろあるのですが3つにまとめてきました1つ目オープンスタックには我々のようなクラウド事業者にとって必要な機能がたくさん実装されていました仮想サーバーの管理、ネットワークの管理あとストレージといった部分ですねかなりの部分でオープンスタックのコンポーネットを使用していますこれによって開発機関とか開発リソースを削減することができました2番目オープンスタックのやっぱりコンポーネット同士の独立性が高くて溶結合なんですねレストエピアで連携するのはアーキテクチャなので我々の例えばサーバーの部分、ネットワークの部分ストレージの部分、課金管理の部分などコンポーネットごとに我々の専門のチームが開発することができたと最終的にはそれを混じしてプロダクトにするみたいなそういった開発、非常に良かった開発体制を取ることができました最後ですオープンスタックはオープンソフトウェアなので独自の機能を我々が実装することができました特にこの株は結構多くのコンポーネットで手を入れて使っていますお客様が使う機能もそうですし我々の内部的な処理ですね例えば我々の課金基盤と連携したりとかユーザーが使う部分ではこの株は独自の拡張を加えてVMに対してユーザーが急イメージをアタッチするという機能があるんですねそれによってユーザーがVMに対して急イメージからOSをインストールするといったそういったことが可能になるとそういった部分は我々の実装だったりしますこれらがこの株で利用しているオープンスタックのコンポーネットの一覧ですねほとんど使っておりますほとんどのコンポーネットで全ての利上に置いております中央がこの株のサービス名で左側がオープンスタックのコンポーネットですね今までが我々がオープンスタックをなぜ使ったかという理由の部分ですここから少しエンジニアらしいことを話しようかなと思って私今回のサミットで結構ビジネスとか会社のことを話していたんですがもともとアプリケーションの開発者だったので少しオープンスタックのAPAを使ったツールとかいろいろ書きましたのでその辺りをお話ししたいなと思いますここに出ているベイグラントとドッカードッカーマシンは2つはプロビジョニングツールですね上のこのベイグラント多分使われている方も多いと思うんですがバーチャルボックスとかAWSデジタルオーシャルみたいなところで自動プロビジョニングを行うツールですね多分エンジニアだけじゃなくてアプリケーション開発者とか多分ウェブデザイナーみたいな人も最近は使っていると思いますもちろん私も使いますし下のドッカーマシンはこれはホワイト最近出てきたものでドッカーホストをプロビジョニングするというのをドッカー公式で作ってるんですねドッカーは最近ツールボックスというのでいろんなドッカーにふずしたツールを作るようになっていてそのうちの1つですねこれはまだベータ版なんですがもうすぐオフィシャルになるらしいですこの2つなんですがオープンスタックのドライバーがあるんですね要はオープンスタックに対応したシステムに対してプロビジョニングを行うというものですね残念ながらこの2つ結構コノハで動かなくせですね問題となったのに2つでコノハはIPV4とV6のデュアルスタックに対応していたとかあとプロバイダーの方がフロアプティングIPにしか対応してなかったとかちょっといろいろ細かい地域を運んで動かなかったんですねオープンスタックは結構オープンスタックに対応したというふうにドライバーとかプロバイダーがあってもオープンスタックの構築されたシステム設定とかいろいろ違うんですねそれによって対応しているといっても意外と動かなかったりというのが結構まだ現状はありますやっぱり自分が使いたいというツールが自分たちがリリースしているクラウドで動かないとそれは寂しいだろうということでどうしたかといいますとベイグラントの方はしょうがないので自分でフォークしてフローティングIPじゃなくてFixedIPの対応してあといろいろキーストンから帰ってくるサービスカトログが違うとかそういった細かい違いとかを全部直して自分でリリースをしていますルビジェムズに登録して大体1000ぐらいのダウンロードがあるんですかねこれでこの方でもベイグラントアップができるようになりました一方で下のドッカーマシンの方はこれはですね確かIPV4とV6のデュアルスタックに対応しない実装になっていてこの方で動かすとV6のアドレスが取れて通信できないとかそういった不具合があったんですかそれも開発元にプロリクエストしてマージしてもらえて次から入るという形になったりしました僕に結構ここで言うのもあれですけどなかなかオープンスタック対応とか書いてあっても意外と動かなくて自分たちで直すみたいなのが結構ありますこの方とかも開発するときに動いたり動かなかったりとか対応してると言ってたのが動かなかったりとか結構あってそういうのを自分たちで解決しながら使うというのがオープンスタックの現状なのかなと思っていたりします他にもワードプレスのプラグインなども作っていますこの上のはワードプレスって動画とか画像ファイルとかをブログの機にアタッチできるんですけどそういうのをスイフトに保存できるようにするプラグインですねこれによるとワードプレスのホスト自体に大きいファイルを保存しないでそれをスイフトに保存できて動画とかファイルとか大きいファイルの配信もスイフトのウェブ公開で直接できるとそういったのを自動的にやってくれるプラグインですねあとはその下のようにこの他の独自拡張に対してこの下API用のツールとかを作っていますちょっと私は実はパイソンかけないのでオープンスタックのコード自体に直接コントリビュートできないというのがずっとはがよいなと思っていたことがあったんですがなのでオープンスタックのAPIを使ったツールとかドライバーとかそちらをちょっと作っていきながらできるだけそのオープンスタックシステム同士のいろんなシステムで動くようにしていって結果としてこの端の上でも動くソフトウェアとかが増えたらいいかなと今は考えています以上で私からのお話を終わりました最初GMOインターネットの中についてお話ししました次にGMOインターネットの中でクラウド事業というのがどれくらい大事かあとどういうポジションにあるかということをお話ししましたで2つ目我々がなぜオープンスタックを使っているのかどういうふうに使っているのかそういったことをお話ししましたこれを踏まえて5個の方からより具体的な技術的なセッションを行いたいと思いますのでそれではお願いしますひろの夫さんありがとうございますということで先ほどいくつかの詳細でオープンスタックを使っているということでまず最初に使ったところからちょっと遡ってお話ししたいと思いますまずonamai.comのVPSなんですけどもディアブロー懐かしいバージョンなんですけどもまだ現有サービスでありましてフラットなノバネットワークを使ったIPVオンリーのVPSサービスになっていますストレージとかそういうのはもちろんなく主にVMをデプロイするそういうようなサービスですネットワークの図のところを拡大するとこんな感じになりますけどもお客さんのネットワークのところはL2じゃなくL3で共有されている顧客ネットワークがあるだけになっていますノバネットワーク自体はリナックスブリッジで動いていてすごくシンプルでフラットなネットワークでスケールするというのもありますけどもそれでも負荷価値とかそういうのはネットワークの高機能な何かを作るとかそういうのはできませんので単純にVMを並べるだけのサービスになってしまいますそこでグリズリが登場した時にカンタムというニュートロンの前進のものですけどもそこでオープンブイスイッチというのが入ってきましたそれでGREトンネルでオーバーレネットワークが組めるようになりましたこれを使ってグリズリのバージョンでオーバーレプラスフラットのネットワークでサービスを作ることになりました先ほどデュアルスタックって話がありましたけどもこの時にもある程度はV6とかちょっとはソースコードが入っていたのでそれを一生懸命直してデュアルスタックで動くようにしました基本的にはオーバーレネットワークはGREトンネルで形成されるんですけどもそれにお客さんが何個までトンネル作れるのかというのがまだ未知数だったのでその辺は手探りでだいぶやりました時計のサービスはこの時点ではまだオープンしていなくて後から幅名のサービスができた後にオブジェクトストレージをグリズリのキーストーンを接続できるようにして使えるようにしましたオーバーレネットワークのところなんですけどもGREトンネルフルメッシュで組まれるんですけどもその時にいっぱいスケールが大きくなってくるとメッシュのトンネルが増えてきますVMが特定のところにお客の手なんとのVMができるんですけどもVMがなくなってもその経路をそのまま通信してたりすることがたまにありますそういうことで特定のコンピュートに通信が極在化してたりとか不思議なことが起こることがありますちょっとそういうことに遭遇してこれ以上規模拡大は無理じゃないかということでいろいろブロードキャストストーンみたいな感じのパケットが出てたりするのでグリズリのほうはもうちょっとスケールはもう止めていますオープンスタックの幅名でGMアプリクラウドのほうをリリースしていますこちらのほうはVLANのリナックスブリッジを使ったニュートロンのモードでTENGのネットワークで組まれていますエルバースのほうエルバースのブロケットのADXアプライアンスのエルバースドライバーをちょっと書きましてNATモードでサービスを使いますここで初めてAPIのほうを公開するようになりましたグランスのストレージも提供してシンダーのほうを最初はHPのスリーパーアクティブアクティブのマルチパスモードで出しましたところがスリーパーって普通ストレージ屋さんに聞くと実際我々も最初それで使えるかなと思ったら実はハバナではシングルパスしか形成できなかったということでそこはちょっと想定外だったんですけども我々のほうで手を入れてアクティブアクティブで動くようにしましたそれプラス追加のストレージで容量が足りなくなったのでネットアップを入れていますここで初めてオブジェクトストレージハバナで構築しました他にベアメタルコンピュートハバナであったノバベアメタルをちょっとモディファイでドライバーとしてコブラをキックするようにしてそれを使っていますこれまだサービス使っておりますAPIのところなんですけども本来のAPIサーバーが一番下にいますその上に我々のほうでバリレーションチェックとかニューロクチーこのAPIは止めたいとかチェックするサービスがPHPでありますそこにコンパネとか実際のお客さんのエンドポイントがあってアクセスするようになっていますこれが全体図なんですけどもちょっと後で資料を挙げますのでそちらのほうは細かく見てもらうとして顧客のてなんとは必ずVLANが2つ割り当てられます上側と下側みたいな感じでオールドバランス側がコロンズで言うとオーガーというようになってるんですけどもそれプラスあと標準でログ解析のハードープのネットワークがこのサービスではあります他にスリーパーのシンダーがいますとベアメタルはDHCPのセグメントを経由してデプロイされますそれでこのベアメタルのコンピュートにはコブラーをドライブするというようにモデリファイしましたここのところがDHCPのセグメントですね我々のベアメタルはコンピュートのほうはデンジーの環境なんですけどもお客さんに提供するベアメタルはイチギガのネットワークは4本ボンディングしていましてで1本の線のところをコブラーで上がるDHCPのセグメントが使われます最終的にクライドイニットとかあとはアンシブルで処理してボンディングでタグブイランで提供しますこっち側のスイッチのポートのほうはアロードのVLANで例えばここに書いてあるんだと2001番と2501番をアロードすることによってセキュリティを保ちますでテナントのネットワークと接続しますというような処理をしていますSWIFTクラスターも追加しましたでその時最初はリリースしましたハバナでリリースした後に順応のパッケージを作りまして今は順応までアップデートしていますでここのポイントはここにある絵に構成通りに書いたんですけどもコンテナとアカウントのサーバーのところにSSDを使って処理をここデータベースのところなのでこれをしてやるとこれが構築した時のポイントでしたベアメタルコンピュートのところで実際にシスコのアロードVLANを入れてやるんですけどもこういうシスコのプログラムをパイソンで使うツールで設定を自動的に入れるようにしていますで順応のサービスとして最初にコノハで10月26日にアプリクラウドの方も順応のリージョンをリリースしましたここにリクモって書いてありますけども英語で言うとBeautiful Cloudということでそういう意味があります機能の差なんですけどもJMアプリクラウドの方は今までの機能をそのまま引き続いているので先ほどまで言いました内容をそのまま適用されていますで他にメインのストレージがネットアップになっていますけどもあとそういう人とかも今までのものにそういう人プロキシーというノートを別に立ててそれをこの新しいクラスターに接続することでそういう人は既存のままで新しいクラスターに接続するようにしていますでこの反応は先ほどADXがアプリクラウドを使って言ってましたがLVSのDSRというものをソフトウェアロードバランザーとして提供していますそしてニュートロの方はML2のOBS VX LANでオーバーレイのネットアップとして提供します他にSSDのシンダーストレージとしてネクゼンタストアが使われていますはいフルSSDのサービスということで今回は通し場のSSDを全面的に採用していますで GMアプリクラウドもこの波の方もSSDのノードは全て通し場のSSDで先ほどのネクゼンタストアのSSDもこの通し場のエンターバライズ SSDを使っていますネクゼンタですけども本来のシンダーストレージの他にバックアップサービス用のハードディスクで動いているバックアップストレージもネクゼンタストアでありますでノバのAPIの方にバックアップの拡張が我々の方でしていましてそれをオンにするとこちらの別のハードディスクの方のバックアップストレージの方にVMとかシンダーのボリュームがバックアップされますそしてこのハの方では順の時点のデジネートDNSを使ってサービスとしてDNSとGSLVGlobal Sight Road Balancerが使えるようになっていますで GLSBの拡張があることによってデジネートのクライアントって直接使えないんですけどもAPIではちゃんと叩けるようになっていますそしてJMアポリクラウドの方ではネットアップのストレージを追加して使っていますクラスターオンタップを使ってグランスとシンダーの両方で使うようにしていますそれでコンフィギュレーションでコピーオフロードの設定がありますのでそれをすることによってグランスのイメージに保存したものがシンダーで使うときはコピーがバックグラウンドでこうされるというようなメリットがありますのでそれを利用していますあとJMアポリクラウドの充能の環境はアイロニックでコンピュートノードをデプロイしていますアンダークラウドというのは全体のコンピュートの環境ですね基本的なサーバーの構築になりますでまずキロのオールイワンのノードを1個作りましてそこにアイロニックを設定しますでそれにDHCPのセグメントの方にアイロニックが使えるようにしてそこを展示のネットワークなんですけどもそこにつないとコンピュートをアイロニックでデプロイしますクライドイニットでネットワークのコンフィグが入った状態で最終的なコンフィグレーションはこういうような運用にも使えますよということですでサービス側のアイロニックもありますそちらの方は銃脳のコンピュートにアイロニックだけキロのソフトウェアを入れていますそうすることによってアイロニックのアイロニックパイソンエージェントというのがうまく動くようになりますのでそれでデプロイしてした後にネットワークのコンフィグをクライドニットとか流してその後にアイオドライブとかをデプロイしますでサンビス側のフュージョンアイオアイオメモリーをお客さんの方で使えるようになっています以上でこうこういう感じで双方銃脳を使い分けてネットワークのモードはオーボイス対リナックスブリッジで VLAN対 VXLANでデュアルスタックがこの派では使ってるけどアプリクラでは使っていないとでアプリクラの方はアプライアンスのロードバランサーとかストレージがありますそれに対してこの派の方ではソフトウェアディアハインなネットワークでストレージの方もソフトウェアディアハインですというような状態になっていますということでまとめなんですけどもJMアプリクラウドの方は銃脳のオープンスタックでつい月曜日にリリースしましたで銃脳のリージョンがリリースしたところでサンディスクの非常愛用メモリーをキロのアイロニックによって銃脳のオープンスタックのノバの方にデプロイできるとそれを使えるとコンピュートサーバーはキロのアイロニックのサンダークラウド用のオールインワンノードによってデプロイしてますとシンダーとグランスはネットアップのコピーオープロードを使ったVMシンダーブートを使ってます使えますとエルバースの方はブロケードのADXのナットモードのオリジナルドラバーで運用できますそれに対してこの派の方は銃脳のオープンスタックで前回のそのちょうど前のバンクーバーのサミットの時にリリースしましたそちらの方ではデジネートのDNSでGSLVまで使えるようにしてますそしてシンダーの方は外屋でデファイナーストレージのゼンタスターを使ってますロードバランサーはLVS-DSRのロードバランサーを開発しましたということになります以上これで以上で終わりになります我々のセッションとしては以上になりますご清聴ありがとうございましたこの派JMインターネットブースを出しておりましてマーケットプレイスのT49ブースに出ておりますので何かご質問ある方とかいらっしゃいましたらそちらにお越し下さればと思いますそしてJMインターネットはオープンスタックを扱えるエンジニアを大々大募集中でありますのでもしご興味のある方はブースにお越しいただけるかこだと私のところに来ていただいてもいいんですがぜひお声かけください本日はありがとうございました