Good afternoon. Thanks for this opportunity to meet and discuss observability with you, OSSJapan 2022.I'm Kazaki Harada from entity communications. I joined Soda TOC Technical Oversight Committee this April.サニールがテクノロジースから来ています。他にもTOCのコーチャーです。さらに旅行をしているために、サニールはこのセッションに参加していませんでした。実際に、サニールは日本に来ています。しかし、この部分のビデオをご覧いただけます。ご参加いただきありがとうございます。SodaFoundationはオープンソースソースプロジェクトです。SodaFoundationはオープンソースデータ・マジメントなど、ソーステレージ・ソフトウェアについて、データ・オータンナミンを持つことです。SodaFoundationは、自然フォローランでクロスプロジェクト、コラボレーション、インティグレーションを作成しました。 donc ال paste collaboration and innovationproviding quality end to endsolution to both end usersand storage vendorssystem integratorscloud providersconsortium across different industriesso that vision is storageTo storage and Rundata anywheresorry store and Runany data anywhereN-to-N ソリューション スタンダード インターフェイス インターフェイス オープニューマス オープニューマス ダイナミック データ フロード セキュラビルティこのフレームワークの オープンソース パートフォームのフレームワークはオープンデータ フレームワークN-to-N オープンソース パートフォーム データ フレームワークWinterlock-inを保管してデータサイロスを使用してデータフラグメンテーションを見るとユニファイトのインタフェースが出るとエクステンシブルを使用してそうして、このようにデータフラグメンテーションを使用してもっと多くのモデルをストレッチ・パートフォームやサーデパーティクライアントを使用して全部フラグモデルを使用してデータ・ストレッチ・マネジメントでユニファイトのAPRをロボットしてインクロスを使用してハードウェスのソフトウェアやソリューションを使用してサーデパーティクライアントを使用してフラグメンテーションを使用してこのデータを使用してこのデータフラグメンテーションを使用してそれから、コンプライアントとコンプライアントについてソーダファンデーションは2種類のプロジェクトについてまず、ソーダファンデーションはコアODFについて次に、ソーダECOプロジェクトこのプロジェクトについてこれがソーダの中で由来しているこのプロジェクトについて問題は無いこのプロジェクトについてソーダファンデーションを解消しこのプロジェクトは記号紙、フレーマー、プロジェクトTERRAは all-news Childhood ServicesVMWareとVMWareのエンバルメントを作りましょう。Delfinのシングルユニファイルビューのストレッジパフォーマンスは、ヘテロジュニアスストレッジのインフラストラクチャーを作りましょう。ストレッジは、ハイブリッドとマッチクラウスソリューションを作り、シングルS3のコンパーティブルインターフェイスを使って、ストレッジをクラウスストレッジを作り、CAFO is a new project to streamline data protection for Qantas and application data.Como is a newly proposed partial data lake project to provide seamless access to data stores in different crowds. These are the current lists of Sorta ECO project.to build and to end solutions for the users.Solder Eco Project program provides services to projects to help them develop, grow in and be adapted by end users.It helps projects join the solder ecosystem, integrate with solder solutions.ソーダ オープンデータ フレーマー オーディエフそして ソーダ コミュニティを 紹介します現在 エコーププロジェクトを 紹介しますインドペンダムプロジェクトは オープンソースフォンデーションで インドペンダムプロジェクトを 紹介しますアテナーは オープニュペ请も コミュニティを 紹介しますそして アフレチゾーンで コミュニティを 紹介しますオープニュペレクトは オープニュペメリンピューラン rabb mixtureオープニュニティに 紹介し始めるものの オープニュペメリンピューポンいただきますカーチブロジェクトは introprchのファンマー形に の水漬舌表です80%のコンポニーたちがマレージクラウドを建設しています。マレージクラウドを建設しています。もちろん78%のコンポニーたちが3つの公開クラウドを製造しています。このコンポニーは、チェーン・チェーン・ダイレクションを確認しました。スマートアインフラストラクチェーンのマネジメントは、アウザーベリティを使用しています。実際、アウザーベリティは普通のモニターリングの違いです。でも、モニターリングはアウザーベリティの重要性です。デートやコントラストリングのモニターリングやアウザーベリティをアウザーベリティを使用しています。モニターリングは、プレディファインディステムやプリオーディカリーを使用しています。モニターリングは、システムやレポートを使用しています。アノモリーは、アクションやネスタリアクションを使用しています。でも、デートやアウザーベリティを�よして、ネスタリアクションに返し、プレディファインディステムに返します。アノモリーは、ノーンやノーンでネスタリアクションにレポート状況を取材しています。デートやアウザーベリティに何を起こしている、戦争されるにそれを決め、モニターリングに後に、検討を行った際に、それを維持するために、他にも、アバンスの順序を検討するために、セットアラームとの課題を特別にしようとしています。その他、この成功で弊社として出会いかかりで、どうしようとすることができるかを説明します。それから、データを細かく調整し、その表現についてのマシンを調整し、それはそれを大切にしていくのですが、そのため、この技術は、知らないことができる。この技術は、高いインタジェンスで、スマートな技術を作ることができます。少し詳しくお話しします。良い技術は、内側の出力の中にある技術を取り除くことができます。技術は、3つのキープピラー、メトリックス、ローグス、トレーシング。メトリックスとローグスは、モニタリングの中にある技術を取り除くことができます。この3つのキープピラーは、技術の中にある技術を取り除くことができます。この3つのキープピラーは、コンベンショナルモニタリングで、スタッフの中での技術を取り除くことができます。彼らは同じ技術に該切させません、アニメモニタリングの中にある技術を取り除くことができます。2つのキープピラーは、基本的にウルトルミドル技術を取り除くことができます。これ以降、技術は図って2つ以上に為行感じます、成功 돼いからし、3種類のデータ、メトリック、ログ、トレーシーについてルートコースを確認するために、各系統のプロフォーマンスを改善するためにアプリケーションでコンベンショナルモンスリックシステムについてアプリケーションが多くのマンクロサービスでシングルリクエストを使うために非常に難しいアイデンティファーについてプロセッシングフローを行うためにプロセッシングデレースの場合についてディストリビュータトレーシーのシステムについてこの問題を解決するためにこのディストリビュータトレーシーの技術を使うためにダイナミックとコンプレッスのシステムを実際に実際に見るためにそのため、アイデンティファーについて問題と解決するためにこの問題を解決するためにシングルリクエストの場合についてクラウドネータトレーシーの技術を使うためにマンクロサービスの技術を使うためにコンテナの技術を使うためにストレッシングイベントで税金特徴に対応するために全くの効果の成分がクラウドを通過するためにそのためにしかし、ストレッシングコミュニケーションと1-タルキモノと Impactトレーシングをプラストするためにこれらのメッセージは オブザーバブリティとなりますモデルシステムが 重要なプロメントをつなげることができますこの行動を 自動化することができますそして アドミニストレッター の イトロベリーションのアナリスを インタビューして アドミニストレッターを作ってから イトロベリーションの インタビューを 作ってからデベロッドプローツの自然性について整合のアキュリティーを作っています。なので私はそれについて誇りについて話します。まずはデータソースがスキャッターになります。他にも、このシステムは、サイロドと同じデータに合わせることができます。このシステムは、サイロドと同じデータに合わせることができます。2.インプリメンテーションのオブザーボールシステムはマンダトリーです。このシステムは、オブザーボールシステムのオブザーボールシステムのオブザーボールシステムはマンダトリーです。次の問題は、このシステムと同じデータに合わせることができます。このマークの外出やフォーマットに関するために、データコレクションやアナリシスを作るために、2-2-2の方法で、これから、コレブライトに難しいものとしています。それによって、ロールデータの数を描くことはこのように、全ての勝負が必要です。最後に、データはアンスタンフラクチュアルに関しています。フォーマットやコンプレクスティーなど、 ソフトウェアとハードウェアを作っています。ソフトウェアとハードウェアを変更すると、 新しいバージョンのアップグレースを作っています。長期的に、ソフトウェアを作っています。フォーマットとハードウェアを作っています。ソフトウェアのアップグレースが必要です。ソフトウェアとハードウェアのアップグレースを作っています。その人によってプラットの納得なく応想するし、私たちの行為 lerellと携對する制度につなぐこつはそれにつなぐ取り組む。プラットターによってそういける暗付を2つのデータをオリジナルに移動するためにアプロデュータやMLのAIを取り組むためにアプロデュータやMLのAIを取り組むためにリアクションを変更するためにサニールはコンテナーストレージのエエエエ、サーダーファンディギターについてCIVですや FortyとFาunaと適当にスシャ東西を必要に移動するためにサーダーファンディギター✴CIVに投稿するためにendedCV要ってコンテナーストレジの日本については、実際に、日本については、 Tuesday については、終わりです。では、私たちは、 もう一つの 重要な 観光性を 観光性を 観光性を 観光性を 観光性を 観光性を 観光性 Candisー T Chipこのアプロデューサーとして、このアプロデューサーの中に、このらしい オブザロビルティーの 機能性の中にあった那麼、 赤いアプロデューサーの中にこのゲームについてこのアプロデューサーの中にこのアプロデューサーの中にCNCFの地域からの探索を受けたそれについて オブザローヴルティ&アナリシスの地域だけを探索しましたそのため、このプロジェクトの多くのモネタリングを探索しましたプロジェクトが多くなっていますこのプロジェクトの多くのプロジェクトを探索していますそれぞれプロジェクトの何でもありますそして、プロジェクトのもあり、プロジェクトなどのオブザローヴルティ&アナリシスの地域でオブザローヴルティ&カヨーシmingがパレオインデクションとフェリードデチあさ CMとデルトの研究について、新しい部屋にも多くのプロジェクトが来ています。重要なプロジェクトは、リプマス、リプマス・KOsなどのプロジェクトがあります。そして、このプロジェクトは、オブスロービルティー・アンナリシス・エリア・コンディオス・オプティマイステーションのデータ・チャーニング・ウィッシュ・ライステーションのパートです。最下辺の多くのプロジェクトにはオブスロービルティー・オブスロービルティーの森利を物見出來付けられることがあります。介紹が解釈したいと思います。CSIの使用者もさらに使うことはありません。CSIは、そこにあるCNH、Visual、レシピ、クルー、システム等、CSIの使用者の使用者や、CSIの使用者や、CSIの使用者についてCSIの使用者や、CSIの使用者や、CSIの使用者などのクルーのシステム等、クルーのシステム等のクルーのシステム等で使用されることはありません。CSI has certain monitoring aspects available like PVMetrics and the primary events from the PV.But on the storage side, on the pool side, you may not find too many monitoring attributes already available in CSI.So that's in the case of CSI.Now what cloud vendors are you providing?Because this is a trend, important trend.So cloud vendors are also started providing monitoring and observability solutions like AWS, GCP and Azure.They are providing different solutions and also they try to integrate with those tools like Prometheus, Grafana, Chaker, OpenSearch, etc.So some of the examples I have given on the left hand side like Azure Monitor Supports as a cloud storage monitoring, AWS CloudWatch, all these things are available.So what's happening in the case of say storage vendors?So storage vendors, if you see storage vendors trend, they are also trying to provide a logical solution along with open source or some kind of partner software.So it's something like monitoring multi-cloud container storage with portworks and data.Del container storage module CSM.CSM is primarily for observability and the Karabi project.I think Karabi project is recently renamed and IBM Turbonomic CubeTurbo.That is also towards AI option management.One important point I think Arithasan also mentioned maybe that observability is one of the key aspects of end-to-end AI ops.And there are a lot of top vendors supporting CSI plugins in metrics through CSI for Kubernetes storage.And there are research happening like pluggable storage metrics engine for observability, benchmarking for observability, etc.So we could see a lot of research happening in this area.So what the summary is that there are many two solutions and research happening.It's complex, distributed and dynamic application deployments on container environment.Because why this becomes important and complex is that most of the deployment application deployments are distributed and dynamic.And we are talking about application aware storage performance.And there are too many tools.So there is an obvious fragmentation happening.And limited observability support from CSI that we have already seen.CSI teams also tag is also working on that.Hopefully we get more features out there in CSI for monitoring our observability.And the storages what we are talking about are becoming more of heterogeneous storage.That's what user wants.And then we need to support hybrid kind of monitoring hybrid means across cloud agent on premise.And there needs to be proper integration of AML with observability.And the legacy storages are not designed for kind of an observable system.We have seen what is how to make observable systems.And varied system information is needed.It's not just performance.We need to get resource information, alert information.And we need huge size of data.So the insights of the state of the system we need to get then only.We can get an end event observable information to identify what are the unknown issues that can crop up.And take actions accordingly.So you have the trend on this area cloud vendors CSI or such kind of open source platforms or storage vendors.And they are all working all researchers.They are working on to find better solutions on this.So there are challenges and at the same time opportunities.So container storage observability is the summary is that it's critical research.Everything is happening.There is a huge business potential and opportunities going forward.That's why everyone is trying to find out solutions on this.So coming to Soda Foundation, what are we doing for building Kubernetes native observability?So primarily heterogeneous storage to container observability for Kubernetes at Soda Foundation.That's what we are trying to do because we already have a project called Delfin on heterogeneous storage monitoring.And now we started working to us bringing this to Kubernetes and then take it forward to us observability.That's our idea.We'll just see what is Delfin and what we're trying to do.So Soda Delfin monitoring framework primarily cater to resource monitoring like storage pool, volume, port, network controllers, file system, share information, mapping views, etc.The performance monitoring like bandwidth throughput IOPS, then alert management.Then we also have a driver manager so that you can seamlessly add new device models or storage models to the framework.And then you have a plug-in model.The plug-in model, why plug-in is important because currently out of the box we support Prometheus.And Prometheus database can be used for all the export data from the drivers, each of the drivers.And then from there you can connect to Kafka, sorry, Grafana for visualization.And Kafka can be another plugin to get these exported data and do your KML on top of it.So the driver manager supports easy integration of the driver and plug-in manager supports easy integration of third party database visualization or maybe some kind of analytics on top of it.So currently this is heterogeneous storage monitoring on kind of an enterprise or on-premise.So you can have different kind of storage models like from different vendors like NetApp, Dell EMC, Huawei or different organizations.And you can have a platform on top of it, any kind of data management platform, wherein Delfin can plug-in in between.It provides REST APIs to connect to the third party platform or you can even use custom export plugins to get access to this REST API and get all the data.And then you can connect to any of the storage models on the south side to get resource performance and other information.So this is again what just I mentioned about it's REST based and we have different service.It's kind of microservice based architecture.So it's very easy to deploy.And that's how it is helping us to deploy in Kubernetes as well.So it is written in Python and it provides agent less and less intrusive kind of model.It's primarily working in control plane.And it's completely open source vendor neutral and secure deployments.Like I mentioned, it provides pluggable drivers and exporters.The exporter framework will help to connect to different kind of third party clients.And it doesn't provide performance scaling with dynamic process creation depending on the number of storage managed by Delfin.So even if you increase the storages below, it can actually do a performance scaling by adding more process to handle the load.So we are continuously improving by doing some kind of benchmarks.So if you're interested on using Delfin in enterprise for heterogeneous storage, please feel free to connect with us in GitHub or Slack.I will give those coordinates in the later slides.So these are some demos.So one, the first demo is primarily on registration of the driver.So we have a dashboard, custom dashboard.You can also change the dashboard.You can connect any of the custom dashboard for that.So you can register first, you register the driver or the storage model.So in the interest of time, I'll just go fast.Maybe this demo, you can see it later as well.So if you see, I just show you the last part.So these are kind of the dashboard.It provides the capacity alerts and performance monitoring.This is one part of it.And then I will show you in the next demo some more details.This is primarily the earlier we saw the resource and capacity, I mean, alert part.This part we will see the performance monitoring data.So it captures, you can actually schedule.You can actually have the interval on which interval you need to read.And you also have a mechanism to sync the data from the storage and the databaseso that you have the real-time data available, the latest data available at the point in time.And the same data can be exported to do your insights as well.And we also have some examples available in the example repository of a sort of foundation.This is something like an experiment which we have done that whether Delfin can run in Kubernetes as a workload.So this we have already done.So that gives us a more confidence that we can adapt this for Kubernetesbecause we already have the microservice kind of architecture.So it will help us to easily migrate.And we have some idea I will explain what we are thinking, how to make it native to Kubernetes.And the example Rappo has other examples as well that how you can read performance,how you can connect to Prometheus and Kafka and things like that.So if you're interested, you can connect to a sort of foundation.io slash Slack and connect with us.So cloud native observability.The idea is that we would like to take Delfin to us Kubernetes as a native solution.So more likely our thinking is that we deploy is kind of an operator modelthrough which we can actually have CRDs and controllers.So CRD will this model will provide you native Kubernetes extension to the API.So we will have APIs for this Delfin.And then on this outside we will have some kind of an extension to the CSI.That's what we are currently thinking that we can do an extension to CSIto get the additional capabilities what we have it in Delfin.Or we may have to have some kind of sidecars kind of a driver separatelyalong with the CSI drivers of the vendors.But we prefer that we can just have the CSI vendorthe extension so that it will be very easy to scale.And on the north side it will be almost like same because it canthis exporter framework what we have can be utilized there itselfso that you can connect to Prometheus, Grafana or Kafka, AMLor any third party clients within the Kubernetes deployment.So this is what we are thinking.So we just started thinking about some of the proposals and design.So this is the right time for you to joinThis opens this project and we can collectively work towards the solution.And this will be vendor agnostic and even platform agnostic if it supports CSI.So these are some of the use cases.We can think of heterogeneous container storage observability unified visualizationunified storage analysis predictive analysis and preventive actionsand hybrid observability across cloud agenda on premisebecause we have a cloud monitoring but also consideringwe have the basic monitoring or adaptation of Delphine and Kubernetesand of course it will support end to end AA opsand yeah some of the key highlights would be on the architectureor the deployment is cloud native ready microserviceand multiple CSI driver instances possibleexporters agent model for capability extensionsand it can be unified across heterogeneous storage vendors.There are future potential areas likefederation support real time performance cloud observabilitylike I mentioned and edge distributed observabilityand tools marketplace like you can add onwe can have a marketplace where this observability toolscan be there which can be just download and use it along with the framework.So these are some of the things we are thinking.These are our thoughts on cloud native observabilityat sort of foundation and please join us.This is the right time to collaborate or now is the right timeand we can collectively work and we also work withCNCFNL next foundation to not to duplicate the work.So what we understand is that they are primarily focusing onthe data protection right now so we can actually complementthe monitoring and thenprobably we can havegood solutions for CSI or extensions to it.That's all from our site today. Thank you for joining usand have a nice day and enjoy the conference.Thank you so much. Bye-bye.Thank you, Sanyu-san.Thank you for joining us our session.That's it.Do you have any questions?Again, thank you for your joiningour session.