 Saya fikir bukan sebuah filosofi. Dan saya akan berkongsi banyak contoh dari penggunaan kita, Prometheus. Ia patutlah okey dengan telefon saya. Bukan... Flux. Flux, iya. Oh, kita lihat. Okey. Bagus. Tidak tahu. Saya masih cuba berbunuh. Maaf. Saya masih mencari telefon saya. Saya rasa... Saya berkata bahawa... Saya akan bercakap tentang... ...berbincang lebih praktikal untuk Prometheus. Dan Antonio akan berkongsi... ...penggunaan kita dari sistem penggunaan kita sebelumnya. Macam mana kita perlu berkongsi. Dan saya mula menggunakan Prometheus. Saya masih tak nampak telefon saya. Saya cuba berbunuh sebelumnya tapi tak nampak telefon saya. Okey. Saya nampak telefon saya. Sebenarnya, okey. Ia berkongsi. Ia berkongsi. Ia berkongsi. Ia berkongsi. Ia berkongsi. Baiklah. Saya akan berkongsi telefon saya di sini. Jadi... ...saya akan berkongsi. Saya akan berkongsi dengan Fisula Free dari Asini Talk. Tapi saya akan cuba... ...berbunuh dengan perkara yang saya dah cakap... ...dan terima kasih untuk itu. Saya tak perlu bercakap banyak tentang itu. Dan saya akan berkongsi dengan lebih banyak perkara praktikal. Perkara Prometheus akan berkongsi... ...berkongsi dengan cara Prometheus berkongsi. Dan bagaimana anda akan menggunakan... ...dalam sistem penggunaan anda? Jadi ia berkongsi dengan saya. Saya adalah penggunaan sistem penggunaan di Singapura. Kita mempunyai sebuah pembunuh di Singapura. Saya telah melakukan banyak mengawal... ...berkongsi untuk banyak perkara... ...berkongsi selama 5 tahun atau sesuatu. Saya adalah penggunaan pembunuh di Singapura. Jadi saya suka membangun. Dan kemudian saya membangun perkara... ...saya membangun pembunuh. Tapi anda boleh menggunakan untuk mengawal dan sebagainya. Dan tentang pembunuh di Cloudflare... ...saya adalah... ...berkongsi yang besar adalah CDN dan DNS... ...berkongsi dengan DNS di dunia. Dengan penggunaan sistem penggunaan... ...saya membuat 10% penggunaan internet... ...dan itu... ...berkongsi sekitar 5 milion penggunaan... ...atp-tp penggunaan. Dan kita membuat lebih dari 1 milion penggunaan DNS... ...sebelum setiap hari. Dan kita mempunyai... ...115 data centre di dunia. Itu yang besar di Singapura juga. Dan... ...kongsi mereka di Singapura. Dan kita mempunyai 6 milion penggunaan... ...yang mereka menggunakan di Cloudflare. Jadi... ...kongsi tentang Cloudflare... ...dan sistem penggunaan. Sebab itulah kenapa kita di sini. Berapa banyak orang di sini... ...penggunaan sistem penggunaan? Mungkin di rumah. Banyak orang di sini. Ada beberapa orang yang tak menggunakan sistem penggunaan? Adakah anda pasti servis anda masih bekerja? Bagaimana sistem penggunaan yang anda mereka menggunakan? Ada orang yang menggunakan sistem penggunaan? Prometheus. Prometheus? Baiklah. Saya mungkin tak perlu bercakap tentang perkara lain. Jadi ada banyak sistem penggunaan... ...dan kenapa kita menggunakan sistem penggunaan? Kita menggunakan perkara yang paling penting untuk saya... ...saya tahu bila perkara anda teruk. Jika anda tidak menggunakan sistem penggunaan... ...awak tidak tahu jika berjalan atau tidak. Jika anda tak tahu apa yang berlaku... ...awak berjalan dan berjalan. Jika anda boleh menggunakan sistem penggunaan... ...saya bercakap apabila sesuatu berlaku... ...dan berkongsi di masa depan... ...bagaimana perkara yang berlaku... ...berkongsi di masa depan... ...dan berkongsi dengan lebih cepat? Atau anda boleh melakukan perkara yang berkongsi di masa depan? Bagaimana anda menggunakan sistem penggunaan... ...untuk yang terойur pada yang terbuka? Atau anda melakukannya lebih kuah untuk kemudian? Atau anda menyekat perkara yang ter160 untuk penipu? Atau anda meminta kerja? Bagaimana perkara anda menggunakan sistem penggunaan... ...bagaimana perkara yang berlaku? Atau anda dit구�adakan, biasanya anda memberikan perkara yang terbuka... ...boleh melakukan dengan bermula pula? Atau anda menggunakan sistem penggunaan... ...boleh untuk menggunakan sistem penggunaan? Atau anda meminta vow ke-cauh? Bukannya menggunakan sistem penggunaan? Atau anda memakinkan sistem penggunaan? Sebenarnya, ia perlu mencari dan mencari meskipun. Yang lainnya, dengan meskipun yang anda sudah mencari, anda perlu dapat mengalirkan kerajaan dan menggabungkan mereka, menggabungkan, mencari mereka, dan yang lainnya, anda perlu dapat mengalirkan sesuatu. Mengalirkan adalah mencari notifikasi. Anda dapat mengalirkan kepada orang, mengalirkan kepada e-mail atau mencabungkan g-radar. Ia tidak mengalirkan sesuatu. Jadi, itu adalah komponen yang penting. Ada sistem monitor yang saya rasa. Sementara sistem monitor hanya melakukannya. Seperti Nagios, terutamanya hanya melakukannya. Ada sistem lain yang hanya melakukannya. Colour Can Store. Tapi saya rasa sistem monitor yang baik akan mempunyai 3. Jadi, saya rasa tiada siapa menggunakan sistem monitoring tradisional di sini. Jika kita tidak menggunakan ProMedia, saya mungkin tidak boleh bercakap tentangnya. Jadi, sistem monitoring tradisional yang saya dah berkongsi tadi, adalah bahawa pilihan yang penting anda perlu mengalirkan dalam servis atau pengaliran. Anda mengalirkan servis DB dan aplikasi anda. Dan cara yang anda menjelaskan dan mengalirkan, adalah mengalirkan sesuatu e-mail. Seperti yang saya cakap di Nagios, anda mengalirkan TTP, ICMP, DNH, dan sebagainya. Saya mengalirkan sistem yang berjalan dari luar sana. Kemudian, kita mengalirkan sistem monitoring tradisional. Saya hanya melihat sistem tradisional di luar sana. Anda tidak tahu apa yang berlaku di luar sana. Anda hanya mengalirkan sistem tradisional dari luar sana. Dan perkara yang lain adalah, terutamanya, saya hanya mempunyai model simponator. Anda mempunyai kawasan dan anda dapat melakukan sesuatu perjalanan di luar sana. Anda dapat mengalirkan jika ia berjumpa lebih dari 90%, anda dapat mengalirkan dengan 0 atau sesuatu seperti itu. Saya mengalirkan sistem yang saya mengalirkan jambu pada sistem monitoring yang saya mempunyai banyak servis dengan perjalanan yang biasa di luar sana. Tetapi, kami mempunyai banyak servis yang berbeda. Dalam perjalanan data, saya mengalirkan 10gb perjalanan di luar sana dan saya mengalirkan 10gb. Jika anda mengalirkan perjalanan atau jika perjalanan di luar sana menggunakan lebih dari 90%, ia akan terlalu lewat untuk perjalanan di luar sana. Tetapi ia akan menjadi cara yang panjang untuk menggunakan perjalanan B. Dan itu sebenarnya bukan masalah mudah dengan sistem monitoring tradisional. Kami mahu beberapa perjalanan yang boleh... Sebenarnya, saya mahu sesuatu yang boleh saya katakan bahawa servis anda akan mempunyai jambu di luar sana dan anda perlu melakukan sesuatu tentang itu. Dan ia hanya tidak dapat dibuat dengan jambu atau segalanya yang saya tahu 5 tahun lalu. Jadi, apa yang telah berubah? Ada banyak perkara yang berubah. Satu perkara yang penting, saya rasa banyak orang di sini menggunakan kubaniti dan doker. Satu perkara yang penting. Ada banyak perkara yang boleh dibuat dengan servis anda sekarang. Ada banyak perjalanan. Dan keadaan atau perjalanan sebenarnya mengubah perjalanan anda di luar sana. Dan kemudian juga mudah. Dan GCE sebenarnya melakukan banyak perjalanan membuatnya lebih mudah untuk mengembangkan perjalanan dan mengubah mereka sekarang dan mengubah mereka di luar sana. Jadi jika anda berfikir tentang perjalanan atau perjalanan di luar sana untuk perjalanan anda, ia tidak akan menjadi berjaya. Anda tidak hanya akan mengembangkan banyak masa untuk mengambil perjalanan dan mengambil perjalanan. Dan mengambil perjalanan dan mengambil perjalanan. Dan kemudian juga micro servis, ia tidak lebih mudah untuk mengubah perjalanan dan mengambil perjalanan, dan kemudian saya mengambil perjalanan. Kemudian saya mempunyai 10 perjalanan yang berlainan. Dan sebenarnya, itu adalah masalah yang sangat susah untuk mengubah perjalanan. Jadi perjalanan. Jadi perjalanan mengambil perjalanan dengan mengambil sesuatu yang sebenarnya saya dapat idea daripada SIE Book juga. Ia dipanggil Wibok mengubah perjalanan. Jadi anda melihat perjalanan atau perjalanan yang anda cuba mempercayai dan anda ingin melihat perjalanan yang berlainan juga. Bukan hanya semuanya yang saya lihat di SIE Book. Anda ingin mempercayai aplikasi untuk mempercayai perjalanan. Mempercayai perjalanan internas untuk anda supaya anda dapat melihat dan mempercayai sesuatu yang berlainan. Bukan hanya mempercayai. Yang penting adalah, dengan perjalanan SIE Book, anda tidak dapat melihat apakah sesuatu seperti ada perjalanan yang tersebut yang anda sudah melihat. Bukan hanya mempercayai perjalanan tetapi ia mungkin yang penting. Yang lain adalah jika anda mempunyai perjalanan aplikasi dan anda juga mempunyai perjalanan DB. Di perjalanan aplikasi, anda melihat bahawa perjalanan DB berlainan. Tapi jika anda tidak tahu apakah perjalanan DB mempercayai perjalanan yang berlainan atau mempercayai perjalanan yang berlainan, dan apakah perjalanan aplikasi tak menghargai perjalanan DB itu. Anda tidak dapat sengaja menggatakan perjalanan DB atau menggatakan perjalanan di antara aplikasi dan perjalanan DB yang berlainan. Anda juga melihat perjalanan DB dan melihat perjalanan aplikasi dan melihat bagaimana perjalanan mengenai perjalanan DB dan bagaimana perjalanan DB menganami suhu perjalanan. Sehingga anda dapat mengumpul perjalanan dengan berlainan bahawa ia menjadi kecil. Dan juga, pilihan untuk kontinasi dalam perjalanan kita. Jadi, secara prim-prim, kerana ada banyak pilihan perjalanan diperkenalkan. Jadi, pilihan pilihan diperkenalkan dapat sebenarnya berbicara dengan mudah untuk API. Jadi, saya boleh dapatkan pilihan server dan mula mengawal mereka. Atau, anda boleh berbicara dengan kubaniti, ETCD, u-keeper, apa-apa saja yang anda gunakan. Kerana kita ada sistem yang menggunakan pilihan perjalanan. Kita ada API internum yang saya tahu tentang server. Dan apabila ada pilihan yang baru yang menerima atau mengubah servis yang menerima, kita menulis pilihan pilihan pilihan pilihan. Dan saya mempercaya untuk memilihnya dan memulai pilihan pilihan. Kita panggilnya pilihan perjalanan. Tapi juga, ada banyak pilihan perjalanan yang sudah dibuat dengan keadaan di Australia dan pilihan perjalanan di Cloud Infrastructure. Saya akan berkata lebih banyak tentang perkara lain kemudian, pilihan pilihan perjalanan. Dan salah satu perkara yang saya menerima lebih banyak tentang pilihan perjalanan adalah pilihan perjalanan. Ada banyak perkara yang anda boleh lakukan sekejap-kejap. Anda ingat pilihan yang saya katakan tadi? Sekarang saya boleh lakukan sesuatu seperti itu. Menerima saya jika servis saya akan mempunyai pilihan selanjutnya 4 hari. Saya akan menunjukkan pilihan pilihan kemudian. Yang terakhirnya, ia sangat mudah untuk mempunyai lebih daripada 1 juta pilihan atau perjalanan yang kita panggil untuk digunakan oleh pilihan pilihan perjalanan. Kita mempunyai pilihan yang besar untuk digunakan seperti 40 juta pilihan perjalanan atau tidak perjalanan. Saya rasa kita mempunyai 40 juta pilihan dan kita mempunyai 500 juta pilihan perjalanan atau perjalanan perjalanan dan hanya satu pilihan. Anda juga boleh membuat servis yang terlalu tinggi dan anda boleh mempunyai pilihan global yang mempunyai pilihan yang terlalu tinggi seperti mempunyai pilihan yang terlalu tinggi untuk menggantikan pilihan. Anda dapat membuat pilihan yang sangat tinggi yang sebenarnya sangat berkelihan. Ini pilihan pilihan pilihan. Pilihan pilihan yang terlalu tinggi adalah semua yang mengalami pilihan. Saya tidak boleh mengalami pilihan yang sangat berkelihan tetapi ia adalah sebuah ekosistem prometheus. Jadi, pilihan prometheus yang penting adalah pilihan prometheus. Ia ada sebuah kisah yang saya sudah berkongsi dan sangat menarik. Ada banyak perbaiki di versi yang tersebut dan juga di versi 2.0. Tetapi, terutamanya, kita belum menggunakan pilihan yang tersebut tetapi kita masih menggunakan versi 1.8. Mereka mungkin mempunyai banyak pilihan dan memperbaiki pilihan. Saya boleh mempertimbangkan di versi 2.0 connected dengan cara backend saya! Pilihan prometheus mempeluang memperbaiki pilihan dari versi ini dan per suka 5 churiring untuk menjadikannya. Pilihan kualiti serendam adalah pilihan yang digunakan se widgets vegetarian selain aplikasi. Pilihan AR đến dan Bisk이� Heart har Applause! dan servo bergerak, dan cara yang Prometheus bekerja sebenarnya untuk menggunakan meskipun. Ia menggunakan model Poon Basis, kemudian untuk menggunakan pusing. Jadi ia adalah cara yang berlainan yang berlainan yang berlainan. Itu juga akan menggunakan Gateway jika anda tidak boleh menggunakan model Poon ini, tetapi saya tidak menggunakan pusing di sini. Sekarang komponen yang besar adalah Dalat Manager. Dalat Manager adalah menggunakan Dalat. Jadi Prometheus servo sebenarnya menggunakan meskipun dari ini, dan kemudian saya akan mengawal kondisi untuk alat ini. Dan kemudian ia adalah sesuatu yang sepatutnya menggunakan alat. Ia akan menggunakan alat untuk alat Manager. Dan kemudian alat Manager bergantung dengan definisi yang berlainan. Kita sebenarnya menggunakan notifikasi untuk PagerDuty, Slack, e-mail atau Jira. Kita menggunakan beberapa hal yang berlainan sesuatu yang saya perlukan segera sehingga kita akan menggunakan alat yang berlainan. Tapi sesuatu seperti servo yang akan menggunakan alat ini pada hari nanti yang mungkin tidak perlu berlainan. Jadi kita hanya akan membuat alat Jira untuknya. Dan kemudian ada beberapa alat alat Manager integrasi yang sebenarnya hanya membuat alat Jira untuk anda. Dan Prometheus juga mempunyai web UI yang anda boleh menggunakan dan kemudian untuk menggunakan meskipun. Dan kemudian saya akan membuat alat visual. Mereka juga mempunyai integrasi Grafana. Jika anda mahu menggunakan alat yang berlainan dan kemudian saya akan mempunyai banyak alat yang lebih cantik. Saya akan menunjukkan mereka nanti. Jadi... Itu pertanyaannya, sorry. Boleh anda memberikan alat yang berlainan? Bagaimana anda berkata seperti menggunakan alat yang berlainan? Alat itu sebenarnya adalah sesuatu yang diperlukan tidak benar-benar diperlukan dari alat SIE juga. Jadi mereka menyebabkan segala hal yang berlainan adalah alat yang berlainan. Kerana cara yang diperlukan atau mereka menyebabkan segala hal yang berlainan. Walaupun dengan alat web, bukan sebenarnya alat yang berlainan, ia boleh menjadi alat yang berlainan. Jadi ia akan menjadi alat web dan aplikasi. Jadi apa-apa yang berlainan boleh diperlukan alat yang berlainan. Kemudian alat yang berlainan akan sebenarnya berlainan untuk berlainan di mana-mana. Jadi anda boleh fikir tentang alat yang berlainan seperti alat yang berlainan. Ia sepatutnya... Saya rasa anda patut menyebabkan saya rasa ia disebabkan alat yang berlainan. Agak diperlukan atun, atau rows kebangsaan, dalam keadaan hampir berlainan. Saya blessing diminuhkan masalahnya. Jika anda tidak mempunyai alat yang berlainan jauh, tidak boleh di-skip diri untuk meny aboutac target. seperti Spoh Magic di Http. Jadi seperti yang saya dah cakap tadi, kemungkinan aplikasi atau spotter akan menjelaskan pilihan di Http dan Poy. Kemudian Prometheus akan mencari mereka. Mereka semua mempunyai sama format ini. Mereka akan membuat iSoR, iGPWE standard untuk membuat pilihan. Ini sebenarnya berdasarkan yang dari Google Vazir. Mereka dapat mempunyai nama magic dan label yang mencari. Kemudian kemungkinan. Kemudian Prometheus akan menjelaskan pilihan di Http dan Poy. Itu kita nama target. Mereka akan menjelaskan spotter. Jadi banyak aplikasi sebenarnya lebih suka membuat pilihan di Http dan Poy. Mereka sudah mempunyai pilihan di Http dan Poy. Mereka mempunyai pilihan internal di format Prometheus. Pilihan CAdvisor, EDCD. Tetapi untuk banyak aplikasi yang anda tidak mempunyai pilihan atau anda tidak mahu memotifkan pilihan. Kemudian ada sesuatu yang saya kata adalah spotter yang memperkenalkan di sebelahnya. Dan saya mempunyai pilihan magic di format Prometheus. Jadi anda dapat menjelaskan pilihan. Kita sebenarnya menggunakan banyak spotter untuk dalam sistem kita. Kita menggunakan spotter yang kita gunakan untuk menjelaskan pilihan dan pilihan. Mereka mempunyai PruCid, MySQL, Postgres dan banyak lagi. Mereka mempunyai 50 spotter yang digunakan untuk sesuatu seperti itu. Ya. Dan ia sebenarnya juga sangat mudah untuk menjelaskan pilihan anda. Ada sesuatu yang dipunyai Text5 Collector. Text5 Collector, Text5 Spotter. Jika anda tidak mahu menjelaskan pilihan Fullblow spotter, anda boleh menjelaskan sesuatu yang digunakan dengan pilihan yang sama tadi. Mempunyai sesuatu yang digunakan dengan Pilihan Text5 di sistem anda dengan pilihan yang sama. Kemudian tidak ada spotter yang dapat menjelaskan dan menjelaskan untuk Prometheus untuk menjelaskan. Model data untuk Prometheus adalah pria-prima timpunyai. Tetapi ia membuat timpunyai yang berlainan. Jadi memegangkan timpunyai adalah hanya mesyuarat pada masa. Tetapi ia mempunyai tempat yang berlainan beberapa tahun lalu dan beberapa tahun lalu. Dan ini adalah sebuah dimensi seperti cara yang biasa dalam sistem monitor tradisional apabila anda mempunyai mesyuarat pada masa. Apabila anda mulai menjelaskan seperti ini berlainan berlainan pada masa ini dan berlainan untuk menjelaskan dimensi yang lain adalah menjadi mesyuarat 2D dan anda boleh terus menjelaskan labu yang berlainan. Labu yang adalah sesuatu yang penting dan anda dapat menjelaskan tetapi anda juga boleh mempunyai labu yang lain pada kode Http dan ia akan menjadi seperti untuk contoh saya mahu menjelaskan yang berlainan untuk menjelaskan dan menjelaskan sebab 2D menjelaskan lebih penting untuk saya daripada 5D atau 4D menjelaskan jadi itu akan menjelaskan modul yang lain kepada satu ini dan mereka akan menjelaskan 3D mesyuarat dan saya akan terus menjelaskan mesyuarat saya tidak dapat memperkenalkan atau saya tidak dapat menjelaskan saya tidak dapat memperkenalkan mesyuarat dimensi tetapi anda dapat memperkenalkan dan dan perkara yang bagus tentang promisi ia mempunyai sangat flexibel dan kelihatan dan kelihatan yang menjelaskan dan menjelaskan pada mesyuarat dimensi dimensi dan menjelaskan disini ada beberapa menjelaskan saya akan cuba menjelaskan tetapi tidak sangat ia hanya mempunyai untuk memberi anda idea tentang apa yang anda boleh lakukan dengan promisi jadi bagi menjelaskan anda boleh hanya peduli tentang ini secara langsung dan bagaimana menjelaskan yang mereka ada dan bagaimana bagaimana bagaimana menjelaskan yang anda ada selama lima minit seperti seperti sebuah penjelaskan per kedua jadi ini seperti hanya mengambilakan yang yang saya ada setiap respon dan kemudian mempunyai beberapa minit selama lima minit dan ini sebenarnya berbeza dan ini seperti mempunyai peluang per kedua selama lima minit tetapi menjelaskan seperti anda boleh mempunyai pasangan index pasangan api atau pasangan statik berbeza dan kemudian anda boleh menjelaskan mereka berbeza dan mempunyai mereka sebagai mesyuarat ini ini yang saya beritahu sebelumnya sesuatu yang seperti anda boleh menjawab sesuatu seperti semuanya seperti mempunyai mempunyai perusahaan ini ini adalah sistem penjelaskan dibuat oleh sistem penjelaskan jadi kita ada sistem penjelaskan dan kemudian anda boleh memperkenalkan dengan mempunyai mempunyai selama selama lima minit dan kemudian menjelaskan anda akan mempunyai selama 95% atau tidak dan kemudian ini hanya berdasarkan data terakhir jadi jika anda menulai banyak perkara kepada ini selama selama minit ini akan menjelaskan anda akan memperkenalkan anda akan memperkenalkan perusahaan ini dalam masa selama lima minit dan anda perlu membuat sesuatu dengan ia jadi ini adalah pilihan UI untuk menjelaskan ia adalah perumah UI jadi anda boleh mempunyai perusahaan anda di sana apa-apa yang anda boleh menjelaskan dengan memperkenalkan sebelumnya anda boleh mengambil dan anda boleh menjelaskan di sini dan yang saya menjelaskan perusahaan tapi tapi ini nampak sangat mudah tapi ini adalah sebuah anda boleh menjelaskan dan saya mencuba magic tetapi untuk sistem kami kita menggunakan grafana untuk nasib kita jadi ini adalah satu contoh nasib yang kita ada untuk perusahaan jadi anda dapat CPU mempunyai CPU konsumers ini saya tidak yakin anda dapat melihat tetapi ini adalah perusahaan kita perusahaan anda menggunakan seperti 1000% CPU di sini kerana saya fikir ada 24 perusahaan atau sesuatu jadi seperti menggunakan hal itu dan kemudian 1000% CPU hanya untuk menjelaskan perusahaan dan ya terutamanya anda seperti sebab saya fikir versi terakhir grafana mempunyai kebiasaan dengan pro-media jadi anda boleh sebenarnya mempunyai auto-completion menulis promql di grafana juga dan anda ada juga sesuatu yang anda dapat variable tempatan dan kemudian anda membuat banyak hal dengan grafana saya fikir adalah cara yang terbaik untuk menggunakan promql di grafana dan promql baiklah, kita bercakap tentang itu jadi pengalaman adalah secara separat daripada promql di grafana yang saya telah berjumpa tadi kita sebenarnya menghubungkan banyak orang yang berbeza berbeza dan berbeza dan juga dengan salah satu pengalaman yang baik untuk kami yang dapat deduplikasi saya dapat deduplikasi yang saya suka datang dari banyak promql di grafana kami tidak selalu menggunakan satu promql atau mungkin lebih dari satu promql seperti kami kami selalu menggunakan promql di grafana yang hanya ada dua promql di grafana yang seperti seluruh pengalaman tidak berjumpa dan mereka tidak menghubungkan banyak kepada pengalaman yang sama dan pengalaman yang banyak akan sebenarnya melihat bahawa ini adalah sama banyak dan saya sedang deduplikasi dan mereka tidak hanya menyelamatkan kepada kami dan apabila satu promql bergerak ia masih okey seperti ia juga melakukan menggunakan silen saya rasa satu perjalanan dengan Nagios sebelum saya yang sebenarnya silen sesuatu ia sebenarnya sangat susah dan sekarang seperti lebih mudah dengan seperti pengalaman kami sebenarnya berkongsi beberapa pengalaman yang akan datang saya CloughLad kami melihat pengalaman yang akan datang untuk pengalaman yang akan datang yang saya mendapat ke dalam projek sudah jadi anda boleh menyelamatkan ke silen anda dan mereka seperti membuat ke silen dari pengalaman anda ini seorang pengalaman yang berkongsi web UI anda boleh mempunyai seorang pengalaman di sana dan kemudian ada label dengannya okey itu sangat mudah dan juga anda akan mempunyai perkara yang berbeda untuk pengalaman yang berkongsi ini juga sesuatu yang terbuka oleh CloughLad kami membangun ini sebagai pengalaman yang berkongsi untuk pengalaman yang berkongsi kerana kerana pengalaman yang berkongsi hanya seperti tak guna daripada peluang yang berkongsi kami ada kadang-kadang terlalu jadi anda dapat melihat ini di CloughLad Github anda boleh membutuhkan ke silen dan mereka melihat banyak perkara jadi ia hanya pengalaman yang berkongsi untuk pengalaman yang berkongsi seperti yang terakhir untuk anda ini adalah sebuah contoh seperti bagaimana yang berkongsi seperti jadi anda boleh basically just read it lie a normal sentence I love high error rate it error rate over the last one minute greater than 10 and if that happen for 10 seconds so it's very simple rule that like basically like that if my error rate over the last one minute greater than 10 then notify me about high error rate and the good thing about that that you can have somebody to go with it and then you can template it so that you can like this is from the magic label and then you can pull into alert so it will actually alert thing you are like this there's a high error rate on this machine or like this survey not just like there's some high error rate somewhere go figure out this is not this is not so simple this one the one that I I really want to have before but like impossible to do without Prometheus now I can have it so this is a lot thing about this like going to few for the in the next four hour and I already explained sometimes part of that before like just predicting the five system availability based on the last hour of data so this part of me like based already on the last hour of data and then like projecting it over the next four hour and then another thing if you don't going to to be over 95 percent we can see them label the some label that we are using so that you can like grouping our alert like this going to over hip chart and this is also like even like more complicated alert anything you can write with the good thing about other thing with Prometheus like anything you can write in from KL you can use to alert not like just some simple condition like it's over this one or it's less than this one so you can anything you can do in ProQM you can do a lot on it and this this basically just trying to alert if our head DMF cluster is unbalanced like it's trying to use to measure the the differentiate between the highest use and then the lowest view five system and then I compare it over the whole cluster and then I alert thing it is the number machine over 10 so so if any machine that have like 10% different between the highest and the lowest it will alert on our head DMF cluster unbalanced then I wish to do something about it and this is something I add a standard file alert as well like for any alert you should have a summary that like talking about like what happening in a short sentence way so the the person that like being on can have what happening in a short sentence or you can get this over page duty and then go to the phone of the people this and then every single alert might have a reference playbook so that they are in the on-con can just go in and then following some step to debugging and then like analyzing that's our dashboard if the service has some dashboard that I can have with the easy to respond or alert thing respond okay I'm going to sell a demo hopefully it will work the demo will be available on my github at well my name Le Bin if you can tell it's been a me and Prometheus meet up demo I'm just going to run a server here maybe I just showing up so there probably just a symbol flux server in python that basically this is how you can create some Prometheus metric in python that's uh the Prometheus have a lot of clients for I think almost every language the mainstream language they have python go ruby java they are already available and and basically this one I just going to measure I'm trying to just like counting the number of requests that I have over every single part and every single stated code and then this this party have a uh 10 uh 10% chang of returning and find red arrow so every 10 requests it will return one find red arrow here and I'm just also trying to like have a histogram over the tang for it a DTB request so yeah good let's get right down and we can run so Prometheus here separate server and then I have manager and so a separate super set so yeah Prometheus running here a lot manager running here these are just some simple command to start Prometheus and a lot manager so the good thing about Prometheus and a lot manager if they are with an in go so they aren't just a single static binary so just like compile it and then I run it anywhere you want like even I can run compile it on my Mac and then cross compile it to run on my server so yeah it's self-contained so you don't really need to end to do anything it's just like grab the binary and start running it and I'm going to do to send a plan of request this might not be easy to see there it's just that I'm running a lot of baby play there's a lot of request to my endpoint ping endpoint there and when it start running you can go into Prometheus and you can start querying we don't have to something earlier that like halting the number of requests that we have and this is what it looks like so we have guys 300 requests here for the ping the magic request actually interesting because like Prometheus initiating those requests to grab the magic that you can see the magic themselves here what it look like so this is the magic endpoint that like Prometheus going to script and then for manager like the magic name the label and the value and then like this is for the histogram so it look a little bit complicated but the the ATTB request total is similar like set a counter like so in how many total request that we have over that pattern that call that what a magic for my look like and then from here we can graphing and then you can see it going up like the server start warming up and then it not really warming up sorry this is the counter so that it only go up like the more number or the more regret you had the number just going up and then each time here it actually each time Prometheus like script the target and then update the number so you can have a some shot of a stat line but it not really just the way Prometheus graphing thing and then from here you can do something like going to have the rate the rate of how many request per second that you have and then it going to stabilize stabilizer 10% 10 yeah request per second and you can do something like you only care about the number of error and you're going to sell like you have about one error per second that are Prometheus and now i'm going to chain a little bit this actually running with dolly different depending with like 10 different proset or 10 different client at the same time the number there's like then concurrent request so a lot 10 time the number of request and we have some rule here like going to sell about the alert that we have so this is the alert that we saw earlier about high error rate if the error rate going to be over 10 that i will should see but alert notification it will be high error rate in some instant and then we will have the number known 200 spot over last minute on the part so you can do or sell something like instead of having to write this thing all the time you can like pre recording it using some rule so that you don't have to have this long query out every time error rate and you will see like only us only like about one error rate per second and now it going up to like 10 error per second and now it going over 10 out of all the way that alert one trigger maybe i need to generate more regret oops thing i so i need to this slot i pre-configure it to sending alert to this channel is slot so hopefully it will arise after just a bit of time yeah it's arrive so it will happen i need to zoom it here little bit this one just firing and you can see that the summary from earlier there's a higher error rate on this host that how many required that you have on that part over the last 5 minute that right firing is it all right that's it that's the demo i'm just going to not dedosing my get back to the slide so we have a pretty big deployment of prometer that Antonio going to share a lot more about but basically we have we will this is our point present over the global and it and every single data center we have a prometer server running some big location we have more than one prometer server running for redundancy and also to share the load so we run around like almost 200 prometer server around the world right now i think we are one of the big deployment of prometer we have four top level prometer server and those actually ingesting 70 sample per second and we're like i think this is like way over 4 million already now this is like a bit old but i that's couple other talk that you're interested i put the link in the slide we're going to share the slide on meet up later that's also going to talk about monitoring our planet scale network before mid-years to come all right that's it that's any question i don't know if you're using lvm but we have this use case for it we're using fin pull okay the thing is what i've noticed probably i'm not i'm not aware but in an old exporter it cannot monitor those that are not mounted that i'm not mounted fin pull is not mounted so but then that's that's basically our what's this the the replication of our Docker engine you know about that i am not so so did you see this query which says without monpoint so we we have as you said like if you set up lvm and you use docker docker will create all this badly like all these all these monpoints right and and node exporter will start monitoring those so what we do is can you go back the slides to the disk one yeah so if you see this without point point it can also take a regex so what we do is without monpoint equals to val if docker dot star or something like that so so that we can avoid monitoring those those no i want to monitor oh you want to monitor i want to monitor those that are not mounted oh you want to monitor those that are not not mounted because the people are not mounted so you want to monitor the lvm volumes the thing called itself the all those layers that is the rock rock the rock size or the rock level or the block level not really not really the block level so how about you have disk them into like some you run a cron then you have disk them to file and then read it from the file so because then you then you don't mount them but you still see them so so one of the things that that Ben also talk about is a textile exporter so we also use it a lot right so basically what you can do is you know how to monitor the size yourself you can write a script for it or do something right you're saying that you no exporter cannot do it right now so yeah like there are many things that like because the project is so new and many things that no exporter still cannot do for example no exporter we have also faced issues where no exporter cannot see temperature and like they continuously adding it and if you see the project that is moving in a fast way but let's say if you cannot monitor something and like no exporter does not provide it what you can do is you can write a script that writes writes a text file into into that format that that Ben showed before and then then no exporter will pick it up and send it to promisiers and then you can write alerts and and things based on that okay we for example do do do and not using you know that support for no promisiers instead they use telegraph okay and telegraph basically do is kind of made use way in a way that telegraph allows you to run the scripts which directly output basically the methods with all labels and everyone so we mentioned that you don't monitor the temperature so we for example we had scripts across seven sensors that monitor the temperature yeah and they monitor the power consumption so yeah in our case and they just pull it through telegraph and and then promisiers collect it and then the rest is the same yeah yeah so you if you if you can yeah if you have a script you can do it this way I think Anthony going to share a lot more about that like when we are going to migrate from niger's to promisiers they're probably like there's a lot of case that like there's just no exporter available for what we are already monitoring and then a lot of the case the preferable way would be actually writing some exporter for it because it's a it actually preferable because like separately from the notice exporter so even if the notice exporter is down then your monitoring is not going down together and then like uh decoupling them but uh a lot of the time it actually just like not worth doing it for something that like only you don't really have to uh maintain very high of ability then it's simply just write script that going to write to a file that like uh ya with with this exact format and then have notice exporter collecting them and exposing for Prometheus to script Do you store your metrics for extended periods of time? I'm sorry I I I will do you store your metrics for extended periods of time? Yes the question is that are we storing our metric for extended of time? So we are not using Prometheus for that we only store 15 days of magic in our Prometheus server because Prometheus right now we're not focusing on like long term time series database we we feed our metric to OpenTSDB so that we can have it we also using Grafana so so Grafana console like can query OpenTSDB and then like showing our metric if it is go over 15 days So one thing I'd like to add is that Prometheus storage has been in a lot of flux like they did not realize that people would be using it to that scale like even even our scale right so what we do right now is that as I said for long term metrics we use we use OpenTSDB but we are like looking at other storage solutions also as I was going to talk about that Prometheus has adapters for long term storage which are kind of in the beta stage for many of these things like like like like like you can use influx tv or you can use click house but yes so yeah it's kind of not there yet so that's why for Prometheus we don't use it for long term storage okay yeah now my question will be if someone was experimenting with that we started experimenting with that click house driver okay that's good so I wonder if someone tried it and this because obviously we want to we also a big user click house yeah we're just depending with the click house yeah that's gonna yes but I think we don't have a conclusion or like what we are going through you for our long term storage basically evaluating it and Prometheus for me because I used to being for every company you scroll click house we actually you really like click house is like power our dns analytics if you go into cloudflare and then you see the dns analytics in your dashboard it actually power by click house yeah we also have one of the biggest click house deployment yeah okay so yeah but we're looking into that like maybe you can use click house I would like you know if they maybe one day we decide to use click house okay any other question okay cool then until nila then