 Orang dalam live stream, anda dapat melihat saya, dan orang-orang di dalam bilik. Jadi hari ini saya akan... hari ini saya akan menghubungi pakaian. Saya harap semua orang mempunyai sarapan. Jadi saya akan mempunyai pakaian untuk membuat data processing menggunakan parallel asyikrinus proses program dan Python. Jadi... ya. Nama saya Chin-Wi. Dan saya penyanyi data dan ST engineering. Jadi saya datang dari belakang di Airspace Engineering dan sebagai model kompetisional. Dan saya menghubungi diri saya ke dalam bahagian data. Dan sejauh ini saya berkongsi dengan Pandas One Release dalam dokumentasi. Dan saya juga menghubungi mereka dengan tinggi sebagai mental di Big Data X, yang adalah salah satu perniagaan perniagaan data yang menghubungi perniagaan data. Okey. Jadi... ya. Jadi... sebuah pekerjaan biasa untuk Wajah Wajah. Jadi ini pekerjaan biasa untuk Wajah Wajah. Jadi pertama, kita menghubungi data raw. Kemudian kita menghubungi data. Selepas itu, kita akan menghubungi model pakaian. Pakaian model pakaian. Dan kemudian, apabila semuanya menghubungi, kita menghubungi model. Ya. Jadi... nampaknya sedap. Tapi... Selepas itu... biasanya, ada beberapa model pakaian dalam perniagaan. Biasanya... jadi... ia boleh menjadi sebuah data atau data akan menjadi sebuah pakaian. Tapi... biasanya... seperti... kebanyakan pakaian... pakaian pakaian untuk perniagaan data... adalah... prosesi data. Jadi... seperti... orang-orang itu sangat suka berkata... oh... 80%... 80%-20%... itu baik. Tapi... Sebenarnya... ia sebenarnya lebih daripada 90%-10% daripada 80%-20%. Ya. Jadi... itu sebabnya saya ada kerja. Ya. 98%? Ya. Ya. Bagaimana? Jadi... dalam perniagaan data, kita... bahawa kata-kata adalah python. Jadi kita menggunakan banyak python. Dan kemudian... biasanya apabila kita mulakan python... kita mulakan pakaian. Jadi... Ya. Pakaian... masalahnya adalah... pakaian yang dibuat pada pakaian. Itu bukan pakaian kompop. Dan... Ya. Meskipun python itu sebenarnya... dibuat di atas kata-kata. Tapi kemudian... pakaian itu adalah pakaian yang dibuat pada pakaian. Pakaian yang dibuat pada pakaian. Tapi... pakaian yang dibuat pada pakaian adalah... pakaian yang dibuat dan sebagainya. Dan kemudian... anda mempunyai kata-kata. Jadi... ia sangat mempunyai kata-kata. Jadi itu sangat mudah. Ia sangat mudah. Tapi... ia sangat terkenal. Jadi... apa yang kita lakukan? Jadi... itu adalah apakah python memperkenalkan... periksa kata-kata ini. Jadi... kata-kata ini lebih cepat daripada periksa. Kerana... anda tidak perlu... terus menggantikan pakaian anda. Terus... atau membuat peribadi... untuk menggantikan... setiap keperluan. Dan... plus... ia tidak mempunyai... yang satu. Ya, ia tidak mempunyai... ia tidak mempunyai... ia tidak mempunyai... dan anda tidak perlu... terus menggantikan... periksa kata-kata ini. Tapi... Well... ia tidak terlalu cepat. Jadi... ia tidak terlalu cepat. Anda ada orang yang mempunyai... yang mencari... untuk menggantikan... bahawa mereka memakai... sebuah kata-kata yang baik untuk menggantikan... dan sebuah kata-kata yang baik untuk menggantikan. Dan mereka mempunyai... untuk analitas mempunyai... menggunakan kata-kata yang tidak mempunyai. Jadi kata-kata itu sangat sedap. Tapi mereka mengenai... untuk menggunakan kata-kata untuk menggantikan. Tapi... pandas itu... adalah baik... untuk kata-kata anda. Sebenarnya... ia adalah sebuah kata-kata yang baik. Tapi apabila mereka datang... ke kata-kata yang lebih besar... bagaimana masalahnya? Jadi... pada bulan terakhir... kata-kata kata-kata saya bertanya... tentang menggantikan kata-kata itu. Dan mereka berkata... apabila dia menggantikan kata-kata itu... dia menggantikan kata-kata. Dan mereka kata, bagaimana saya akan menggantikan kata itu? Dan mereka kata, itu hanya satu kata-kata. Dan mereka kata, bagaimana saya menggantikan kata-kata itu? Oh, kenapa saya kata begitu mudah? Bagaimana cara untuk saya... mengecewakan... kata-kata pandas itu? Jadi... apabila anda melihat kata-kata yang lebih besar... yang lebih daripada satu kata-kata, anda berpindah... atau... berpindah ke performa... dan kata-kata kami. Kata-kata pandas itu... kata-kata pandas itu... tidak akan mempunyai... untuk anda... menolakkan kata-kata anda. Jadi... okeylah, jadi... jika saya... jika saya menggantikan kata-kata pandas itu... dan... kata-kata anda akan kata, kenapa tidak mempunyai kata-kata pandas itu? Kata-kata perkara yang hebat... seperti... ia... hanya menunjukkan... ia seperti... kata-kata besar, bukan? kata-kata besar. Tetapi... ia tidak mempunyai... ia tidak bermaksud... seperti... hanya kerana kata-kata besar... anda akan... hanya... anda perlu menggunakan kata-kata besar lebih cepat. Kerana... kerana... okey... sesiapa tahu apa kata-kata itu? okey. Jadi... kata-kata yang kata-kata saya ada... saya ada... sekarang saya ada satu komputer... dan saya menggunakan kata-kata saya. Tapi kata-kata yang kata-kata saya ada... banyak komputer... menggunakan kata-kata... pada masa yang sama. Tetapi kemudian... untuk dapat menggunakan kata-kata pada masa yang sama, mereka juga perlu menghubungi... dengan yang lain. Kemudian apabila anda tahu... saya cuba menghubungi... dari kata-kata saya... kerana kata-kata saya adalah komputer. Saya cuba... saya cuba menggunakan kata-kata... apa kata-kata... kata-kata ke kata-kata anda... dan kemudian... anda akan mempunyai... jadi ada komunikasi... keadaan... di sana. Kemudian ia sama untuk... seperti kata-kata awak. Komputer anda perlu menghubungi... melalui... melalui kata-kata itu. Dan itu... itu biasanya... bahagian besar. Jadi... itu satu perkara yang baik. Dan perkara yang baik... dan perkara yang baik... untuk mengetahui adalah... kata-kata anda akan besar. Tetapi... ia tak mungkin besar cukup untuk... menggantikan kata-kata anda. Jadi... hanya menghubungi... okey, jadi... untuk apa yang saya akan menyebabkan... pada... pada kata-kata saya... pada kata-kata saya... dengan kata-kata saya. Jadi... ia menyebabkan kata-kata yang besar... sehingga... kata-kata anda... ia terlalu besar untuk... membaikkan keadaan. Tetapi... ia terlalu kecil untuk menggantikan kata-kata anda. Sebab... anda perlu menghubungi kata-kata anda. Anda perlu menghubungi kata-kata anda. Dan pada akhirnya anda akan memahami... ia tidak menyerah. Ia tidak menyerah. Jadi... apa yang akan menjadi... keputusan keperluan? Jadi... saya tidak mahu mempunyai... komputer yang berbentuk. Tetapi saya juga mahu mempunyai... komputer yang berbentuk... menggunakan kota saya. Jadi... itu akan menyebabkan... keputusan keperluan? Apa yang akan menjadi... keputusan keperluan? Baiklah. Jadi... saya tidak akan menghubungi kata-kata anda... kerana ia terlalu jauh. Tetapi... saya ingat... saya bekerja di... Yakun. Mungkin... keputusan keperluan di Yakun. Jadi... kata-kata saya... adalah... membuat... saya cuba membuat... membuat kata-kata... satu kata-kata... untuk membuat kata-kata... berada kata-kata... kata-kata... dan kemudian... setiap kata-kata... saya akan mengawalnya dengan baik... sehingga saya membuat kata-kata... dengan baik-baik yang teruk dan merah... dengan mudah... dan saya mencuba... ada masa yang terlalu teruk. Saya akan membuat... membuat kata-kata... yang terlalu teruk. Sehingga itu bukan tanya-tanya. Saya minta maaf. Dan kemudian... cara yang... saya sebenarnya tidak tahu... adalah... saya membuat... keputusan keperluan. Jadi mungkin saya membuat... keputusan keperluan 100. Kerana yang pertama saya... dilakukan dengan gente popular, saya minta untuk makan kaca. Dan saya membuat keputusan ke perluan. Kemudian... saya otakkan kata-kata. Jadi di masa ini... kata-kata gauh-gauh-gauh... adalah prosesor kamu dan pekerja kamu. Kemudian... setelah kamu otakkan kata-kata... kata-kata gauh duit... kamu membuat keputusan keperluan yang 100. Jika saya ambil lembaga, saya ambil adonan di tostor dan ambil di atas. Kemudian, saya ambil di atas. Kemudian, saya ambil adonan 100 kali. Ini berapa banyak masa yang diambil? 20 minit? 20 minit. Saya rasa adonan anda sudah bergerak. 2 tostor. Jika saya membuat parallel yang saya katakan, sama sekali, saya mempunyai 100 bahagian lembaga. Sekarang, saya ambil ke 4 bahagian. 1 bahagian, 2 bahagian, 3 bahagian, 4 bahagian. Setiap bahagian, saya ambil ke 25 bahagian. Saya ambil ke 4 tostor. Kemudian, setiap kali, saya ambil ke 4 bahagian. Kemudian, saya mengatakan, kita membutuhkan 2 minit. Sebelumnya, hanya 1 bahagian. Sekarang, saya ambil ke 4 bahagian. Saya percaya, mereka sebenarnya bergerak di parallel dan mereka bergantung dengan setiap orang. Jadi, ia bermakna, dalam satu bahagian, ia sedikit terangkan. Ia tidak benar-benar mempunyai bahagian lain. Kemudian, akhirnya, bahagian terbangun atau bahagian terbangun adalah bergantung, kemudian bergerak sebagai bahagian terbangun. Jadi, anda dapatkan bahagian anda. Dan anda tidak membuat bahagian, jadi anda tidak bergantung apabila ia adalah sebuah bahagian. Sebelumnya, pada masa kecewakan, anda melihat 100 bahagian, 2 minit untuk 3 bahagian. Kemudian sekarang, saya bergantung dengan 4 bahagian. Jadi, ia bergantung dengan mengambil kecil-kecil. Sekarang, saya mempercaya, seperti apa? 15 minit. 100 bahagian. Jadi, ia bergantung dengan setiap orang. Jadi, sekarang saya berfikir tentang, seperti, bergantung dengan bahagian. Sekarang, saya berfikir tentang, bergantung dengan bergantung. Apa yang saya bermakna bergantung dengan bergantung? Saya perlu berfikir tentang bergantung. Jadi, bahagian tidak hanya bergantung, mereka juga bergantung dengan kopi. Tapi, sebab saya mahu bekerja di penjara, kerana saya bergantung lebih di atas daripada bahagian. Jadi, saya membuat kopi merah. Tetapi, bahagian adalah, saya membuat kopi, saya boleh buat perkara lain, memeriksa telefon saya, memeriksa eggs, membuat beberapa dos, dan membuat kopi dan mesin kopi. Jadi, saya hanya berdiri dan tunggu untuk kopi untuk dibuat. 5 minit. Kemudian, selepas kopi telah dibuat, saya berfikir tentang dos saya. Jadi, 5 minit untuk kopi, 2 minit untuk dos, kemudian, untuk membuat kopi dan dos, saya ambil 7 minit. Saya tidak menunggu banyak sekadaran di yak lun. Tapi, jika saya menjari cara pramak itu, menyebabkan saya mencari kopi, yang sebenarnya membuatkah lebih kuat? Saya perlu membuat beberapa dos. Tapi, kopi masih menerima 5 minit. Kemudian, dos saya membuat 2 minit. Saya dapat membuat 2 dos dua kali. Jadi, selepas 5 minit, saya membuat 2 dos dan kopi. Lebih baik, lebih baik saya membuat jijat. saya menunggu 7 minit, hanya menunggu. Jadi, itu sebuah konsep asyik. Wow, ada banyak perkara yang sama. Saya ada banyak perkara yang sama, tetapi... Tidak. Mungkin saya mempunyai 5256 kereta. Kemudian saya mempunyai setiap perkara. Tetapi, itu benar-benar sepatutnya? Tetapi, kerana dalam dunia sebenar, ada beberapa kepercayaan praktik yang akan dipercaya. Nombor 1. Adakah kereta anda sudah mempunyai? Kadang-kadang, jika anda masih mempunyai kereta anda, kereta anda akan terlalu rendah. Atau sesuatu. Adakah anda mungkin mempercayai kereta anda? Apakah anda mempercayai kereta anda? Jadi, mari kita menggunakan kereta anda. Jangan menggunakan kereta anda. Selain itu, ia akan mempunyai kepercayaan kereta anda. Saya bermaksud, jika saya mempunyai... jika saya mempunyai kereta anda, saya menunjukkan 1,000 perkara. Saya hanya membuat perkara yang sama. Kemudian saya dapat 1,000 perkara. Kemudian mereka tidak mempercayai perkara lain. Okey, kita dapat membuat perkara yang sama. Tapi jika... jika anda mempercayai kereta anda, semua perkara yang dipercayai, semua prosesur, mereka akan mempunyai perkara lain. Kemudian anda akan mempercayai bagaimana untuk mempercayai kereta anda. Anda dapat membuat perkara yang sama. Dan... biasanya ia bukan idea yang sangat baik. Kerana ia bukan perkara yang hanya. Ia bukan perkara yang saya ingin mencapai semuanya ke dalam 256 perkara. Anda harus memikirkan jika percayaan anda berada di mana-mana untuk beri yang lain, dan jika percayaan anda berada di mana-mana untuk beri yang lain. Dan di atas perkara yang saya menyebabkan, anda juga perlu memikirkan perkara yang tersebut dalam kemahiran. Kerana... perkara yang tersebut dalam kemahiran adalah... perkara yang tersebut dalam kemahiran adalah... bahawa anda akan selalu membuat perkara yang tidak dapat dipercayai. Jadi ia tidak ada diberi kemahiran. Ya, jadi saya perlu mengenai perkara ini. Mereka akan selalu mempercayai perkara yang tidak dapat dipercayai. Jadi walaupun anda mempunyai perkara 256, ia tidak akan menjelaskan masalah anda. Dan di atas perkara itu, anda juga akan membutuhkan masa untuk menjelaskan dan membangun perkara anda, sehingga anda boleh bergerak dari kemahiran ke percayaan. Jadi itu akan menyebabkan perkara yang tersebut dalam kemahiran anda. Dan walaupun anda mengoptimise perkara itu, ia akan tetap membuat perkara yang tidak bergerak. Jadi ingat apabila saya bercakap tentang perkara yang tersebut, anda akan mempunyai perkara yang tidak bergerak dari kemahiran anda. Di sini, ia tidak sangat teruk daripada perkara yang tidak bergerak daripada perkara yang tidak bergerak. Tetapi, perkara yang anda mempunyai di antara perkara anda, ia akan tetap menjelaskan kemahiran anda. Dan untuk perkara yang tidak bergerak, sebaik-baiknya, Saya hanya bercakap tentang teoretik. Bukan saja tentang kecepatan teoretiknya. Dan teoretiknya, jika tiada kecepatan teoretik, kecepatan teoretiknya tiada. Jika semua kecepatan teoretik, ia akan menjadi kecepatan teoretik, tetapi kami tidak mempunyai itu. Jadi biasanya, kecepatan teoretik kita akan dipercaya oleh pekerjaan kerja yang dapat kecepatan. Jadi jika anda mempunyai kecepatan teoretik yang lebih tinggi, tidak akan membuatkan kecepatan teoretik sehingga dengan kecepatan teoretik yang lebih tinggi. Jadi anda dapat melihat kecepatan teoretik, anda dapat melihat kecepatan teoretik dalam kemungkinan kecepatan. Dan kemudian, ada dua kota peralatan yang kita boleh menggunakan. Satu adalah peralatan teoretik, dan satu adalah peralatan teoretik. Peralatan teoretik adalah anda melakukan peralatan di antara peralatan teoretik, menggunakan peralatan teoretik. Jadi saya menerima peralatan teoretik menggunakan peralatan teoretik di kebanyakan saya. Untuk peralatan teoretik, ia membuat beberapa peralatan teoretik pada masa yang sama, kami perlukan seorang peralatan teoretik. Satu adalah, saya ada seorang peralatan teoretik yang biasanya ada dua peralatan teoretik dalam peralatan teoretik. Dan satu peralatan teoretik dan satu peralatan teoretik akan membuat sesuatu yang lain. Jadi, sebab sebab kemungkinan menggunakan peralatan teoretik, peralatan teoretik terbaik untuk IO, tapi jika kita cuba membuat banyak peralatan teoretik atau sebuah harga digital, lebih baik saya menggunakan peralatan teoretik daripada peralatan teoretik. Sebab kenapa ini kemungkinan? Sebab, peralatan teoretik terpaksa menjadi lebih berkelakuan. Jadi, biasanya saya akan bercakap dengan teoretik, melakukan fungsi matahari atau cuba menggantikan sesuatu. Jadi, itu adalah berkelakuan. Dan jika saya terus menggantikan peralatan teoretik, hanya untuk membuat peralatan saya, ia akan menjadi lebih berkelakuan. Dan untuk menyebabkan masalah anda, Pytan mempunyai GIL. Ya, GIL, saya tahu bahawa ia sesuatu yang saya memberikan kepada orang-orang, sebab tidak mengajar anda untuk membuat peralatan teoretik. Ya, sebab GIL ada banyak peralatan teoretik. Jadi, ia tidak mengajar peralatan teoretik. Jadi, okey. Jadi, saya tidak boleh membuat peralatan teoretik. Jadi, bagaimana saya membuat peralatan teoretik dengan Pytan? Dan plus, saya mahu membuatnya securusnya. Saya tidak mahu menunggu sesuatu dan kemudian, sebelum saya dapat membuat sebuah task yang lain. Jadi, Pytan sebenarnya cukup. Mereka tidak mempunyai peralatan teoretik dalam peralatan teoretik yang sangat tinggi untuk membuat peralatan teoretik asyik. Jadi, ini sebenarnya digunakan dalam peralatan teoretik 3.2. Bukan kita sudah diperalatan teoretik 3.8. Jadi, peralatan teoretik ini sudah seperti beberapa tahun lalu. Okey. Jadi, ini adalah peralatan teoretik yang terdapat lebih daripada peralatan teoretik. Itu adalah peralatan teoretik yang terdapat lebih daripada peralatan teoretik. Kemudian, kita lihat Pytan seperti yang kita baca. Apa yang berbeza antara peralatan teoretik dan peralatan teoretik. Untuk peralatan teoretik, anda akan mempunyai pilihan untuk menggantikan peralatan teoretik dalam peralatan teoretik. Dan ia akan memperbaiki peralatan teoretik. Apakah untuk peralatan teoretik, ia tidak mengalami peralatan teoretik dalam peralatan teoretik?자�u akan membahas pilihan peralatan teoretik dan yaudah inklinat. Soep feedsaf adalah pilihan peralatan teoretik peralatan teoretik adalah pilihan peralatan teoretik. Jadi pun kerana peralatan teoretik beesaf buffer teoretik, ia akan membeajar masuk kembali. Jadi itu adalah perbezaan antara kedua-dua pengalaman. Dalam modul ini, dalam modul ini, kita ada pengalaman pengalaman pengalaman, yang akan mengambil sebuah alam, dan sebuah alam alam. Dan kemudian ia menerima alam fintas yang akan mengalami pengalaman pengalaman. Jadi ia bukan sebuah alam. Sebenarnya sebuah pengalaman atau pengalaman pengalaman pengalaman setiap pengalaman. Sebenarnya sebuah alam fintas adalah yang sama dengan pengalaman pengalaman pengalaman. Jadi ia mengambil pengalaman pengalaman yang akan menerima dan kemudian seperti pakaian semasa semua alam akan memperoleh pengalaman dan sebagainya, ia menerima alam. Sehingga ia menerima alam menggunakan keadaan untuk setiap alasan. Jadi, ia bermakna, apabila saya menggunakan pemerintah eksekutor saya, saya tidak dapat melihatnya dengan cepat. Saya akan mempunyai alasan dari pemerintah eksekutor untuk membangkakan sesuatu. Jadi, salah satu kes yang saya akan menolakkan adalah pembedahan network-ioreal. Jadi, di sini, saya akan menolakkan bahan dari bahan yang dikatakan di tempat perjalanan. Jadi, saya ada sebuah... Jadi, kemungkinan saya akan menjadi bahan yang dikatakan. So it's like calling the API, trying to pull the data from the API. So first I initialise the volume. Okay for trading right, so we realise I have trading. Why do I need the trading? Because I would need to monitor my API request. Like which thread is the API request right on? And then initialise the assumption. It's like my dose, it's like my bread. And then I try this compression because this compression is a good way in Python. Then if I use this compression, it takes almost 17 minutes to make 100 API requests. I think I can eat the meal during that time. But then if I use trackful executor to execute the API request, I actually get a speed up of about 21 times. So it's actually completed in less than a minute. It's actually less than a minute. And then now another case will be for image processing. So typically for image processing, our images will be quite big. And we will try to size it up to a unified dimension so that we can actually train our model. So in this case, our data set contains images of different dimensions. Some can be very long, some can be very small. But we need to unifin it to standardise them. So same thing, I initialise my modules. I clearly define the process that I want to run on all the images. So in this case, I use os.getPID to monitor the process execution. I'm trying to monitor the processor. So it's different from when for the previous case or why, I am actually trying to monitor the transmission. As usual, I initialise what I want to process. So in this case, I have about 1,431 images to process. So in this case, it's fairly straightforward for us to use that. First, it's off. I put a toe, I put red, and then I throw in toaster, and then I get the toes. So in this case, I get image, I try to resize it, I take it out. So map should work quite, map should be quite intuitive, right? But guess what? 1,000 plus images, it takes 29x48 seconds. Imagine that your data set has like a lot more images, like 100 times of that. So let's try these calculations because it's the optimised way to do so in Python. It's not much better. It's also around the same challenge. But if I use processful executor and the map function, and I'm using an 8-core machine, I can actually process like what, there are 1,000 images in just less than 7 seconds. That is effectively a 4.3x speed up. So now you can see how conqueror features actually can speed up your data processing. So some key takeaways that not all processors should be parallelised. It comes to overheads. Always remember Ember's law. On top of that, there are still system overheads such as the communication overhead. And most importantly, if the cost of rewriting your code for parallelisation are actually outweighs the time savings that you can get. Maybe your data is very small. Then maybe just think of other ways to parallelise your code. Like think of other ways to optimise your code, like these comprehensions. And on top of that, stop using four nodes. Use other ways to optimise your code to speed up your data processing. Ya, so just how you can find my slides on GitHub. Thank you, Syiridah. Anyone have any questions? So you had a problem with 30 minutes to pull the data from Ember. Yes, we're trying to... Is it because I'm proposing as a result of that? Is it because the update will be very difficult? Possible. If I mean possible, there are ways that prevent it from making so many plans within a call or a test. How many data points will you write? Because actually, this is related to one of my other projects. But I'm trying to pull about three years' worth of data. So imagine that there's about 1,000 plus, 8000 plus. So the API is actually designed more for mobile applications or web applications where you pull the data and display it. So for that, the data.gov API works fine. But then if I am... That's not a short jump, so take the... Ya, but then if I'm a data person, so I want to be able to get into the raw data and try and analyse it for myself. I don't... Ya, there are like abbreviated data that are on the CSB and stuff. But I would prefer to work on the raw data and find out for myself instead of relying on data that has already processed so much for me. Do they have... I'm just curious. Do they have a way for you to download the file for the raw data? In this case, not for that... No, you have to use the API. Correct. It's purely API. So my suspicion is probably... Ya, so probably using the thread tool in a way to try to overcome that. Ya, there will still be a way to do that. But at least you have multiple threads to make them test. Any other question? Are there any other questions for Jury? Baiklah, terima kasih.