Loading...

[PJUG] Konrad Malawski - Scalding - Hadoop Word Count in less than 70 lines

22 views

Loading...

Loading...

Rating is available when the video has been rented.
This feature is not available right now. Please try again later.
Published on Mar 1, 2018

Hadoop (Map Reduce) już na dobre zadomowił się w środowisku IT i jest ogólnie znanym narzędziem do przetwarzania dużych ilości danych. Pisanie Jobów Hadoopowych mogłoby jednak być wygodniejsze, a word-count nie musi wcale mieć 70 linii kodu a jedynie 6.
Podczas tej prezentacji zapoznamy się z Twitter Scalding, którego celem jest sprawienie pisania jobów MRowych możliwie prostym, oraz „natywnym” dla Scali. Scalding jest cienką warstwą nadbudowaną nad Cascading – który umożliwia składanie jobów Hadoopowych z klocków o wyższym poziomie abstrakcji niż czyste funkcje map/reduce.
Najpierw zapoznamy się ze stosowaną przez te narzędzia terminologią a następnie przejdziemy do przykładów zastosowania.
Do rozkoszowania się prezentacją nie jest wymagana zaawansowana znajomość Hadoopa ani Scali.

Loading...

When autoplay is enabled, a suggested video will automatically play next.

Up next


to add this to Watch Later

Add to

Loading playlists...