Loading...

J-Santa 2018 | Strumienie danych w telco - czego się nauczyliśmy (...)? Maciej Próchniak

22 views

Loading...

Loading...

Rating is available when the video has been rented.
This feature is not available right now. Please try again later.
Published on Jul 25, 2019

"Strumienie danych w telco - czego się nauczyliśmy przez ostatnie 2 lata?"

Dwa lata temu wdrożyliśmy Apache Flink - silnik przetwarzania strumieniowego w jednym z największych polskich telkomów. Na początku był używany do Real Time Marketingu, następnie także do wykrywania fraudów i innych zastosowań. W tej chwili mamy ponad 50 procesów, które w szczycie przetwarzają w sumie ponad 150k zdarzeń na sekundę.


Chciałbym podzielić się naszymi doświadczeniami. Część z nich to sprawy techniczne - jaka jest nasza architektura (Flink, Kafka itd.), jakie są wyzwania związane z przetwarzaniem dziesiątków tysięcy zdarzeń na sekundę, jak uporać się z dużym stanem itd. Część jest bardziej organizacyjna - czym się różni tworzenie procesów strumieniowych od batchowych lub ‘normalnych’ aplikacji.
Opowiem też trochę o projekcie open source który stworzyliśmy w trakcie - Nussknacker jest narzędziem (GUI) do tworzenia procesów na Flinku i jest używany przez analityków którzy niekoniecznie potrafią kodować...

Loading...

When autoplay is enabled, a suggested video will automatically play next.

Up next


to add this to Watch Later

Add to

Loading playlists...