Szkolenie: Przetwarzanie strumieni danych w Apache Spark
Szkolenie "Przetwarzanie strumieni danych w Apache Spark" pozwala nie tylko poznać mechanizmy przetwarzania strumieni danych w Apache Spark, ale także usystematyzować i uporządkować wiedzę na temat przetwarzania strumieni oraz szczegółowo przyjrzeć się możliwościom i ograniczeniom, z jakimi mamy do czynienia w ramach tej platformy.
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:1 dni (8h)
Kod kursu:BIGDATA/SPARK/STREAMS
Dostępne terminy szkolenia
Termin:
Trener:
Cena:
1300 PLN netto
Lokalizacja:
ZdalnePrzetwarzanie strumieni danych w Apache Spark
Cele szkolenia
Zrozumienie kluczowych mechanizmów przetwarzania strumieni danych
Poznanie mechanizmów Apache Spark pozwalających na zaawansowane przetwarzanie strumieni danych
Praktyczne rozpoznanie możliwości oraz ograniczeń Apache Spark w zakresie przetwarzania strumieni danych
Implementacja szeregu procesów przetwarzających strumienie danych
Dla kogo?
Twórców rozwiązań Big Data, którzy rozpoczynają swoją przygodę ze strumieniami danych
Programistów chcących poznać mechanizmy i narzędzia przetwarzania strumieni danych w Apache Spark
Zalety
Uzupełnienie wiedzy na temat platformy Apache Spark
Kompleksowy przegląd mechanizmów Apache Spark pozwalających na przetwarzanie strumieni danych
Szkolenie "Przetwarzanie strumieni danych w Apache Spark" opiera się na fundamentach przetwarzania strumieni danych i prezentuje to, w jaki sposób adresuje je Apache Spark, dzięki temu możliwe jest dogłębne zrozumienie wykorzystywanych mechanizmów
Wymagania
Praktyczna znajomość programowania obiektowego Java
Podstawowa znajomość języka Scala/Python
Znajomość platformy Spark obejmująca zarówno przetwarzanie danych RDD jak i funkcjonalność Spark SQL, zalecane ukończenie kursu Apache Spark (BIGDATA/SPARK alternatywnie BIGDATA/PYSPARK)
Podstawowa znajomość Apache Kafka
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Wprowadzenie do przetwarzania strumieni danych
Cele
Przetwarzanie wsadowe, mikrowsadowe i strumieniowe
Przetwarzanie stanowe i bezstanowe
Znacznik czasowe
Okna
Typy dostępnych operacji
Porządek danych, dane opóźnione, dane spóźnione
Obsługa awarii
Complex Event Processing
API wysokopoziomowe
Spark Streaming
Wprowadzenie
Podstawy - struktura i logika programu
Architektura
Dostępne źródła danych, strumienie wejściowe, odbiorniki
Transformacje bezstanowe i stanowe
Operacje wynikowe - ujścia (sink)
Mechanizmy zabezpieczające przed awariami
Spark Structured Streaming
Wprowadzenie
Podstawy - struktura i logika programu
Typy obsługi tabel wynikowych
Obsługa znaczników czasowych
Szczegóły API (źródła, transformacje, ujścia, uruchamianie)
Obsługa zdarzeń opóźnionych
Konfiguracja i wykorzystanie punktów kontrolnych
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
