Przetwarzanie strumieni danych w Apache Spark
Szkolenie "Przetwarzanie strumieni danych w Apache Spark" pozwala nie tylko poznać mechanizmy przetwarzania strumieni danych w Apache Spark, ale także usystematyzować i uporządkować wiedzę na temat przetwarzania strumieni oraz szczegółowo przyjrzeć się możliwościom i ograniczeniom, z jakimi mamy do czynienia w ramach tej platformy.
1300 PLN+23% VAT (1599 PLN brutto / 1 os.)Czas trwania szkolenia:1 dni (8h)
Kod kursu:BIGDATA/SPARK/STREAMS
Dostępne terminy
Termin:
Trener:
Cena:
1300 PLN netto
Lokalizacja:
ZdalneTermin:
Trener:
Cena:
1300 PLN nettoLokalizacja:
ZdalneTermin:
Trener:
Cena:
1300 PLN nettoLokalizacja:
ZdalnePrzetwarzanie strumieni danych w Apache Spark
Cele szkolenia
- Zrozumienie kluczowych mechanizmów przetwarzania strumieni danych
- Poznanie mechanizmów Apache Spark pozwalających na zaawansowane przetwarzanie strumieni danych
- Praktyczne rozpoznanie możliwości oraz ograniczeń Apache Spark w zakresie przetwarzania strumieni danych
- Implementacja szeregu procesów przetwarzających strumienie danych
Dla kogo?
- Twórców rozwiązań Big Data, którzy rozpoczynają swoją przygodę ze strumieniami danych
- Programistów chcących poznać mechanizmy i narzędzia przetwarzania strumieni danych w Apache Spark
Zalety
- Uzupełnienie wiedzy na temat platformy Apache Spark
- Kompleksowy przegląd mechanizmów Apache Spark pozwalających na przetwarzanie strumieni danych
- Szkolenie "Przetwarzanie strumieni danych w Apache Spark" opiera się na fundamentach przetwarzania strumieni danych i prezentuje to, w jaki sposób adresuje je Apache Spark, dzięki temu możliwe jest dogłębne zrozumienie wykorzystywanych mechanizmów
Wymagania
- Praktyczna znajomość programowania obiektowego Java
- Podstawowa znajomość języka Scala/Python
- Znajomość platformy Spark obejmująca zarówno przetwarzanie danych RDD jak i funkcjonalność Spark SQL, zalecane ukończenie kursu Apache Spark (BIGDATA/SPARK alternatywnie BIGDATA/PYSPARK)
- Podstawowa znajomość Apache Kafka
W cenie otrzymasz:
- Materiały szkoleniowe
- Certyfikat ukończenia szkolenia
- W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program
Wprowadzenie do przetwarzania strumieni danych
- Cele
- Przetwarzanie wsadowe, mikrowsadowe i strumieniowe
- Przetwarzanie stanowe i bezstanowe
- Znacznik czasowe
- Okna
- Typy dostępnych operacji
- Porządek danych, dane opóźnione, dane spóźnione
- Obsługa awarii
- Complex Event Processing
- API wysokopoziomowe
Spark Streaming
- Wprowadzenie
- Podstawy - struktura i logika programu
- Architektura
- Dostępne źródła danych, strumienie wejściowe, odbiorniki
- Transformacje bezstanowe i stanowe
- Operacje wynikowe - ujścia (sink)
- Mechanizmy zabezpieczające przed awariami
Spark Structured Streaming
- Wprowadzenie
- Podstawy - struktura i logika programu
- Typy obsługi tabel wynikowych
- Obsługa znaczników czasowych
- Szczegóły API (źródła, transformacje, ujścia, uruchamianie)
- Obsługa zdarzeń opóźnionych
- Konfiguracja i wykorzystanie punktów kontrolnych
Autorem szkolenia jest Krzysztof Jankiewicz
Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…
