+48 22 203 56 00 biuro@sages.pl
Szkolenie dostępne na zamówienie

Szkolenie: Przetwarzanie strumieni danych w Apache Spark

Szkolenie "Przetwarzanie strumieni danych w Apache Spark" pozwala nie tylko poznać mechanizmy przetwarzania strumieni danych w Apache Spark, ale także usystematyzować i uporządkować wiedzę na temat przetwarzania strumieni oraz szczegółowo przyjrzeć się możliwościom i ograniczeniom, z jakimi mamy do czynienia w ramach tej platformy.

1300 PLN+23% VAT (1599 PLN brutto / 1 os.)

Czas trwania szkolenia:1 dni (8h)

Poziom zaawansowania:

Kod kursu:BIGDATA/SPARK/STREAMS

pythonscalaspark

Dostępne terminy szkolenia

  • Termin
  • Trener
  • Cena
  • Zapis
  • Lokalizacja

Termin:

18 grudnia
Trwają zapisy na szkolenie

Trener:

Krzysztof Jankiewicz

Cena:

1300 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Forma szkolenia

Interesuje Cię szkolenie stacjonarne?

Zapytaj o szkolenie

Powiadom o kolejnych terminach

Interesuje Cię szkolenie w innym terminie?

Przetwarzanie strumieni danych w Apache Spark

Cele szkolenia

  • Zrozumienie kluczowych mechanizmów przetwarzania strumieni danych

  • Poznanie mechanizmów Apache Spark pozwalających na zaawansowane przetwarzanie strumieni danych

  • Praktyczne rozpoznanie możliwości oraz ograniczeń Apache Spark w zakresie przetwarzania strumieni danych

  • Implementacja szeregu procesów przetwarzających strumienie danych

Dla kogo?

  • Twórców rozwiązań Big Data, którzy rozpoczynają swoją przygodę ze strumieniami danych

  • Programistów chcących poznać mechanizmy i narzędzia przetwarzania strumieni danych w Apache Spark

Zalety

  • Uzupełnienie wiedzy na temat platformy Apache Spark

  • Kompleksowy przegląd mechanizmów Apache Spark pozwalających na przetwarzanie strumieni danych

  • Szkolenie "Przetwarzanie strumieni danych w Apache Spark" opiera się na fundamentach przetwarzania strumieni danych i prezentuje to, w jaki sposób adresuje je Apache Spark, dzięki temu możliwe jest dogłębne zrozumienie wykorzystywanych mechanizmów

Wymagania

  • Praktyczna znajomość programowania obiektowego Java

  • Podstawowa znajomość języka Scala/Python

  • Znajomość platformy Spark obejmująca zarówno przetwarzanie danych RDD jak i funkcjonalność Spark SQL, zalecane ukończenie kursu Apache Spark (BIGDATA/SPARK alternatywnie BIGDATA/PYSPARK)

  • Podstawowa znajomość Apache Kafka

W cenie otrzymasz:

  • Materiały szkoleniowe

  • Certyfikat ukończenia szkolenia

  • W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki

Program szkolenia

Pobierz program w PDF

Wprowadzenie do przetwarzania strumieni danych

  • Cele

  • Przetwarzanie wsadowe, mikrowsadowe i strumieniowe

  • Przetwarzanie stanowe i bezstanowe

  • Znacznik czasowe

  • Okna

  • Typy dostępnych operacji

  • Porządek danych, dane opóźnione, dane spóźnione

  • Obsługa awarii

  • Complex Event Processing

  • API wysokopoziomowe

Spark Streaming

  • Wprowadzenie

  • Podstawy - struktura i logika programu

  • Architektura

  • Dostępne źródła danych, strumienie wejściowe, odbiorniki

  • Transformacje bezstanowe i stanowe

  • Operacje wynikowe - ujścia (sink)

  • Mechanizmy zabezpieczające przed awariami

Spark Structured Streaming

  • Wprowadzenie

  • Podstawy - struktura i logika programu

  • Typy obsługi tabel wynikowych

  • Obsługa znaczników czasowych

  • Szczegóły API (źródła, transformacje, ujścia, uruchamianie)

  • Obsługa zdarzeń opóźnionych

  • Konfiguracja i wykorzystanie punktów kontrolnych

Autorem szkolenia jest Krzysztof Jankiewicz

Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…

Podobne szkolenia

Przetwarzanie strumieni danych w środowiskach Big Data

Liczba dni: 3
2805 PLN

Przetwarzanie strumieni danych (stream data processing) z roku na rok zyskuje na znaczeniu w szczególności w przypadku rozwiązań Big Data. Jest wymagane w wielu uznanych architekturach, oferuje możliwości, które nie sposób osiągnąć przy tradycyjnym/wsadowym przetwarzaniu danych. Kurs wprowadza uczestników w świat mechanizmów przetwarzania strumieni danych oraz najważniejszych narzędzi Big Data, które taki typ przetwarzania udostępniają. Zakres szkolenia obejmuje: podstawy platformy Kafka jako brokera wiadomości, Spark Streaming, Spark Structured Streaming, Kafka Streaming, a także wprowadzenie platformy Flink. Innymi słowy, szkolenie zawiera wprowadzenie do przetwarzania strumieni danych w środowiskach Big Data oraz przegląd najważniejszych rozwiązań począwszy od najprostszych, aż po najbardziej skomplikowane.

scalaspark

Apache Spark z wykorzystaniem języka Scala

Liczba dni: 3
2805 PLN

Praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big Data

scalaspark

Apache Spark z wykorzystaniem języka Python

Liczba dni: 2
2365 PLN

Praktyczne przetwarzanie Big Data przy pomocy Apache Spark w języku Python

mlibsparkspark-sql