+48 22 203 56 00 biuro@sages.pl
Trwają zapisy do grupy

Szkolenie: Apache Spark z wykorzystaniem języka Scala

Praktyczne wykorzystanie platformy Apache Spark w kontekście przetwarzania Big Data

  • Trenerzy praktycy
  • Kameralne grupy

Czas trwania szkolenia:3 dni (24h)

Poziom zaawansowania:

Kod kursu:BIGDATA/SPARK

scalaspark

Dostępne terminy szkolenia

  • Termin
  • Trener
  • Cena
  • Zapis
  • Lokalizacja

Termin:

29 stycznia
Trwają zapisy na szkolenie

Trener:

Krzysztof Jankiewicz

Cena:

2805 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Termin:

14 kwietnia
Trwają zapisy na szkolenie

Trener:

Trener-Sages

Cena:

2805 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Termin:

14 lipca
Trwają zapisy na szkolenie

Trener:

Trener-Sages

Cena:

2805 PLN netto
Ikona podpowiedziDowiedz się więcej o cenach szkoleń - zapraszamy do kontaktu
+23% VAT
Zapisz się

Lokalizacja:

Zdalne
Zdalne
Ikona podpowiedziZapytaj o inne lokalizacje - w tym celu skorzystaj z chatu

Forma szkolenia

Interesuje Cię szkolenie stacjonarne?

Zapytaj o szkolenie

Powiadom o kolejnych terminach

Interesuje Cię szkolenie w innym terminie?

Apache Spark z wykorzystaniem języka Scala

Cele szkolenia

  • Zapoznanie z platformą Spark oraz jej API w języku Scala

  • Pokazanie metod analizy dużej ilości danych

Dla kogo?

  • Analitycy i programiści, którzy znają podstawy Big Data i chcą rozpocząć przygodę z wykorzystaniem platformy Spark oraz językiem Scala

Zalety

  • Kompleksowe wprowadzenie do platformy Spark

  • Przedstawienie praktycznych przykładów oraz praktyk związanych z analizą dużej ilości danych

  • Apache Spark to narzędzie uniwersalne, za pomocą którego można przetwarzać nie tylko dane wsadowe, ale także takie, które mają postać strumieni. Osoby zainteresowane pogłębieniem tematu zapraszamy na kurs Przetwarzanie strumieni danych w Apache Spark

Wymagania

  • Dobra znajomość: języka SQL, relacyjnego modelu danych oraz hurtowni danych

  • Podstawowa znajomość obiektowych języków programowania np.: Java, Python lub Scala

  • Znajomość zagadnień Big Data, platformy Hadoop oraz powiązanych z nią narzędzi

  • Zalecany jest wcześniejszy udział w szkoleniu: Big Data i platforma Hadoop - wprowadzenie (BIGDATA/BASE)

W cenie otrzymasz:

  • Materiały szkoleniowe

  • Certyfikat ukończenia szkolenia

  • W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki

Program szkolenia

Pobierz program w PDF

Podstawy języka Scala

  • Zmienne, kontrola statyczna i wnioskowanie typów

  • Instrukcje sterujące

  • Skala jako język obiektowy

  • Skala jako język funkcyjny

  • Złożone typy danych

  • Zagadnienia uzupełniające

Wprowadzenie do Apache Spark

  • Historia

  • Architektura

  • Typy konfiguracji

  • Terminologia - aplikacje, zadania, etapy, jednostki zadań

  • Jak to wszystko działa?

  • Struktura programu

  • Środowiska REPL - spark-shell

  • Dlaczego Scala?

  • Co dalej?

RDD API

  • Wprowadzenie do RDD

  • Transformacje

  • Akcje

  • Agregacja i redukcja

  • RDD par klucz-wartość

Spark SQL - DataFrames API

  • Wprowadzenie do Spark SQL

  • DataFrames vs. Dataset

  • Wczytywanie danych, źródła danych

  • Schemat danych

  • Przetwarzanie danych

Spark SQL - Dataset API

  • Wydajność Spark SQL

  • Dataset

  • Profilowanie danych

  • Czyszczenie danych

  • Podsumowanie: RDD, DataFrames, Dataset

Spark SQL - SQL API

  • Tabele zewnętrzne jako źródła danych

  • Tworzenie tabel zarządzalnych

  • Korzystanie z SQL

  • Usługa Thrift JDBC/ODBC Server

  • Dostęp za pomocą JDBC

Biblioteka Delta Lake

  • Wprowadzenie

  • Zasilanie Delta Lake

  • Odczyt i zapis

  • Obsługa modyfikacji

  • Elementy zaawansowane

Autorem szkolenia jest Krzysztof Jankiewicz

Konsultant IT i wykładowca akademicki. Specjalista w zakresie ogólnie rozumianego przetwarzania danych. Począwszy od relacyjnych systemów baz danych, poprzez architekturę, utrzymanie i wykorzystywanie hurtowni danych, bazy danych NoSQL, systemy danych przestrzennych, po narzędzia i platformy Big Data. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od…

Podobne szkolenia

Przetwarzanie strumieni danych w Apache Spark

Liczba dni: 1
1300 PLN

Szkolenie "Przetwarzanie strumieni danych w Apache Spark" pozwala nie tylko poznać mechanizmy przetwarzania strumieni danych w Apache Spark, ale także usystematyzować i uporządkować wiedzę na temat przetwarzania strumieni oraz szczegółowo przyjrzeć się możliwościom i ograniczeniom, z jakimi mamy do czynienia w ramach tej platformy.

pythonscalaspark

Przetwarzanie strumieni danych w środowiskach Big Data

Liczba dni: 3
2805 PLN

Przetwarzanie strumieni danych (stream data processing) z roku na rok zyskuje na znaczeniu w szczególności w przypadku rozwiązań Big Data. Jest wymagane w wielu uznanych architekturach, oferuje możliwości, które nie sposób osiągnąć przy tradycyjnym/wsadowym przetwarzaniu danych. Kurs wprowadza uczestników w świat mechanizmów przetwarzania strumieni danych oraz najważniejszych narzędzi Big Data, które taki typ przetwarzania udostępniają. Zakres szkolenia obejmuje: podstawy platformy Kafka jako brokera wiadomości, Spark Streaming, Spark Structured Streaming, Kafka Streaming, a także wprowadzenie platformy Flink. Innymi słowy, szkolenie zawiera wprowadzenie do przetwarzania strumieni danych w środowiskach Big Data oraz przegląd najważniejszych rozwiązań począwszy od najprostszych, aż po najbardziej skomplikowane.

scalaspark

Apache Spark z wykorzystaniem języka Python

Liczba dni: 2
2365 PLN

Praktyczne przetwarzanie Big Data przy pomocy Apache Spark w języku Python

mlibsparkspark-sql