Szkolenie: Produkcyjne wdrażanie potoków przetwarzania AI/machine learning na Kubernetes
W trakcie szkolenia "Produkcyjne wdrażanie potoków przetwarzania AI/machine learning na Kubernetes" dowiesz się jak przekształcić trudny w utrzymaniu kod trenujący modele Machine Learning/AI z Jupyter Notebooków do wydajnych i skalowalnych potoków przetwarzania ML/AI uruchamianych na Kubernetes.
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:4 dni (32h)
Kod kursu:ML/KUBERNETES
Produkcyjne wdrażanie potoków przetwarzania AI/machine learning na Kubernetes
Cele szkolenia
Zrozumienie procesu przekształcania notebooka Jupyter w skalowalne rozwiązanie produkcyjne
Nauka konteneryzacji skryptów ML przy użyciu Dockera
Poznanie podstawowych narzędzi do uruchamiania zadań na Kubernetesie
Poznanie problemów związanych z uruchamianiem potoków przetwarzania ML na Kubernetesie
Opanowanie podstaw Apache Airflow w zakresie orkiestracji potoków przetwarzania ML
Dla kogo?
Data Scientists oraz inżynierowie ML chcący nauczyć się wdrażania skalowalnych potoków przetwarzania ML/AI
Programiści rozpoczynający swoją przygodę z DevOps lub zainteresowani inżynierską stroną AI/ML
Programiści z doświadczeniem w Kubernetes, chcący poszerzyć swoją wiedzę o aspekty wdrożeń potoków przetwarzania AI/ML
Zalety
Praktyczne podejście do produkcyjnego wdrażania potoków przetwarzania ML/AI - dużo zadań i minimum niezbędnej teorii
Skupienie na rzeczywistych scenariuszach z użyciem Kubernetes i Apache Airflow
Ekspozycja na techniki skalowania i zrównoleglania potoków przetwarzania ML/AI
Warszaty przeprowadzone w formie pełnego projektu od początku do końca - od Notebooka, przez refaktoryzację, dockeryzację, aż po uruchomienie na Kubernetes
Wymagania
Szkolenie nie jest kierowane dla osób początkujących - wymagane co najmniej 2 letnie doświadczenie programistyczne
Podstawowa znajomość koncepcji machine learning
Dobra znajomość języka programowania Python
Dobra znajomość środowiska Linux, w szczególności pracy linii poleceń
Znajomość składni YAML
Znajomość podstawowych koncepcji Kubernetes będzie atutem, ale nie jest wymagana
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Wprowadzenie i konfiguracja
Przegląd kursu i jego celów
Wprowadzenie do istniejącego notebooka Jupyter i jego komponentów
Konfiguracja środowiska
Od Notebook'a do Skryptu
Przekształcenie notebooka Jupyter w skrypt Python
Testowanie i walidacja przekształconego skryptu
Wprowadzenie do Docker
Podstawy Docker: obrazy, kontenery i rejestry
Tworzenie Dockerfile dla skryptu ML
Budowanie i testowanie obrazów Docker
Uruchamianie skryptu ML wewnątrz kontenera Docker
Wprowadzenie do Kubernetes
Podstawy Kubernetes: architektura i komponenty
Obiekty w Kubernetes: Namespace, Pod, Deployment, Job, Cron Job, ConfigMaps, Secrets
Uruchamianie skryptu ML na Kubernetesie za pomocą zasobu Job
Uruchamianie zaplanowanego skryptu ML za pomocą Cron Job
Zarządzanie danymi w Kubernetes
Wolumeny Kubernetes
Magazynowanie obiektowe MinIO/S3
Obsługa configuracji haseł i sekretów w Kubernetes
Integracja skryptu ML z MinIO/S3 do zapisywania i pobierania danych
Orkiestracja potoków przetwarzania ML na Kubernetesie z użyciem Airflow
Wprowadzenie do Apache Airflow: koncepcje i architektura
Konfiguracja Apache Airflow na Kubernetesie
Przekształcanie skryptu ML w modułowe komponenty
Tworzenie DAG Airflow z modularnego skryptu
Skalowanie i równoległość zadań ML w Airflow
Wprowadzenie do KubernetesPodOperator
Monitorowanie i rozwiązywanie problemów z zadaniami Airflow na Kubernetesie
Automatyzacja (CI/CD)
Automatyzacja budowania obrazów Dockerowych
Ciągłe wdrażanie potoków przetwarzania ML/AI na Kubernetes