Szkolenie: Deep learning

Szkolenie z TensorFlow dostarcza niezbędnej wiedzy do rozpoczęcia pracy z rozwiązaniami opartymi o uczenie głębokie (deep learning) w bibliotece TensorFlow.

Szkolenie "Optymalizacja modeli uczenia głębokiego w procesie treningu i inferencji" koncentruje się na optymalizacji modeli głębokiego uczenia zarówno w fazie treningu, jak i inferencji. Uczestnicy szkolenia zapoznają się z technikami optymalizacji, takimi jak kwantyzacja, pruning, mixed-precision training oraz narzędziami do kompresji modeli i wdrażania na urządzeniach brzegowych. Szczególną uwagę poświęcono optymalizacji dużych modeli językowych (LLMs) oraz modeli wizji komputerowej, z wykorzystaniem technologii ONNX, TensorRT, Triton oraz narzędzi do optymalizacji potoków danych.

Jednym z ważniejszych zadań Deep Learningu jest budowa reprezentacji danych. Ponieważ często mamy do dyspozycji dużą liczbę niepoetykietowanych danych (wysokie koszty), w ostatnim czasie widzimy coraz większe zainteresowanie konstrukcją nienadzorowanych reprezentacji za pomocą metod kontrastywnych (contrastive learning). Drugim istotnym narzędziem do konstrukcji reprezentacji są modele bazujące na strukturze AutoEnkodera. Pozwalają one w szczególności uzupełniać brakujące części zdjęć (missing imputation), kompresować dane, usuwać szum (denoising AutoEncoder) lub też wyszukiwać odstające obserwacje (outliers). Rozszerzenie AutoEnkodera do modeli generatywnych jak VAE (variational AutoEncoder) pozwala nam na generowanie danych, interpolację między danymi czy ich manipulację. Inne ważne modele generatywne to GANy, które pozwalają na generowanie fotorealistycznych zdjęć czy ich modyfikowanie (text-to-speech, image impainting, etc) czy modele pozwalające na estymację gęstości (modele flowowe). W ramach szkolenia omówiona zostanie tematyka budowy nienadzorowanych reprezentacji danych oraz modele generatywne, przechodząc od tych posiadających strukturę AutoEnkodera, po GANy oraz modele gęstościowe.