Zwiększanie wydajności sieci neuronowych

Jednym z ważniejszych zadań Deep Learningu jest budowa reprezentacji danych. Ponieważ często mamy do dyspozycji dużą liczbę niepoetykietowanych danych (wysokie koszty), w ostatnim czasie widzimy coraz większe zainteresowanie konstrukcją nienadzorowanych reprezentacji za pomocą metod kontrastywnych (contrastive learning). Drugim istotnym narzędziem do konstrukcji reprezentacji są modele bazujące na strukturze AutoEnkodera. Pozwalają one w szczególności uzupełniać brakujące części zdjęć (missing imputation), kompresować dane, usuwać szum (denoising AutoEncoder) lub też wyszukiwać odstające obserwacje (outliers). Rozszerzenie AutoEnkodera do modeli generatywnych jak VAE (variational AutoEncoder) pozwala nam na generowanie danych, interpolację między danymi czy ich manipulację. Inne ważne modele generatywne to GANy, które pozwalają na generowanie fotorealistycznych zdjęć czy ich modyfikowanie (text-to-speech, image impainting, etc) czy modele pozwalające na estymację gęstości (modele flowowe). W ramach szkolenia omówiona zostanie tematyka budowy nienadzorowanych reprezentacji danych oraz modele generatywne, przechodząc od tych posiadających strukturę AutoEnkodera, po GANy oraz modele gęstościowe.

Współczesne metody uczenia maszynowego stają się kluczowymi elementami wielu aplikacji, na przykład w przemyśle, medycynie czy sektorze finansowym. Niestety, metody te działają zazwyczaj na zasadzie czarnych skrzynek, które zwracają predykcje bez wyjaśnienia podejmowanych decyzji. Jest to problematyczne, bo uczenie maszynowe coraz częściej wkracza w różne aspekty życia społecznego. Dlatego organy regulacyjne coraz częściej wymagają tłumaczenia procesów decyzyjnych w celu zapewnienia zaufania i przejrzystości. W ramach szkolenia przedstawimy podstawowe metody wyjaśniania decyzji modeli uczenia maszynowego oraz ich praktyczne zastosowania.

W systemach wykorzystujących szeroko rozumianą sztuczną inteligencję coraz częściej wykorzystujemy dane takie jak teksty, grafy czy chmury punktów 3D. Praktyczne zastosowanie modeli uczenia maszynowego do takich danych wiąże się z wieloma wyzwaniami, takimi jak duży rozmiar modeli (problemy z pamięcią oraz czasem odpowiedzi), brak modeli gotowych do użycia na produkcji czy niewielkie ilości dostępnych danych treningowych. Sieci neuronowe dedykowane do przetwarzania danych 3D muszą być niezmiennicze na obroty i permutacje. Z kolei przetwarzanie danych o strukturze grafowej z wykorzystaniem sieci neuronowych wymaga zastosowania dedykowanych modułów, które potrafią agregować informacje z takich danych. W ramach szkolenia omówiona zostanie tematyka efektywnego wykorzystania najnowszych modeli językowych opartych na architekturze Transformera. Poruszone zostaną kwestie trenowania wyspecjalizowanych modeli oraz problemów z ich rozmiarem i szybkością. Ponadto omówione zostaną architektury dedykowane do przetwarzania chmur punktów i grafów.