Szkolenie: Fine-tuning modeli językowych
Podczas szkolenia "Fine-tuning modeli językowych" nauczysz się zaawansowanych technik dostrajania istniejących modeli językowych, takich jak SmolLM i Mistral, przygotowywania danych treningowych oraz oceny jakości modeli, z wykorzystaniem nowoczesnych narzędzi i bibliotek jak Axolotl, Transformers, i API OpenAI
- Trenerzy praktycy
- Kameralne grupy
Czas trwania szkolenia:1 dni (8h)
Kod kursu:AI/FINE-TUNING
Dostępne terminy szkolenia
Termin:
Trener:
Cena:
1350 PLN netto
Lokalizacja:
ZdalneFine-tuning modeli językowych
Cele szkolenia
Zapoznanie uczestników ze sposobami trenowania istniejących modeli językowych na przykładzie modeli SmolLM oraz Mistral
Poznanie metod przygotowania danych treningowych
Dla kogo?
Programistów z doświadczeniem w użyciu modeli językowych
Zalety
Szkolenie jest prowadzone przez osoby na co dzień zajmujące się inżynierią danych oraz uczeniem maszynowym
Program jest ciągle uaktualniany ze względu na szybki rozwój rozwiązań, których dotyczy szkolenie
Wymagania
Znajomość Pythona i umiejętność korzystania z Dużych Modeli Językowych
Dostęp do API OpenAI
Dostęp do środowiska Google Colab z GPU (wersja Pro)
Dostęp do repozytorium HuggingFace
W cenie otrzymasz:
Materiały szkoleniowe
Certyfikat ukończenia szkolenia
W przypadku szkolenia w trybie stacjonarnym zapewnimy Ci również lunch oraz sprzęt niezbędny do nauki
Program szkolenia
Wprowadzenie
Co to jest fine-tuning
Kiedy fine-tuning, a kiedy in-context learning
Omówienie sposobów dotrenowywania modeli językowych
Fine-tuning
Low Rank Adaptation (LoRA)
QLoRA
Fine-tuning modeli językowych open-source
Przygotowanie danych treningowych
Omówienie parametrów konfiguracyjnych biblioteki Axolotl
Użycie biblioteki Axolotl do trenowania modelu
Użycie biblioteki Transformers do trenowania modelu
Fine-tuning modeli OpenAI
Przygotowanie danych treningowych
Użycie API OpenAI do trenowania modelu
Dostęp do otrzymanego modelu przez API OpenAI
Ocena jakości otrzymanego modelu
Testowanie otrzymanego modelu i metryki używane do oceny jakości modelu
Użycie dużych modeli językowych do automatycznej oceny wytrenowanego modelu
Autorem szkolenia jest Bartosz Mikulski
Inżynier danych, MLOps engineer. W pracy zawodowej zajmuje się budowaniem zautomatyzowanej platformy wdrażania modeli uczenia maszynowego na produkcji. Specjalizuje się w inżynierii danych z użyciem AWS. Od 2017 roku pisze bloga o inżynierii danych, uczeniu maszynowym i sztucznej inteligencji. Napisał jeden z rozdziałów książki "97 Things Every Data Engineer Should Know". Występuje na konferencjach i meetupach w roli prelegenta gdzie dzieli się swoim doświadczeniem ze społecznością programistów.…
