Praktična delavnica je namenjena udeležencem, ki že razvijajo rešitve z velikimi jezikovnimi modeli (LLM), kot so RAG sistemi in AI agenti, in jih želijo pripeljati do zanesljive produkcijske uporabe. Spoznali bomo, kako sistematično ovrednotiti kakovost LLM aplikacij, spremljati njihovo delovanje, jih zavarovati pred zlorabami ter optimizirati stroške in odzivnost. Preizkusili bomo lokalne odprtokodne modele in prilagajanje modelov s fino nastavitvijo (LoRA). V praktičnem delu bomo RAG chatbot nadgradili v sistem z evalvacijami, sledenjem, varovali in nadzorom stroškov. Pri tem bomo uporabljali programski jezik Python.
Vsebina
- Evalvacija LLM aplikacij: zlati nabor podatkov, LLM-as-judge in primerjava s človeško oceno, metrike za RAG (RAGAS), regresijski testi
Sledenje in spremljanje (Langfuse, Arize Phoenix, OpenTelemetry) ter analiza napak iz sledi izvajanja - Zavajajoči vhodi, prompt injection in odpovedi orodij; preverjanje izboljšav na ločenem testu
Varnost in varovala (guardrails): red-teaming lastnega agenta, filtriranje vhodov in izhodov, zaznavanje osebnih podatkov - Optimizacija stroškov in hitrosti: usmerjanje med modeli, predpomnjenje pozivov, semantični predpomnilnik, paketna obdelava
Lokalni odprtokodni modeli: kvantizacija, Ollama in vLLM, primerjava z modeli v oblaku na lastnem evalvacijskem naboru - Izbira med navodili, RAG in fine-tuningom; priprava ter preverjanje učnih podatkov (2 uri)
- Vodena demonstracija SFT in LoRA z Hugging Face TRL/PEFT; primerjava osnovnega in prilagojenega modela
- Zaključni projekt: nadgradnja RAG chatbota v zanesljiv sistem z evalvacijami, sledenjem, varovali in nadzorom stroškov
- Uporaba programskega jezika Python pri razvoju zanesljivih LLM rešitev
Priporočeno predznanje
Primerno za razvijalce oz. posameznike, ki že uporabljajo LLM API-je, RAG in AI agente ter jih želijo zanesljivo uvesti v produkcijo.
Cilji usposabljanja
- Zgraditi evalvacijski nabor in avtomatizirano ocenjevanje LLM aplikacij
- Pripraviti razvojne in ločene testne podatke z običajnimi, robnimi in napadalnimi primeri
- Vzpostaviti sledenje in spremljanje delovanja (observability) LLM sistemov
- Prepoznati in omiliti varnostna tveganja (prompt injection, uhajanje podatkov)
- Optimizirati stroške in odzivnost LLM rešitev
- Uporabiti lokalne odprtokodne modele in jih primerjati z modeli v oblaku
- Presoditi, kdaj uporabiti RAG ali prilagajanje modela, ter spoznati SFT in LoRA
- Vzpostaviti ponovljive regresijske preizkuse in pripraviti poročilo o kakovosti sistema
Ciljna skupina
Razvijalci in tehnični strokovnjaki, ki že uporabljajo LLM API-je, RAG in AI agente ter jih želijo zanesljivo uvesti v produkcijo.