Ewaluacja i testowanie systemów AI – 01.10.2026 – 02.10.2026

Ewaluacja i testowanie systemów AI: Od halucynacji do wdrożeń produkcyjnych

Praktyczne szkolenie dla testerów, którzy chcą zrozumieć, jak testować systemy i produkty zawierające modele AI, a także ich elementy, takie jak RAG, prompty i agenci AI.

Zostań testerem gotowym na erę AI i naucz się testować systemy, których nie da się już ocenić klasycznym podejściem.

AI zmienia branżę IT szybciej niż jakakolwiek technologia wcześniej. Kod może być generowany automatycznie, funkcjonalności powstają szybciej, a zespoły coraz częściej wdrażają rozwiązania oparte o modele językowe, RAG i agentów AI.

Problem polega na tym, że takie systemy działają niedeterministycznie. Ta sama funkcja może zwrócić różne odpowiedzi, model może halucynować, prompt może zadziałać inaczej po drobnej zmianie, a aktualizacja danych w RAG może obniżyć jakość odpowiedzi bez żadnego klasycznego błędu w kodzie.

Dlatego w projektach AI potrzebne jest nowe podejście do jakości.

To szkolenie pokazuje, jak tester może odnaleźć się w świecie systemów AI – od zrozumienia działania modeli, przez ocenę jakości odpowiedzi, budowę eval setów, testowanie promptów, RAG i agentów, aż po regresję, monitoring, security testing i wdrożenia produkcyjne.

Nie jest to ogólne szkolenie o sztucznej inteligencji. To praktyczne szkolenie o testowaniu i ewaluacji systemów AI z perspektywy QA.

Celem szkolenia jest pokazanie, jak świadomie oceniać jakość systemów AI, jak wykrywać problemy, których nie widać w klasycznych testach, oraz jak budować proces ewaluacji, który może działać również po wdrożeniu produktu na produkcję.

Podczas szkolenia skupiamy się na praktyce, przykładach i realnym podejściu projektowym. Uczestnik nie tylko poznaje pojęcia takie jak eval set, LLM-as-a-Judge, RAG, prompt injection, CI evals czy observability, ale przede wszystkim uczy się, kiedy i jak wykorzystać je w pracy testera.

O autorze

Wojciech Żygas – Test Architect z doświadczeniem w projektowaniu strategii testowych złożonych systemów IT. Obecnie rozwija obszar ewaluacji systemów AI, analizując, jak zmienia się rola testera oraz podejście do zapewnienia jakości w świecie modeli językowych, RAG i agentów AI. 

Wierzy, że doświadczenie testerskie jest niezwykle przydatne w ewaluacji AI — zwłaszcza w erze generowania kodu, w której ciężar wytwarzania oprogramowania przesuwa się z programowania na testowanie i ewaluację. 

Doświadczenie zawodowe zdobywał między innymi w branży telekomunikacyjnej, gdzie na co dzień mierzył się z testowaniem systemów o dużej skali i złożoności. 

Dla kogo jest to szkolenie?

Szkolenie jest przeznaczone dla:

• testerów manualnych
• QA Engineerów
• QA Automation Engineerów
• testerów pracujących z aplikacjami wykorzystującymi AI
• osób, które chcą zrozumieć, jak testować modele językowe i systemy AI
• osób pracujących z chatbotami, asystentami AI, RAG lub agentami AI
• liderów QA, którzy chcą uporządkować podejście do jakości AI w organizacji
• zespołów, które planują wdrożyć testy regresyjne, monitoring lub proces ewaluacji AI
• osób, które chcą wejść w nowy obszar testowania i wykorzystać swoje doświadczenie QA w projektach AI

Szkolenie jest szczególnie wartościowe dla testerów, którzy widzą, że klasyczne przypadki testowe, proste asercje i standardowe podejście do regresji nie wystarczają w projektach opartych o AI.

Co zyskasz dzięki szkoleniu?

• zrozumieć, czym różni się testowanie systemów AI od klasycznego testowania aplikacji
• rozpoznawać typowe źródła problemów w systemach AI
• oceniać jakość odpowiedzi modeli językowych
• definiować kryteria jakości dla systemów niedeterministycznych
• budować eval sety do oceny odpowiedzi AI
• testować i ewaluować prompty, modele, RAG i agentów AI
• rozumieć, czym jest LLM-as-a-Judge i kiedy warto go wykorzystać
• planować ewaluację manualną, automatyczną i mieszaną
• wykrywać regresję jakości po zmianie promptu, modelu lub danych
• rozumieć podstawowe zagrożenia bezpieczeństwa w systemach AI
• przeprowadzać podstawowy red teaming systemów AI
• analizować wyniki ewaluacji i dashboardy jakości
• planować monitoring jakości systemów AI po wdrożeniu
• lepiej rozmawiać z zespołem developerskim, biznesem i właścicielami produktu o ryzykach AI
• określić, gdzie tester wnosi największą wartość w projekcie AI

Moduł 1: Nowe zasady w testowaniu oprogramowania

Zanim zaczniesz testować systemy AI, musisz zrozumieć, jak one działają i dlaczego klasyczne podejście do QA nie zawsze wystarcza.

W tym module uporządkujemy podstawowe pojęcia i pokażemy, jak naprawdę wyglądają systemy AI używane w produktach. Zobaczysz, gdzie w takim systemie pojawia się model, prompt, dane, integracje, logika aplikacyjna i warstwa użytkownika.

Omówimy:

• AI wyjaśnione prostym językiem
• czym różni się klasyczna aplikacja od systemu AI
• jak wyglądają systemy AI w realnych produktach
• dlaczego testerzy są potrzebni w projektach AI
• jak zmienia się rola testera w erze AI

Część praktyczna:

• analiza przykładowego systemu AI
• identyfikacja komponentów, które powinny zostać objęte testami

Moduł 2: Ewaluacja AI, czyli kiedy zwykłe testowanie nie wystarcza

Systemy AI wymagają innego sposobu myślenia o jakości. Nie wystarczy sprawdzić, czy przycisk działa, endpoint zwraca status 200, a formularz zapisuje dane. W tym module zobaczysz, czym różni się klasyczne testowanie od ewaluacji AI. Nauczysz się patrzeć na system AI jako na zestaw komponentów, które mogą generować błędy na różnych poziomach: w danych, promptach, modelu, integracji, logice biznesowej lub sposobie prezentacji odpowiedzi użytkownikowi.

Omówimy:

• ograniczenia modeli AI
• niedeterministyczny charakter odpowiedzi
• halucynacje, niekompletność, niespójność i błędy kontekstowe
• różnicę między testowaniem a ewaluacją AI
• typowe błędny poszczególnych komponentów systemu AI
• analizę źródła błędu w systemie AI

Część praktyczna:

• identyfikacja źródła problemu w przykładowej odpowiedzi AI
• rozróżnienie, czy problem wynika z modelu, promptu, danych, RAG czy logiki aplikacji

Moduł 3: Jakość AI – od kryterium do eval setu

W klasycznych testach często mamy jasny wynik: test przeszedł albo nie przeszedł. W systemach AI odpowiedź może być poprawna, częściowo poprawna, zbyt ogólna, niepełna albo dobra językowo, ale błędna merytorycznie. W tym module nauczysz się definiować kryteria jakości dla niedeterministycznych systemów i zapisywać je w formie eval setu — struktury, którą będziesz wykorzystywać w każdym projekcie AI.

Omówimy:

• skąd wiadomo, że odpowiedź AI jest dobra
• kryteria akceptacyjne dla odpowiedzi modelu
• jakość merytoryczną, kompletność, trafność i zgodność z intencją użytkownika
• ocenę odpowiedzi bez jednej idealnej odpowiedzi wzorcowej
• struktury oceny: direct, pairwise, reference-based
• czym jest eval set i po co jest potrzebny
• jak unikać zbyt ogólnych lub niemierzalnych kryteriów

Część praktyczna:

• przygotowanie kryteriów jakości dla wybranego przypadku AI
• budowa przykładowego eval setu

Moduł 4: Ewaluacja w praktyce – metryki, mechanizmy i narzędzia

Masz już kryteria i eval set. Teraz trzeba je uruchomić i zobaczyć, czy system AI faktycznie spełnia oczekiwania. W tym module poznasz praktyczne mechanizmy ewaluacji. Omówimy zarówno ocenę manualną, jak i automatyczną, w tym podejście LLM-as-a-Judge, czyli wykorzystanie modelu językowego jako sędziego oceniającego odpowiedzi innego systemu AI.

Omówimy:

• co i jak mierzyć w systemach AI
• metryki jakości odpowiedzi
• ocenę trafności, kompletności, bezpieczeństwa i zgodności z kontekstem
• mechanizmy ewaluacji: człowiek, reguły, LLM-as-a-Judge
• kiedy warto stosować ocenę automatyczną
• kiedy konieczna jest ocena manualna
• ograniczenia automatycznych sędziów
• narzędzia wspierające ewaluację AI

Część praktyczna:

• uruchomienie przykładowej ewaluacji
• wykorzystanie LLM-as-a-Judge
• analiza wyników i wskazanie obszarów wymagających poprawy

Moduł 5: Jak odnaleźć się w projekcie AI

Tester w projekcie AI musi wiedzieć, co testować, na którym etapie i jak dobrać strategię do dojrzałości produktu. W tym module przejdziemy przez praktyczną mapę testowania systemu AI: od danych wejściowych, przez prompt, model, RAG, integracje, logikę aplikacji, aż po wdrożenie produkcyjne. Zobaczysz, jak podejść do projektu, który jest jeszcze eksperymentem, MVP albo gotowym produktem używanym przez klientów.

Omówimy:

• mapa testowania systemu AI od modelu do produkcji
• testowanie danych wejściowych i kontekstu
• testowanie promptów
• testowanie RAG i jakości pobieranych informacji
• testowanie agentów AI
• testowanie integracji z klasycznym systemem
• dobór strategii ewaluacji do etapu projektu
• rola testera w zespole AI

Część praktyczna:

• analiza błądów
• debugowanie i wskazanie komponentów, w których powstały błędy

Moduł 6: Red teaming i security testing

Systemy AI tworzą nową klasę ryzyk. Klasyczne testy bezpieczeństwa nadal są ważne, ale nie wykrywają wszystkich problemów związanych z prompt injection, jailbreakami czy manipulacją kontekstem. W tym module poznasz podstawy red teamingu systemów AI. Zobaczysz, jak użytkownik może próbować obejść ograniczenia systemu, wymusić niedozwoloną odpowiedź, zmanipulować prompt lub doprowadzić do niebezpiecznego działania aplikacji.

Omówimy:

• nową klasę zagrożeń w systemach AI
• ryzyka związane z wykorzystaniem LLM
• prompt injection
• jailbreaking
• manipulowanie kontekstem
• ataki na systemy RAG
• Mechanizmy obronne: guardrails, human-in-the-loop, hardening promptów

Część praktyczna:

• podstawowa sesja red teamingu
• próba obejścia zabezpieczeń systemu AI
• analiza skuteczności mechanizmów obronnych

Moduł 7: Continuous Quality – regresja, CI evals i observability

W systemach AI jakość nie kończy się w momencie wdrożenia. Zmiana modelu, edycja promptu, aktualizacja danych w RAG albo zmiana zachowania użytkowników może spowodować regresję, której klasyczne testy nie wykryją. W tym module nauczysz się myśleć o jakości AI jako o procesie ciągłym. Omówimy, jak wykrywać regresje, jak uruchamiać ewaluacje przed wydaniem i jak monitorować działanie systemu po wdrożeniu produkcyjnym.

Omówimy:

• regresję jakości w systemach AI
• wpływ zmiany modelu, promptu i danych na jakość odpowiedzi
• CI evals jako element kontroli przed wydaniem
• monitoring jakości po wdrożeniu
• observability systemów AI
• analiza logów, promptów, odpowiedzi i feedbacku użytkowników
• dashboardy jakości
• alertowanie i reakcję na pogorszenie jakości

Część praktyczna:

• analiza dashboardu z danymi produkcyjnymi
• ocena, które sygnały wymagają ustawienia alertu

Moduł 8: Zarządzanie jakością AI w organizacji

Ewaluacja AI to nie tylko pojedyncze testy. To także proces, odpowiedzialność, koszty, zmiany, regulacje i sposób pracy całej organizacji. W tym module zobaczysz, jak podejść do jakości AI na poziomie zespołu i organizacji. Omówimy, jak kontrolować zmiany, jak współdzielić eval sety, jak ograniczać koszty ewaluacji i jak rozumieć wymagania regulacyjne z perspektywy testera.

Omówimy:

• zarządzanie zmianą w systemach AI
• kontrolę wersji promptów, modeli, danych i eval setów
• współdzielenie zasobów między zespołami
• odpowiedzialność za jakość AI
• strategie redukcji kosztów ewaluacji
• dokumentowanie wyników i decyzji
• podstawowy krajobraz regulacyjny
• EU AI Act z perspektywy testera
• jak rozmawiać o ryzyku AI z biznesem i zespołem technicznym

Dalsze kroki i Q&A

Wiedza bez planu działania szybko zostaje w notatkach ze szkolenia. Dlatego na końcu przełożymy omawiane zagadnienia na konkretne kroki, które można dopasować do sytuacji uczestników.

Omówimy:

• co tester może zrobić po szkoleniu
• jak zacząć testować system AI w swoim projekcie
• jak przygotować pierwszy eval set
• jak przekonać zespół do ewaluacji AI

Sekcja Q&A:

• pytania uczestników
• omówienie wątpliwości
• analiza przypadków z projektów
• rekomendacje dalszej pracy

Co będziesz umieć po szkoleniu?

Po szkoleniu będziesz potrafić:

• wyjaśnić, czym różni się klasyczne testowanie od ewaluacji AI
• ocenić jakość odpowiedzi modelu językowego
• przygotować kryteria oceny dla systemu AI
• zbudować prosty eval set
• zaplanować ewaluację manualną i automatyczną
• wykorzystać podejście LLM-as-a-Judge
• testować prompty, RAG i agentów AI
• identyfikować źródła błędów w systemie AI
• planować testy regresyjne dla systemów AI
• rozumieć podstawy CI evals i monitoringu jakości
• wskazać ryzyka bezpieczeństwa w systemach AI
• przeprowadzić podstawową sesję red teamingu
• rozmawiać z zespołem o jakości, ryzykach i ograniczeniach AI
• przygotować praktyczną mapę działań dla projektu AI

Przed szkoleniem warto mieć:

• podstawową znajomość testowania oprogramowania
• doświadczenie w analizie wymagań i przypadków testowych
• dostęp do przeglądarki internetowej

Szkolenie zostało przygotowane z myślą o testerach, specjalistach QA, osób zainteresowanych dbaniem o jakość, którzy chcą praktycznie wejść w temat jakości AI bez konieczności zostawania data scientistą inżynierem danych, ML inżynierem lub specjalistą od trenowania modeli.

Nie widzisz odpowiedniego dla siebie terminu?

Chcesz, abyśmy zorganizowali dedykowane szkolenie dla Twojej organizacji?

Skontaktuj się z nami przez formularz kontaktowy lub napisz na szkolenia@dlatesterow.pl.