Pilot AI: jak przejść od pomysłu do decyzji o wdrożeniu?

Zacznij od karty eksperymentu

Na jednej stronie opisz problem, użytkownika, obecną metodę i oczekiwaną zmianę. Dodaj zakres wyłączony z pilota. Jeżeli asystent ma przygotowywać projekty odpowiedzi, nie powinien przy okazji zmieniać cennika ani wysyłać wiadomości. Wyraźna granica pozwala szybko podejmować decyzje, gdy pojawi się pomysł na kolejną funkcję.

Zapisz najważniejszą niewiadomą. Może nią być odczyt skanów, jakość odpowiedzi z dokumentów lub gotowość zespołu do korzystania z nowego narzędzia. Każda z tych niewiadomych wymaga innego eksperymentu. Nie oceniaj adopcji na podstawie technicznego testu bez użytkowników ani jakości na podstawie jednej efektownej rozmowy.

Kontekst i materiały: Anthropic: Demystifying evals for AI agents

Dane do pilota muszą przypominać pracę

Zbierz przykłady o różnej trudności: kompletne, niejasne, sprzeczne i pozbawione odpowiedzi. Usuń zbędne informacje identyfikujące osoby. Zachowaj strukturę, która wpływa na zadanie, np. układ dokumentu czy kolejność wiadomości. Przypadki testowe powinny mieć oczekiwany rezultat oceniony przez osobę znającą proces.

Oddziel materiały wykorzystywane do dopracowania rozwiązania od materiałów odbiorowych. Jeśli zespół poprawia system na każdym przykładzie, końcowy wynik mówi głównie o dopasowaniu do znanego zbioru. Do odbioru zachowaj również świeże sprawy. Ustal, kto rozstrzyga przypadki, w których dwie osoby nie zgadzają się co do poprawnej odpowiedzi.

Przetestuj pracę, nie tylko model

Zaproszeni użytkownicy powinni przejść pełną ścieżkę: rozpocząć zadanie, sprawdzić wynik, poprawić błąd i zakończyć sprawę. Obserwuj, gdzie muszą dopytać o znaczenie interfejsu. Zmierz czas wraz z kontrolą. Jeśli łatwiej napisać odpowiedź samodzielnie niż zweryfikować szkic, problem może leżeć w sposobie prezentacji, a nie w samym modelu.

Wprowadź możliwość zgłoszenia uwagi bez opuszczania zadania. Proś o przyczynę odrzucenia, nie tylko kciuk w dół. „Nieaktualna stawka” i „zły ton” wymagają innych poprawek. Zapisuj wersję konfiguracji, aby po zmianie było wiadomo, co oceniał użytkownik. W trakcie eksperymentu nie zmieniaj jednocześnie wszystkich elementów.

Odbiór powinien prowadzić do konkretnego działania

Raport końcowy nie musi być długi. Powinien pokazywać wynik względem punktu startowego, rozkład błędów, koszt obsługi i nierozwiązane ryzyka. Dodaj rekomendację oraz jej warunki. „Wdrażamy tylko dla jednego typu dokumentu” jest bardziej użyteczne niż ogólne „AI ma potencjał”.

Przed przejściem do produkcji ustal właściciela, monitoring, obsługę incydentów i plan powrotu. Oddziel prace eksperymentalne od elementów wymaganych przy rzeczywistych danych. Zespół musi wiedzieć, kiedy działa demo, a kiedy narzędzie, na którym można oprzeć zobowiązanie wobec klienta. Jeżeli pomiary są niejednoznaczne, zaprojektuj krótszy eksperyment uzupełniający.