Asystent AI w firmie: od dobrego promptu do kontroli jakości

Co znaczy „dobra odpowiedź” w Twoim procesie?

Dla konsultanta dobra odpowiedź może oznaczać poprawne wskazanie procedury. Dla handlowca liczą się aktualne warunki oferty. Dla analityka ważna będzie kompletność porównania. Ogólne kryterium „brzmi sensownie” nie pozwala porównać wersji rozwiązania. Zapisz wymagane fakty, niedozwolone obietnice oraz sposób postępowania przy brakach.

Przygotuj przykład odpowiedzi poprawnej, częściowo poprawnej i nieakceptowalnej. Poproś dwie osoby znające proces o niezależną ocenę. Jeżeli się nie zgadzają, doprecyzuj reguły przed poprawianiem modelu. Technologia nie rozstrzygnie za organizację, która z dwóch sprzecznych instrukcji obsługi klienta jest obowiązująca.

Kontekst i materiały: Anthropic: Demystifying evals for AI agents

Skąd bierze się odpowiedź i czy można ją sprawdzić?

Asystent korzystający z dokumentów powinien umożliwiać przejście do konkretnego fragmentu, a nie tylko do nazwy pliku. Cytowanie jest punktem rozpoczęcia kontroli, nie dowodem prawdziwości całej wypowiedzi. Sprawdź, czy przywołany fragment rzeczywiście wspiera podaną informację i czy dokument nadal obowiązuje.

Zaplanuj odświeżanie, usuwanie i wersjonowanie źródeł. Jeśli procedura zostanie wycofana, jej stara kopia nie powinna wracać przez indeks, historię rozmowy albo pamięć podręczną. Potrzebujesz właściciela treści, który potwierdza aktualność. Bez tego nawet starannie zaprojektowany asystent będzie sprawnie wyszukiwał nieaktualne informacje.

Brak odpowiedzi jest częścią dobrej obsługi

System powinien rozpoznawać sytuacje, w których brakuje informacji do wykonania zadania. Zamiast ogólnego komunikatu może wskazać brakujący numer zamówienia, niejednoznaczne warunki lub konieczność rozmowy z ekspertem. Takie zakończenie nadal pomaga użytkownikowi, bo mówi, co zrobić dalej.

Nie opieraj automatycznej decyzji na samej deklaracji pewności wygenerowanej przez model. Lepiej badać sprawdzalne warunki: obecność źródła, kompletność pól, zgodność identyfikatorów oraz wynik walidacji biznesowej. Niektóre sprawy powinny zawsze przechodzić do człowieka ze względu na ich konsekwencje, nawet jeśli odpowiedź brzmi bardzo przekonująco.

Co musi działać po pierwszej prezentacji?

Każda zmiana modelu, instrukcji lub źródeł może zmienić rezultat. Utrzymuj zestaw przypadków kontrolnych i zapisuj wersję konfiguracji przy zgłoszeniu błędu. Oprócz jakości odpowiedzi obserwuj czas oczekiwania, koszt zadania i to, czy użytkownik musiał zaczynać od nowa. Wynik testu bez kontekstu pracy nie pokazuje pełnej użyteczności.

Zadbaj o podstawy interfejsu: możliwość poprawienia danych, przerwania zadania i zgłoszenia problemu. Oddziel szkic od zatwierdzonego rezultatu. W przypadku awarii zachowaj treść pracy użytkownika i pokaż alternatywną ścieżkę. Asystent powinien skracać drogę do zakończenia sprawy również wtedy, gdy automatyzacja nie może jej dokończyć.