Halucynacje AI to najmniejszy z trzech problemów z agentami

Halucynacje są najgłośniejszym problemem z agentami AI i jednocześnie najłatwiejszym do rozwiązania. Model, który zmyśla, jest widoczny od razu. Trzy rzeczy, które naprawdę wywracają wdrożenia, nie dają się pokazać na slajdzie i dlatego nie ma ich w żadnej ofercie.

Poniżej wszystkie trzy, z kosztem i ze sposobem sprawdzenia, czy dotyczą ciebie.

Dlaczego halucynacje są problemem drugiej kategorii

Model językowy zwraca najbardziej prawdopodobną odpowiedź, a nie prawdziwą. Przy pytaniu o twój cennik to znaczy, że wymyśli liczbę, która brzmi jak cennik.

Da się to zamknąć. Ograniczasz agenta do bazy wiedzy firmy, każesz mu cytować źródło i odmawiać, gdy go nie znajduje. To jest praca techniczna z rozwiązanym problemem.

Kłopot polega na tym, że dyskusja zatrzymuje się w tym miejscu. Ludzie kupują zabezpieczenie przed zmyślaniem i dostają je, a potem wdrożenie i tak umiera z zupełnie innych powodów.

Problem pierwszy: cicha zmiana odpowiedzi

Agent, który działał w marcu, w lipcu odpowiada inaczej na to samo pytanie. Nic się nie zepsuło. Zmienił się cennik, doszła nowa usługa, zmieniła się procedura reklamacji, a nikt nie zaktualizował bazy wiedzy.

To nie jest awaria. Awaria się zgłasza. To jest powolne rozjeżdżanie się odpowiedzi z rzeczywistością i zauważa się je zwykle wtedy, gdy klient przychodzi z ceną sprzed pół roku.

Koszt jest podwójny: wprowadzasz klienta w błąd i tracisz zaufanie zespołu, który przestaje odsyłać ludzi do agenta.

Jak sprawdzić u siebie: weź dziesięć pytań, na które agent odpowiadał na starcie, i zadaj je ponownie. Jeśli choć jedna odpowiedź jest nieaktualna, masz dryf i potrzebujesz cyklu aktualizacji, a nie lepszego modelu.

Problem drugi: rachunek rośnie za sprawami, nie za etatami

W ofertach koszt utrzymania wygląda jak abonament. W rzeczywistości ma dwie części i tylko jedna jest stała.

Abonament nie zmienia się, gdy zatrudnisz pięć osób. Zużycie modeli językowych rośnie razem z liczbą obsłużonych spraw. W małej firmie to zwykle 50-300 zł miesięcznie, ale przy podwojeniu ruchu ta pozycja się podwaja, a abonament nie.

Boleśniejsza jest odwrotna sytuacja. Kiedy ruch spada, abonament zostaje w całości, bo dostawca rozliczał gotowość, a nie liczbę spraw.

Jak sprawdzić: zapytaj wprost, ile wyniesie rachunek przy dwukrotnie większym wolumenie i czy da się zejść na niższy próg w martwym kwartale. Odpowiedź „to niewielkie kwoty” znaczy, że nikt tego nie policzył.

Problem trzeci: nikt nie ma obowiązku patrzeć

To jest ten, o którym nie mówi nikt, bo nie jest techniczny.

Agent nie zgłasza, że od wtorku odpowiada gorzej. Nie dzwoni, gdy przestał łapać co piąte zapytanie. Nie zauważa, że jedna kategoria spraw przestała do niego trafiać, bo ktoś zmienił formularz.

Żeby ktokolwiek to zauważył, muszą istnieć logi, ktoś musi je czytać i ktoś musi mieć to wpisane w zakres obowiązków. Narzędzie nie wygeneruje żadnej z tych trzech rzeczy, bo nikt go o nie nie poprosił.

Jak sprawdzić: zapytaj, kto przegląda rozmowy w trzecim miesiącu po starcie i co się dzieje, gdy agent zacznie odpowiadać źle w sobotę. Konkretna odpowiedź na oba pytania mówi o wykonawcy więcej niż cały cennik.

Co z tego wynika dla wyboru dostawcy

Wszystkie trzy problemy mają wspólny mianownik i nie jest nim technologia.

Dryf wymaga cyklu aktualizacji. Rachunek wymaga kogoś, kto go pilnuje. Ciche pogorszenie wymaga kogoś, kto patrzy. Każdy z nich to zobowiązanie rozłożone w czasie, a nie funkcja do wdrożenia.

Dlatego pytanie „który model jest najlepszy” jest złym pierwszym pytaniem. Dobre brzmi: kto będzie to utrzymywał za rok i skąd będzie wiedział, że coś się psuje.

Co się dzieje, kiedy się do nas odezwiesz

Zaczynamy od twoich dziesięciu pytań i sprawdzamy, czy dzisiejszy agent nadal na nie odpowiada poprawnie. Jeśli nie masz jeszcze agenta, robimy to na twojej bazie wiedzy i mówimy, ile z niej nadaje się do użycia.

Odzywa się właściciel, rozmowa trwa 45 minut. Jeśli z rozmowy wyjdzie, że twój wolumen jest za mały, żeby agent się zwrócił, powiemy to i odradzimy wdrożenie.

Przy współpracy dostajesz to, czego nie da żadne narzędzie. Ktoś czyta rozmowy w trzecim miesiącu i dzwoni, zanim zadzwoni twój klient. Ktoś aktualizuje bazę wiedzy, gdy zmieniasz cennik. Ktoś odbiera w sobotę i ma to w umowie.

Kod jest w twoim repozytorium od pierwszego dnia. Gwarancja obejmuje naprawę w cenie, bez dopłat. Abonament zespołu startuje od 3 875 zł miesięcznie i policzysz go w kalkulatorze przed rozmową.