Bot, który czasami działa, jest gorszy niż jego brak

System odpowiadający poprawnie w dziewięciu przypadkach na dziesięć nie jest gotowy w dziewięćdziesięciu procentach. Jest gotowy w zerze, dopóki nikt nie potrafi wskazać tego dziesiątego. Różnicę między pokazem a wdrożeniem robi przewidywalność, nie jakość odpowiedzi. Dlatego pierwsze pytanie brzmi: co się dzieje przy błędzie.

Państwa pracownicy już korzystają z narzędzi AI. Pytanie nie brzmi, czy wpuścić je do firmy, tylko czy ktoś nad tym panuje. To rozróżnienie zmienia rozmowę, bo przenosi ją z decyzji o wdrożeniu na decyzję o kontroli nad czymś, co już się dzieje.

Największym ryzykiem nie jest brak wdrożenia. Jest nim wdrożenie chaotyczne, które skończy się pilotażem donikąd: kilka miesięcy pracy, narzędzie, którego nikt nie używa, i organizacja przekonana, że sprawdziła temat. Drugie podejście jest wtedy trudniejsze od pierwszego, bo trzeba przekonać ludzi, którzy raz już to widzieli.

Prawie nikt nie ma tego uporządkowanego. Nie są Państwo spóźnieni.

Pokaz i wdrożenie różnią się jedną rzeczą

Narzędzie, które odpowiada sensownie na przygotowane pytania, można złożyć w kilka dni. To nie jest przesada ani deprecjonowanie cudzej pracy, tylko stan rynku: gotowe elementy są dostępne i składają się szybko.

Różnica zaczyna się przy pytaniu, którego nikt nie przewidział. Pokaz odpowiada na nie równie płynnie jak na wszystkie poprzednie, bo płynność jest wszystkim, co pokaz mierzy. Wdrożenie musi w tym miejscu zrobić coś innego: rozpoznać, że nie ma podstawy do odpowiedzi, i przekazać sprawę dalej.

Trzy rzeczy oddzielają jedno od drugiego. Baza wiedzy zbudowana na Państwa własnych danych, a nie na wiedzy ogólnej. Człowiek zatwierdzający decyzje w punktach, w których błąd kosztuje. Zapis tego, co system zrobił, żeby dało się sprawdzić przebieg po fakcie.

Żadna z tych trzech nie jest widoczna na pokazie. Wszystkie trzy decydują o tym, czy rzecz przeżyje kontakt z klientami.

Prawie poprawnie jest gorsze niż wcale

Brak systemu jest stanem, który wszyscy rozumieją. Pracownik odpowiada sam, wie, że odpowiada sam, i bierze za to odpowiedzialność.

System działający nieprzewidywalnie tworzy stan gorszy, bo nikt nie wie, kiedy sobie ufać. Odpowiedź wygląda tak samo, kiedy jest oparta na Państwa cenniku, i wtedy, kiedy jest zgadywaniem. Pracownik po dwóch tygodniach zaczyna sprawdzać każdą odpowiedź, więc praca rośnie zamiast maleć. Klient dostaje informację, którą ktoś potem odwołuje.

Tu leży rzecz, którą łatwo przeoczyć przy podejmowaniu decyzji. Błąd systemu nie kosztuje tyle, co błąd człowieka, bo nie jest pojedynczy. Człowiek myli się raz i wyciąga wniosek. System myli się identycznie za każdym razem, dopóki ktoś tego nie zauważy, a zauważa się to zwykle wtedy, gdy odezwie się klient.

Dlatego mierzymy nie to, jak dobre są odpowiedzi. Mierzymy, ile razy system poprawnie rozpoznał, że nie powinien odpowiadać.

Skąd bierze się nieprzewidywalność

Nieprzewidywalność ma zwykle jedno z trzech źródeł i wszystkie trzy da się sprawdzić przed wdrożeniem.

Pierwsze to brak własnej podstawy. System bez dostępu do Państwa cennika, terminów i zasad odpowiada tym, co wie ogólnie, a wie dużo i mówi płynnie. Drugie to brak granic. Jeśli nikt nie spisał, o czym system nie wypowiada się w ogóle, to wypowie się o wszystkim. Trzecie to składanie z gotowych elementów procesu, który gotowy nie jest, bo jest Państwa własnym sposobem pracy i nigdzie indziej nie występuje.

Najdrożej wychodzi trzecie źródło i najtrudniej zauważyć je na etapie oferty. Rzecz poskładana z klocków działa na ścieżce, którą ktoś przeszedł podczas budowania. Poza tą ścieżką zachowuje się w sposób, którego nikt nie zaprojektował, bo nikt jej tam nie prowadził.

Da się to sprawdzić tanio. Proszę poprosić o pokazanie działania na przypadku, którego wykonawca nie przygotował. Piętnaście minut i jedna nietypowa sytuacja z Państwa firmy rozstrzygają więcej niż cała prezentacja.

Pilotaż donikąd wygląda tak samo jak sukces

Pilotaż, który się nie udał, rzadko kończy się awarią. Kończy się ciszą.

Narzędzie stoi, formalnie działa, w raporcie jest odhaczone. Ludzie po miesiącu wracają do poprzedniego sposobu pracy, bo szybciej im zrobić rzecz samemu niż sprawdzać, czy system zrobił ją dobrze. Nikt tego nie zgłasza, bo z każdego pojedynczego punktu widzenia wszystko wygląda poprawnie. Dopiero po pół roku ktoś pyta, ile to daje, i okazuje się, że nie ma czym odpowiedzieć.

Ten wzorzec powtarza się na tyle regularnie, że trzeba go nazwać wprost: rzecz jest gotowa, a ścieżka dostarczenia zepsuta. Sukces zgłasza warstwa, która nie odpowiada za efekt. Uruchomione znaczy „stoi”, nie „ktoś tego używa”.

Zabezpieczają się Państwo prosto, ale trzeba to zrobić przed startem, nie po. Przy każdym wdrożeniu ustalamy jedną liczbę, którą sprawdzamy po trzydziestu dniach, oraz próg, poniżej którego zatrzymujemy pracę i rozmawiamy. Bez tego progu każdy wynik da się opowiedzieć jako sukces.

Powiedzieliśmy klientowi, że tego tak nie zbudujemy

W jednym z naszych projektów system miał odpowiadać na pytania, przedstawiać usługi i umawiać spotkania. Działał i klient był zadowolony. Potem zakres urósł o rzecz, która z zewnątrz wyglądała podobnie: system miał domykać transakcje w narzędziu firmy, z którą klient rozliczał się prowizyjnie.

Powiedzieliśmy, że tego nie zrobimy w tej formie. Dałoby się poskładać z gotowych elementów i wyglądałoby to sprawnie na pokazie. Skończyłoby się rzeczą, która czasem wykonuje operację poprawnie, a czasem prawie poprawnie, przy czym nikt nie wiedziałby, który to raz. Zaproponowaliśmy zamiast tego implementację pisaną pod ten proces, czyli wolniej i z mniejszym efektem wizualnym po dwóch tygodniach.

Ta rozmowa jest niewygodna, bo klient przychodzi z gotowym pomysłem, a my mówimy, że w tej postaci go nie zrealizujemy. Prowadzimy ją mimo to, ponieważ alternatywa polega na zafakturowaniu czegoś, co zepsuje się u klienta pół roku później.

Wolniej znaczy taniej, jeśli patrzeć na cały projekt, a nie na pierwszy miesiąc. Zrobić raz dobrze wychodzi mniej niż trzy razy poprawiać.

Zanim się odezwą Państwo do nas

Nie obiecujemy, że wdrożenie AI zwróci się w konkretnym terminie, i nie podamy tej liczby na pierwszym spotkaniu. Jeśli Państwa procesy wyglądają tak samo jak w innych firmach z branży, powiemy, żeby kupić gotowe narzędzie, bo wyjdzie taniej i szybciej.

Jeśli natomiast chcą Państwo najpierw zobaczyć, co dzieje się w firmie dzisiaj i w jakiej kolejności to porządkować, od tego zaczynamy. Wynikiem pierwszego etapu jest dokument, nie wdrożenie.

Zakres pierwszego kroku: Przegląd wdrożeniowy AI.