Wdrożenia AI i uczenia maszynowego

Od czego zaczyna się sensowne wdrożenie AI

Od zadania, nie od modelu. Pierwsza rozmowa dotyczy tego, co dziś zajmuje Twoim ludziom najwięcej czasu i jest na tyle powtarzalne, że da się opisać regułami lub przykładami. Jeżeli takiego zadania nie ma, mówimy to wprost - wdrożenie AI dla samego wdrożenia to najdroższy sposób na brak efektu.

Gdy zadanie jest, ustalamy miarę sukcesu przed startem. Ile minut zajmuje dziś obsługa jednego przypadku, ile przypadków przechodzi przez firmę w tygodniu, jaki odsetek błędów jest akceptowalny. Bez tych trzech liczb nie da się później uczciwie powiedzieć, czy projekt się opłacił.

Potem budujemy prototyp na Twoich prawdziwych danych - nie na przykładowych, bo to właśnie na prawdziwych wychodzą wszystkie wyjątki. Prototyp jest wyraźnie krótszym etapem niż pełne wdrożenie i służy do jednej rzeczy: sprawdzenia, czy jakość odpowiedzi jest wystarczająca, zanim zainwestujesz w resztę.

Co realnie daje się dziś zautomatyzować

Najlepiej sprawdzają się zadania, w których człowiek czyta tekst i podejmuje na jego podstawie prostą decyzję albo przepisuje dane z jednego miejsca w drugie. Odczytywanie faktur, umów i protokołów do struktury, którą przyjmie system księgowy. Sortowanie przychodzących zgłoszeń na kategorie i kierowanie ich do właściwej osoby. Streszczanie długiej korespondencji przed spotkaniem.

Druga dobra grupa to wyszukiwanie. Firmy latami gromadzą dokumentację, oferty i ustalenia, po czym nie potrafią do nich dotrzeć, bo leżą w setkach plików o nazwach typu wersja_ostateczna_2. Wyszukiwanie semantyczne pozwala zadać pytanie w naturalnym języku i dostać odpowiedź wraz ze wskazaniem dokumentu źródłowego.

Trzecia to przewidywanie na danych liczbowych: prognoza zapotrzebowania, wykrywanie nietypowych transakcji, ocena ryzyka rezygnacji klienta. Tu zwykle nie potrzeba dużych modeli językowych, tylko klasycznego uczenia maszynowego, które jest tańsze w utrzymaniu i łatwiejsze do wytłumaczenia.

• -Odczyt i strukturyzacja dokumentów, faktur i umów
• -Klasyfikacja i kierowanie zgłoszeń
• -Wyszukiwanie semantyczne po firmowej bazie wiedzy
• -Streszczenia i generowanie roboczych wersji tekstów
• -Prognozowanie i wykrywanie anomalii w danych

Asystent oparty na wiedzy Twojej firmy

Najczęściej zamawianym przez klientów rozwiązaniem jest asystent, który odpowiada na pytania na podstawie firmowych dokumentów. Techniką, która to umożliwia, jest RAG - model najpierw wyszukuje fragmenty faktycznie istniejących dokumentów, a dopiero potem formułuje z nich odpowiedź. Dzięki temu odpowiedź da się zweryfikować, bo asystent pokazuje, z czego skorzystał.

To rozwiązanie ma jedną cechę, którą uważamy za kluczową: znacząco ogranicza zmyślanie. Model nie odpowiada z pamięci o świecie, tylko z materiału, który mu podaliśmy, a jeżeli w bazie nie ma odpowiedzi, uczymy go mówić, że nie wie. Dla wewnętrznego asystenta, na którym ktoś opiera decyzje, jest to różnica między narzędziem a zabawką.

Bazę wiedzy aktualizujemy automatycznie. Nowy dokument trafiający do wskazanego katalogu lub systemu jest przetwarzany i staje się dostępny dla asystenta bez udziału człowieka. Utrzymywanie takiej bazy ręcznie kończy się zawsze tak samo - po dwóch miesiącach nikt jej nie odświeża.

Dane, prywatność i zgodność

Zanim cokolwiek zbudujemy, ustalamy, gdzie mogą trafić Twoje dane. Dla części firm wysyłanie treści umów do zewnętrznego dostawcy jest wykluczone - wtedy pracujemy na modelach uruchamianych na infrastrukturze, którą kontrolujesz, albo u dostawców z przetwarzaniem w Unii Europejskiej i umową powierzenia. To decyzja biznesowa i podejmujesz ją Ty, my przedstawiamy konsekwencje każdego wariantu.

Osobno projektujemy anonimizację. Bardzo często okazuje się, że do wykonania zadania model w ogóle nie potrzebuje danych osobowych - wystarczy usunąć je przed wysłaniem i podstawić z powrotem po otrzymaniu odpowiedzi. To najprostszy sposób na ograniczenie ryzyka bez rezygnowania z gotowych modeli.

Logujemy zapytania i odpowiedzi, żeby dało się odtworzyć, na jakiej podstawie system podjął decyzję. Przy audycie lub reklamacji jest to jedyna rzecz, która pozwala odpowiedzieć na pytanie, co się właściwie stało.

Modele gotowe czy własne

W większości projektów zaczynamy od gotowych modeli dostępnych przez API, bo dają natychmiastowy wynik i zerowy koszt wejścia w infrastrukturę. Płacisz za użycie, więc przy niskim wolumenie jest to nieporównywalnie taniej niż utrzymywanie własnych serwerów z kartami graficznymi.

Własny lub dostrojony model ma sens w trzech sytuacjach: gdy wolumen jest tak duży, że rachunek za API przekracza koszt sprzętu, gdy dane nie mogą opuścić firmy, albo gdy zadanie jest na tyle specyficzne, że gotowy model nie radzi sobie mimo dobrze napisanych instrukcji. Wtedy przygotowujemy zbiór uczący i dostrajamy mniejszy model, który zwykle okazuje się szybszy i tańszy od dużego ogólnego.

• -Modele przez API: OpenAI, Anthropic, dostawcy z hostingiem w UE
• -Modele otwarte uruchamiane na Twojej infrastrukturze
• -Dostrajanie mniejszych modeli na danych firmowych
• -Klasyczne uczenie maszynowe tam, gdzie wystarczy
• -Python, PyTorch, bazy wektorowe

Koszty, utrzymanie i mierzenie efektu

Zakres prac dzielimy na prototyp i pełne wdrożenie z integracją do istniejących systemów, panelem i monitoringiem. Koszt oraz termin każdego z tych etapów wyceniamy indywidualnie, bo zależą od Twoich danych i liczby systemów. Do tego dochodzi koszt bieżący - użycie modeli, hosting i opieka - który podajemy z góry jako przewidywaną kwotę miesięczną, żeby nie było niespodzianek po pierwszym rachunku.

Po uruchomieniu wracamy do liczb ustalonych na starcie. Sprawdzamy, ile przypadków system obsługuje samodzielnie, ile trafia do człowieka i jaki jest odsetek pomyłek. Jeżeli efekt jest gorszy od założeń, mówimy o tym, zamiast opowiadać o potencjale. Modele i dane zmieniają się w czasie, więc jakość trzeba mierzyć regularnie, a nie raz.