Za co zespół Swarmcheck wygrał II miejsce na największym hackathonie legal tech w Europie

W dniach 8-10 marca odbyła się 6 edycja Hackathonu legal tech organizowanego przez Wolters Kluwer Polska. W tej edycji wzięła udział rekordowa liczba 200 osób. Hasłem hackathonu było "AI impulsem innowacji prawniczych". Jako, że od dawna interesowała nas dziedzina legal tech, zgłosiliśmy zespół Swarmcheck w składzie Marcin Woźniak, Jakub Zygucki, Katarzyna Mondel, Tomasz Regucki i Kamil Szostak.

Pracując z grafami argumentacji wiedzieliśmy, że technologia ta ma szerokie zastosowanie w branży prawniczej, ponieważ dobrze nadaje się do odzwierciedlania wnioskowań prawniczych w ogóle. Dlatego atrakcyjne dla nas było wyzwanie, które ogłoszone zostało dopiero wraz z rozpoczęciem hackathonu.

Wyzwanie Siemens Energy

Wyzwanie to zostało zaprezentowane przez partnera hackathonu Siemens Energy. Polegało ono na stworzeniu promptu, który instruowałby model językowy do analizy treści umów przychodzących od klientów pod kątem spełniania wymagań wewnętrznych Siemensa. Dzięki automatyzacji analizy roboczej wersji umowy sprzedawca byłby w stanie szybciej wynegocjować umowę z klientem nie obciążając działu prawnego dużą ilością zadań. Otrzymaliśmy do tego zestaw wymagań i dane do analizy.

Po przeczytaniu ich stwierdziliśmy, że podniesiemy sobie poprzeczkę i nie tylko roztrzaskamy zadanie, ale zaadresujemy też bardziej fundamentalnie problemy, które stanowić będą o przewadze konkurencyjnej naszego rozwiązania. Widzimy, że wiele współczesnych rozwiązań, które nazywają się sztuczną inteligencją, kiedy zajrzy się pod maskę do faktycznie wykorzystanej technologii, odnajdziemy tam powiązanie z API Chatu GPT. Naszą ambicję było stworzenie rozwiązania, które nie jest uzależnione od obecnego poziomu technologii, ale będzie też aktualne za kilka lat na rynku, gdyż rozwiązuje kluczowe problemy techniczne AI.

Wyzwania dla AI w prawie

Sztuczna inteligencja niesie za sobą możliwość automatyzacji żmudnych prac. Jednak obecnie problemem dla tej technologii, szczególnie w prawie, jest kwestia zaufania do rezultatów. Mały błąd może tutaj drogo kosztować.

Wykorzystanie dużych modeli językowych jest ryzykowne, gdyż mogą halucynować lub po prostu się mylić. Ponadto modele te działają jako tzw. "czarne skrzynki" - nie wiadomo skąd bierze się taki a nie inny wynik. Nawet jeśli AI częściej niż nie, radzi sobie z jakimiś zadaniami, obawa przed zaufaniem czarnej skrzynce jest zupełnie uzasadniona.

Nasze rozwiązanie

W przeciwieństwie do wielu rozwiązań legal-tech, które opierają się na AI, nie polegaliśmy jedynie na możliwościach jakie dają modele językowe, ewentualnie wsparte RAG (Retrieval-Augmented Generation). Chcieliśmy wyposażyć  nasz system w umiejętność prawdziwego wnioskowania prawniczego, czyli rdzeń pracy intelektualnej prawnika., zapewniając jednocześnie transparentność i możliwość precyzyjnej weryfikacji pracy systemu.

Postanowiliśmy odpowiedzieć na ten problem łącząc zalety ekspertowego systemu prawniczego opartego na grafach argumentacji z wykorzystaniem potencjału automatyzacji jakie dają modele językowe.

Grafy argumentacji jakie tworzymy w systemie Swarmcheck mają unikatową cechę używalności wnioskowań. Dzięki temu jesteśmy w stanie opracować w ustrukturyzowany sposób zbiór reguł z wymagań klienta i połączyć je z stanem faktycznym wyciągniętym z analizowanej umowy.

Rozwiązanie polega na tym, że model językowy, zamiast wykonywać sam całą pracę w nieznany dla ludzi sposób, buduje krok po kroku logiczny graf argumentacji. I to ten graf, a nie model językowy służy do wydania ostatecznej analizy. Dzięki temu jesteśmy w stanie transparentnie przejrzeć całe wnioskowanie na podstawie którego zostały wydane poszczególne kwalifikacje lub decyzje.

Taka konstrukcja stanowi "rusztowanie kognitywne" dla sztucznej inteligencji, czyli może sprawniej poruszać się po wybranym temacie nie popełniając błędów. Z kolei poruszanie się krok po kroku przez model językowy jest potwierdzoną badaniami techniką najlepiej wpływającą na jakość wyniku. Dodatkowo zapis grafu umożliwia generowanie relewantnych przykładów oczekiwanych rezultatów, co dodatkowo wzmacnia zdolności modelu językowego.

Bardzo istotnym elementem takiego systemu jest możliwość modyfikowania i skalowania dodając do niego nowe reguły, przez co odporny jest na zmiany w prawie lub wewnętrzne zmiany w organizacji.

Sukces na hackathonie

Zastosowanie naszego podejścia do wyzwania Siemensa okazało się sukcesem i algorytm odpowiedział poprawnie na wszystkie zadania.

Jury także doceniło nasz projekt wyróżniając go jako najlepsze i najbardziej perspektywiczne rozwiązanie spośród projektów opartych o sztuczną inteligencję. Dzięki temu zajęliśmy 2 miejsce otrzymując nagrodę 10 000 zł.

Jest nam bardzo miło być w ten sposób docenionym przez branżę legal tech i jesteśmy zadowoleni, że mogliśmy w tak szybkim czasie przetestować je na realnym przykładzie biznesowym. Gratulujemy także pozostałym zespołom, nie tylko tym, które staneły na podjum, ponieważ opracowanie wartościowego projektu technologicznego w weekend to nie lada wyzwanie i trzymmy kciuki za wdrożenia. Sami zabieramy się do pracy, gdyż doświadczenie to utwierdziło nas, że w naszej wizji automatyzowania wnioskowań prawniczych jest duży potencjał. Perspektywy Swarmchecka w legal tech rysują się bardzo optymistycznie.