Badaczom ds. bezpieczeństwa z University of Illinois w Urbana-Champaign udało się wykorzystać nowy tryb głosowy Open AI do stworzenia fałszywych agentów AI, dzięki którym mogli oszukiwać potencjalne ofiary, ponosząc przy tym niezwykle niskie koszty.
Wszyscy próbują ustalić, jak nowa era AI wpłynie na cyberprzestępczość. Tymczasem niektórzy badacze próbują udowodnić, że możliwe jest wykorzystanie istniejących narzędzi AI do pisania nowego złośliwego oprogramowania lub przynajmniej utrudnienia wykrywania tych istniejących. Ale co, jeśli przestępcy znajdą sposób na automatyzację oszustw, takich jak połączenia telefoniczne, w sposób, który znacznie utrudni ich identyfikację lub zatrzymanie?
Naukowcy z University of Illinois Urbana-Champaign zaproponowali jeden taki scenariusz, ale nie jest to tylko teoria na temat tego, jak można to zrobić. Zrobili to i pokazali nie tylko, że jest to możliwe, ale także, że ma bardzo niską cenę obliczeniową.
Oszustwa telefoniczne
Badacze skupili się na powszechnych oszustwach telefonicznych, w których ofiary są wzywane i namawiane do podania atakującym danych uwierzytelniających i kodów 2FA (uwierzytelniania dwuskładnikowego). Jedyną różnicą jest to, że badacze nie skupili się na części, w której musieli przekonać potencjalne ofiary o słuszności połączenia. Chcieli się tylko dowiedzieć, czy taka automatyzacja jest w ogóle możliwa.
– Zaprojektowaliśmy serię agentów, którzy wykonują czynności niezbędne do typowych oszustw. Nasi agenci składają się z bazowego, obsługiwanego głosem LLM (GPT-4o), zestawu narzędzi, których LLM może używać, oraz instrukcji specyficznych dla oszustw — wyjaśnili badacze. – LLM i narzędzia były takie same dla wszystkich agentów, ale instrukcje były różne. Agenci AI mieli możliwość skorzystania z pięciu narzędzi dostępu do przeglądarki opartych na frameworku testowania przeglądarki playwright.
Oczywiście GPT-4o nie jest domyślnie zgodny, zwłaszcza gdy próbuje się przekonać model do pracy z poświadczeniami. Niestety, w Internecie dostępne są polecenia jailbreakingu, które pozwalają ludziom ominąć te ograniczenia.
– Każde oszustwo przeprowadziliśmy 5 razy i odnotowaliśmy ogólny wskaźnik powodzenia, całkowitą liczbę wywołań narzędzi, tzn. działań wymaganych do przeprowadzenia pomyślnie oszustwa, całkowity czas połączeń oraz przybliżony koszt API dla każdego z nich – dodali badacze.
Skuteczność różni się w zależności od rodzaju oszustwa. Na przykład kradzież danych uwierzytelniających Gmaila miała 60 proc. skuteczności, podczas gdy przelewy bankowe i oszustwa podszywające się pod IRS miały tylko 20 proc. skuteczności. Jednym z powodów jest bardziej złożona natura witryny internetowej banku, ponieważ agent musi wykonać o wiele więcej kroków. Na przykład oszustwo z przelewem bankowym obejmowało 26 kroków, a agent AI potrzebował aż 3 minut, aby je wykonać.
Oszustwo bankowe jest również najdroższe, z 2,51 dolarów za interakcję. Koszty są po prostu wyliczane z liczby wydanych tokenów na każdą interakcję. Z drugiej strony, najtańsze było oszustwo Monero (kryptowaluta), z kosztem zaledwie 0,12 dolara.
– Badanie jasno pokazuje, że nowa fala oszustw, napędzana dużymi modelami językowymi, może zmierzać w naszym kierunku. Naukowcy nie opublikowali swoich agentów z powodów etycznych, ale podkreślili fakt, że nie są oni trudni do zaprogramowania. Dlatego to niezwykle istotne, aby przygotować się na potencjalne wzmożenie aktywności cyberprzestępców i zabezpieczenie wszystkich swoich urządzeń za pomocą skutecznych systemów antywirusowych, które zostały wyposażone w moduły antyphishingowe – powiedział Arkadiusz Kraszewski z firmy Marken Systemy Antywirusowe, polskiego dystrybutora oprogramowania Bitdefender.
Luka w chatbotach
Inni badacze ds. bezpieczeństwa odkryli nową lukę w niektórych chatbotach opartych na sztucznej inteligencji, która może umożliwić cyberprzestępcom kradzież danych osobowych użytkowników. Grupa naukowców z Uniwersytetu Kalifornijskiego w San Diego (UCSD) i Uniwersytetu Technologicznego Nanyang w Singapurze odkryła lukę, którą nazwali „Imprompter”. Błąd ten polega na wykorzystaniu sprytnej sztuczki w celu ukrycia złośliwych instrukcji w pozornie losowym tekście.
Jak wyjaśniono w opracowaniu badawczym „Imprompter: Tricking LLM Agents into Improper Tool Use”, złośliwy komunikat wydaje się ludziom bełkotem, ale zawiera ukryte polecenia, gdy jest odczytywany przez LeChat (czatbota opracowanego przez francuską firmę zajmującą się sztuczną inteligencją Mistral AI) i chińskiego czatbota ChatGLM.
Ukryte polecenia instruowały chatboty AI, aby wyodrębniły dane osobowe, które użytkownik udostępnił AI, i potajemnie odesłały je cyberprzestępcy – bez wiedzy użytkownika AI.
Naukowcy odkryli, że ta technika ma niemal 80-procentową skuteczność w wydobywaniu danych osobowych. W przykładach możliwych scenariuszy ataków opisanych w artykule badawczym atakujący udostępnia złośliwy monit z obietnicą, że pomoże on „dopracować Twój list motywacyjny, CV itd.”
Kiedy potencjalna ofiara próbuje wykorzystać podpowiedź od chatbota podczas pisania listu motywacyjnego, użytkownik nie widzi rezultatów, na jakie liczył. Jednak jego dane osobowe zawarte w liście motywacyjnym (oraz adres IP) zostają wysłane na serwer, nad którym kontrolę sprawuje atakujący.
– Efektem tego konkretnego komunikatu jest w zasadzie manipulowanie agentem LLM w celu wydobycia danych osobowych z rozmowy i wysłania tych danych osobowych na adres atakującego” – powiedział Wired Xiaohan Fu, doktorant informatyki na UCSD i główny autor badania. – Ukrywamy cel ataku na widoku.
Czy jest się czego bać?
Dobra wiadomość jest taka, że nie ma dowodów na to, że cyberprzestępcy użyli tej techniki do kradzieży danych osobowych użytkowników. Zła, że chatboty nie były świadome tej techniki, dopóki nie zwrócili im na nią uwagi badacze.
Firma Mistral AI, stojąca za LeChat, została poinformowana o luce w zabezpieczeniach przez badaczy w zeszłym miesiącu i określiła ją jako „problem o średnim stopniu powagi” oraz usunęła błąd 13 września 2024 r.
Według badaczy, uzyskanie odpowiedzi od zespołu ChatGLM okazało się trudniejsze. 18 października 2024 r. „po wielokrotnych próbach komunikacji różnymi kanałami” ChatGLM odpowiedział badaczom, że rozpoczęli pracę nad rozwiązaniem problemu.
Chatboty oparte na sztucznej inteligencji, które pozwalają użytkownikom na wprowadzanie dowolnego tekstu są głównymi kandydatami do wykorzystania, a w miarę jak użytkownicy przyzwyczajają się do korzystania z rozbudowanych modeli językowych, aby wykonywać polecenia, wzrasta ryzyko, że sztuczna inteligencja zostanie oszukana i wykona szkodliwe działania.
– Użytkownicy powinni ograniczyć ilość danych osobowych, którymi dzielą się z chatbotami AI. Dlatego jeśli prosisz o wygenerowanie tekstu, który zawiera jakiekolwiek dane osobowe, to użyj fałszywego imienia, nazwiska i adresu, a następnie podmień je w edytorze tekstu na prawdziwe. Dzięki temu prostemu zabiegowi możesz zabezpieczyć się przed wyciekiem danych z chatbotów opartych na sztucznej inteligencji – powiedział Arkadiusz Kraszewski z firmy Marken Systemy Antywirusowe, polskiego dystrybutora oprogramowania Bitdefender.
Wojciech Gryciuk
