Niedawne badania ujawniły ukryte niebezpieczeństwo w kodzie pisanym przez generatywną sztuczną inteligencję: modele często „halucynują” komponenty oprogramowania, które w rzeczywistości nie istnieją, tworząc potencjalne bramy do cyberataków. Naukowcy z Uniwersytetu Teksasu w San Antonio przeanalizowali 576 000 fragmentów kodu wygenerowanych przez 16 popularnych modeli AI, w tym GPT-4 i Claude. W 19,7% przypadków kod zawierał odniesienia do fałszywych bibliotek — łącznie około 440 000 nieprawidłowych zależności.
Hakerzy mogą to wykorzystać, rejestrując pakiety o nazwach, które AI często wymyśla przez pomyłkę i wypełniając je złośliwym kodem. Jeśli deweloperzy zainstalują te komponenty bez weryfikacji ich autentyczności, złośliwe oprogramowanie dostaje się do systemu. Podczas eksperymentu pakiety testowe o wymyślonych nazwach były pobierane dziesiątki tysięcy razy.
Kluczowe ustalenia:
Ta technika, znana jako Dependency Confusion, działa poprzez zastąpienie legalnego pakietu złośliwym, który ma tę samą nazwę. Na przykład haker publikuje pakiet z trojanem w repozytorium. Jeśli AI zasugeruje go zamiast oficjalnej wersji, a deweloper zainstaluje go bez podwójnego sprawdzenia źródła, system zostaje skompromitowany.
Przy prognozach Microsoftu, że AI napisze 95% całego kodu do 2030 roku, te ustalenia są sygnałem alarmowym. Dopóki sieci neuronowe nie będą w stanie niezawodnie odróżniać fikcji od faktu, ciężar bezpieczeństwa pozostaje zdecydowanie na ludzkich barkach.