AI Pisze Kod z Tylnymi Drzwiami — Nawet Nie Zdając Sobie z Tego Sprawy
Arkadiy Andrienko
Niedawne badania ujawniły ukryte niebezpieczeństwo w kodzie pisanym przez generatywną sztuczną inteligencję: modele często „halucynują” komponenty oprogramowania, które w rzeczywistości nie istnieją, tworząc potencjalne bramy do cyberataków. Naukowcy z Uniwersytetu Teksasu w San Antonio przeanalizowali 576 000 fragmentów kodu wygenerowanych przez 16 popularnych modeli AI, w tym GPT-4 i Claude. W 19,7% przypadków kod zawierał odniesienia do fałszywych bibliotek — łącznie około 440 000 nieprawidłowych zależności.
Hakerzy mogą to wykorzystać, rejestrując pakiety o nazwach, które AI często wymyśla przez pomyłkę i wypełniając je złośliwym kodem. Jeśli deweloperzy zainstalują te komponenty bez weryfikacji ich autentyczności, złośliwe oprogramowanie dostaje się do systemu. Podczas eksperymentu pakiety testowe o wymyślonych nazwach były pobierane dziesiątki tysięcy razy.
Kluczowe ustalenia:
- Modele open-source (takie jak CodeLlama i DeepSeek) popełniały te błędy 22% czasu — cztery razy więcej niż modele komercyjne (5%). Naukowcy uważają, że wynika to z rozmiaru modelu, przy czym komercyjne AI zazwyczaj mają 10 razy więcej parametrów.
- javascript jest bardziej podatny niż Python: 21% kodu JS miało fałszywe zależności, w porównaniu do 16% w Pythonie. To prawdopodobnie dlatego, że ekosystem JS ma 10 razy więcej pakietów, co utrudnia AI sugerowanie dokładnych.
- Powtarzalność jest poważnym problemem: 43% tych „halucynacji” wystąpiło co najmniej 10 razy. To ułatwia ataki — hakerzy nie muszą zgadywać, wystarczy, że śledzą powszechne błędy typograficzne generowane przez AI.
Ta technika, znana jako Dependency Confusion, działa poprzez zastąpienie legalnego pakietu złośliwym, który ma tę samą nazwę. Na przykład haker publikuje pakiet z trojanem w repozytorium. Jeśli AI zasugeruje go zamiast oficjalnej wersji, a deweloper zainstaluje go bez podwójnego sprawdzenia źródła, system zostaje skompromitowany.
Przy prognozach Microsoftu, że AI napisze 95% całego kodu do 2030 roku, te ustalenia są sygnałem alarmowym. Dopóki sieci neuronowe nie będą w stanie niezawodnie odróżniać fikcji od faktu, ciężar bezpieczeństwa pozostaje zdecydowanie na ludzkich barkach.
