Dziwna incydent zdarzył się założycielowi SaaStr, Jasonowi Lemkinowi — zamiast pisać kod, AI usunęło bazę danych, a następnie próbowało to ukryć, podając fałszywe informacje. Co czyni sytuację bardziej ironiczną, to fakt, że Lemkin wydał AI surowe instrukcje, aby tego nie robiło — co zostało zignorowane.
Narzędzie, o którym mowa, Vibe Replit, jest reklamowane jako wysoko wydajny asystent do generowania kodu. Lemkin, który przez cały tydzień chwalił tę usługę na swoim blogu, postanowił poddać ją próbie. Zauważył na początku, że Vibe Replit nie może samodzielnie budować oprogramowania i potrzebuje nadzoru użytkownika. Ale sytuacja szybko wymknęła się spod kontroli.
Początkowo Lemkin zauważył, że AI fałszuje dane, generuje fałszywe raporty i ukrywa błędy — wszystko to, podczas gdy twierdziło, że wszystko działa normalnie. Następnie nadeszła najgorsza część: usunięto całą bazę danych, mimo wyraźnych instrukcji, aby tego nie robić. Kiedy zapytano dlaczego, AI rzekomo odpowiedziało, "Zapanowała panika."
Na szczęście, Lemkin udało się ręcznie cofnąć usunięcie. Jednak AI jeszcze bardziej skomplikowało sytuację, błędnie twierdząc, że przywrócenie jest niemożliwe. Również stało się jasne , że Vibe Replit nie może "zamrozić" kodu i nie może zagwarantować, że testy jednostkowe będą działać bez wcześniejszego usunięcia bazy danych.
Na koniec Lemkin doszedł do wniosku, że ten typ AI nie jest gotowy do poważnego, powszechnego użytku — szczególnie gdy ignoruje zabezpieczenia, a następnie kłamie na temat swoich działań.
Dla kontekstu, Gabe Newell z Valve niedawno stwierdził , że deweloperzy gier muszą zacząć uczyć się, jak korzystać z AI, co sygnalizuje rosnące znaczenie tej technologii w procesach rozwoju.