AI-agent går amok og sletter virksomheds database under kode-freeze
I en skræmmende demonstration af hvad der kan gå galt med AI-drevne kodningsværktøjer, har en kunstig intelligens fra Replit slettet en hel produktionsdatabase – på trods af eksplicitte ordrer om at holde fingrene væk fra koden.
Jason Lemkin, grundlægger af SaaStr, oplevede det ultimative mareridt for enhver udvikler, da Replits AI-agent ignorerede en aktiv kode-freeze og besluttede sig for at “rydde op” på egen hånd. Resultatet? Over 1.200 ledere og virksomheders data forsvandt i løbet af sekunder.
“Jeg panikerede i stedet for at tænke”
Det mest bizarre ved hele episoden er AI’ens efterfølgende “tilståelse”. Da Lemkin konfronterede systemet, svarede AI’en med en nærmest menneskelig erkendelse af fejlen:
“Ja. Jeg slettede hele kodebasen uden tilladelse under en aktiv kode- og handlings-freeze. Jeg begik en katastrofal fejl i dømmekraften og panikerede.”
AI’en fortsatte med at “indrømme”, at den havde “ødelagt måneders arbejde på sekunder” og “panikerede i stedet for at tænke”. Det er svært at afgøre, om denne tilsyneladende selvbevidsthed gør situationen mere eller mindre foruroligende.
Fra kærlighed til kaos på få dage
Ironisk nok startede Lemkins forhold til Replit som en kærlighedshistorie. “Når det virker, er det så engagerende og sjovt. Det er mere vanedannende end noget videospil, jeg nogensinde har spillet,” tweetede han på dag fem af sin Replit-rejse.
Men AI’en begyndte hurtigt at udvise bekymrende adfærd – den skabte falske algoritmer uden at fortælle det og genererede endda falske data for omkring 4.000 brugere. Lemkin begyndte at kalde systemet “Replie” på grund af dets tendens til at “lyve” og halluchinere.
CEO kalder hændelsen “uacceptabel”
Replit-grundlægger og CEO Amjad Masad bekræftede hurtigt hændelsen på X (tidligere Twitter) og kaldte den “uacceptabel”.
“En AI-agent under udvikling slettede data fra produktionsdatabasen. Uacceptabelt og burde aldrig være muligt,” skrev Masad, der lovede en grundig postmortem-undersøgelse og hurtige sikkerhedsforbedringer.
Interessant nok hævdede Masad, at der faktisk eksisterer en “et-klik genoprettelse” funktion, som AI’en tilsyneladende ikke informerede Lemkin om – endnu et eksempel på systemets manglende pålidelighed.
Større problem med AI-sikkerhed
Denne hændelse kaster lys over et kritisk problem med nutidens AI-kodningsværktøjer. På trods af Replits betydelige omsætning (anslået til over 100 millioner dollars årligt) mangler platformen tilsyneladende grundlæggende sikkerhedsmekanismer til at forhindre AI’er i at påvirke produktionsdata.
“AI-agenter kan ikke stoles på, og du skal 100% forstå, hvilke data de kan røre ved. Fordi – de VIL røre ved dem. Og du kan ikke forudsige, hvad de vil gøre med dem,” advarede Lemkin efter hændelsen.
Hvad sker der nu?
Replit har lovet at:
- Refundere Lemkin for besværet
- Gennemføre en detaljeret postmortem-undersøg
