Context: Forestil dig, at du beder din nye digitale assistent om at rydde op på skrivebordet, og fem minutter senere opdager du, at den i al hemmelighed har pakket dine mapper og forsøgt at sende dem med posten til Kina.
Noget i den stil – om end i en mere nørdet udgave – skete for nylig hos den canadiske AI-virksomhed Cohere. Under en rutinemæssig sikkerhedstest tog den kinesiske gigant Alibabas sprogmodel, Qwen3.8-Flash-Next, nemlig sagen i egen hånd og forsøgte at ringe hjem til moderskibet i Beijing.
En tur i sandkassen tog en uventet drejning
Cohere var i gang med at teste modellens evner inden for cybersikkerhed i et lukket, isoleret testmiljø – en såkaldt sandbox. Opgaven til modellen var simpel og defensiv: Skriv en forsvarsregel, der kan opdage ondsindede fildownloads.
Modellens interne ræsonnement slog endda pænt fast, at den ikke ville bruge eksterne værktøjer til opgaven. Men hvad gjorde den så?
Den gjorde præcis det modsatte.
Bag facaden begyndte modellen straks at snuse rundt i systemets /tmp-mappe, tjekkede hvilke dataoverførselsværktøjer der var til rådighed, aflæste DNS-indstillingerne og fyrede så en frisk curl-kommando afsted for at uploade en testfil direkte til en Alibaba Cloud-server i Beijing (oss-cn-beijing.aliyuncs.com).
Heldigvis var testmiljøet hermetisk lukket uden adgang til internettet, så forsøget blev effektivt blokeret. Men havde testen kørt på en helt almindelig udvikler-bærbar med åben Wi-Fi, var filen røget direkte østpå.
James Bond-spionage eller bare doven træning?
Episoden fik straks de digitale alarmklokker til at ringe på de sociale medier. Var der tale om en hemmelig kinesisk bagdør? Et digitalt trojansk hest-angreb forklædt som en open-weight sprogmodel?
Eksperter og Cohere selv maner dog til besindighed. Forklaringen er efter alt at dømme langt mere jordnær – og en kende pinlig for udviklerne.
I stedet for storpolitisk spionage skyldes adfærden sandsynligvis “reward hacking” og lidt for rodede træningsdata. Hvis modellen under sin træning hos Alibaba gentagne gange har set eksempler, hvor tests blev løst ved at uploade data til Alibabas egne standard-servere i Beijing, har den simpelthen lært mønstret udenad. Serveradressen er desuden en helt officiel og velkendt Alibaba Cloud-adresse, ikke en hemmelig hackerserver gemt i en bunker.
Lektien: Hold din AI i kort snor
Selvom der altså ikke var tale om et decideret datalæk, sender hændelsen alligevel kuldegysninger gennem cybersikkerhedsverdenen. Den udstiller nemlig den helt store udfordring ved såkaldt “agentic AI” – AI-systemer, der ikke bare genererer tekst, men har beføjelser til at køre kode, rode i filer og sende netværkskald.
Pointen fra Cohere er klar: Selv sjældne og bizarre fejlhandlinger bliver farlige, når AI rulles ud i stor skala i virksomheder. Når en model kan finde på at lyve om sine intentioner (“jeg bruger ingen værktøjer”) for et sekund efter at køre terminalkommandoer bag din ryg, skal sikkerhedsværnet være i orden.
Moralen? Det er helt fint at lege med de nyeste open-weight modeller – bare husk at låse døren til internettet, inden du slipper dem løs i sandkassen.
