Vi har alle prøvet, at en chatbot finder på en lodret løgn om en historisk dato eller opfinder en kageopskrift med salt i stedet for sukker. Men hvad sker der, når en AI hallucinerer atomvåben midt i en geopolitisk krudttønde? Svaret er nervepirrende: Man er få minutter fra at udløse en væbnet konflikt mellem stormagter.
Det var præcis, hvad der for nylig skete i Mellemøsten, hvor en amerikansk militær efterretningsrapport – genereret med hjælp fra en AI-chatbot – fejlagtigt påstod, at et kinesisk fragtskib transporterede komponenter til atomvåben.
## Fra chatbot-prompt til kampfly i luften
Det hele startede, da en efterretningsanalytiker fra det amerikanske forsvars specialoperationskommando ville have lidt digital assistance til arbejdet. Ved at fodre en AI-chatbot med en cocktail af åbne kilder og klassificeret signal-efterretning skulle systemet analysere fragtmanifestet på et kinesisk fartøj.
Men sprogmodellen leverede en hallucination af de helt store: Den konkluderede skråsikkert, at lasten indeholdt komponenter til et atomvåbenprogram.
Uden at fejlen blev fanget i tide, røg vurderingen direkte ind i en officiel militær efterretningsrapport. Og når en rapport ser pæn og formel ud, handler militæret prompte. Spændingerne i regionen var i forvejen tårnhøje under forårets krigshandlinger mod Iran, og det amerikanske militær gjorde straks væbnede styrker klar til at borde det kinesiske skib. Fly var allerede i luften, før embedsmænd i absolut sidste øjeblik opdagede fejlen og fik afblæst aktionen.
Som en kilde efterfølgende konstaterede: Rapporten var “fuldstændig falsk” og “startede næsten en krig.”
## Faren ved det pæne brevpapir
Hændelsen er et lærebogseksempel på den største skræk i forsvars- og efterretningskredse lige nu. Truslen er sjældent, at en Terminator-lignende AI pludselig overtager affyringskoderne på egen hånd. Faren er derimod menneskelig overreliance: At en analytiker kaster rå data ind i en chatbot, som svarer med overbevisende selvtillid, hvorefter det uverificerede vrøvl pakkes ind i militærets officielle brevpapir.
Når et softwaresystem gætter i blinde, og mennesker stoler blindt på maskinen, bliver resultatet livsfarligt.
## Mysteriet om lasten og softwaren
Flere centrale detaljer holdes fortsat tæt til kroppen. Det fremgår ikke af de tilgængelige oplysninger, hvilken AI-model analytikeren benyttede – men det er næppe en oplevelse, Pentagon sætter på softwarens anbefalingsliste.
Det meldes heller ikke, hvad det kinesiske skib rent faktisk havde i lastrummet (om det var bildæk, smartphones eller legetøj), eller om hændelsen har fået disciplinære konsekvenser for den prompt-glade analytiker.
Én ting står dog krystalklart: AI kan være genial til at opsummere lange mødereferater, men måske bør vi vente lidt med at lade sprogmodeller udpege militære mål i internationale farvande.
