Vi kender efterhånden Claude som den høflige, velskrivende AI-assistent, der gladeligt hjælper med alt fra genstridige Excel-formler til kække festsange. Men for nylig måtte sikkerhedsteamet hos AI-selskabet Anthropic trykke på den helt store røde alarmknap. En række brugere havde nemlig besluttet sig for at teste, om den kloge sprogmodel også kunne fungere som digital laboratorieassistent i den absolut mere dystre ende af mikrobiologien.
Anthropic har smidt flere konti direkte på porten efter at have opdaget, at brugere forsøgte at omgå både geografiske blokeringer og sikkerhedsfiltre for at bruge Claude til potentielt farlig biologisk forskning. Det involverede blandt andet såkaldt *gain-of-function*-forskning – processen hvor man gør vira mere smitsomme eller farlige – på patogener som fugleinfluenza, chikungunya-virus og diverse biologiske toksiner.
## Jagten på den næste supervirus eller bare dovent laboratoriearbejde?
I en ny sikkerhedsrapport løfter Anthropic sløret for fem konkrete casestudier, hvor brugere gjorde krumspring for at maskere formålet med deres forespørgsler. Over en 30-dages periode registrerede selskabet omkring 35 forskellige forskningsforsøg, der fik advarselslamperne til at blinke faretruende.
Om der var tale om vaskeægte superskurke i gang med et hemmeligt biovåben-plot, eller blot overivrige akademikere, der ville have Claude til at skrive deres laboratorierapporter, melder historien ikke noget stensikkert om. Anthropic understreger, at de ikke med sikkerhed kan fastslå, om intentionerne var ondsindede eller legitim videnskab på afveje. Men uanset hensigten tog Anthropic ingen chancer: adgangen blev prompte lukket.
## Claude Opus 4 er blevet lidt for klog på kemi
Årsagen til det skærpede beredskab findes i udviklingen af Anthropics mest avancerede model til dato, Claude Opus 4. Interne evalueringer afslørede et lidt for imponerende vidensniveau: Modellen viste sig i stand til at guide personer med blot basal naturvidenskabelig baggrund igennem komplekse opgaver relateret til CBRN-trusler (kemiske, biologiske, radiologiske og nukleare risici).
Det fik Anthropic til at hæve sit sikkerhedsniveau til den såkaldte ASL-3-standard og implementere avancerede “konstitutionelle klassifikatorer”. Det er specialtrænede systemer, hvis eneste opgave er at gennemskue snedige omskrivninger og sige et pænt, men bestemt “nej tak”, når snakken falder på opskrifter på farlige patogener.
## Da filteret tog sig en lur
Helt ufejlbarlig har processen dog ikke været. En separat rapport har afsløret en lettere pinlig detalje: Et af Anthropics interne biovåbenfiltre var ved en fejl inaktivt i næsten et helt år for visse typer ekstern konsulenttrafik. Heldigvis fandt Anthropic ingen tegn på, at hullet var blevet udnyttet. Man må formode, at konsulenterne havde rigeligt travlt med almindeligt tastearbejde frem for at brygge på den næste pandemi.
## Et politisk opråb fra AI-frontlinjen
Sagen puster nyt liv i den tiltagende debat blandt AI-sikkerhedseksperter, politikere og tech-afhoppere, som længe har advaret mod faren for, at avancerede sprogmodeller sænker barren for fremstilling af masseødelæggelsesvåben drastisk.
Anthropic bruger selv rapporten som et politisk argument for, at der er akut brug for strammere, globale standarder for AI-sikkerhed. For selvom vi elsker, at kunstig intelligens kan revolutionere alt fra medicin til kundeservice, er der nok bred enighed om, at den digitale assistent helst ikke skal være behjælpelig med at automatisere Jordens undergang.
