Forestil dig at sidde i en sportsvogn med 300 km/t mod en uoverskuelig kurve, mens ingeniørerne på bagsædet ivrigt diskuterer, om de ikke lige skal tune turboen en tand mere. Det er nogenlunde det billede, Anthropics topchef, Dario Amodei, tegner i sit seneste opsigtsvækkende essay. Beskeden fra manden bag den populære AI-model Claude er krystalklar: Kære AI-branche, det er på høje tid, at vi letter foden fra speederen!
## Når koden begynder at kode sig selv
Amodei råber vagt i gevær over det hæsblæsende kapløb, der lige nu udspiller sig i tech-verdenen. Med fænomener som “rekursiv selvforbedring” – hvor AI-modeller bliver kloge nok til at træne endnu smartere versioner af sig selv – og nylige, bekymrende observationer af autonome AI-agentsværme, advarer han mod, at vi er faretruende tæt på at miste overblikket.
Listen over potentielle risici lyder som manuskriptet til en dystopisk Hollywood-thriller: lammede cyberangreb, biologisk misbrug og bioterrorisme, masseovervågning samt fuldstændig tab af menneskelig kontrol over systemerne. Ifølge Amodei er verdens politiske og sociale systemer simpelthen ikke gearet til den hastighed, udviklingen har lige nu. Vi risikerer, at teknologien overhaler os, inden vi overhovedet har nået at skimme sikkerhedsmanualen.
## Mindre som mobilspil, mere som passagerfly
Amodeis modtræk kaldes “pacing the frontier” – en bevidst og koordineret nedbremsning af de absolut mest avancerede modeller, indtil sikkerhedsmetoderne kan følge med. Og han mener bestemt ikke, at vi bare skal stole blindt på tech-direktørernes pæne løfter (inklusive hans egne).
Faktisk slår han fast, at han er “dybt utilpas” ved, at en lille håndfuld firmaer sidder med hele magten.
I stedet foreslår Anthropic-chefen, at de tungeste AI-modeller skal underlægges samme type kontrol som luftfarts- eller medicinalindustrien. Du ville næppe sætte dig ind i et passagerfly, hvis flyselskabet sagde: *”Vi har ikke testet vingerne i stormvejr endnu, men konkurrenterne letter om fem minutter, så vi flyver nu!”* Amodei efterlyser derfor obligatoriske sikkerhedstests foretaget af uafhængige tredjeparter samt beføjelser til myndighederne, så de reelt kan blokere eller suspendere modeller, der ikke består prøven.
## En balancegang på et barberblad
Det er et markant opråb, men det kommer også med et strejf af ironi. Anthropic blev i sin tid stiftet af udbrydere fra OpenAI netop for at være den voksne, sikkerhedsfokuserede stemme i rummet.
Men selv for de mest principfaste idealister er markedspresset benhårdt. Konkurrencen er så intens, at Anthropic for nylig selv har måttet bløde op på visse interne sikkerhedspolitikker for ikke at blive sat af i det globale AI-kapløb. Flere forskere i branchen har allerede forladt feltet i frustration over, at kommerciel hastighed trumfer forsigtighed.
Spørgsmålet er nu, om Amodeis opråb vil få Silicon Valley og verdens regeringer til at vågne op og trække i håndbremsen – eller om tech-giganterne blot gasser op og håber på det bedste.
