Amazon kaster bomben i AI-verdenen: Benchmarks er spild af tid, og leaderboards fortæller ikke sandheden om kunstig intelligens. Det er budskabet fra Rohit Prasad, Amazons topchef for AGI, der nu går frontalt til angreb på industriens besættelse af ranglister.
Benchmarks er “ikke rigtige”
“Jeg vil have virkelig nytte. Ingen af disse benchmarks er rigtige,” slog Prasad fast forud for AWS re:Invent i Las Vegas. Hans pointe er skarp som en kniv: Ægte benchmarking kræver, at alle bruger identiske træningsdata og helt uafhængige evalueringer – noget der simpelthen ikke sker i dag.
Prasad fortsatte sin kritik med at påpege, at “evalueringerne er ærligt talt ved at blive støjende og viser ikke den virkelige kraft i disse modeller.” Av! Det må gøre ondt på konkurrenterne, der bruger millioner på at klatre op ad LMArena-ranglisten.
Amazon spiller et andet spil
Timingen er interessant – og måske lidt ironisk. Da Prasad kom med disse udtalelser, lå Amazons Nova-model på en 79. plads på LMArena. Men i stedet for at græde over placeringen, vælger Amazon at flytte målstolperne helt væk fra banen.
Det er en dristig strategi: I stedet for at spille det spil, alle andre spiller, erklærer Amazon simpelthen, at spillet er meningsløst. Lidt som at sige “jeg ville ikke vinde alligevel” – men med en twist af genial forretningsstrategi.
Kunder vil have værdi, ikke point
AWS CEO Matt Garman bakker op om strategien og understreger, at kunder vælger leverandører baseret på kapaciteter, leveret værdi og troværdighed – ikke benchmark-scores. Det er som at sige, at din bil skal kunne køre dig til arbejde, ikke vinde på racerbanen.
Amazons argument er faktisk ret overbevisende: Hvad nytter det, at en AI-model scorer fantastisk på en standardtest, hvis den ikke kan løse virkelige problemer for rigtige virksomheder?
Revolten mod rangliste-galskaben
Prasads udspil er en direkte udfordring til hele AI-industriens nuværende obsession med at klatre op ad leaderboards. Det er som om Amazon siger: “Mens I andre leger med jeres ranglister, fokuserer vi på at skabe værdi for kunderne.”
Spørgsmålet er nu, om andre AI-giganter vil følge Amazons eksempel, eller om de vil fortsætte kampen om førstepladsen på benchmarks, som Amazon nu kalder “støjende” og irrelevante.
Fremtidens AI-konkurrence
Amazons strategi signalerer et potentielt skift i, hvordan AI-succes måles. I stedet for teoretisk perfektion på standardiserede tests, fokuserer de på omkostningseffektivitet, praktisk anvendelighed og pålidelig performance i produktionsmiljøer.
Det bliver spændende at se, om Amazons bet på “real-world utility” over benchmark-scores vil betale sig. En ting er sikkert: De har lige sparket til myretuen og tvunget hele industrien til at overveje, om vi har målt AI-fremskridt på den forkerte måde hele tiden.
