ClaudeBot bryder robotreglerne
På trods af Anthropic‘s påstande om at respektere industristandardiserede robots.txt-direktiver, bliver deres ClaudeBot web crawler nu anklaget for at bryde flere hjemmeside politikker. Flere websites, herunder iFixit, Read the Docs og Freelancer.com, melder om brud på deres Terms of Use.
Eksempel fra iFixit
iFixit står tilbage som et tydeligt eksempel på ClaudeBot’s aggressive adfærd. Inden for blot 24 timer blev deres websted målrettet næsten en million gange, hvilket klart er i strid med virksomhedens regler. iFixit forbyder eksplicit reproduktion, kopiering eller distribuering af deres indhold uden skriftlig tilladelse, også til træning af AI-modeller.
Flere påvirkede hjemmesider
Det er ikke kun iFixit, der er blevet ramt. Linux Mint webforum oplevede en site-udbrud, der blev koblet til belastningen forårsaget af ClaudeBot’s scraping. Dette illustrerer, hvordan denne uhæmmede adfærd kan have vidtrækkende konsekvenser.
Problemet med at stoppe AI-scrapers
At stoppe disse AI-scrapers er ingen let opgave. ClaudeBot og lignende værktøjer bruger avancerede teknikker som stjålne digitale fingeraftryk for at efterligne rigtige brugere og undgå anti-bot-løsninger. De benytter også tredjeparts APIs, der kan unddrage sig detektion. Yderligere kan ClaudeBot ikke blokeres via IP-adresser, da det anvender serviceudbyderes offentlige IP’er.
Fremtidige opdateringer og bekymringer
Anthropic’s fortsatte ignorering af anti-scraping politikker rejser spørgsmål om de mulige konsekvenser for miljøet og infrastruktur, når AI-boblen brister. Dette har vidtrækkende implikationer for datacentre og storskala computing indsats. Vi må vente og se, om denne praksis vil føre til strengere reguleringer i fremtiden.
