Ny milepæl for AI: Lange tekster nu op til 10.000 ord!
Holdet hos Tsinghua University og Zhipu AI har endnu engang skubbet grænserne og præsenteret et nyt stort sprogmodel (LLM) ved navn LongWriter, der kan generere tekster på op til 10.000 ord. De har lige lagt en artikel på arXiv preprint server, der beskriver dette nyskabende projekt.
Fra 2.000 til 10.000 ord – hvordan?
Mange har bemærket, at selv de bedste LLM’er kæmper med at skrive lange tekster som fulde bøger eller manuskripter – det maksimale har hidtil været omkring 2.000 ord. Forskerne forklarer, at dette skyldes, at de trænes på kortere dokumenter.
Men holdet bag LongWriter opdagede, at ved blot at ændre LLM’erne lidt og træne dem på længere dokumenter, kunne de bryde denne barriere. Ganske enkelt, ikke? Vi skulle have tænkt på det selv!
AgentWrite og LongWriter-6k
Forskerne tog deres 9-milliarder parameter LLM og trænte den først med et konventionelt dataset, som hovedsageligt indeholdt dokumenter på mindre end 2.000 ord. Ingen overraskelser her – det kunne ikke skrive længere tekster.
Derefter introducerede de en proces kaldet AgentWrite til at nedbryde træningsmaterialet i mindre opgaver. Med datasetet LongWriter-6k – som indeholder 6.000 dokumenter, der spænder fra 2.000 til 32.000 ord – kunne den modificerede LLM nu producere op til 10.000 ord lange tekster.
Åben kildekode og fremtidige muligheder
De lange tekster, som LongWriter genererede, blev vurderet som sammenhængende og brugbare i forskellige sammenhænge. Forskerne har gjort koden open-source på GitHub, så andre kan bygge videre på denne imponerende præstation. De har endda postet en video, hvor LongWriter producerer en 10.000-ords turistguide for rejsende i Kina. Rejseguides er åbenbart også noget, som AI nu kan mestre!
Etiske overvejelser
Forskerne påpeger naturligvis, at med evnen til at generere hele forskningsartikler, bøger, manuskripter og måske endda filmmanuskripter, kommer også nogle etiske overvejelser. Så næste gang du læser en fantastisk rejseguide eller et kreativt manuskript, kan du måske undre dig over, om en AI faktisk har skrevet det.
Sammenfattende viser LongWriter, at vi stadig kun skraber overfladen af, hvad AI kan opnå. Hvem ved, måske er denne artikel også skrevet af en AI? Hvis det er tilfældet, håber vi, at den har humor!
