Någon har skapat en AI som inte vet något om vad som hände efter 1930, och den har mer användning än det verkar

Ett av problemen med språkmodeller är att det finns ett brytdatum i träningsdatan, det vill säga modellen känner inte till aktuella händelser som går längre än det datumet. Detta, som inom vissa sektorer kan vara ett allvarligt problem, är just syftet med Talkie-1930, en språkmodell som endast tränas med texter från före 1930. Om du någonsin har undrat hur det skulle vara att prata med någon från det förflutna, så finns det en AI för det.

En vintage språkmodell. Så här har dessa LLM som är utbildade med historiskt innehåll fått namn. Talkie-1930 är en modell med 13 miljarder parametrar som inte har tillgång till modern information och inte heller kan konsultera Internet, utan har bara tränats med böcker, tidningar och andra texter från före 1930.

För att utforska modellen lät forskarna Claude prata med modellen och utvärdera dess svar. Modellen visade stor kunskap om världen, med många historiska detaljer från tiden, och en stor förmåga att imitera viktorianska författares stil som Dickens, även om den var något begränsad i mer satiriska format. I Xataka Bilden som sammanfattar en era: miljontals böcker i ett lager som väntar på att bli förstört efter att ha tränat en AI Mer än ett kulturellt experiment.

Talkie är det närmaste man kan prata med någon som utbildades i början av 1900-talet. Detta förvandlar modellen till ett fönster som låter oss utforska mentaliteten och kulturen från en förgången tid och lära oss hur samhället, politiken eller det dagliga livet beskrevs då. Men bortom nyfikenhet fungerar Talkie-1930 också som ett "kontrollämne" för att bättre studera hur AI fungerar och uppnå viktiga framsteg.

Förutsäga framtiden. Genom att "frysas" 1930 gör Talkie det möjligt att bättre mäta hur långt en modell kan extrapolera och förutsäga framtiden enbart utifrån historiska mönster, utan att fuska med senare data. För att testa denna förutseende kapacitet visade forskarna upp till 5 000 beskrivningar av efterföljande historiska händelser, hämtade från avsnittet "On this day" i New York Times, och mätte modellens grad av överraskning.

Resultatet blev att modellen visade mer överraskning under decennierna efter dataavbrottet, särskilt på 1950- och 1960-talen, men sedan stabiliserades graden av överraskning. Enligt forskarna tyder det på att prediktiv prestation förbättras när tidshorisonten blir längre, men de påpekar att det kommer att bli nödvändigt att träna äldre modeller för att kunna mäta det bra.

Uppfinning. Demis Hassabis, VD för Google DeepMind, tog upp en mycket intressant fråga vid en konferens nyligen: om en AI med en kunskapsgräns fram till 1911 skulle kunna nå den relativitetsteorin som Einstein upptäckte 1915.

I den meningen är modeller som Talkie-1930 ett mycket intressant verktyg för att observera dess förmåga att generera nya idéer som kan leda till upptäckter.

Inga föroreningar. Det är ett av de problem som modeller tränade med stora korpus av aktuell data har, där själva utvärderingsdatan vanligtvis också smyger in och slutar med att deras förmåga överskattas. Med vintagemodeller finns det ingen kontaminering och det gör att du kan utföra mycket specifika experiment, som att se om du kan lära dig programmera utan att ha några datorkunskaper i förväg.

Talkie-1930 är öppen källkod och tillgänglig på Github. Bild | Xataka I Xataka | Ett makroexperiment har försökt ta reda på om vi skiljer verkliga bilder från de som genereras av AI. Svaret är inte optimistiskt