Ett tankeexperiment: Anti-singulariteten med AI

Vi har aldrig haft, och kommer aldrig att ha, så smarta AI-modeller som vi har just nu

Det finns en rad mänskliga tendenser och antaganden som jag kommer att redogöra för i den här artikeln. Om de är korrekta, vilket jag vill reservera mig för att de kanske inte är, men om de är det, är vi på väg i rakt motsatt håll mot vad många tror. Nämligen att vi aldrig har haft och aldrig kommer att ha så smarta AI-modeller som vi har just nu. Den så kallade AI-singulariteten är praktiskt ouppnåelig. Vi har redan nått peak-AI.

Jag vill också tipsa er om att läsa min tidigare artikel på ämnet AI: annaleijon.se/artificial-intelligence-beyond-the-hype

Antaganden:

AI-modellens mål är att efterlikna mänskligt beteende och resonemang.
AI-modellen utgår från att snittet av den datan som den blir tränad på är det korrekta svaret.
Det går inte att skilja på människogenererad data och AI-genererad data.
I varje tidpunkt har vi en viss mängd begränsad data att träna våra algoritmer på.
AI-modellen är tränad på tillgänglig data på internet.
Datan på internet var från början helt människogenererad, så kallad riktig användargenererad data, men utgörs med tiden av en allt större andel AI-genererad data.

Du kanske förstår vart vi är på väg givet antagandena ovan. Om inte skriver jag ut det i klartext: vi tränade alltså från början våra AI-modeller på användargenererad data som i sin tur skapar AI-genererad data som sedermera skickas ut på internet och därmed in i datasetet som tränar modellen.

Vad händer när man tränar en AI-modell på AI-genererad data? Den blir självförstärkande. Den blir övertränad på det datasetet. Den förstärker bara befintligt beteende. Den blir inte bättre (eller så kallat smartare), utan den utsätts för en cirkelreferens. Både dess inneboende bra och dåliga egenskaper förstärks bara. Den målar in sig i ett hörn. Man kan säga att den blir allt mer övertygad om att den har rätt och den blir svårare att ändra på. även om ny data tillkommer, kommer den vara så inkörd sedan tidigare att den inte kommer kunna ta till sig den. Modellen kommer att agera som att det inte finns data utanför det dataset den redan blivit feedad.

Som vi använder AI just nu så finns det en inbyggd oundviklig tröghet i systemet som bara förstärks över tid, den som jag väljer att kalla anti-singulariteten. Därför är det rimligt att anta att modellerna och deras resultat inte kommer att bli bättre med tiden. Om 10 år har vi inte alls bättre modeller utan den har blivit så trögrörlig att den är helt orubblig och vi står bara och stampar.

Ett exempel från verkligheten: Tidigare var Chat GPT troligtvis till stor del tränad på helt människogenererad data fram till och med 2021 (bbc.com). Oavsett fungerar den som språkmodell väldigt bra. Det är rena fakta som den hade fel på efter 2021 (som exempelvis när man frågade hur det hade gått i en sportmatch med senare datum). Det händer inte så mycket med språket över tid, utan det är i princip endast fakta och up-to-date-information som tillkommer. Det som händer med den datan som ChatGPT tränas på, det vill säga datan på internet (harvard.edu ), är att den i sig självt blir allt mer AI-genererad. Chat GPT kommer, oundvikligen, att träna på sin egen, eller annan, AI-genererad data i allt större utsträckning. Tillsammans med andra AI-modeller och AI-genererad data på internet, kommer den att bli allt mer övertygad om att den själv har rätt och börja måla in sig i ett hörn.

Varför sker det här då, kan man fråga sig? Jo, jag skulle argumentera för att det dels finns en mänsklig tendens att vilja använda AI-genererad data generellt (för att det är snabbare och billigare, bland annat, än människogenererad) och dels att AI-genererad data görs tillgänglig i allt större utsträckning och blandas ihop med människogenererad data och att de två är oskiljaktiga.

Om mina antaganden 1-6 är korrekta leder det oundvikligen till anti-singulariteten, som det ser ut i nuläget. Vissa människor tror att vi är på väg mot någon singularitet med AI, men ingen vet, såklart. Mitt påstående, givet ovan antaganden, är dock att vi aldrig har haft och kommer aldrig att ha så smarta AI-modeller som vi har just nu.

/Anna Leijon

Vem är jag?

Jag heter Anna Leijon och har skrivit flera artiklar på ämnena frilans, egenföretagande och tech. Läs gärna dem också om du vill - exempelvis Frilansarguiden, CV-mall för konsulter och frilansare, Konsultmäklarlistan och Anställd vs frilanskonsult - en jämförelse i siffror. Till följd av att jag är aktiv inom tech har jag skrivit den här artikeln. Jag är dock ingen expert på ämnet utan enbart en liten ingenjör som gillar att tänka på sådana här saker. Kom gärna med frågor och feedback i mitt forum. Tack!