Data achter LLMs, effectief altruïsme door de jaren heen, en wat zijn mensen toch maf en mooi - Het AI nieuws van week 13

Alweer weekend, alweer een nieuwsbrief!

Deze keer schrijf ik vanuit Bristol, waar ik woensdag een lezing gaf over mijn paper over feminisme en programmeertalen. De universiteit hier had een seminar georganiseerd rondom mijn werk, dat was echt heel bijzonder; een hele zaal vol mensen die mijn werk kennen (en waarderen).

Maar ook in Bristol heb ik natuurlijk het nieuws gevolgd!

Hallo? Politie? Ik wil een diefstal rapporteren!

De Atlantic maakt een lijst met werken bekend (die je kan doorzoeken) die door Meta gebruikt wordt, en natuurlijk mijn boek zit erin. Ik verwachtte het wel toen ik m'n naam intikte, en toch voelt het slecht dat iemand zonder uitdrukkelijke toestemming van mij, of van mijn uitgever, zomaar mijn tekst mag herverpakken. Ik heb er zoveel werk inzitten, dat is van mij! Ik heb 9 maanden lang iedere dag aan dat boek zitten typen, en in de jaren ervoor ngo veel meer tijd besteed aan onderzoek bijhouden en samenvatten. Maar, Meta zegt dat het mag, waant, ze zetten het niet zomaar online, nee ze bakken er wat nieuws van! Of dat juridisch houdbaar is, moeten we nog zien (De Britse minister van Wetenschap en Technologie Kyle vindt het maar gedoe, we moeten niet zo tegen vooruitgang moeten zijn), maar het kwaad is natuurlijk al geschied.

Maar het voelt zo oneerlijk! Als ik 'zomaar' een PDF van mijn eigen paper beschikbaar maak aan mijn eigen studenten via op onze afgesloten leeromgeving zet, krijg ik meteen op mijn kop van onze bibliotheek, maar dit kan wel? Goor, dat is het!
(De Atlantic schreef er ook een uitgebreid stuk over, en als je echt in de details wilt duiken is er ook nog dit paper dat adhv het gedrag van LLMs laat zien dat er copyrighted materiaal in zit).

Wat is menselijke creativiteit toch heerlijk

Als je je misschien afvraagt waarom ik 'tegen AI' ben, dan zeg ik, ik ben nergens tegen, maar ik ben gewoon voor mensen en hun eindeloze verbeeldingskracht. Lees bijvoorbeeld dit utterly absurd stuk eens over een man die uit een bar wordt gegooid omdat hij The boys are back in Town van Thin Lizzy maar blijft afspelen op de jukebox[[1]]. Ronkende maffe zin na ronkende maffe zin, je kan niet stoppen met lachen gewoon. Hier een paar van de bangers, bijv een stukje broodnodige foreshadowing:

When my roommate leaves for work in the morning, I genuflect toward his wonderful dog, who respects me. I press my forehead to his flank and I whisper “the boys are back” over and over again. The dog turns his furry brow to look into me and I know he respects me even more, for I have done as Messrs. Lizzy commanded.

Op een goede dag kan hij zich niet meer inhouden:

My compulsion became explicit and inescapable: I needed to stay up and play “The Boys Are Back in Town” as many times as I could. The thorns from the road ahead cleared themselves, and I walked toward the future amid roses to share the gospel with the other patrons of this unlikeable bar. The boys were back.

En het kan trouwens ook met andere songs:

One foggy summer evening amid the delightful garbage bars of San Francisco’s Outer Richmond district, I watched a shot glass sail past my head when Annie Lennox’s (rapturous! transcendent! holy, holy!) “Walking on Broken Glass” surfaced for the fourth near-consecutive time.

Noem me een oude sentimenteel, dat mag, maar als ik zoiets lees, dat voel ik mijn ziel gewoon opwarmen! Die gevoelens van iets echt heel goed vinden en ervan overlopen, en/of van superirritant doen omdat het kan, omdat je jong en superirritant bent; zo herkenbaar, zo menselijk.

En dan in zo'n opgeblazen literaire stijl schrijven over zoiets banaals, I love it. De hele wereld kan collectief besluiten dat dat AI "creatief" kan zijn, maar voor mij kan zo'n stuk kan nooit maar dan ook nooit uit een algoritme rollen. En ietskes minder ronkend, maar toch ook heerlijk, dit stukje over de enige tolbrug van Nederland in NRC.

Open Source bij de overheid

Ik noemde Amsterdam een paar weken terug in mijn nieuwsbrief als goed voorbeeld omdat ze met chatGPT willen stoppen, Hans de Zwart plaatst in het Parool een paar stevige kanttekeningen over de uitvoering daarvan. Blijkbaar is er al in 2002 een motie aangenomen in de Tweede Kamer voor meer open source bij de overheid en is daar... niet echt veel mee gedaan. Dus hopelijk nu dan toch wel!

AI in de klas

Had ik het deze week in NRC weer over het buiten de klas proberen te houden van chatGPT... Er is vers onderzoek uit de VS, en misschien kan ik toch met vervroegd pensioen (lees snel verder onder de afbeelding!)

MIT Media Lab rapporteert dat ze een "neuro-adaptieve AI tutor" hebben uitgevonden die zich live aan hersengolven aanpast, en de antwoorden van een chatbot live aanpast. Ik was zeer genegen te denken dat dit een 1-aprilgrap is, maar dan hadden ze de resultaten, denk ik, wel wat opgedoft. Nu rapporteren ze dat, alhoewel leerlingen wel enthousiast zijn over dit ding ("engagement" nam toe, en was hoger dan bij een gewone chatinterface), heeft het geen resultaat op leeropbrengsten. Ondanks dat schrijven de auteurs natuurlijk wel dat hun resultaten "the feasibility of real-time cognitive feedback in LLM" aantonen. Ja dat is ook een manier van zeggen dat het niet werkt. Lees het paper zelf om te bepalen of jij denkt dat het een grap is.

Ondertussen blijven onderzoekers kritische vragen stellen, en laten ze zien dat het niet alleen 'geen leeropbrengsten' is, maar nog erger. Dit onderzoek onder 4500 participanten toont aan dat mensen oppervlakkiger advies geven als ze met een AI hebben gezocht, versus 'ouderwets' zoeken.

Ik ben blij dat mensen dit doen, want het is nodig als 'tegen' de hypers, maar het is ook zo'n ontzettend waste of effort, want natuurlijk is dat zo. Informatie beroofd van context, in hapklare brokjes aangeboden, is niet hetzelfde als zoeken, classificeren, cureren etc, zie ook mijn eerdere stuk in NRC over het verwijderen van de context van een zoekvraag.

Bovendien blijkt (ook niet verrassend, maar toch akelig) veelvuldig AI gebruik tot ontwenningsverschijnselen te leiden, en correleert intensief gebruik met gevoelens van eenzaamheid en verminderd sociaal contact[[2]]. Casey Newton schreef een prima samenvatting van beide onderzoeken.

Verder als tegenwicht voor de 'er moet nog wat AI bij'-vibes, deze prachtige nuance van Jan VanHoof, die ik zag op LinkedIn:

Het is een door Jan geannoteerd screenshot van een onderzoek uit 1985 (ik was toen nog een baby!) Met andere woorden: we weten wat goed onderwijs is, en er is in die tijd echt niet zoveel fundamenteels veranderd: we moeten hoge verwachtingen hebben van leerlingen, zorgen dat er een goed leerklimaat is, dat leerlingen en leerkrachten die in zichzelf geloven en een duidelijk minimumniveau waaronder we niemand laten afzakken.

Dit soort gesprekken wil ik dus voeren over onderwijs: Hoe komen we daar? Wat is dat minimumniveau? Waar liggen de hoge verwachtingen? Waar laten we ons door afleiden? Ik vind het jammer dat er nu zoveel over AI gepraat wordt, dat het echte gesprek helemaal ondergesneeuwd dreigt te raken.

Effectief Altruïsme

Heel mooi uitgebreid stuk in de Hedgehog Review (een publicatie van de Universiteit van Virginia) dat effectief altruïsme in een lange historische trend plaatst, geeft stof tot nadenken. Het stuk legt vooral bloot dat we, als we dingen quantificeren, allerhande reducties toepassen die misschien heel handig lijken, maar ook heel veel echte wereld uitwissen, dat de schrijver, socioloog Aaron Horvath, vat onder de noemer empirical imperative:

The empirical imperative, likewise, implies that all manner of problems, no matter how intractable, are reducible to orderly, often linear cause-and-effect relationships—amenable to intervention.

Dat meten is niet zonder effect (harhar) op weldoeners:

In the world of measurable impact, the communitarian ethos is eroded by atomistic consumerism wherein civic-minded individuals are tasked with comparison shopping for deals on progress. 

Je leest het stuk en blijft alleen maar met vragen zitten! Wat is goed doen? Hoe weet je dat iets goed is? Wie bepaalt dat? Wat als iets heel goed doet, maar ook kwaad? Wie bepaalt wat goed is, en wat (if anything) hoort ertegenover te staan?

Toen ik weer begon te lezen over EA kwam ik ook dit geweldige interview tegen in de Volkskrant dat (terecht) heel kritisch is:

‘Zo wil je toch helemaal niet denken? Het suggereert dat er ook zoiets als ‘ineffectief altruïsme’ bestaat, als je bijvoorbeeld boodschappen voor je buurman doet. Want één leven, of twintig levens, dat is gewoon niet goed genoeg - Marian Donner

Deed me denken aan mijn eigen kritiek op Morele Ambitie van Bregman, 'gewoon' leraar of dokter worden, mwah... Alleen in een grootste rol, als ouderwetse weldoener, of hippe ondernemer voelt goeddoen echt goed.

Van wie is een straat?

Nav van het nieuws dat Parijs meer straten autovrij gaat maken, een mooi stuk in de Volkskrant over politieke keuzes in ons straatbeeld. Ook dit dan een goed moment om weer eens aan mensen uit te leggen waarom wij in Nederland zo'n fijne fietspaden hebben. Bedachten vooruitstrevende policitci zelf dat het wel een lekker idee was, minder auto's in de stad?

Neejoh! Jarenlang actievoeren was nodig, met acties die je agressiever zou kunnen noemen dan sommige dingen die XR vandaag de dag doet, met een slogan als "stop de kindermoord", en acties waarbij straten werden geblokkeerd door auto's op de kop te gooien. Ik vind het nog steeds uiterst maf dat ik dat niet op school geleerd heb (ik heb deze kennis van toen Twitter nog leuk was) en zo zie je maar weer, als een strijd gevoerd is, profiteert iedereen, maar vergeten we hoe moeilijk het was om er te komen.

Vanuit een heel ander perspectief, nog twee stukken over 'de straat' van auteur AR Moxon twee stukken. Hoe komt een straat op zijn plek? En wie profiteert voor een straat? (deze stukken staan trouwens ook in zijn boek Very Fine People wat zeker één van mijn aanraders van dit jaar wordt, daarover later meer!)

Bias

Ok, ik zei in de Volkskrant dat we het al wel genoeg over bias hebben gehad, maar... toch nog eentje van Wired (ik noemde ze al eerder een baken van licht) over de bias die, natuurlijk in image generators zoals Sora zit. En ze komen meteen al hun belofte na waar ik in mijn nieuwsbrief vorige week over schreef, stukken die ze over FOIA data (een soort WOB in de VS) schrijven, zijn voor iedereen ook zonder abonnement te lezen, en ze komen meteen met een klapper over de Superbowl, blijkbaar klaagden mensen, omdat het (volgens hen) racistisch was dat we geen witte mensen in beeld waren.

En op het thema van bias, is er ook nog dit akelige stuk over AI & visa in Amerika, ook al is het niet veel meer dan een lijstje bullet points. Het laat zich natuurlijk raden wie er het vaakst door zo'n algoritme geflagd gaat worden.

Erbij horen, moet je dat aanleren?

Ik noemde Mark Guzdial ook in mijn Volkskrantstuk, en hij kwam deze week met een mooi stuk dat de vraag stelt of het de taak van informatica-onderwijs is om te zorgen dat studenten zich bij informatica voelen horen. Mijn eerste gevoel is natuurlijk dat dat juist wel belangrijk is, voor meiden, voor kinderen uit gezinnen zonder computer etc, maar Mark maakt een paar hele goede punten! (en als iemand die zich er al lang niet meer bij voelt horen in de informatica, zijn die maar al te bekend...).

Goed nieuws!

Dit stuk uit New York Times telt maar half als goed nieuws, maar is wel geweldig om te lezen, over een initiatief in de VS om dammen af te breken om natuurlijke habitats te herstellen. Eerst dacht ik: nee, stop, dammen goed, maar dan merk je hoe je geconditioneerd bent om technologie altijd maar als goed te zien, en als je het hele stuk leest, ben je daar na afloop van genezen. Telt maar half omdat Trump (natuurlijk) sit soort initiatieven wil stoppen.

In Spanje nemen ze misschien binnenkort een pittige wet aan tegen AI gegenereerde content zonder duidelijke vermelding (in lijn met de AI Act, die nu door individuele lidstaten gehandhaafd moet worden):

The Spanish bill ... classifies non-compliance with proper labelling of AI-generated content as a "serious offence" that can lead to fines of up to 35 million euros or 7% of their global annual turnover.

Ook mooi en hoopvol nieuws, kinderen uit arme gezinnen die rijkere vriendjes hebben als kind, verdienen zelf later ook meer. Een mooi argument voor meer gemixte scholen.

En ook nog wat goed nieuws uit de energiesector:

Renewable energy outperforms carbon capture in terms of both sustainability and cost-effectiveness. Switching to renewable energy could reduce energy demand by 54.4% and energy costs by 59.6%

Ik weet niet of deze perse bij 'goed nieuws' hoort, maar het is in ieder geval opvallend, driekwart van de AI onderzoekers denkt niet (meer?) dat we AGI kunnen bereiken door nog er meer resources op stuk te slaan.

Gratis AI workshop voor leerlingen!!

Dan ten slotte nog een tip! Ben je ook vo docent in de regio Amsterdam? Op vrijdag 9 mei geef ik een GRATIS workshop bij Codam waar je met je leerlingen naartoe kan! Ik leg de basis van AI uit, en leerlingen gaan hun eigen ELIZA chatbot maken. Ervaring is niet nodig, en het is dus zeker niet alleen voor informatica leerlingen!

Voetnoten

[[1]] Het stuk kwam deze week weer eens langs op de socials omdat het 10 jaar oud is.
[[2]] Dit is onderzoek dat samen met openAI gedaan is, dat vind ik dan wel weer een zeldzaam teken dat ze interesse tonen in het effect van hun tool op mensen.