Alice en Bob kunnen niet eens normaal praten

‘Robots Alice en Bob beginnen geheimtaal: experiment stilgelegd’, zo luidde de titel van het AD artikel. ‘Experts noemen het spannend, en tegelijkertijd angstaanjagend.’ Nu had ik net hiervoor het betreffende onderzoekspaper gelezen, en de reden waarom het experiment werd ‘stilgelegd’. Spoiler: het was noch spannend, noch angstaanjagend.

Het gaat om de publicatie ‘Deal or No Deal? End-to-End Learning for Negotiation Dialogues’ van Mike Lewis et al. In dit onderzoek proberen de onderzoekers een AI zodanig te trainen dat deze met mensen onderhandelingsspelletjes kan spelen. Dit word gedaan met behulp van machine learning modellen, modellen die zelfstandig leren van een grote hoeveelheid gedocumenteerde onderhandelingen en op die manier de taal én onderhandelkunst moeten afleiden. Dat is niet eenvoudig, want er zitten veel verborgen subtiliteiten in de manier waarop je slim onderhandelt, en de manier waarop we dat verwoorden.

Zo kan een model verbanden vinden die helemaal niet relevant zijn. Zijn de beste onderhandelaars toevallig Amerikaanse tienermeisjes, zou het model zomaar kunnen denken dat veelvuldig gebruik van ‘like totally’ een erg succesvolle onderhandeltechniek is. Het model ‘weet’ niet wat het doet, het toetst alleen welke woordjes een positief resultaat hadden op de onderhandelingen, en gebruikt die vervolgens. Dat was ongeveer wat er gebeurde met Alice en Bob in dit onderzoek: die ‘geheimtaal’ was niets meer dan een onhandige en foutieve interpretatie van de taal uit de voorbeelden. Als het model vijf items wou hebben zei het bijvoorbeeld vijf keer ‘i want’ in plaats van ‘i want five’. Ik weet niet of u van de spanning al op uw nagels zit te bijten, maar ik in ieder geval niet. Het gelijkstellen van fouten maken aan het creëeren van een nieuwe taal lijkt me helemaal vergezocht. Dat zou betekenen dat de Youtube comment sectie  een weelde van linguistieke vernieuwing is.

Het is geen uitzondering dat berichtgeving over AI misleidend, click-baity en simpelweg onwaar is. In het AD artikel van Koen van de Sype wordt bewust de indruk gewekt dat de onderzoekers zelf met het onderzoek stopten omdat ze zich zorgen maakten, terwijl dat nergens in het artikel voorkomt, en ze naderhand nog eens expliciet aangaven dat dat helemaal niet het geval was. Deze versie van het model was niet goed genoeg voor gebruik (het kon immers niet normaal met mensen communiceren), dus stopten ze deze poging en gingen ze met een nieuw model aan de slag. Dat “Het ‘mislukte’ experiment doet denken aan de filmreeks Terminator” slaat al helemaal nergens op. Welk deel van klungelig geïnterpreteerde babytaal doet precies denken aan een systematische uitroeiing van de mens?

Het artikel eindigt met “Volgens Facebook zelf werd het experiment stilgelegd omdat het ‘niet tot het resultaat leidde dat we wilden’ ”, alsof de schrijver wil zeggen “Haha, leugenaars, wij weten wel beter toch? Toch?” Het is de schijn wekken dat de doodsbange onderzoekers hun Terminator-creatie in de doofpot proberen te stoppen, en wij dankzij de helden van de media wel beter weten. In werkelijkheid zijn het precies dit soort click-bait misleidingen die de term ‘fake news’ zo doet groeien.