Seksistische algoritmes

‘Amazon reportedly killed an AI recruitment system because it couldn’t stop the tool from discriminating against women‘

Binnen Machine Learning en datascience wordt al langer gespeeld met algoritmes die teksten interpreteren om daar relevante informatie uit te halen. Soms heeft dat als bijwerksel dat we worden gedwongen eens goed te kijken naar hoe wij zelf (blijkbaar) onze taal gebruiken, en wat daar allemaal uit is af te leiden. Het is niet een heel fijne uitkomst natuurlijk, als je algoritme systematisch blijkt te discrimineren. Zeker als blijkt dat het dat discrimineren leert uit de voorbeelden uit de echte wereldt: het algoritme keek naar de sollicitatie-procedure van Amazon en leerde:

In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges.

Als ons eigen gebruik van taal zo kaal in regeltjes wordt uitgelegd zien we soms pas echt goed he lelijk het eigenlijk is. En seksisme was niet het enige wat aan het licht kwam: het algoritme (en dus het bedrijf) bleek ook te vallen voor bepaalde buzz-words in CV’s van sollicitanten:

Instead, the technology favored candidates who described themselves using verbs more commonly found on male engineers’ resumes, such as “executed” and “captured”

Nu houdt het algoritme ons dus een spiegel voor met wat er fout is gegaan, maar is er niet ook een manier om wél van het verleden te leren maar toch óók de fouten recht te zetten? In theorie wel.

Woorden als wiskunde

Algoritmes die met taal werken, moeten kunnen rekenen met woorden. Om dat te doen zetten ze die woorden om in numerieke representaties. Stel we nemen, geheel willekeurig, het woord ‘Maarten’. Dat woord representeren we door een stel getallen. De beste manier om wat over het woord Maarten te leren, is door te kijken naar de woorden die vaak in dezelfde zin staan. Zo komen we bij ‘Maarten’ waarschijnlijk vaak ‘geniaal’, ‘knap’ of ‘de beste’ in dezelfde zin tegen. En op die manier leren we wat over de representatie van ‘Maarten’. De woorden die op Maarten lijken moeten ongeveer dezelfde getalletjes krijgen als het woord Maarten, en op deze manier gaan de getallen stuk voor stuk karakteristieken van het woord Maarten weergeven. Waaronder bijvoorbeeld geslacht.

Welk getalletje in deze representatie precies geslacht aangeeft kunnen we achterhalen door representaties van verschillende woorden die enkel qua geslacht verschillen met elkaar te vergelijken. Als we bijvoorbeeld de representatie van de woorden ‘koning’ en ‘koningin’ met elkaar vergelijken, verwachten we dat deze bijna helemaal hetzelfde zijn, behalve op het geslacht getalletje. En dat verschil zouden we ook moeten zien van leraar tot lerares, oma tot opa, enzovoorts. Maar op deze manier zien we ook de vooroordelen die in de data zijn gebakken: bijvoorbeeld dat de verschillen tussen de representaties man en directeur gelijk zijn aan die tussen vrouw en secretaresse. En er is niks mis met een mannelijke directeur of een vrouwelijke secretaresse, maar de automatische verwachting dat een directeur een man is en een secretaresse een vrouw is in deze tijd waarschijnlijk niet meer accuraat of wenselijk.

Vooroordeel-vrije algoritmes

Dus laten we ze aanpassen! We gaan op zoek naar de plekken waar we dit onderscheid niet willen hebben, en maken ze gelijkwaardig! Fluitje van een cent, toch? Maar dat blijkt niet altijd even vanzelfsprekend. Want we moeten wel bekijken waar dit onderscheid een vooroordeel, en waar het een nuttig gegeven is. Op sommige plekken is het nou eenmaal goed om te weten wat iemands geslacht is, bijvoorbeeld als je iemand wilt opereren of als je een actrice zoekt om een vrouwelijke rol te spelen. Dus moeten we precies gaan uitvogelen welke woorden wel, en welke woorden niet geslacht als kenmerk moeten hebben. En bij geslacht houdt het niet op, er bestaan op veel meer vlakken vooroordelen of achterhaalde ideeën die wellicht nog in de data zijn ingebakken. Als we voor al die vlakken gaan corrigeren is het de vraag of we niet ook nuttige verschillen wegpoetsen, en hoeveel er dan nog overblijft om van te leren?

Het goede voorbeeld

Dat wordt best een klus, al met al. Voor Amazon lijkt het probleem te overzien: er is volgens mij geen reden waarom geslacht bij hun sollicitaties een rol zou moeten spelen, dus kunnen ze geslacht volledig verwijderen uit hun representaties. Maar niet elk geval is zo simpel, en hoe ingewikkelder de algoritmes die we inzetten, hoe lastiger het wordt in te schatten welke factoren waar invloed hebben. Leren van data is te gek, maar vaak leren we er ook van dat wij in het verleden het verkeerde voorbeeld hebben gegeven. Misschien is de échte vraag wel: moeten wij algoritmes maken die ons leren hoe het wel moet, of moeten we gewoon een beter voorbeeld geven aan de algoritmes, zodat ze écht wat moois leren?