Steeds meer systemen maken vandaag de dag gebruik van Machine Learning (ML) en Artificial Intelligence (AI)Algoritmes die zelf leren om simpele beslissingen te maken. Bijvoorbeeld: Een computer adviseert welke controles er plaats moeten vinden en analyseert bij een aanvraag voor een lening door een persoon of de lening wel of niet toegekend kan worden. Veel van deze algoritmes werken als een “black box”: men weet niet hoe ze van binnen precies hun werk doen. Dit levert in veel sectoren een probleem op: als deze algoritmes beginnen te discrimineren op bijvoorbeeld afkomst, seksuele geaardheid of geslacht.

Een voorbeeld hiervan was de geautomatiseerde krediet bepaling van de Apple Credit Card. Bij een echtpaar kreeg de man 20x meer krediet dan zijn vrouw [1], terwijl ze exact dezelfde financiële gegevens invulden. Het black-box algoritme van Apple “discrimineerde” dus puur op basis van geslacht. Dichter bij huis lag ook de Belastingdienst (toeslagaffaire)onder vuur, doordat de nationaliteit van een burger als indicator voor fraude werd gebruikt [2]. 

Naarmate AI een steeds prominentere rol gaat spelen in onze samenleving, wordt het begrijpen en bestrijden van discriminatie door AI steeds belangrijker. AnalyzeData specialiseert zich in “clear box” machine learning, waarbij aangepaste algoritmes worden gebruikt die niet alleen een beslissing nemen en ook uitleggen hoe een beslissing tot stand is gekomen. Door het gebruik van bijvoorbeeld heldere visualisaties worden de beslissingen van de algoritmes en de factoren die daarbij een rol spelen inzichtelijk gemaakt. 

In het voorbeeld van de Belastingdienst had deze discriminatie vroegtijdig voorkomen kunnen worden wanneer er naast het resultaat een uitleg had gestaan “deze aanvraag wordt afgekeurd omdat er sprake is van een dubbele nationaliteit”. Op die manier is het voor gebruikers van die algoritmes altijd helder waarom een beslissing genomen wordt . Zo kan men snel en doelgericht ingrijpen als beslissingen om onjuiste redenen genomen worden: dit voorkomt discriminatie door algoritmes.

[1] https://www.nytimes.com/2019/11/10/business/Apple-credit-card-investigation.html
[2] https://tweakers.net/nieuws/169862/belastingdienst-overtrad-avg-bij-toeslagenaffaire.html

Categories:

Tags: