Risicoprofilering is in strijd met mensenrechten en moet worden verboden

Het wijdverbreide gebruik van risicoprofileringssystemen door overheden op het gebied van rechtshandhaving, sociale zekerheid en migratie is onverenigbaar met internationale mensenrechten en moet worden verboden. Dat schrijft Amnesty International in een nieuw rapport dat vandaag uitkomt.

Risicoprofilering is een vorm van selectie waarmee overheden kunnen beoordelen hoe waarschijnlijk het is dat een persoon of groep een wet of regel gaat overtreden. Overheden gebruiken het om potentiële overtreders te identificeren voordat er daadwerkelijk een overtreding plaatsvindt. Deze beoordelingen worden steeds vaker geautomatiseerd met behulp van kunstmatige intelligentie. In veel gevallen leiden ze tot mensenrechtenschendingen. In dit nieuwe rapport van Amnesty International wordt risicoprofilering voor het eerst in zijn geheel getoetst aan internationale mensenrechtennormen.

“Dit rapport laat zien hoe risicoprofileringssystemen impact hebben op de rechten van mensen. Het presenteert wetenschappelijke en juridische argumenten die mensenrechtenverdedigers, ambtenaren, toezichthouders, advocaten en rechters kunnen gebruiken om het gebruik van deze systemen aan te vechten,” zegt Alexander Laufer, onderzoeker op het gebied van technologie en mensenrechten bij Amnesty International Nederland.

Slecht onderbouwde aannames

Risicoprofileringssystemen zijn bijvoorbeeld ingezet bij onderzoeken naar het Toeslagenschandaal in Nederland, het fraude-onderzoek van DUO in Nederland, fraude met sociale uitkeringen in Denemarken bij het Franse systeem voor het aanvragen van een verblijfsvergunning, en het Australische systeem om geautomatiseerd schulden te vorderen.

Risicoprofileringssystemen worden vaak gepresenteerd als een manier waarop staten diensten kunnen stroomlijnen, kosten kunnen besparen, criminaliteit en fraude kunnen voorkomen en migratie kunnen beheersen. Deze claims gaan uit van het idee van schaarse middelen en zijn gebaseerd op aannames waarvoor weinig wetenschappelijk bewijs bestaat, maar die politiek bruikbaar zijn. Ze herdefiniëren namelijk sociale problemen zoals armoede, zodat dat niet langer politieke vraagstukken zijn, maar efficiëntieproblemen die moeten worden opgelost met automatisering en surveillance.

Mensen die het doelwit worden van risicoprofilering op gebieden als rechtshandhaving, sociale zekerheid en migratie, kunnen daardoor ernstig worden beschadigd – zoals we hebben gezien bij het Toeslagenschandaal. Ze kunnen te maken krijgen met psychisch leed, en ze worden gestigmatiseerd en onterecht beschuldigd van misdrijven. Dit kan leiden tot dakloosheid, deportatie, onterechte weigering van sociale uitkeringen of zelfs gevangenisstraf.

Discriminerend effect

Hoewel overheden de technologie vaak presenteren als ‘objectief’, leidt risicoprofilering tot discriminatie op basis van ras en etniciteit, gender, sociaaleconomische status en beperking.

Groepen die gemarginaliseerd worden, worden het hardst getroffen. Geracialiseerde personen, moslims, migranten of mensen met een beperking, chronische ziekte of een laag inkomen, hebben meer kans om als ‘verdacht’ te worden bestempeld, voortdurend onder toezicht te staan en getroffen te worden door schadelijke beslissingen.

“Dit wordt verergerd door een groot gebrek aan transparantie. Hierdoor staan mensen machteloos en kunnen ze deze systemen, en de beslissingen die hun rechten beïnvloeden, niet aanvechten. Daarnaast brengt het ook andere mensenrechten in gevaar. Denk aan het recht op een eerlijk proces, de onschuldpresumptie, het recht op privacy en gegevensbescherming, het recht op sociale zekerheid en een behoorlijke levensstandaard en de menselijke waardigheid,” zegt Dagmar Oudshoorn, directeur van Amnesty International Nederland.

De discriminerende effecten gaan verder dan vooroordelen en individuele rechten. Het rapport benadrukt structurele discriminatie door risicoprofilering. Hoewel het terugdringen van criminaliteit of fraude een legitiem doel kan zijn, kunnen deze systemen worden misbruikt als dekmantel om hele gemeenschappen ingrijpend te surveilleren.

“Hoe deze instrumenten worden ingezet kan het gevolg zijn van bestaande stereotypen en vooroordelen die groepen die gemarginaliseerd worden als inherent crimineel of gevaarlijk beschouwen. Dit is het gevolg van bestaande systemische discriminatie,” zegt Dagmar Oudshoorn.

Twijfels over de effectiviteit

Amnesty constateerde ook dat overheidsprocessen voor het ontwikkelen van risicoprofileringssystemen niet voldoen aan strenge wetenschappelijke normen die normaal gesproken misleidende resultaten of verkeerde interpretaties helpen voorkomen. Onderzoek laat juist zien dat deze instrumenten wetenschappelijk twijfelachtig zijn, en vaak onnauwkeurig.

Volgens onderzoek is het bijvoorbeeld extreem moeilijk om te voorspellen of iemand een misdrijf zal plegen of sociale-zekerheidsfraude zal begaan. De gegevens die nodig zijn om deze voorspellingen met voldoende nauwkeurigheid en objectiviteit te doen, bestaan niet en zullen nooit bestaan. Daarom wordt gebruikgemaakt van onbetrouwbare en bevooroordeelde vervangende indicatoren. Bijvoorbeeld het voorspellen van herhaald crimineel gedrag op basis van herhaalde arrestaties, of onbedoelde fouten bij het aanvragen van sociale zekerheid aanzien voor fraude. Hierdoor lopen geracialiseerde en gemarginaliseerde gemeenschappen extra risico.

“Gegevens over mensen zijn nooit objectief. Wanneer overheden historische sociale gegevens gebruiken om te voorspellen wie een misdrijf zal plegen, richten zij zich onvermijdelijk op mensen uit historisch onderdrukte groepen of groepen die gemarginaliseerd worden. Daarmee reproduceren en versterken zij onrecht uit het verleden. Er bestaat geen technische oplossing voor zulke maatschappelijke problemen,” zegt Alexander Laufer.

Verbied risicoprofilering

Risicoprofilering op het gebied van migratie, de opsporing van fraude met sociale zekerheid en criminaliteitsbestrijding moet worden verboden. Voorspellende profilerings- en risicobeoordelingssystemen, of ze nu zijn gebaseerd op gegevens of op regels, moeten worden verboden in situaties met grote gevolgen, zelfs als een mens de uiteindelijke beslissing neemt.

Staten moeten wetgeving invoeren of aanpassen om dit verbod af te dwingen. Totdat dergelijke wetten van kracht zijn, zouden overheden deze systemen niet mogen gebruiken en moeten zij de ontwikkeling, productie en verkoop ervan stopzetten.