Tech en mensenrechten
Overheidsinstanties maken steeds vaker gebruik van algoritmes (een reeks van instructies die leidt tot een bepaald resultaat) en Big Data om mensen te beoordelen. De overheid verwerkt bijvoorbeeld gegevens om te proberen de kans te berekenen dat jij mogelijk gaat frauderen of iets anders strafbaars zal gaan doen. Technologische ontwikkelingen kunnen de wereld veel goeds brengen, mits het gebruik ervan in lijn is met de mensenrechten.
Het probleem
Overheidsinstanties maken steeds vaker gebruik van algoritmes (een reeks van instructies die leidt tot een bepaald resultaat) en Big Data om mensen te beoordelen. De overheid verwerkt bijvoorbeeld gegevens om te proberen de kans te berekenen dat jij mogelijk gaat frauderen of iets anders strafbaars zal gaan doen. Dat dit goed fout kan gaan, hebben we bij de toeslagenaffaire bij de Belastingdienst gezien: duizenden ouders werden ten onrechte beschuldigd van fraude en moesten toeslagen terugbetalen. Mensen kwamen hierdoor onterecht in flinke geldnood. Sommigen verloren hun huis en baan. De Belastingdienst had data en algoritmes gebruikt om de kans op fraude te berekenen. Iemands afkomst en of je wel of geen Nederlander bent, werd gebruikt om het risico in te schatten. Dat is discriminatie en dus verboden.
Discriminerende algoritmes bij toeslagenschandaal
Nederlandse Amnesty-onderzoekers brachten op 25 oktober 2021 het rapport Xenofobe machines – Discriminatie door ongereguleerd gebruik van algoritmen in het Nederlandse toeslagenschandaal uit. Daaruit blijkt dat er sprake is van etnisch profileren en discriminatie op basis van sociale klasse door de Belastingdienst. Dat komt onder andere door de gebruikte algoritmes.
De Belastingdienst gebruikte data en algoritmes om de aanvragen voor kinderopvangtoeslag te beoordelen op potentiële onjuistheden en dus mogelijke fraude. Daarbij werd het feit of je wel of geen Nederlander bent, gebruikt om het risico in te schatten. Het hebben van de Nederlandse nationaliteit is echter geen voorwaarde voor het krijgen van kinderopvangtoeslag. Het meewegen van nationaliteit is discriminatie en dus verboden. Na een analyse van de maatregelen die de overheid zegt te nemen, moeten we concluderen dat die vooralsnog tekortschieten. Zo zijn ambtenaren niet verplicht om de mensenrechtenrisico’s vooraf in kaart te brengen, is er onvoldoende toezicht op algoritmes. Bovendien mogen overheidsinstellingen het gebruik en de werking van algoritmes geheimhouden. Amnesty International is niet tegen het gebruik van algoritmes. Maar de bescherming van mensenrechten bij het gebruik ervan schiet tekort.
Goede regels gewenst
Goede regels om een tweede toeslagenschandaal te voorkomen, zijn er nog nauwelijks in Nederland. Er moet zorgvuldig met je gegevens worden omgegaan en er moeten duidelijke en bindende regels komen over het gebruik van algoritmes. Systemen zijn nu vaak niet transparant, waardoor mensen niet weten wat er met hun gegevens gebeurt. Daardoor kunnen zij zich moeilijk verdedigen tegen beslissingen die met behulp van algoritmes of Big Data-analyses worden gemaakt. Hoe bewijs je dat je wél recht hebt op toeslag, als je niet weet waarom het algoritme zegt van niet? Hoe toon je aan dat je gediscrimineerd wordt als de overheid niet wil prijsgeven of ze jouw nationaliteit als een risico zien? In deze video leggen we eenvoudig uit wat algoritmes zijn en hoe deze kunnen discrimineren.
Zorgen over wetsvoorstel
De overheid wil over meer mogelijkheden beschikken om gegevens te verwerken en te delen. Om dit te realiseren, komt er een nieuwe wet: de Wet gegevensverwerking door samenwerkingsverbanden (WGS). Als deze wet wordt aangenomen, kunnen straks verschillende overheidstakken gegevens met elkaar en met bedrijven uitwisselen. Die gegevens kunnen vervolgens met algoritmische systemen geautomatiseerd worden geanalyseerd. Amnesty heeft grote zorgen over deze wet. En wij zijn niet de enige.
Ook de Raad van State, de Autoriteit Persoonsgegevens en andere maatschappelijke organisaties zien dit als een gevaarlijke wet omdat mensenrechten, zoals bijvoorbeeld het recht op privacy, erin op de tocht staan. Daardoor ontstaan risico’s op willekeur en misbruik van bevoegdheden. De toeslagenaffaire bij de Belastingdienst maakt duidelijk dat het gebruik van gegevens en de geautomatiseerde analyse daarvan veel schade kan veroorzaken bij mensen die niets te maken hebben met strafbare feiten of fraude.
Het leed dat mensen met de toeslagenaffaire is aangedaan, moet worden voorkomen door vooraf duidelijke regels te stellen die discriminatie en privacy-schendingen voorkomen. Het wetsvoorstel ligt nu bij de Eerste Kamer. Amnesty vraagt een nieuw kabinet om het voorstel in te trekken en vraagt de Eerste Kamer de kritiek op de WGS serieus te nemen en tegen de wet stemmen.
Wat wil Amnesty?
Om mensenrechten te beschermen, dringt Amnesty aan op de volgende maatregelen:
- Een onmiddellijk en expliciet verbod op het (indirect) gebruik van etniciteit en nationaliteit bij het gebruiken van (geautomatiseerde) risicoprofielen bij wetshandhaving. Lees onze oproep aan het kabinet.
- De invoering van een bindende mensenrechtentoets voorafgaand aan het ontwerp én tijdens het gebruik van algoritmische systemen en geautomatiseerde besluitvorming.
- De instelling van een onafhankelijke en goed toegeruste algoritmetoezichthouder die bindende adviezen mag geven en toezicht uitoefent vanuit het perspectief van alle mensenrechten.
- Een verbod op autonome en zelflerende algoritmes in de uitvoering van overheidstaken wanneer dit mensen in aanmerkelijke mate treft of een grote impact heeft op mens of maatschappij.
Amnesty International heeft financiering ontvangen van de Nationale Postcode Loterij om onderzoek te doen naar AI en Big Data bij overheden. Dit doen we ook in Nederland.
Actueel dossier: predictive policing
Lees meer
Predictive policing
De politie experimenteert met algoritmes en Big Data om te bepalen op welke personen of plaatsen zij haar aandacht richt. Een politieproject in Roermond leidde tot massasurveillance en geautomatiseerd etnisch profileren.
Het probleem
Politieteams in verschillende landen, waaronder Nederland, maken gebruik van predictive policing-systemen. Deze systemen gebruiken data en wiskundige modellen om te bepalen waar de politie zich op moet focussen. Als jij of jouw buurt uit de bus komt met een hoog risico op bijvoorbeeld het plegen van een plofkraak, dan focust de politie zich op jou.
Om het risico te berekenen worden grote hoeveelheden gegevens verwerkt. Dat staat op gespannen voet met privacy. Vaak wordt gedacht dat gegevens en algoritmes objectief en neutraal zijn, maar dat klopt niet: vooroordelen en stereotypen bij de mensen die de algoritmes maken, beïnvloeden de gegevens en de algoritmes. Dat kan leiden tot discriminerende uitkomsten met hogere risicoscores voor bepaalde maatschappelijke bevolkingsgroepen.
Wat wil Amnesty?
Een aantal maanden na de publicatie van Amnesty’s onderzoek stopte de politie met het experiment in Roermond, maar de overheid wil niet met vergelijkbare andere projecten stoppen. Daarom blijft Amnesty aandringen op betere bescherming van de mensenrechten bij dit soort projecten. Amnesty pleit voor een verplichte, bindende mensenrechtentoets voor het gebruik van predictive policing-technologieën.
Hoe probeert Amnesty dit te bereiken?
Uit onderzoek van Amnesty bleek dat een politie-experiment in Roermond leidde tot massasurveillance en etnisch profileren. Dit project was bedoeld om zakkenrollerij en winkeldiefstal in een winkelcentrum tegen te gaan. Volgens de politie zijn het vooral mensen uit Oost-Europese landen zijn die zich hieraan schuldig maken in Roermond. De politie gebruikte camera’s en andere sensoren om alle mensen die in en rond Roermond rijden in de gaten te houden.
De verzamelde gegevens werden verwerkt in een algoritmisch model dat een risicoscore berekende voor ieder voertuig en punten toekende. Dat werkte ongeveer zo: komt de auto uit Duitsland, dan krijgt hij 10 punten. Rijdt hij naar het winkelcentrum: 10 punten. Heeft het een Roemeens kenteken: nog eens 10 punten. Bij een hoge score probeerde de politie om de auto te stoppen en de bestuurder en inzittenden te controleren.
In het project werden mensen in Roermond eigenlijk gebruikt als proefkonijn in een experiment waarvoor ze geen toestemming hadden gegeven. Het project leidde tot een schending van hun privacy, van databescherming en van het recht op non-discriminatie.
Ontwikkelingen
Een aantal maanden na de publicatie van Amnesty’s onderzoek over predictive policing in Roermond stopte de politie met het experiment, maar de overheid wil niet met vergelijkbare andere projecten stoppen. Daarom blijft Amnesty aandringen op betere bescherming van de mensenrechten bij dit soort projecten. Amnesty pleit voor een verplichte, bindende mensenrechtentoets voor het gebruik van predictive policing-technologieën.
Meer informatie
Actueel dossier: de wet gegevensverwerking
Lees meer
De wet gegevensverwerking
De overheid wil meer mogelijkheden om gegevens te verwerken en te delen. Daarbij zijn de mensenrechten echter niet gewaarborgd.
De overheid wil over meer mogelijkheden beschikken om gegevens te verwerken en te delen. Om dit te realiseren, komt er een nieuwe wet: de Wet gegevensverwerking door samenwerkingsverbanden (WGS). Als deze wet wordt aangenomen, kunnen straks verschillende overheidstakken gegevens met elkaar en met bedrijven uitwisselen. Die gegevens kunnen vervolgens met algoritmische systemen geautomatiseerd worden geanalyseerd. Amnesty heeft grote zorgen over deze wet. En wij zijn niet de enige.
Ook de Raad van State, de Autoriteit Persoonsgegevens en andere maatschappelijke organisaties zien dit als een gevaarlijke wet, omdat mensenrechten, zoals het recht op privacy, erdoor op de tocht komen te staan. Daardoor ontstaan risico’s op willekeur en misbruik van bevoegdheden. Het toeslagenschandaal bij de Belastingdienst maakt duidelijk dat het gebruik van gegevens en de geautomatiseerde analyse daarvan veel schade kan veroorzaken bij mensen die niets te maken hebben met strafbare feiten of fraude.
Het leed dat mensen met het toeslagenschandaal is aangedaan moet worden voorkomen door vooraf duidelijke regels te stellen die discriminatie en privacy-schendingen verhinderen. Het wetsvoorstel ligt nu bij de Eerste Kamer. Amnesty vraagt een nieuw kabinet om het voorstel in te trekken en vraagt de Eerste Kamer de kritiek op de WGS serieus te nemen en tegen de wet te stemmen.
Actueel dossier: het toeslagenschandaal
Lees meer
Het toeslagenschandaal
De overheid gebruikt algoritmes en Big Data om risico’s in te schatten. Bij het toeslagenschandaal leidde dit tot discriminatie en privacy-schendingen.
Het probleem
Overheidsinstanties maken steeds vaker gebruik van algoritmes en Big Data om mensen te beoordelen. Dat dit goed fout kan gaan, hebben we bij het toeslagenschandaal bij de Belastingdienst gezien: duizenden ouders werden ten onrechte beschuldigd van fraude en moesten toeslagen terugbetalen. Mensen kwamen hierdoor onterecht in flinke geldnood. Sommigen verloren hun huis en baan. De Belastingdienst had data en algoritmes gebruikt om de kans op fraude te berekenen. Iemands afkomst en of je wel of geen Nederlander bent, werd gebruikt om het risico in te schatten. Dat is discriminatie en dus verboden.
Discriminerende algoritmes bij het toeslagenschandaal
Nederlandse Amnesty-onderzoekers brachten op 25 oktober 2021 het rapport ‘Xenofobe machines – Discriminatie door ongereguleerd gebruik van algoritmen in het Nederlandse toeslagenschandaal’ uit. Daaruit blijkt dat er sprake is van etnisch profileren en discriminatie op basis van afkomst en sociale klasse door de Belastingdienst. Dat komt onder andere door de gebruikte algoritmes.
De Belastingdienst maakte gebruik van data en algoritmes om de aanvragen voor kinderopvangtoeslag te beoordelen op potentiële onjuistheden en dus mogelijke fraude. Daarbij werd het feit of je wel of geen Nederlander bent gebruikt om het risico in te schatten. Het hebben van de Nederlandse nationaliteit is echter geen voorwaarde voor het krijgen van kinderopvangtoeslag. Het meewegen van nationaliteit is discriminatie en dus verboden. Na een analyse van de maatregelen die de overheid zegt te zullen nemen, moeten we concluderen dat die vooralsnog tekortschieten. Zo zijn ambtenaren niet verplicht om de mensenrechtenrisico’s vooraf in kaart te brengen en is er onvoldoende toezicht op algoritmes. Bovendien mogen overheidsinstellingen het gebruik en de werking van algoritmes geheimhouden. Amnesty International is niet tegen het gebruik van algoritmes. Maar de bescherming van mensenrechten bij het gebruik ervan schiet tekort.
Wat wil Amnesty?
Amnesty International roept regeringen wereldwijd op om een kader tot stand te brengen dat mensenrechtenschendingen voorkomt bij het gebruik van algoritmische besluitvormingssystemen, en dat monitoring- en toezichtmechanismen instelt. Ook moeten degenen die verantwoordelijk zijn voor schendingen ter verantwoording worden geroepen en slachtoffers worden gecompenseerd. In Nederland betekent dat dat de slachtoffers van discriminatie door het risicomodel ook moeten worden gecompenseerd.
Meer informatie
- Opiniestuk in het NRC ‘Tweede Kamer, voorkom een nieuwe toeslagenaffaire’
- Brief aan de Tweede Kamer over de WGS
- Brief aan de Tweede Kamer over het rapport ‘Ongekend onrecht’
- EU-wetsvoorstel te zwak om ons te beschermen tegen gevaarlijke AI-systemen
- Amnesty’s positie over het ‘Kwaliteitskader Big Data‘ van het OM en de Nederlandse politie
