Algoritmes, Big Data en de overheid

De overheid gebruikt algoritmes en Big Data om risico’s in te schatten. Bij het toeslagenschandaal leidde dit tot discriminatie en privacyschendingen.

Overheidsinstanties maken steeds vaker gebruik van algoritmes (een reeks van instructies die leidt tot een bepaald resultaat) en Big Data om mensen te beoordelen. De overheid verwerkt bijvoorbeeld gegevens om te proberen de kans te berekenen dat jij mogelijk gaat frauderen of iets anders strafbaars zal gaan doen. Dat dit goed fout kan gaan, hebben we bij het toeslagenschandaal bij de Belastingdienst gezien: duizenden ouders werden ten onrechte beschuldigd van fraude en moesten toeslagen terugbetalen. Mensen kwamen hierdoor onterecht in flinke geldnood. Sommigen verloren hun huis en baan. De Belastingdienst had data en algoritmes gebruikt om de kans op fraude te berekenen. Iemands afkomst en of je wel of geen Nederlander bent, werd gebruikt om het risico in te schatten. Dat is discriminatie en dus verboden.

Discriminerende algoritmes bij toeslagenschandaal

Nederlandse Amnesty-onderzoekers brachten op 25 oktober 2021 het rapport Xenofobe machines – Discriminatie door ongereguleerd gebruik van algoritmen in het Nederlandse toeslagenschandaal uit.  Daaruit blijkt dat er sprake is van etnisch profileren en discriminatie op basis van sociale klasse door de Belastingdienst. Dat komt onder andere door de gebruikte algoritmes.

De Belastingdienst gebruikte data en algoritmes om de aanvragen voor kinderopvangtoeslag te beoordelen op potentiële onjuistheden en dus mogelijke fraude. Daarbij werd het feit of je wel of geen Nederlander bent, gebruikt om het risico in te schatten. Het hebben van de Nederlandse nationaliteit is echter geen voorwaarde voor het krijgen van kinderopvangtoeslag. Het meewegen van nationaliteit is discriminatie en dus verboden. Na een analyse van de maatregelen die de overheid zegt te nemen, moeten we concluderen dat die vooralsnog tekortschieten. Zo zijn ambtenaren niet verplicht om de mensenrechtenrisico’s vooraf in kaart te brengen, is er onvoldoende toezicht op algoritmes. Bovendien mogen overheidsinstellingen het gebruik en de werking van algoritmes geheimhouden. Amnesty International is niet tegen het gebruik van algoritmes. Maar de bescherming van mensenrechten bij het gebruik ervan schiet tekort.

Goede regels gewenst

Goede regels om een tweede toeslagenschandaal te voorkomen, zijn er nog nauwelijks in Nederland. Amnesty constateert eind 2023 in een analyse van het algoritmebeleid dat de door de regering genomen en toegezegde maatregelen mensen nog steeds onvoldoende beschermt tegen discriminerende algoritmen. Er moet zorgvuldig met je gegevens worden omgegaan en er moeten duidelijke en bindende regels komen over het gebruik van algoritmes. Systemen zijn nu vaak niet transparant, waardoor mensen niet weten wat er met hun gegevens gebeurt. Daardoor kunnen zij zich moeilijk verdedigen tegen beslissingen die met behulp van algoritmes of Big Data-analyses worden gemaakt. Hoe bewijs je dat je wél recht hebt op toeslag, als je niet weet waarom het algoritme zegt van niet? Hoe toon je aan dat je gediscrimineerd wordt als de overheid niet wil prijsgeven of ze jouw nationaliteit als een risico zien? In deze video leggen we eenvoudig uit wat algoritmes zijn en hoe deze kunnen discrimineren.

Zorgen over wetsvoorstel

De overheid wil over meer mogelijkheden beschikken om gegevens te verwerken en te delen. Om dit te realiseren, komt er een nieuwe wet: de Wet gegevensverwerking door samenwerkingsverbanden (WGS). Als deze wet wordt aangenomen, kunnen straks verschillende overheidstakken gegevens met elkaar en met bedrijven uitwisselen. Die gegevens kunnen vervolgens met algoritmische systemen geautomatiseerd worden geanalyseerd. Amnesty heeft grote zorgen over deze wet. En wij zijn niet de enige.

Ook de Raad van State, de Autoriteit Persoonsgegevens en andere maatschappelijke organisaties zien dit als een gevaarlijke wet omdat mensenrechten, zoals bijvoorbeeld het recht op privacy, erin op de tocht staan. Daardoor ontstaan risico’s op willekeur en misbruik van bevoegdheden. Het toeslagenschandaal bij de Belastingdienst maakt duidelijk dat het gebruik van gegevens en de geautomatiseerde analyse daarvan veel schade kan veroorzaken bij mensen die niets te maken hebben met strafbare feiten of fraude.

Het leed dat mensen met het toeslagenschandaal is aangedaan, moet worden voorkomen door vooraf duidelijke regels te stellen die discriminatie en privacy-schendingen voorkomen. Het wetsvoorstel ligt nu bij de Eerste Kamer. Amnesty vraagt een nieuw kabinet om het voorstel in te trekken en vraagt de Eerste Kamer de kritiek op de WGS serieus te nemen en tegen de wet stemmen.

Amnesty’s oproep

Om mensenrechten te beschermen, dringt Amnesty aan op de volgende maatregelen:

• Een onmiddellijk en expliciet verbod op het (indirect) gebruik van etniciteit en nationaliteit bij het gebruiken van (geautomatiseerde) risicoprofielen bij wetshandhaving. Lees hier meer over onze oproep aan het kabinet om discriminerende risicoprofielen tegen te gaan.
• De invoering van een bindende mensenrechtentoets voorafgaand aan het ontwerp én tijdens het gebruik van algoritmische systemen en geautomatiseerde besluitvorming.
• De instelling van een onafhankelijke en goed toegeruste algoritmetoezichthouder die bindende adviezen mag geven en toezicht uitoefent vanuit het perspectief van alle mensenrechten.
• Een verbod op autonome en zelflerende algoritmes in de uitvoering van overheidstaken wanneer dit mensen in aanmerkelijke mate treft of een grote impact heeft op mens of maatschappij.

Amnesty International heeft financiering ontvangen van de Nationale Postcode Loterij om onderzoek te doen naar AI en Big Data bij overheden. Dit doen we ook in Nederland.