Algoritmes, Big Data en overheid
© TCmake_photo

Kabinet moet stoppen met het toestaan van discriminerende risicoprofielen

Nationaal Coördinator tegen Discriminatie en Racisme (NCDR) Rabin Baldewsingh riep in juni 2022 de overheid op om te stoppen met discriminerende risicomodellen en hiervoor ‘waarborgen en garanties’ in te stellen. Ook Amnesty International stelt al geruime tijd dat de overheid het gebruik van etniciteit en nationaliteit in risicoprofielen moet verbieden.

Vandaag publiceert Amnesty International het standpunt over ‘Discriminerende risicoprofielen’ waarin wordt uitgelegd hoe het discriminatieverbod moet worden toegepast op risicoprofielen.

Kabinet moet een duidelijke norm stellen

De Nederlandse overheid en uitvoeringsorganisaties zoals de Belastingdienst gebruiken met regelmaat etniciteit of nationaliteit in (semi-geautomatiseerde) risicoprofielen die worden gebruikt voor het identificeren of opsporen van potentiële normovertreders. Het bekendste voorbeeld is het risicomodel van de Belastingdienst waardoor mensen met een migratieachtergrond extra werden gecontroleerd op fraude. De Autoriteit Persoonsgegevens oordeelde dat er hierbij sprake was van discriminatie. Amnesty International publiceerde in 2021 het rapport “Xenofobe Machines” over het Toeslagenschandaal.

Het gebruik van etniciteit of nationaliteit in risicoprofielen leidt tot etnisch profileren, wat een vorm van discriminatie is. Toch wil het kabinet geen expliciet verbod hierop. Dagmar Oudshoorn, directeur Amnesty International Nederland: “Het kabinet zegt etnisch profileren te willen bestrijden, maar laat tegelijkertijd de deur open voor het gebruik van etniciteit of nationaliteit in risicoprofielen. De praktijk laat echter zien dat het hoog tijd is dat het kabinet een duidelijke norm stelt: discriminerende risicoprofielen zijn onacceptabel”.

Etnisch profileren wijdverbreid

Al sinds 2013 dringt Amnesty International aan op maatregelen tegen etnisch profileren door de politie. In 2019 bleek dat de politie in Roermond een discriminerend algoritme gebruikte voor risicoprofilering, waarover Amnesty het rapport “We sense trouble” publiceerde. Maar niet alleen de politie en de Belastingdienst gebruikten een discriminerend risicoprofiel. Momenteel voert Amnesty International samen met twee burgers en andere organisaties een rechtszaak tegen de Koninklijke Marechaussee vanwege discriminerende risicoprofielen en selectiebeslissingen bij controles aan de Schengen-grenzen. Onlangs onthulde het journalistieke platform Argos dat de IND afkomst registreerde om te kunnen verwerken in een risicoprofiel. En maar liefst 158 gemeenten gebruikten tot 2020 een ‘fraudescorekaart’ waarmee waarschijnlijk werd gediscrimineerd op afkomst. Enkele gemeenten bleven dit risicoprofiel ondanks waarschuwingen gebruiken.

Omdat er momenteel veel onduidelijkheid is over het gebruik van discriminerende risicoprofielen, zien we dat overheden en uitvoeringsorganisaties ruimte blijven zoeken om te kunnen selecteren op etniciteit of nationaliteit bij controles of handhaving. Dit is in strijd met het discriminatieverbod.

Amnesty’s oproep

Naast een verbod op etniciteit en nationaliteit in risicoprofielen, zijn er voor (semi-)geautomatiseerde risicoprofielen ook andere waarborgen nodig die ervoor zorgen dat risicoprofilering niet in strijd is met mensenrechten: zoals een verplichte en bindende mensenrechtentoets, een algoritmeregister en een onafhankelijk toezichthouder.

Meer over dit onderwerp