Predictive policing
De politie experimenteert met algoritmes en Big Data om te bepalen op welke personen of plaatsen zij hun aandacht richten. Een politieproject in Roermond leidde tot massasurveillance en geautomatiseerd etnisch profileren.
Politieteams in verschillende landen, waaronder Nederland, maken gebruik van predictive policing-systemen. Deze systemen gebruiken data en wiskundige modellen om te bepalen waar de politie zich op moet focussen. Als jij of jouw buurt uit de bus komt met een hoog risico op bijvoorbeeld het plegen van een plofkraak, dan focust de politie zich op jou.
Om het risico te berekenen worden grote hoeveelheden gegevens verwerkt. Dat staat op gespannen voet met privacy. Vaak wordt gedacht dat gegevens en algoritmes objectief en neutraal zijn, maar dat klopt niet: vooroordelen en stereotypen bij de mensen die de algoritmes maken, beïnvloeden de gegevens en de algoritmes. Dat kan leiden tot discriminerende uitkomsten met hogere risicoscores voor bepaalde maatschappelijke bevolkingsgroepen. In deze video leggen we eenvoudig uit wat algoritmes zijn en hoe zij kunnen discrimineren.
Etnisch profileren in Roermond
Uit onderzoek van Amnesty bleek dat een politie-experiment in Roermond leidde tot massasurveillance en etnisch profileren. Dit project was bedoeld om zakkenrollerij en winkeldiefstal in een winkelcentrum tegen te gaan.
Volgens de politie zijn het vooral mensen uit Oost-Europese landen zijn die zich hieraan schuldig maken in Roermond. De politie gebruikte camera’s en andere sensoren om alle mensen die in en rond Roermond rijden in de gaten te houden.
De verzamelde gegevens werden verwerkt in een algoritmisch model dat een risicoscore berekende voor ieder voertuig en punten toekende. Dat werkte ongeveer zo: komt de auto uit Duitsland, dan krijgt hij 10 punten. Rijdt hij naar het winkelcentrum: 10 punten. Heeft het een Roemeens kenteken: nog eens 10 punten. Bij een hoge score probeerde de politie om de auto te stoppen en de bestuurder en inzittenden te controleren.
In het project werden mensen in Roermond eigenlijk gebruikt als proefkonijn in een experiment waarvoor ze geen toestemming hadden gegeven. Het project leidde tot een schending van hun privacy, van databescherming en van het recht op non-discriminatie.
Amnesty’s oproep
Een aantal maanden na de publicatie van Amnesty’s onderzoek stopte de politie met het experiment in Roermond, maar de overheid wil niet met vergelijkbare andere projecten stoppen. Amnesty constateert eind 2023 dat het algoritmebeleid mensen in Nederland nog onvoldoende beschermt tegen discriminerende risicoprofielen. Daarom blijft Amnesty aandringen op betere bescherming van de mensenrechten bij projecten waarbij geautomatiseerde risicoprofielen worden gebruikt:
- Een onmiddellijk en expliciet verbod op het (indirect) gebruik van etniciteit en nationaliteit bij het gebruiken van (geautomatiseerde) risicoprofielen bij wetshandhaving. Lees hier meer over onze oproep aan het kabinet om discriminerende risicoprofielen tegen te gaan.
- De invoering van een bindende mensenrechtentoets voorafgaand aan het ontwerp én tijdens het gebruik van algoritmische systemen en geautomatiseerde besluitvorming.
- De instelling van een onafhankelijke en goed toegeruste algoritmetoezichthouder die bindende adviezen mag geven en toezicht uitoefent vanuit het perspectief van alle mensenrechten.
- Een verbod op autonome en zelflerende algoritmes in de uitvoering van overheidstaken wanneer dit mensen in aanmerkelijke mate treft of een grote impact heeft op mens of maatschappij.
