Alle sensoren in onze stad en vooral de algoritmen die alle data die uit die sensoren komen verwerken, bieden kansen maar er kleven ook grote risico’s aan. Zeker als er persoonsgegevens betrokken zijn. Sensoren verzamelen data, maar die data is niet ‘neutraal’. De algoritmen die we gebruiken om die data te verwerken kunnen daardoor soms bestaande vooroordelen in onze samenleving vergroten. De gevolgen daarvan zijn ernstig: denk maar aan de Belastingdienst, die ouders met een tweede nationaliteit veel strenger controleerde dan andere burgers. Zo´n soort risico bestaat er ook in hoe we omgaan met camera´s en camerabeelden.
Waarborgen bij algoritmen en cameratoezicht
Het Utrechtse college wil binnenkort een pilot starten om algoritmen te gebruiken bij het analyseren van camerabeelden, waarbij het algoritme getraind wordt op gedragsherkenning, zodat de camera standaard op zwart kan staan, tenzij er iets gebeurt. Dit kan goed uitpakken: Met succesvolle inzet van zo´n algoritme, hoeven camera’s minder te worden uitgekeken en wordt er pas beeld weergeven wanneer er daadwerkelijk toezicht nodig is. Dat kan onze privacy vergroten, want er wordt dan minder geregistreerd. Maar er bestaat altijd een risico op vooroordelen, zowel bij het inschattingsvermogen van mensen als bij het gebruik van een algoritme, omdat algoritmen niet neutraal zijn en altijd werken op basis van data wat gekleurd wordt door mensen. We moeten daarom terughoudend en voorzichtig zijn bij de inzet van algoritmen en vooral goed toetsen op risico’s voor én tijdens het proces. Want als we na afloop pas weten dat er iets mis is gegaan, zijn we gewoon veel te laat. We leveren er vrijheid én vertrouwen in de overheid voor in.
Eerst zien, dan geloven.
Algoritmes inzetten klinkt altijd ’slim’ en ‘efficiënt’, maar we willen eerst zien, en dan geloven. Daarom willen we input te vragen van Uthiek over hoe we algoritme gebruiken en vragen we de gemeente een zogeheten ´Impact Assessment Mensenrechten en Algoritmes (IAMA)´ te doen. Onze motie vraagt daarnaast om de pilot een termijn van 1 jaar te geven, waarna de pilot niet automatisch verlengd wordt, maar eerst besproken wordt in de gemeenteraad. Ook willen we dat er gekeken wordt naar het resultaat van de pilot, en hoe en of daar inderdaad vooroordeel in heeft gezeten, en vragen we hoeveel gemeentelijke uren, en geld het ontwikkelen, onderhouden en trainen van zo´n algoritme nu eigenlijk kost. Met al deze vragen en eisen dwingen we het college, maar ook onszelf, om na te denken: welk probleem lost dit algoritme nou echt op? En wat krijgen we er nou echt voor terug? Want alleen door die vragen te stellen zorgen we ervoor dat onze mensenrechten voorop staan bij het gebruik van technologie in plaats van het slachtoffer ervan te worden.