Home Bots in Society Rekenkamer Rotterdam: Gemeente gebruikt gekleurde algoritmes

Rekenkamer Rotterdam: Gemeente gebruikt gekleurde algoritmes

door Pieter Werner

De gemeente Rotterdam maakt ter ondersteuning van haar besluitvorming gebruik van algoritmes. Hoewel er binnen de gemeente aandacht bestaat voor het ethisch gebruik van algoritmes, is het besef van de noodzaak hiervan nog niet heel wijdverbreid. Dit kan leiden tot weinig transparantie van algoritmes en vooringenomen uitkomsten, zoals bij een algoritme gericht op de bestrijding van uitkeringsfraude.

De gemeente gebruikt ter ondersteuning van haar besluitvorming algoritmes. Algoritmes kunnen worden toegepast om besluitvorming sneller, doelmatiger en effectiever te laten plaatsvinden. Het gebruik van algoritmes brengt ook verschillende ethische risico’s met zich mee, bijvoorbeeld op het vlak van transparantie, verantwoordelijkheid en eerlijkheid. De gemeente heeft in het gemeentelijke programma Datagedreven Werken terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes. In dit programma is de gemeente bezig met het ontwikkelen van de juiste instrumenten. Het ontbreekt op dit moment echter nog aan een volledig overzicht van het gebruik en de aard van algoritmes (een algoritmeregister), waardoor ook niet duidelijk is welke maatregelen genomen zouden moeten worden om de ethische risico’s te beheersen.

Ethische principes

Verder ontbreekt een centrale regisseur en integraal eindverantwoordelijke voor algoritmes. Er vindt onvoldoende afstemming plaats tussen bijvoorbeeld ontwikkelaars en gebruikers van algoritmes, met het risico dat de ethische principes van algoritmes worden verwaarloosd. Binnen het gehele concern bestaan nog te weinig instrumenten om de transparantie en eerlijkheid van algoritmes te waarborgen. Ook zijn er geen richtlijnen voor de evaluatie van algoritmes. Of een algoritme daadwerkelijk beter presteert dan ‘oudere en meer traditionele’ werkwijzen, wordt niet geëvalueerd.

Een voorbeeld van een algoritme dat de gemeente Rotterdam gebruikt, is het project ‘analytics uitkeringsfraude’. Dit algoritme brengt mogelijk onrechtmatige uitkeringen in kaart, op basis waarvan uitkeringsgerechtigden voor een heronderzoek kunnen worden uitgenodigd. De verantwoordelijkheid voor dit algoritme is niet goed georganiseerd, waardoor er onder meer te weinig aandacht is voor de transparantie en de eerlijkheid van het algoritme. Zo is niet navolgbaar welke keuzes rondom ethische vraagstukken zijn gemaakt en is het voor de betrokken burger onmogelijk goed zicht te krijgen hoe het algoritme een rol speelt bij de uitnodiging voor een heronderzoek. Daarnaast is er een kans dat het algoritme, bijvoorbeeld door het gebruik van een zogeheten proxyvariabele laaggeletterdheid, tot vooringenomen uitkomsten leidt. Hiertegen zijn onvoldoende maatregelen genomen.

Reactie college

De rekenkamer heeft aan het college van B en W zes aanbevelingen gedaan om de verantwoordelijkheid, transparantie en eerlijkheid van bestaande en toekomstige algoritmes te waarborgen. Het college heeft al deze aanbevelingen overgenomen.

Misschien vind je deze berichten ook interessant