Data wordt vaak verwerkt via algoritmes. Zo’n algoritme kan al zijn: als iemand x aantal kilometer te hard rijdt, dan krijgt hij of zij een boete van x euro. Je kunt er echter nog veel meer gegevens en informatie in meenemen, maar daar gaat het soms wel eens mis. De overheid maakt veelvuldig gebruik van voorspellende algoritmes, om zo fraude op te sporen. Maar er was een gemeente waarin die algoritmes specifiek zochten in wijken met veel burgers met een migratie-achtergrond, wat menig burger ervoer als discriminatie.

Dat ligt niet alleen aan de keuze voor welke data er wordt gebruikt, dat ligt ook aan het feit dat de data niet altijd klopt. Vaak is het informatie uit het verleden, die allang niet meer van toepassing is. Denk aan het moment waarop rapper Typhoon met zijn mooie auto door de politie werd gecontroleerd: er wordt vaker gekeken naar mensen met een bepaalde etnische achtergrond, waardoor die weer vaker in de systemen voorkomen, waardoor de politie weer vaker focust op deze mensen.

Fairtrade-algoritme

Kortom, algoritmes vallen of staan met de data die wordt gebruikt en met de instructies die mensen daarbij instellen. Daardoor zetten ze ons soms op het verkeerde been. Volgens onderzoeker Rik Helwegen gebruiken gemeentes steeds vaker algoritmes die gebruikmaken van machine learning. “Dat hoeft geen nadelig effect te hebben, maar als etniciteit of andere gevoelige achtergrondkenmerken van personen de beslissingen beïnvloeden van gemeenten of andere organisaties, kan dat ethische of wettelijke bezwaren opleveren.”

Het onderzoek is niet alleen bedoeld om te ontdekken hoe we met data omgaan, het is er ook om met een oplossing te komen. Helwegen heeft daarom een ‘Fairtrade’ algoritme-methodiek ontwikkeld, gebaseerd op de causaliteitstheorie. Hierin worden aan de hand van schattingen causale verbanden uit de combinatie van data en domeinkennis gecorrigeerd. Het idee daarbij is dat de uitkomst dan hetzelfde moet zijn als de waarde wordt omgewisseld: dus als iemand wel of geen Westerse achtergrond heeft, dan zou het resultaat alsnog hetzelfde moeten zijn.

Stappen vooruit

Helwegen heeft zijn theorie getest in Amsterdam. Hij gebruikte onder strikte privacy-voorwaarden de data van het CBS en testte het model succesvol op 11.000 profielen van burgers die bijstand ontvangen of die onterecht een uitkering hebben ontvangen. Het onderzoek en de methodologie van Helwegen zijn goed ontvangen. Zo willen meerdere politieke partijen binnen de regering strengere regels en zelfs een toezichthouder op het gebruik van algoritmes door de overheid.

Maar dat is ook lokaal het geval. Zo wil Amsterdam niet alleen zijn eigen algoritmen op orde hebben, het wil ook dat andere bedrijven en organisaties in de stad dat doen. Eerlijke algoritmen worden daarom een voorwaarde in aanbestedingen van de gemeente. Er wordt ook overwogen om een keurmerk in te zetten. In ieder geval wordt er binnen de gemeente veel over gediscussieerd, ook met inwoners van de stad. Het is aan de gemeenteraad om voorwaarden te stellen aan algoritmes.

Helwegen heeft bij de overheid heel wat losgemaakt over algoritmes. Hoewel het een doorlopende discussie is, toont zijn methodiek aan dat het eerlijker kan. De expert op het gebied van kunstmatige intelligentie kan bovendien door met zijn onderzoek. Hij heeft van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties een innovatiebudget gekregen om zijn onderzoek verder te verdiepen.