Het Centraal Planbureau presenteert een nieuwe handreiking voor het meten van maatschappelijke effecten van algoritmes. Organisaties moeten volgens het CPB niet alleen de voorspelkracht van algoritmes beoordelen, maar het volledige proces waarin algoritmes, menselijke besluitvorming en interventies samen het resultaat bepalen.
Waarom effectmeting cruciaal is voor algoritmes
Voor ondernemers die algoritmes inzetten in hun bedrijfsprocessen: het CPB benadrukt dat je niet alleen moet kijken naar hoe goed een algoritme voorspellingen doet, maar ook naar de daadwerkelijke gevolgen voor je klanten, medewerkers en operatie. Het parkeercontrolevoorbeeld toont aan dat onvoorziene neveneffecten (meer bezwaren, extra administratie) kunnen ontstaan die je vooraf niet hebt meegewogen. Zorg dus dat je bij de invoering van algoritmes al nadenkt over welke gegevens je verzamelt en hoe je later kunt meten of het algoritme echt bijdraagt aan betere resultaten voor jouw bedrijf.
Effectmeting algoritmes vraagt om econometrische aanpak
Overheidsorganisaties zetten algoritmes steeds vaker in om risico’s in te schatten, dossiers te selecteren en medewerkers te ondersteunen bij beslissingen. Volgens het CPB gaat veel aandacht uit naar juridische en ethische aspecten, maar blijft vaak onduidelijk of algoritmes daadwerkelijk bijdragen aan betere maatschappelijke uitkomsten. Het planbureau bouwt voort op de eerder gepresenteerde Selectiviteitsscan, die liet zien hoe de eerlijkheid van selectie-algoritmes kan worden beoordeeld.
Parkeercontrole illustreert onvoorziene gevolgen
Een praktijkvoorbeeld maakt de noodzaak van brede effectmeting duidelijk. Een gemeente voerde een parkeercontroleauto in die veel meer kentekens kon controleren dan een handhaver te voet. Daardoor werden meer overtredingen gevonden en daalden de kosten van controles. Echter, de auto leidde ook tot meer bezwaarprocedures en extra administratieve lasten voor burgers. Deze gevolgen waren vooraf niet voorzien of meegewogen in de besluitvorming.
Twee aanbevelingen voor structurele verbetering
Het CPB doet twee concrete aanbevelingen. Ten eerste moet effectmeting een vast onderdeel worden van algoritmisch ondersteunde processen. Organisaties moeten daar al bij de inrichting rekening mee houden, bijvoorbeeld door passende gegevens te verzamelen en geschikte vergelijkingsgroepen te bepalen. Alleen door effecten systematisch te meten kunnen de baten en risico’s van algoritmische inzet goed worden afgewogen.
Daarnaast moet de effectiviteit van algoritmes op maat worden gemeten en niet alleen worden afgegaan op de voorspelkracht van het model. Niet ieder proces heeft hetzelfde doel en daarom is ook niet iedere evaluatiemethode geschikt. Bij inspectieprocessen kan het bijvoorbeeld gaan om de trefkans, bij interventieprocessen om veranderingen in uitkomsten en bij adviesprocessen om de vraag of adviezen tot betere beslissingen leiden. Een universele evaluatiemethode bestaat daarom niet, aldus het planbureau.
Publieke waarden blijven essentieel
Effectmetingen geven belangrijke inzichten, maar zijn slechts één onderdeel van de beoordeling van algoritmisch ondersteunde processen. De uitkomsten moeten altijd worden afgewogen naast publieke waarden zoals transparantie, legitimiteit en eerlijkheid. De handreiking biedt organisaties concrete methoden om de maatschappelijke effecten van hun algoritmes beter in beeld te brengen.
Kernfeiten
- Het CPB stelt dat organisaties het volledige proces moeten beoordelen: algoritmes, menselijke besluitvorming en interventies samen
- Een gemeente ontdekte dat een parkeercontroleauto meer overtredingen vond, maar ook meer bezwaarprocedures en administratieve lasten voor burgers veroorzaakte
- Effectmeting moet op maat gebeuren: inspectieprocessen vragen om andere evaluatiemethoden dan interventie- of adviesprocessen
Veelgestelde vragen
Waarom is effectmeting van algoritmes belangrijk voor mijn bedrijf?
Veel organisaties focussen op de technische kwaliteit van algoritmes, maar missen de werkelijke impact op hun operatie en stakeholders. Het CPB waarschuwt dat algoritmes onvoorziene gevolgen kunnen hebben, zoals extra administratieve lasten of meer bezwaren. Door effectmeting structureel in te bouwen, weet je zeker dat je algoritme daadwerkelijk bijdraagt aan betere resultaten en niet alleen kosten verschuift.
Hoe meet ik of mijn algoritme echt werkt?
Volgens het CPB hangt dit af van wat je algoritme moet doen. Bij selectieprocessen kijk je naar trefkans, bij interventies naar veranderingen in uitkomsten, en bij adviezen of ze tot betere beslissingen leiden. Er bestaat geen universele evaluatiemethode, dus bepaal vooraf welke gegevens je nodig hebt en welke vergelijkingsgroepen je kunt gebruiken om het effect echt te kunnen meten.
Wat zijn de risico’s als ik effectmeting niet inbouw?
Zonder structurele effectmeting loop je het risico dat je algoritme onbedoelde gevolgen heeft die je niet opmerkt. Het parkeercontrolevoorbeeld laat zien dat efficiëntiewinsten kunnen worden tenietgedaan door extra administratieve lasten. Bovendien kun je niet goed afwegen of de baten opwegen tegen de risico’s, wat juridische en ethische problemen kan veroorzaken.