AI-fraudedetectie door de overheid: de lessen na SyRI

Kort antwoord: Fraudedetectie met AI door de overheid is hoogrisico onder de AI Act en valt bovendien onder de AVG en het bestuursrecht. De Nederlandse geschiedenis — de SyRI-uitspraak van de Rechtbank Den Haag uit 2020 en de toeslagenaffaire — laat zien wat er misgaat zonder transparantie en proportionaliteit. De les is niet "geen AI", maar: geen ondoorzichtige risicoscores, geen proxy-discriminatie, wél uitlegbaarheid, evenredigheid en een grondrechtentoets vooraf.

Wat SyRI duidelijk maakte

In de SyRI-zaak oordeelde de Rechtbank Den Haag in 2020 dat het Systeem Risico Indicatie — een instrument dat databestanden koppelde om burgers op fraude te scoren — in strijd was met artikel 8 EVRM (recht op privéleven). De rechtbank vond de inbreuk onvoldoende inzichtelijk en niet proportioneel: burgers konden niet weten of en waarom zij werden geanalyseerd, en de waarborgen schoten tekort. SyRI werd buiten werking gesteld. Dat is het ankerpunt: ondoorzichtigheid is op zichzelf een grondrechtenprobleem.

De toeslagenaffaire als tweede les

De toeslagenaffaire toonde de menselijke gevolgen van risicoselectie zonder behoorlijke waarborgen: onterechte fraudebeschuldigingen, een omgekeerde bewijslast en discriminerende risico-indicatoren (waaronder nationaliteit). Het patroon herhaalt zich: een model markeert, een uitvoeringsorganisatie volgt blind, en de burger draagt de last van een onnavolgbaar oordeel. Automation bias en het ontbreken van betekenisvolle menselijke toetsing maakten het structureel.

Waarom de AI Act dit nu reguleert

Onder de AI Act is AI die de toegang tot publieke uitkeringen en essentiële diensten beoordeelt (bijlage III, punt 5) of die in de rechtshandhaving risico's van personen inschat (punt 6) hoog-risico — de categorieën waaronder overheidsfraudedetectie doorgaans valt — met als gevolg de volledige hoogrisico-verplichtingen: risicobeheer, datakwaliteit en bias-mitigatie, logging, technische documentatie en menselijk toezicht. Sommige varianten raken bovendien aan de verboden AI-praktijken, zoals algemene social scoring. De AI Act codificeert daarmee precies de waarborgen die in SyRI ontbraken.

Proxy-discriminatie is het kernrisico

Het subtielste gevaar is indirecte discriminatie via proxy's: een kenmerk als postcode, taalachtergrond of nationaliteit dat als verboden grond fungeert zonder dat expliciet te benoemen. Bias-toetsing op de trainingsdata en op de uitkomsten is geen nice-to-have maar de kern van rechtmatige fraudedetectie. Datakwaliteit en representativiteit (AI Act art. 10) staan hier in directe lijn met het discriminatieverbod.

Wat te doen

• Toets proportionaliteit vooraf: weegt het fraudebelang op tegen de inbreuk, en kan het minder ingrijpend? Voer een FRIA uit.
• Elimineer proxy-discriminatie: analyseer trainingsdata en uitkomsten op indirecte discriminatie, herhaald in de tijd.
• Maak risicoscores uitlegbaar: geen black box; de burger moet kunnen begrijpen en aanvechten — zie uitlegbaarheid van overheidsalgoritmes.
• Borg betekenisvol menselijk toezicht: geen blind volgen van een markering; behoud de bewijslast bij de overheid.
• Registreer het systeem in het algoritmeregister en zie AI bij de overheid.

SyRI en de toeslagenaffaire zijn geen voetnoot maar de maatstaf. Wie AI inzet tegen fraude, moet eerst aantonen dat het instrument zelf de burger geen onrecht aandoet.