AI in de fout: wat eerdere schandalen ons leren over de EU AI Act.

Hoewel de EU AI Act pas sinds 2024 officieel is aangenomen en veel bepalingen nog in de implementatiefase zitten, bestaan er nu al duidelijke voorbeelden van wat er mis kan gaan met AI-toepassingen in overheden en bedrijven. Schandalen, rechtszaken en publieke kritiek op gebrekkige algoritmes hebben de noodzaak voor regelgeving alleen maar versterkt.

Hieronder bespreken we vier voorbeelden die – hoewel niet onder de AI Act zijn bestraft omdat ze eerder plaatsvonden– wél exact de risico’s illustreren waar de wet op reageert.

 1. Het toeslagenschandaal: AI die discrimineert

In Nederland gebruikte de Belastingdienst algoritmen om het risico op fraude bij ouders te bepalen. Ouders met een “niet-Nederlandse nationaliteit” of “buitenlandse achternaam” werden onevenredig vaak als risicovol aangemerkt, zonder inzicht of mogelijkheid tot bezwaar.

>> Onder de AI Act zou dit vallen onder verboden praktijken zoals ongegronde discriminatie, gebrek aan uitlegbaarheid, en gebrekkig toezicht.

(!) Les voor organisaties: AI-beslissingen mogen nooit blind worden vertrouwd. Menselijk toezicht en transparantie zijn cruciaal.

2. Gemeente Rotterdam: sociale zekerheidsfraude voorspellen

De gemeente Rotterdam gebruikte een algoritme om te voorspellen wie waarschijnlijk sociale zekerheidsfraude zou plegen. Dit betrof vooral kwetsbare groepen zoals alleenstaande moeders of mensen met lage taalvaardigheid. Uitlegbaarheid ontbrak, net als onafhankelijke controle.

>> De AI Act verbiedt AI die kwetsbare groepen manipuleert of discrimineert zonder onderbouwing. Social scoring wordt expliciet genoemd als verboden techniek.

(!) Les voor organisaties: AI die mensen categoriseert of bevoordeelt/nadeelt moet niet alleen transparant zijn, maar ook gerechtvaardigd, uitlegbaar én proportioneel.

3. UWV & tracking-analytics: algoritmes zonder heldere toestemming

De AP tikte het UWV op de vingers vanwege een algoritmisch systeem dat via cookies gebruikersgedrag volgde en gebruikte voor identificatie zonder goede toestemming of uitleg.

>> De AI Act legt nadruk op transparantieverplichtingen, vooral bij generatieve AI en AI die persoonsgegevens verwerkt. Deze zaak toont aan hoe onzichtbare AI-systemen risico’s kunnen vormen.

(!) Les voor organisaties: Elke AI-component in je tools of processen moet worden beoordeeld op legaliteit, transparantie en doelbinding.

4. Emotion recognition op werk of school

De Autoriteit Persoonsgegevens en andere toezichthouders hebben gewaarschuwd tegen het gebruik van AI die emoties ‘herkent’ van medewerkers of studenten. Dit wordt onder de AI Act een verboden praktijk, omdat het mensen reduceert tot meetbare expressies – met grote privacyrisico’s.

(!) Les voor organisaties: AI mag nooit gebruikt worden om mensen zonder heldere context of toestemming te analyseren op basis van expressies, gezichtsuitdrukkingen of stemmen.

De AI Act is bedoeld om deze fouten in de toekomst te voorkomen

Vanaf februari 2025 zijn de eerste verboden AI-praktijken officieel van kracht. Maar zoals deze voorbeelden laten zien, bestaan de risico’s nu al. Het wachten op formele boetes of handhaving is géén optie — zeker als je reputatie of klantvertrouwen op het spel staat.

Wat kun je doen?

• Voer nu al een AI-risicoscan uit op je systemen

• Laat je medewerkers trainen in AI-geletterdheid en compliance

• Zorg voor een AI-governance structuur met toezicht, rapportage en transparantie

• Kies voor gecertificeerde trainingen zoals de AI Literacy Foundation of AI voor HR-professionals

🎓 Deze trainingen bevatten niet alleen kennis, maar ook certificaten die je kunt gebruiken bij audits en toezicht — als bewijs van je inspanningsverplichting.

Wil je zeker weten dat jouw organisatie niet de volgende casus wordt?
Plan dan direct een gesprek in via onze contactpagina.