De Nederlandse Autoriteit Persoonsgegevens beboette Uber met 824.990.000 euro omdat chauffeurs volledig geautomatiseerd werden gedeactiveerd zonder echte menselijke tussenkomst, met inkomensverlies tot gevolg. Organisaties die inkomensbepalende beslissingen automatiseren, moeten nu toetsen of een mens de uitkomst werkelijk kan beoordelen en wijzigen, en of betrokkenen voldoende worden geïnformeerd over profilering.
Volgens de publicatie van de European Data Protection Board ging het om chauffeurs die tijdelijk of permanent werden gedeactiveerd bij verdenking van fraude en na aanhoudend lage klantbeoordelingen. De zaak kwam voort uit klachten van Franse chauffeurs en betrof de periode 2018 tot 2022. De Franse toezichthouder CNIL, die als samenwerkende autoriteit optrad, bevestigt dat de deactiveringen automatisch tot stand kwamen, zonder menselijke tussenkomst, en dat geblokkeerde chauffeurs geen ritten meer konden uitvoeren en dus geen inkomen meer konden verdienen.
Wat stelde de Autoriteit Persoonsgegevens precies vast in de Uber-zaak?
De toezichthouder stelde twee onderscheiden overtredingen vast. Ten eerste nam Uber volledig geautomatiseerde beslissingen om chauffeurs te deactiveren, met aanzienlijke gevolgen voor hun inkomen en zonder dat een mens de uitkomst daadwerkelijk beoordeelde. Ten tweede informeerde Uber de chauffeurs onvoldoende over deze geautomatiseerde besluitvorming en de onderliggende profilering.
De toelichting van CNIL maakt duidelijk waarom de inkomensimpact zwaar woog: een chauffeur die wordt geblokkeerd, kan niet rijden en verliest zijn verdienmogelijkheid. Daarmee raakte de beslissing de betrokkene op een manier die de AVG aanmerkt als rechtsgevolg of vergelijkbaar aanzienlijk effect.
Waarom zijn de ontbrekende menselijke tussenkomst en de gebrekkige profileringsinformatie twee aparte overtredingen?
Het zijn twee verschillende verplichtingen die los van elkaar kunnen worden geschonden. De eerste gaat over het besluitproces zelf: bij een uitsluitend geautomatiseerde beslissing met rechtsgevolgen of een vergelijkbaar aanzienlijk effect zijn volgens artikel 22 AVG waarborgen relevant, waaronder menselijke tussenkomst, de mogelijkheid een standpunt kenbaar te maken en de beslissing te betwisten. De tweede gaat over de informatieplicht: betrokkenen moeten passende en begrijpelijke informatie krijgen over relevante geautomatiseerde besluitvorming of profilering, waaronder betekenisvolle informatie over de betrokken logica, de betekenis ervan en de voorzienbare gevolgen voor hen.
Het Hof van Justitie van de Europese Unie legde dit onderscheid in de SCHUFA-uitspraak van 7 december 2023 al scherp: er moet betekenisvolle informatie worden gegeven over de logica van de geautomatiseerde besluitvorming, plus het belang en de verwachte gevolgen ervan. Naar onze inschatting is dit de kern van de Uber-beslissing: melden dat profilering bestaat is niet genoeg: de uitleg moet zo zijn dat iemand de uitkomst kan begrijpen en aanvechten.
Een tweede eigen observatie: een claim dat er een mens in de lus zit, telt alleen als die persoon de zaak werkelijk kan beoordelen, de bevoegdheid heeft de uitkomst te wijzigen en daarvoor genoeg tijd en kennis krijgt. Een formele handtekening achteraf of een medewerker die in de praktijk alleen bevestigt wat het model al bepaalde, is geen betekenisvolle tussenkomst. Dit volgt uit de bronnen, maar de praktische invulling is onze interpretatie.
Wat betekent deze boete voor organisaties die inkomensbepalende beslissingen automatiseren?
Onze analyse: omdat de toezichthouder volledig geautomatiseerde deactiveringen met inkomensgevolg onrechtmatig achtte, loopt elke organisatie die toegang, geschiktheid of betaling automatisch bepaalt hetzelfde risico; daarom moeten bestuurders en juristen nu per besluitstroom vaststellen of de uitkomst een rechtsgevolg of vergelijkbaar aanzienlijk effect heeft en wie dat besluit formeel bezit. Omdat Uber onvoldoende over profilering informeerde, is een losse privacyverklaring die alleen het bestaan van algoritmes noemt niet langer houdbaar; daarom moet de compliancefunctie de informatie over logica, belang en gevolgen herschrijven tot tekst die een betrokkene echt kan begrijpen. Omdat de boete draait om het ontbreken van echte menselijke tussenkomst, volstaat een nominale reviewer niet; daarom moet de verantwoordelijke manager reviewers aanwijzen met mandaat, deskundigheid en genoeg tijd, en dat mandaat schriftelijk vastleggen voordat een inkomensbepalend besluit van kracht wordt. Omdat betrokkenen de uitkomst moeten kunnen aanvechten, is een bezwaarroute die in de praktijk niet werkt een zelfstandig risico; daarom moet de organisatie nu een bruikbare bezwaarprocedure inrichten en de invoerdata, de model- of regelversie, het besluitpad, de handeling van de reviewer en de uitkomst van het bezwaar bewaren. Dat sluit aan bij het juistheidsbeginsel van de AVG bij geautomatiseerde verwerking en bij de bredere lijn om AI-transparantie toetsbaar te maken met bewijs over doel en ingrijpen. Meer achtergrond vindt u in onze themahub over AI-privacy en AVG.
Welke maatregelen voorkomen dat een geautomatiseerd besluit onrechtmatig wordt?
De kern is drieledig: breng geen onomkeerbare uitkomst alleen op basis van een model naar buiten, zorg voor een reviewer die de uitkomst echt kan veranderen, en leg vast wat er gebeurde. Dat maakt zowel de menselijke tussenkomst als de transparantie achteraf controleerbaar.
- Breng elke geautomatiseerde beslissing over geschiktheid, fraude, beoordeling of toegang in kaart en bepaal of die een rechtsgevolg of vergelijkbaar aanzienlijk effect heeft.
- Verbied dat onomkeerbare of inkomensbepalende uitkomsten uitsluitend door een model worden uitgevaardigd.
- Wijs reviewers aan met bevoegdheid, deskundigheid en voldoende tijd om de individuele zaak te onderzoeken en de uitkomst te wijzigen.
- Bewaar de invoerdata, de model- of regelversie, het besluitpad, de handeling van de reviewer en de uitkomst van het bezwaar, zodat u kunt vastleggen welke geautomatiseerde beslissing door wie werd gecontroleerd.
- Geef betrokkenen een begrijpelijke uitleg over de logica en gevolgen, plus een bruikbare route om het besluit aan te vechten.
De Uber-beslissing voert geen nieuwe regel in de AVG in en verbiedt ook niet alle geautomatiseerde beslissingen. Zij maakt wel scherp dat transparantie en menselijke tussenkomst twee aparte eisen zijn, en dat geen van beide met een formele oplossing kan worden afgedaan wanneer het inkomen van mensen op het spel staat.
Bronnen en referenties
Bronnen: Het artikel steunt op de publicatie van de European Data Protection Board over de boete van de Nederlandse Autoriteit Persoonsgegevens, de toelichting van CNIL en de SCHUFA-uitspraak van het Hof van Justitie van de Europese Unie.