Een recent artikel van Liz O’Sullivan “UK GDPR Watchdog: Explain Your AI” heeft mijn aandacht weer getrokken naar de rol van uitlegbaarheid in AI en dan specifiek in de context van de GDPR. Zij schrijft uitgebreid over een nieuw standpunt van de ICO, de data toezichthouder in Groot Britannië, over het recht op uitlegbaarheid.
De GDPR is de afgelopen jaren een belangrijk onderwerp geweest in de IT. Ook in ontwikkelingen rondom AI heeft dit heel wat stof doen opwaaien omdat AI over het algemeen veel data verwerkt. Maar ook omdat er specifiek een clausule in de GDPR zit die uitlegbaarheid eist over geautomatiseerde processes (artikel 71 uit de GDPR). Wat dat betekend is lang onduidelijk geweest, hoe ver gaat dit en wat betekend dit voor geautomatiseerde processen?
Deterministische alghoritmes hebben hier over het geen problemen mee, daar is namelijk uit te leggen wat de logica is achter een besluit. Maar door de manier waarop AI werkt, zijn de soort algorithmes vaak een ‘black box’. Dat wil zeggen dat we alleen weten wat er in gaat en wat er uit gaat, maar niet zo goed wat er in de tussentijd gebeurd. Een recht op uitlegbaarheid gaat juist om het recht om inzicht te krijgen in een black box die inherent niet inzichtelijk is.
De handhaving hiervan blijkt dus ook lastig. Begin deze week kwam de ICO met een eerste stap door middel van een consultatie op hun visie op het recht op uitlegbaarheid. Ze eisen hierbij 6 dimensies waarop een AI model getoetst moet worden: motivatie, verantwoordelijkheid, data, rechtvaardigheid, veiligheid en prestatie, en impact. Waarbij voor elk machine learning model dat gebruikt wordt een organisatie moet weten en kunnen uitleggen wie het getraind heeft, met welke methode (en waarom!), de origine van de data, hoe het algoritme getest en gevalideerd wordt en nog veel meer.
Dit moet dan op een globaal niveau (model-niveau), waarbij bijvoorbeeld de methode en wijze van testen wordt bekeken. Maar omdat dat niet voldoende is als het model echt een black box is, ook nog op het lokale niveau (inferentie-niveau). Dit betekend dat van een organisatie wordt verwacht dat zij ook de randcassusen van hun model voldoende kunnen uitleggen.
De consultatie documenten bevatten praktische informatie en voorbeeld casusses zoals AI-assisted recruitment en AI-assisted medical diagnosis (zie Part 2: Explaining AI in practice). Het schrijft niet letterlijk voor wat wel en niet mag, maar geeft vragen om over na te denken en uitleg aan te geven.
Zoals O’Sullivan zegt in een mooie quote:
All in all, the ICO’s new guidelines set reasonable, achievable, (and strict!) requirements for any company using AI who is subject to the GDPR’s reach.
Conclusie
Hoewel dit enkel van toepassing is op de UK geeft het een hoog ambitie niveau aan. Het is enorm uitgebreid en is opgezet in samenspraak met professionals en academici die zich bezig houden met AI. Het kan ook als Nederlandse organisatie verstandig zijn om hier alvast een voorschot op te nemen, door goed na te denken over uitlegbaarheid dek je niet alleen mogelijk een toekomstig juridisch risico af maar ik ben er van overtuigd dat het ook zorgt dat je betere resultaten oplevert.