Hoe normaal ben ik? Algoritmes denken anders over ‘normaal’ dan jij en ik.

Op bevrijdingsdag publiceert technologiecriticus en privacy designer Tijmen Schep zijn nieuwste creatie, www.hoenormaalbenik.nl/. Een kleine reis door de verschillende soorten algoritmen die dagelijks gebruikt worden om mensen in categorieen te plaatsen. Neem snel een kijkje, voordat je verder leest, dan krijg je de meest pure ervaring.

Je word zo vergeleken, zonder dat je er erg in hebt!

Wat Schep hiermee probeert te duiden is dat er enorm voor toepassingen zijn in het dagelijks leven die jou beoordelen. En daarbij vaak vanuit een aanname werken dat ‘normaal’ hetzelfde is als het gemiddelde van de data. Slecht gevormde data-sets hebben er bijvoorbeeld toe geleid dat gezichtsherkenningsalgoritmes vaak slecht zijn in het herkennen van mensen met een donkere huidskleur. Maar het kan bijvoorbeeld ook zijn dat de software van een bedrijf zoals HireView zegt dat je te weinig lacht tijdens een video-interview en daarom maar niet aangenomen moet worden.

De realiteit rondom algoritmes is bijzonder complex, soms lijken ze goede kandidaten te zijn om problemen op te lossen maar ook dat is nog ingewikkeld. En de gevolgen kunnen enorm zijn, zien we nu bijvoorbeeld in de ophef rondom de Belastingdienst.

Begin deze week kwam Joanna Bryson, professor in ethiek en technologie aan de Hertie School in Berlijn, met een oproep om het verhaal rondom ‘big data’ te veranderen: repelsteeltje AI de drogreden en een manifest. Hierin kaart ze aan dat veel data vaak helemaal niet betekend dat het ook goede data is, of de goede aanpak is voor een probleem. Door ons altijd maar op data verzamelen te focussen, voelen we een noodzaak om veel data te hebben terwijl juist grote datasets veel gevaren met zich mee brengen.

Haar 7 punten?

1. We as scientists want to communicate that privacy is essential to security, innovation, dignity, and flourishing. As such, we must stop celebrating how big our data is. 

2. The Rumpelstiltskin (originally, Rumpelstilzchen) theory of AI is just wrong. You do not automatically get more or better intelligence in proportion to the amount of data you use. Even where you use machine learning to build your AI (which is certainly not always the case), it  is basic statistics 101 that how much data you need depends on the variation in the population you are studying.

3. For very many applications, a large amount of data is only useful for surveillance.

4. Even where a lot of data might be useful, it is still a hazard. 

5. Data should not be routinely retained and stored without good reason. Where there is good reason, it must be stored with the highest standards of cybersecurity.

6. We need both proactive and responsive systems for detecting and prosecuting the use of inappropriately retained data.

7. We need to stop calling for projects like “Big data and [policy problem X]” and start calling for projects like “Data-led validation of [policy solution X]”, so that we stop communicating to politicians that indiscriminately gathering and retaining data is ever a good thing.

Joanna Bryson – “Big data” is not a win: the Rumpelstiltskin AI (Rumpelstilzchen KI) fallacy and manifesto

De Aanpak Begeleidingsethiek van Peter-Paul Verbeek

Op het ECP jaarcongress heeft Peter-Paul Verbeek, professor techniekfilosofie aan de Universiteit Twente, zijn aanpak voor begeleidingsethiek gepresenteerd. Peter-Paul speelt al gelangere tijd een rol in mijn leven, als een van de docenten in mijn master-studie heb ik veel van hem kunnen leren over de mens als wezen dat innig is verstrengeld met de technologie. Ik heb zelfs de eer gehad om met hem te kunnen werken aan een van de eerste MOOCs van de Universiteit Twente, ‘Philosophy of Technology‘.

Volg een bliksem introductie ‘technological mediation’ via deze animatie uit de MOOC.

De uitgave over begeleidingsethiek is hier eigenlijk een doorgetrokken variant van. Hoe kan je ethiek in technische ontwikkelingen meenemen als je voorbij durft te gaan aan de ‘beoordelende’ houding en inziet dat technologie onze plek in en interactie met de wereld medieert? Volgens Verbeek brengt een begeleidende benadering de ethiek weer terug midden in de technologie. Er zijn 3 belangrijke aspecten aan de begeleidingsethiek:

  1. Je moet aan de slag met concrete technologische toepassingen
  2. Je inventariseert mogelijke maatschappelijke implicaties
  3. Je onderzoekt de mogelijke implicaties voor je handelen
De beschreven methode

Zoals vaak met ethiek, technologische ontwikkelingen, en het maken van de juiste beslissingen; is het allemaal stiekem best ingewikkeld. Waar Peter-Paul een concrete aanpak op papier heeft gezet, is de inzet van resources niet te min als je moet denken aan een groot deliberatief panel en dat voor elke concrete technologische toepassing. Aan de andere kant is dat misschien wel onze (nieuwe?) realiteit, een wereld waarin niet meer geaccepteerd wordt dat je ‘zomaar’ doet.

De ambitie is in ieder geval gezet, en ik hoop er in de toekomst eens mee aan de slag te kunnen. Ik zou zeggen bekijk de aanpak begeleidingsethiek zelf ook eens.