Op bevrijdingsdag publiceert technologiecriticus en privacy designer Tijmen Schep zijn nieuwste creatie, www.hoenormaalbenik.nl/. Een kleine reis door de verschillende soorten algoritmen die dagelijks gebruikt worden om mensen in categorieen te plaatsen. Neem snel een kijkje, voordat je verder leest, dan krijg je de meest pure ervaring.
Wat Schep hiermee probeert te duiden is dat er enorm voor toepassingen zijn in het dagelijks leven die jou beoordelen. En daarbij vaak vanuit een aanname werken dat ‘normaal’ hetzelfde is als het gemiddelde van de data. Slecht gevormde data-sets hebben er bijvoorbeeld toe geleid dat gezichtsherkenningsalgoritmes vaak slecht zijn in het herkennen van mensen met een donkere huidskleur. Maar het kan bijvoorbeeld ook zijn dat de software van een bedrijf zoals HireView zegt dat je te weinig lacht tijdens een video-interview en daarom maar niet aangenomen moet worden.
De realiteit rondom algoritmes is bijzonder complex, soms lijken ze goede kandidaten te zijn om problemen op te lossen maar ook dat is nog ingewikkeld. En de gevolgen kunnen enorm zijn, zien we nu bijvoorbeeld in de ophef rondom de Belastingdienst.
Begin deze week kwam Joanna Bryson, professor in ethiek en technologie aan de Hertie School in Berlijn, met een oproep om het verhaal rondom ‘big data’ te veranderen: repelsteeltje AI de drogreden en een manifest. Hierin kaart ze aan dat veel data vaak helemaal niet betekend dat het ook goede data is, of de goede aanpak is voor een probleem. Door ons altijd maar op data verzamelen te focussen, voelen we een noodzaak om veel data te hebben terwijl juist grote datasets veel gevaren met zich mee brengen.
Haar 7 punten?
1. We as scientists want to communicate that privacy is essential to security, innovation, dignity, and flourishing. As such, we must stop celebrating how big our data is.
2. The Rumpelstiltskin (originally, Rumpelstilzchen) theory of AI is just wrong. You do not automatically get more or better intelligence in proportion to the amount of data you use. Even where you use machine learning to build your AI (which is certainly not always the case), it is basic statistics 101 that how much data you need depends on the variation in the population you are studying.
3. For very many applications, a large amount of data is only useful for surveillance.
4. Even where a lot of data might be useful, it is still a hazard.
5. Data should not be routinely retained and stored without good reason. Where there is good reason, it must be stored with the highest standards of cybersecurity.
6. We need both proactive and responsive systems for detecting and prosecuting the use of inappropriately retained data.
7. We need to stop calling for projects like “Big data and [policy problem X]” and start calling for projects like “Data-led validation of [policy solution X]”, so that we stop communicating to politicians that indiscriminately gathering and retaining data is ever a good thing.
Joanna Bryson – “Big data” is not a win: the Rumpelstiltskin AI (Rumpelstilzchen KI) fallacy and manifesto