Sinds begin dit jaar experimenteer ik met een nieuwe manier van notities maken: Roam Research. Om daar mee te experimenteren heb ik het maar eens gebruikt om kort een idee te beschrijven. De Extended Mind Thesis van Andy Clark en David Chalmers waarin zij beargumenteren dat ons cognitieve gedrag niet enkel binnen de grenzen van ons lichaam plaatsvindt.
Laat ik maar gewoon zien hoe ik dit verhaal ge-brainstormed heb in Roam:
Het afgelopen decenium hebben we veel zien veranderen. In 2010 zette ik mijn eerste voet in de Universiteit Twente om Creative Technology te gaan studeren en gebruikte we nog email-lijsten om in de stad met vrienden af te spreken. Sindsdien zijn whatsapp-groepen de dominante rol gaan spelen en is Facebook gekomen, en weer gegaan als leidend platform voor het sociale, maar ook educatieve leven. (let wel; Whatsapp en Instagram zijn ook van Facebook, dus ze hebben nog steeds een flinke vinger in de pap!)
In die periode zijn er ook in innovatie in het onderwijs een boel hypes de revu gepasseerd, maar ook flinke veranderingen geweest. De hoeveelheid content die te vinden is om te leren is alleen maar groter geworden en ook de soort vaardigheden bij verschillende studies zijn ‘gedigitaliseerd’.
Op haar blog HackEducation.com bespreekt Audrey Watters regelmatig hypes en ontwikkelen in de ‘ed-tech’ wereld. En op de valreep van de jaarwisseling heeft ze een prachtige long-read gepubliseerd ‘The 100 Worst Ed-Tech Debacles of the Decade‘. Je raadt het al, ze is vrij kritisch!
Lees vooral zelf haar artikel even door, maar hier een korte highlight van wat van mijn favorieten:
Audrey Watters schrijft met scherpe pen over innovatie in het onderwijs. Voor iedereen die zich met onderwijsinnovatie bezighoudt is dit eigenlijk verplichte kost, wat kritische reflectie op onze werkzaamheden is nooit verkeerd.
Op deze maandagmiddag 16 december kwam we met ruim 50 geinteresseerden vanuit het onderwijs (mbo, hbo, wo en UMCs) bijeen om te spreken over de mogelijkheden van AI in het onderwijs. AI ontwikkelingen komen overal terug in het nieuws, maar ook binnen het onderwijs vinden ontwikkelingen rondom AI plaats. Vanuit Wilco te Winkel van de Erasmus Universiteit Rotterdam kwam vandaar uit de ambitie om een Special Interest Group rondom AI op te richtingen binnen SURF om krachten te bundelen en kennis te delen.
Zelf heb ik daarbij kort in een presentatie een realistische kijk geven op wat ‘AI’ nu is en hoe we hier als onderwijssector naar kunnen kijken (in samenwerking met Thijs van der Horst): Demystifying AI – Een realistische verkenning van een veelbesproken technologie.
De take-aways van de presentatie:
Geen magie, wel next-level automatiseren.
Data is key. Zorg voor een helder probleem en een goede match met je data.
Data is gekleurd, getrainde algoritmes dus ook.
Hierna heeft Wilco kort verteld over een experiment van de Erasmus Universiteit Rotterdam en Hogeschool Rotterdam waarbij rapporten en verslagen die worden ingeleverd door studenten van te voren worden geanalyseerd door een tool van FeedbackFruits op schrijfstijl, formating, en taalgebruik. Voor een korte uitleg kan je deze video bekijken:
Een vraag die bij mij op kwam na deze presentatie is in hoeverre dit nu echt AI of machine learning is ten opzichte van gewoon een handig stukje (if this then that) IT. Het algoritme schijnt zich echter op basis van reinforcement learning te verbeteren.
De discussie vloeide rijkelijk gedurende de middag. Enkele interessante punten en meningen die in de discussie naar boven kwamen:
Hoe nu verder met de Special Interest Group? Daar was genoeg enthusiasme voor. Die zou kunnen beginnen met:
Interessante links om verder te lezen:
Strategisch Actieplan voor Artificïele Intelligentie – Rijksoverheid
Kunstmatige Intelligentie in het Onderwijs – Rijksoverheid
Ethics Guidelines for Trustworthy AI – High Level Expert Group on AI van de Europeese Commissie
Kunstmatige Intelligentie in het Onderwijs – Kennisnet
Een recent artikel van Liz O’Sullivan “UK GDPR Watchdog: Explain Your AI” heeft mijn aandacht weer getrokken naar de rol van uitlegbaarheid in AI en dan specifiek in de context van de GDPR. Zij schrijft uitgebreid over een nieuw standpunt van de ICO, de data toezichthouder in Groot Britannië, over het recht op uitlegbaarheid.
De GDPR is de afgelopen jaren een belangrijk onderwerp geweest in de IT. Ook in ontwikkelingen rondom AI heeft dit heel wat stof doen opwaaien omdat AI over het algemeen veel data verwerkt. Maar ook omdat er specifiek een clausule in de GDPR zit die uitlegbaarheid eist over geautomatiseerde processes (artikel 71 uit de GDPR). Wat dat betekend is lang onduidelijk geweest, hoe ver gaat dit en wat betekend dit voor geautomatiseerde processen?
Deterministische alghoritmes hebben hier over het geen problemen mee, daar is namelijk uit te leggen wat de logica is achter een besluit. Maar door de manier waarop AI werkt, zijn de soort algorithmes vaak een ‘black box’. Dat wil zeggen dat we alleen weten wat er in gaat en wat er uit gaat, maar niet zo goed wat er in de tussentijd gebeurd. Een recht op uitlegbaarheid gaat juist om het recht om inzicht te krijgen in een black box die inherent niet inzichtelijk is.
De handhaving hiervan blijkt dus ook lastig. Begin deze week kwam de ICO met een eerste stap door middel van een consultatie op hun visie op het recht op uitlegbaarheid. Ze eisen hierbij 6 dimensies waarop een AI model getoetst moet worden: motivatie, verantwoordelijkheid, data, rechtvaardigheid, veiligheid en prestatie, en impact. Waarbij voor elk machine learning model dat gebruikt wordt een organisatie moet weten en kunnen uitleggen wie het getraind heeft, met welke methode (en waarom!), de origine van de data, hoe het algoritme getest en gevalideerd wordt en nog veel meer.
Dit moet dan op een globaal niveau (model-niveau), waarbij bijvoorbeeld de methode en wijze van testen wordt bekeken. Maar omdat dat niet voldoende is als het model echt een black box is, ook nog op het lokale niveau (inferentie-niveau). Dit betekend dat van een organisatie wordt verwacht dat zij ook de randcassusen van hun model voldoende kunnen uitleggen.
De consultatie documenten bevatten praktische informatie en voorbeeld casusses zoals AI-assisted recruitment en AI-assisted medical diagnosis (zie Part 2: Explaining AI in practice). Het schrijft niet letterlijk voor wat wel en niet mag, maar geeft vragen om over na te denken en uitleg aan te geven.
Zoals O’Sullivan zegt in een mooie quote:
All in all, the ICO’s new guidelines set reasonable, achievable, (and strict!) requirements for any company using AI who is subject to the GDPR’s reach.
Hoewel dit enkel van toepassing is op de UK geeft het een hoog ambitie niveau aan. Het is enorm uitgebreid en is opgezet in samenspraak met professionals en academici die zich bezig houden met AI. Het kan ook als Nederlandse organisatie verstandig zijn om hier alvast een voorschot op te nemen, door goed na te denken over uitlegbaarheid dek je niet alleen mogelijk een toekomstig juridisch risico af maar ik ben er van overtuigd dat het ook zorgt dat je betere resultaten oplevert.
Op het ECP jaarcongress heeft Peter-Paul Verbeek, professor techniekfilosofie aan de Universiteit Twente, zijn aanpak voor begeleidingsethiek gepresenteerd. Peter-Paul speelt al gelangere tijd een rol in mijn leven, als een van de docenten in mijn master-studie heb ik veel van hem kunnen leren over de mens als wezen dat innig is verstrengeld met de technologie. Ik heb zelfs de eer gehad om met hem te kunnen werken aan een van de eerste MOOCs van de Universiteit Twente, ‘Philosophy of Technology‘.
Volg een bliksem introductie ‘technological mediation’ via deze animatie uit de MOOC.
De uitgave over begeleidingsethiek is hier eigenlijk een doorgetrokken variant van. Hoe kan je ethiek in technische ontwikkelingen meenemen als je voorbij durft te gaan aan de ‘beoordelende’ houding en inziet dat technologie onze plek in en interactie met de wereld medieert? Volgens Verbeek brengt een begeleidende benadering de ethiek weer terug midden in de technologie. Er zijn 3 belangrijke aspecten aan de begeleidingsethiek:
Zoals vaak met ethiek, technologische ontwikkelingen, en het maken van de juiste beslissingen; is het allemaal stiekem best ingewikkeld. Waar Peter-Paul een concrete aanpak op papier heeft gezet, is de inzet van resources niet te min als je moet denken aan een groot deliberatief panel en dat voor elke concrete technologische toepassing. Aan de andere kant is dat misschien wel onze (nieuwe?) realiteit, een wereld waarin niet meer geaccepteerd wordt dat je ‘zomaar’ doet.
De ambitie is in ieder geval gezet, en ik hoop er in de toekomst eens mee aan de slag te kunnen. Ik zou zeggen bekijk de aanpak begeleidingsethiek zelf ook eens.
Dit stuk is eerder gepubliceerd op de Innovatieblog van SURF.
Als Jong Talent heb je een unieke positie binnen SURFnet. Je mag bij verschillende afdelingen een kijkje nemen door een opdracht voor ze te doen. Ik trapte af met een onderzoek voor het Team Security. Daar vroegen ze zich af welke kansen de ontwikkelingen in artificial intelligence (AI) kunnen bieden voor de SURFnet-dienstverlening. Kunnen wij onze instellingen eenvoudiger en beter beschermen met AI? Omdat ik geen achtergrond heb in AI of in security, betekende deze opdracht een duik in het diepe. Waarbij het belangrijk was om niet verloren te raken in alle hype en marketing die, in de wereld van AI, schering en inslag is!
Bedrijven zoals Darktrace en Cylance zijn de afgelopen jaren steeds meer in het nieuws gekomen met hun intelligente oplossingen voor de veiligheid van computernetwerken. Zij beloven dat hun systemen als een soort immuunsysteem het netwerk beschermen. Maar AI is aan de andere kant ook continu in opspraak in discussies over privacy en andere publieke waarden. Het is zoals vaak met nieuwe technologieën de kunst om je tussen de hype en angsten heen te manoeuvreren. Mede daarom is het belangrijk om te kijken waar we het nu precies over hebben.
Artificial intelligence is een gigantisch vakgebied; het spreidt zich uit van grootse vragen rondom bewustzijn en intelligentie van mensen en machines naar het oplossen van hele specifieke problemen. In de volksmond verwijst AI vaak naar een brede collectie aan slimme technologieën die computers taken laten uitvoeren waartoe we ze tot nu nog niet in staat achtten. Vroeger was dat bijvoorbeeld schaken en nu is het bijvoorbeeld het herkennen en reproduceren van visuele patronen. AI is dus ook niet nieuw, en bestaat als onderzoeksgebied al sinds de jaren ’50 en ook machine learning en deep learning bestaan al langere tijd. Maar ontwikkelingen in processorkracht en de grote hoeveelheden data die verzameld worden zorgen voor een nieuwe impuls in de ontwikkelingen, zo ook voor securitytoepassingen.
De meeste toepassingen van AI in security proberen concrete vragen te beantwoorden, zoals: ‘welk gedrag wijkt af?’ of ‘in welke categorie past deze melding?’. Hierbij wordt vaak een specifieke set AI-technieken toegepast: machine learning (ML). Door het combineren van allerlei verschillende algoritmen ontstaan totaaloplossingen zoals die van Darktrace en Cylance waarin systemen schijnbaar autonoom het netwerk bewaken.
In ML draait alles om algoritmen die bepaald gedrag leren door getraind te worden. Hierdoor kan je aan de slag met datasets die eigenlijk te groot en complex zijn om zelf te verwerken, bijvoorbeeld foto’s en videobeelden maar ook netwerkverkeer. Omdat je de data niet compleet hoeft te begrijpen om er wel wat mee te kunnen biedt dat nieuwe mogelijkheden, terwijl met klassiek ‘If This Then That’-achtig programmeren je zelf alles tot in detail moet beheersen.
Machine-learningtoepassingen werken door te leren van de data die je ingeeft. Je zou bijvoorbeeld plaatjes van appels en peren in kunnen voeren, waarbij je bij elk plaatje het algoritme eerst ook vertelt dat het een appel of een peer is (supervised machine learning). Na een tijdje verwerkt het algoritme die data dan in een model waarin bijvoorbeeld de kenmerken rond, rood en glimmend correleren met het label ‘appel’ en groen, bruin en langwerpig met het label ‘peer’. Voer je een foto van een banaan in, dan kan het algoritme dat niet als banaan herkennen. En zal dus op basis van het getrainde model voorspellen dat het een appel of een peer is. Bijvoorbeeld omdat het net als een appel een stickertje heeft of net als een peer niet rond is.
Je kan een algoritme ook iets leren zonder erbij te vertellen wat er op de plaatjes staat: unsupervised machine learning. Hierbij zoekt het algoritme zelf naar de kenmerken die verschillende plaatjes delen, en clustert zo de plaatjes op die kenmerken. Bijvoorbeeld kleur en vorm.
Machine-learningalgoritmen maken dus op basis van een dataset een model en zijn dan waardevol als dat model een nuttige voorspelling kan doen. Belangrijk is dan om te zorgen dat de modellen een kloppende en nuttige voorspelling doen. Dat is nog lastig, want of een model een goede voorspelling doet is lastig te controleren bij complexe datasets.
Als je bijvoorbeeld in activiteiten op het netwerk zoekt naar afwijkingen, dan doe je een aanname dat je je niet op het normale verkeer hoeft te concentreren. Wanneer Darktrace claimt “You don’t need to know the threat, just the network”, dan bedoelen zij daarmee: als je weet wat ‘normaal’ is op je netwerk, dan kan je ook het afwijkende herkennen. In de ogen van Darktrace is iets wat afwijkt van de norm ook een risico voor de veiligheid. Dat is misschien een bruikbaar beleid voor grote gesloten organisaties (zoals banken), maar is een lastige houding voor academische instellingen waar de vrijheid van de gebruiker hoog in het vaandel staat. Weten dat er een afwijking is, is niet hetzelfde als weten wat die afwijking betekent. Daarnaast helpt dit ook niet met het vinden van problemen in het ‘normale’ netwerkverkeer.
Dat is dan ook een grote uitdaging van machine learning voor security: het verschil tussen iets beschrijven en een norm stellen. Een model dat afwijkingen detecteert, probeert de werkelijkheid te beschrijven maar stelt die tegelijkertijd als norm. Zoals in bovenstaande strip van XKCD al wordt gesteld: Wanneer zien de antwoorden er ‘juist’ uit? Die normatieve vraagstukken zitten soms goed verstopt in AI-oplossingen omdat vaak die norm ook verstopt zit in de dataset die gebruikt wordt om een algoritme te trainen. Dat betekent dat een algoritme getraind op ‘slecht gedrag’ dat gedrag dus best ‘normaal’ kan gaan vinden (afhankelijk van hoe je het algoritme traint). Een van de bekendste voorbeelden hiervan is Microsoft’s Twitterbot Tay, een algoritme dat leerde van interacties op Twitter. Helaas voor Microsoft leerde Twitter het algoritme vooral racistische en antisemitische uitspraken aan.
Het toepassen van AI en machine learning kent uitdagingen, maar biedt ook nieuwe kansen.
Wat is dan een handige manier om hier mee verder te gaan? Als je dan kijkt naar machine learning, dan zijn er 3 belangrijke vragen te beantwoorden voordat je aan de slag gaat:
De eerste 2 vragen vereisen wat ze in de AI-wereld ‘domeinkennis’ noemen, specifieke kennis over het onderwerp van het probleem. Zonder goede probleemdefinitie gaat een algoritme je niet helpen met oplossingen. De droom van big data en algoritmes die magisch van alles oplossen bestaat niet. Domeinkennis is het soort expertise dat noodzakelijk is om de juiste data op de juiste manier door machine learning te laten verwerken. Bijvoorbeeld door het achterhalen en ontwerpen van de features (data-eigenschappen) die belangrijk zijn voor een algoritme. Je moet uitzoeken op welke manier data gepresenteerd moeten worden aan een algoritme om de juiste oplossing voor het probleem te krijgen. Bijvoorbeeld door je input te verwerken in cijfers waarmee het algoritme kan rekenen. Een algoritme kan niet direct een plaatje ‘bekijken’, dus daarom verwerk je pixels en kan je bijvoorbeeld de ‘feature’ ontwikkelen die kijkt naar hoe helder een pixel is ten opzichte van omringende pixels om te contrast te ‘zien’. In het geval van netwerkanalyse betekent dit bijvoorbeeld het begrijpen dat IP-adressen geen integers zijn waarmee gerekend kan worden, maar wel identifiers en daarmee een persoonsgegeven.
Hiervoor zijn goede data nodig, en dat zorgt nog wel eens voor een uitdaging. In een machine-learningexperiment bij SURF door BIT students kwam bijvoorbeeld naar boven dat het labelen van data voor bepaalde netwerkdata erg belangrijk, maar ook vaak uitdagend is. SURFnet heeft toegang tot veel netwerkdata en kan daarmee een mooie rol spelen in het ontwikkelen van machine-learningtoepassingen en ander onderzoek (we delen daarom ook onze data met onderzoekers). Maar voor veel toepassingen zullen die data wel gestructureerd of gelabeld moeten worden. Dit zie je ook terug in de enorme moeite die giganten als Google en Amazon steken in het laten labelen van data door mensen. Bijvoorbeeld door middel van reCaptcha’s of door mensen in lagelonenlanden in te huren.
Wat zijn dan mogelijk interessante toepassingen van AI voor security bij SURF? De interessantste use cases op de middelkorte termijn zijn het detecteren van afwijkingen in netwerkverkeer en het automatiseren van incidentafhandeling. De belofte van ‘anomaly detection’ ligt in het detecteren van bedreigingen voor het netwerk die nog onbekend zijn, niet omdat ze herkend worden (zoals bij rule-based signature detectie) maar omdat ze buiten het verwachte netwerkverkeer vallen. Daarnaast zou in de vervanging van ons incidentregistratiesysteem AIRT gekeken kunnen worden naar oplossingen die automatisch gelijkende meldingen categoriseren. Over de achterliggende overwegingen lees je meer in mijn rapport: Technologieverkenning AI voor Cybersecurity dienstverlening van SURFnet. Het is nu aan het Team Security om de verdere mogelijkheden te onderzoeken. Kansen zijn er in ieder geval.
Rest mij de vraag aan jou als lezer: waar kijk jij met smart naar uit om machine learning op toe te passen? Wil je daar verder over praten, ben je benieuwd naar mijn onderzoek, of naar SURFnet en het Jong Talent programma? Stuur mij dan een mailtje op duuk.baten@surfnet.nl of stuur een bericht via @DuukBaten op Twitter.
We kunnen tegenwoordig bijna niet meer om de ontwikkelingen in AI heen. Dat maakt het belangrijk om met een nuchtere blik naar de toepasbaarheid van algoritmes te kijken.
