Kunstmatige intelligentie ter verantwoording roepen met Explainable AI

Kunstmatige intelligentie dringt steeds dieper door in onze levens. Maar tegelijk komen AI-algoritmen vaak tot conclusies, zonder dat we snappen hoe. Ze zijn dus niet uitlegbaar. En dat brengt heel wat ethische en praktische problemen met zich mee. Daarom zetten onderzoekers nu stevig in op explainable AI.

Huisje, boompje, beestje. Het is nog steeds een diep ingebed maatschappelijk ideaal. Maar wat als een algoritme daar morgen een stokje voor steekt? Stel dat zo’n systeem berekent hoe waarschijnlijk het is dat je een wanbetaler bent. Het analyseert dan allerlei statistieken, van je inkomen en je job tot je diploma en leeftijd. Op basis daarvan maakt het een score, die bepaalt of je de lening krijgt. Maar wat als dat systeem “nee” zegt? Dan wil je al snel weten waarom. En die vraag kunnen we vandaag in heel wat gevallen niet beantwoorden.

De makelaar zal je enkel kunnen zeggen dat het algoritme je verzoek afwees. Waarom weet hij of zij niet. Misschien is je job niet stabiel, verdien je niet genoeg of zit er een ongewild vooroordeel in het algoritme en wijst het je aanvraag af omwille van je huidskleur.

AI is namelijk nog heel vaak een black box, een zwarte doos waarvan we niet weten wat er binnenin gebeurt. Daarom versterkt de roep om explainable AI. We verwerken AI of kunstmatige intelligentie namelijk in allerhande producten en diensten. Netflix gebruikt het om series aan te raden, dokters gebruiken het om diagnoses te stellen en zelfs rechters ontvangen advies van algoritmen over welke uitspraken ze moeten doen.

Toch zijn de algoritmen achter die beslissingen vaak onduidelijk. We weten dus niet hoe de AI tot een bepaalde beslissing kwam. Daarom zet een speler zoals de EU vandaag al sterk in op explainable AI. En ook in Nederland laat de politiek van zich horen: zo pleit D66 al voor meer uitlegbaarheid. We willen dus onuitlegbare algoritmen verklaarbaar maken.

Dat gebrek aan verklaarbaarheid komt voort uit hoe AI-algoritmen in elkaar zitten. En dan met name de variant die onder de noemer deep learning past. “Diepe neurale netwerken voeren een groot aantal transformaties uit op data”, verklaart Stephan Raaijmakers, senior scientist bij het TNO en bijzonder hoogleraar communicatieve AI aan de Universiteit van Leiden.

“Ze trekken de data steeds meer uit elkaar en leiden allerlei complexe verbanden tussen de losse delen af. Zo worden vanuit de oorspronkelijke data complexe tussenliggende representaties opgebouwd, die voor de mens lastig te interpreteren zijn."

"Dergelijke netwerken bestaan uit soms wel tientallen miljoenen bouwsteentjes. Uiteindelijk wordt er via een diep netwerk aan invoerdata een label toegekend, zoals positief of negatief sentiment van een tekst, of een object dat zichtbaar is in een beeld.”

Stephan Raaijmakers, senior scientist bij het TNO.

Neuraal netwerk

Een neuraal netwerk kopieert in essentie de structuur van onze hersenen. Het vormt een soort netwerk dat bestaat uit verschillende lagen neuronen, waardoor nieuwe data moeten reizen. Dat netwerk interpreteert de gegevens die je er invoert, bijvoorbeeld of er een kat of hond op een foto staat. En daar zijn neurale netwerken erg goed in. Zo zijn ze verantwoordelijk voor heel wat van de vooruitgang in AI van de voorbije jaren. Maar tegelijk zijn ze ook moeilijk te interpreteren. Ze begraven het interpretatieproces in diepe lagen van neuronen, met soms zelfs tientallen van die lagen boven op elkaar.

Uitlegbaarheid daarvan krijg je op een aantal, vaak vrij diverse, manieren. Zo kun je minder complexe algoritmen gebruiken of extra moeite doen om te ontdekken wat er achter een beslissing schuilgaat. “Neem bijvoorbeeld tekstanalyse”, legt Marcel Robeer uit. Robeer is doctoraalkandidaat aan de Universiteit van Utrecht, waar hij in samenwerking met het National Police Lab AI van de Nederlandse politie aan explainable AI werkt.

“Stel bijvoorbeeld dat ik een algoritme gebruik dat hate speech opspoort in sociale media. Als je de beslissingen van het algoritme wilt uitleggen, kun je bijvoorbeeld een subset van de data nemen en reconstrueren welke woorden er aanwezig moeten zijn om een bericht al dan niet als hate speech te classificeren. Maar je kunt evengoed analyseren wat er afwezig is in de tekst. Omdat een woord dus afwezig is, maakt het algoritme een beslissing. Niettemin kun je dit soort technieken niet in alle gevallen toepassen, bijvoorbeeld omdat een beslissing te complex is om te reconstrueren.”

Mieke de Ketelaere, program director AI bij imec.

Ondertussen zorgt een gebrek aan verklaarbaarheid wel voor een hoop praktische problemen. “Neem onze waterleidingen”, stelt Mieke de Ketelaere, program director AI bij de Belgische onafhankelijke onderzoeksinstelling imec. “Op jaarbasis verliest dat netwerk erg veel water door lekken. Maar liefst 20 procent van ons water gaat zo verloren. Je kunt dat oplossen door sensoren te plaatsen in die leidingen."

"Maar de algoritmen die de data-analyse daarvoor doen, detecteren simpelweg anomalieën. Terwijl er daarvoor heel wat oorzaken zijn. Het regende misschien meer dan verwacht of er ging ergens een sluis open. Maar omdat dit model een black box is, waarvan we niet weten hoe het tot een waarschuwing komt, weten we niet of iets een lek was of gewoon een andere gebeurtenis. Daarom moet je ontdekken hoe het algoritme tot die conclusie kwam.”

Maar tegelijk zorgt zo’n gebrek aan verklaarbaarheid ook voor serieuzere problemen, met zeer menselijke gevolgen. “IBM bouwde het AI-systeem Watson”, stelt Raaijmakers. “Dat systeem is vooral bekend omdat het de kennisquiz Jeopardy won. Een variant ervan, Watson for Oncology, is specifiek ontwikkeld voor medische behandeladviezen voor kankerpatiënten. Op basis van historische medische gegevens en behandeladviezen komt het systeem tot een persoonlijk behandeladvies voor een nieuwe patiënt."

"Helaas bleken de door de AI gegenereerde adviezen door medici niet goed navolgbaar. Het was niet goed mogelijk om te verklaren waarom het systeem specifiek voor een patiënt een bepaald behandeladvies genereerde. In zo’n geval kun je uitlegbaarheid alleen opofferen als je voldoende vertrouwen hebt in je AI-systeem.”

Ethiek

Tegelijk kleven er ook ethische gevaren aan een gebrek aan uitlegbaarheid. Onderliggend aan een systeem zitten er misschien vooroordelen die we simpelweg niet zien. “Heel wat ethische problemen van AI houden verband met uitlegbaarheid”, weet Katleen Gabriels, assistant professor aan de Universiteit van Maastricht, waar ze zich specialiseert in computerethiek.

“Dat gaat zelfs breder dan AI. Het komt vaak voort uit een verkeerd idee dat bestaat over algoritmen. Het is niet omdat iets gebaseerd is op een wiskundig model, dat het daarom neutraal is. Een computermodel is niet per definitie objectief. Als ik weiger om aan een allochtoon koppel een huis te verhuren omwille van hun huidskleur, dan is dat duidelijk racisme. Maar je kunt ook een berekening volgen die hetzelfde resultaat biedt. Dan lijkt dat neutraal, terwijl misschien de data waarop je die berekening deed vooroordelen in zich vervat.”

Dat deed de Amerikaanse wiskundige Cathy O’Neil al uitvoerig uit de doeken in haar boek Weapons of Math Destruction. Ze haalt daar een reeks voorbeelden aan van hoe besluitnemers zich vaak verschuilen achter wiskundige modellen, zoals die deel uitmaken van AI, om beslissingen te nemen die discriminatoir of onjuist zijn. Maar omdat die beslissingen op wiskunde steunen, lijken ze objectief te zijn.

En naarmate we AI-algoritmen steeds vaker gebruiken om beslissingen te nemen, moeten we die onverklaarbaarheid dus wegnemen. Gabriels haalt het geval aan van een incassobureau in Nederland, waarmee ook zorgverzekeraars werkten. Dat bureau had beslissingen voor wanbetalingen overgelaten aan een algoritme. Een onderzoek van de Groene Amsterdammer bracht deze praktijken, die in Nederland illegaal zijn, aan het licht.

“Die aanpak had heel wat voordelen”, stelt Gabriels. “Zo’n systeem kon heel snel oordelen uitspreken. Maar uiteindelijk bleek het ook illegaal, want een menselijk oog moet over zo’n beslissing gaan. De tragedie was dat het daadwerkelijk werd gebruikt en pas werd stilgelegd door goede onderzoeksjournalistiek.”

Wat als je voor de rechtbank moet verschijnen en een AI-assistent adviseert de rechter? Die assistent geeft je bijvoorbeeld, op basis van je demografische data, een recidivescore die voorspelt hoe groot de kans is dat je opnieuw in de fout gaat.

Katleen Gabriels, assistant professor aan de Universiteit van Maastricht.

Dat klinkt misschien objectief en wetenschappelijk, maar ondertussen weten we niet waarom het algoritme die beslissing maakt. Misschien geeft het mensen met een specifieke huidskleur wel een systematisch hogere kans op recidive of is het door een foutje simpelweg niet betrouwbaar. Dat scenario vond zelfs al in het echte leven plaats. In de VS bracht een onderzoek van de journalistieke organisatie ProPublica het gebruik van zo’n recidivealgoritme voor rechters aan het licht. Dat algoritme gaf Afro-Amerikanen een systematisch hogere recidivescore. Dit soort gevallen tonen het grote gevaar van een gebrek aan uitlegbaarheid.

Definitiekwestie

Ondertussen blijft de definitie van explainable AI nog weinig duidelijk. “Explainability zit op verschillende niveaus”, zegt Robeer. “Stakeholders eisen namelijk andere dingen van een algoritme. Sommige partijen willen misschien gewoon een goede validatie van de resultaten of een analyse van de data waarop het model getraind is. Maar op langere termijn willen we ook individuele beslissingen kunnen uitleggen. Als we dit soort algoritmen ooit in een rechtszaak gebruiken, omdat het bijvoorbeeld bewijs voor hate speech aan het licht bracht, dan willen we ook kunnen aantonen hoe een beslissing tot stand kwam.”

Afhankelijk van de context en de noden verschuift de betekenis van uitlegbaarheid dus. “Er zijn verschillende graderingen”, aldus Robeer. “Verschillende mensen hebben er een andere kijk op. Sommige partijen zullen helemaal geen interesse hebben in wat voor techniek je gebruikt, zolang er bijvoorbeeld geen bias in de data zit. Terwijl anderen meer interesse hebben in de technische onderbouwing van een beslissing."

"Niettemin zit daar nog geen normering in. Het gaat dus van geval tot geval. Het hangt af van de casus en wat de invloed van een beslissing is. Vandaag steunt dit nog erg hard op een soort onderbuikgevoel. Vanuit onderzoekers is dit een grote vraag, want er is geen standaard over wat uitlegbaarheid precies betekent.”

Raaijmakers sluit zich daarbij aan. “Explainable AI is een relatief jong en nog niet goed gedefinieerd concept”, legt hij uit. “Er is nog geen duidelijke theorie over wat uitlegbaarheid voor de mens betekent. Daarbovenop is AI een containerbegrip en volop in ontwikkeling: er zijn veel soorten AI, en zeker de neurale AI verandert in hoog tempo. Uitlegbaarheid is bovendien erg contextueel. Zo zal een analist van een veiligheidsdienst heel andere vormen van uitleg nodig hebben dan een oncoloog. Het is vaak niet zinvol om in detail onder de motorkap van een AI-model te willen kijken."

"We moeten bijvoorbeeld niet, in het geval van deep learning, het hele neurale netwerk met alle neuronen in kaart willen brengen om het uitlegbaar te maken. Want dat zou te technisch worden. Wel zijn we op zoek naar communiceerbare, meer semantische vormen van uitleg, waarbij we bijvoorbeeld met analogieën werken, of met kennisgestuurde dialogen tussen de mens en de AI.”

Ook brengt explainability een afweging met zich mee. Het uitlegbaar maken van algoritmes gaat nu namelijk nog vaak ten koste van hun kracht. “Op een gegeven moment wordt het een afweging”, aldus Robeer. “Er gaan namelijk middelen en moeite zitten in het transparant maken van algoritmen. Zo verliezen we deels het voordeel van deze systemen. Niet alles moet uitgelegd worden. Je zult niet elke keer moeten weten hoe Google tot de ordening kwam van de resultaten van een zoekopdracht.”

Als je alles moet uitleggen, stelt Robeer, dan wordt het moeilijker om de heel ingewikkelde algoritmen zoals bepaalde neurale netwerken te gebruiken, terwijl die in specifieke toepassingen erg krachtig zijn. “Als je echt alles open en transparant maakt, dan verlies je misschien het voordeel van deze systemen.”

Rol van EU

Maar ondanks die beperkingen neemt vanuit de politiek de roep om explainability toe. De Europese Unie verwerkte het principe al in haar richtlijnen voor ethische AI. En in theorie is uitlegbaarheid al bij wet verplicht dankzij de AVG die in 2018 van kracht werd.

“AI die oog heeft voor menselijke waarden is positief”, vertelt Raaijmakers. “Mensgerichte, op ethische en sociale waarden gebaseerde AI is ook de kern van de EU-benadering. Uitlegbaarheid past daar naadloos in. Wij kunnen dat onderwerp in Europa nadrukkelijk verbinden met mensgerichte AI, die zich richt op nieuwe vormen van samenwerking van de mens met AI."

"Tegelijk denk ik dat er nog heel wat werk aan de winkel is. We moeten empirisch vaststellen wat uitlegbaarheid is, bijvoorbeeld door data te verzamelen over hoe mensen zaken uitleggen in allerlei contexten. Op basis van die data moeten we AI leren om in een bepaalde context de beste vorm van uitlegbaarheid te bieden. Als het daarbij gaat om talige uitleg, moeten we meer begrijpen van dialoogvoering, cognitie en natuurlijke taalanalyse om een stap voorwaarts te maken. Gelukkig biedt het steeds krachtiger wordende AI-gereedschap plus voortschrijdend inzicht in de wetenschap genoeg reden tot optimisme.”

Volgens Robeer wil Europa zich met deze aanpak onderscheiden op wereldniveau. “De Europese Unie ziet ethiek als iets onderscheidends op het gebied van AI”, zegt hij. “Want de grootste innovaties gebeuren nu eenmaal in de VS en China. Vanuit dat perspectief vind ik het mooi dat we toch een grote rol in de toekomst spelen. Zo leiden we AI in goede banen.”

“Zelflerende algoritmes beloven ons enorm veel”, besluit Gabriels. “Maar er is ook een heel moeilijk dubbelspel, want wanneer die algoritmes beslissingen maken over mensen, dan houdt dat risico’s in. Dat je op basis van medische gegevens diagnoses stelt, is al een complex iets. Maar sociale interpretatie, zoals een algoritme moet doen in rechtszaken, is nog veel complexer. Het gaat over mensenlevens. En daarom is explainability zo belangrijk.”

Tekst: Tom Cassauwers

Geschreven door: Redactie PCM op

Category: Nieuws, Algemeen

Tags: AI