Explainable AI voor eindgebruikers en ontwikkelaars

Het gebruik van artificiële intelligentie in hedendaagse software groeit pijlsnel. Voor allerlei taken, zoals automatische classificatie van beelden, het capteren en interpreteren van allerlei signalen van de gebruiker (bijvoorbeeld bewegingen en interacties met objecten), het aansturen van automatische chatbots en het uitvoeren van machine translation, wordt er gebruik gemaakt van complexe algoritmes uit domeinen als machine learning, computer vision, planning en knowledge reasoning.

Dit leidt echter tot twee prominente problemen: (1) voor softwareontwikkelaars zonder diepgaande expertise in deze domeinen is het moeilijk om de juiste algoritmes te kiezen en zeer uitdagend om een algoritme op de juiste manier aan te sturen (bijvoorbeeld feature selection uit sensor data), en (2) voor gebruikers van de software gedragen de algoritmes zich vaak als "black boxes" die gebruik maken van allerlei gebruikersdata zonder de gebruikers daarover te informeren.

Beide problemen zijn uiteraard sterk gelinkt aan elkaar: de gebruiker van een AI algoritme - of dat nu een ontwikkelaar is of een eindgebruiker van de software - moet bewust gemaakt worden van de werking van het achterliggende AI algoritme en de juiste handvatten aangeboden krijgen om er controle over te verwerven. Een recent onderzoeksdomein dat hierop inspeelt is eXplainable Artificial Intelligence (XAI).

In de eerste fase van het project werd een verzameling gemaakt van papers over het gebruik van (X)AI. Deze is raadpleegbaar via Airtable: https://airtable.com/shrnwfAjA2jaCn8MO/tblVOq7iFktArwTYY/viwkHwVXpbpeqZiLd?blocks=hide

Onze eerste demonstrator betreft scheepsdata van een haven, waar grote schepen met sleepboten worden geleid. De data bevat scheepskarakteristieken en externe factoren, zoals windrichting en -snelheid, die invloed kunnen hebben op het aantal benodigde sleepboten. AI kan advies geven over het aantal sleepboten. XAI biedt extra informatie, zoals welke karakteristieken het meest van invloed waren op het advies, zodat er een geïnformeerde beslissing kan worden genomen. Zo kunnen over- of onderschatting van het systeem worden vermeden.

Onze tweede demonstrator behandelt beeldgegevens, waarbij een AI-model beelden classificeert als 'normaal' of met artefacten (storingen). Met XAI krijgen gebruikers en ontwikkelaars meer inzicht door te laten zien welke pixels het meest hebben bijgedragen aan de classificatie. Dit wordt gedaan op verschillende manieren, met een eerste aanduiding volgens een modeluitlegbenadering die probeert het complexe model te begrijpen en anderzijds via modelinspectie, waar heatmaps van interessante pixels worden gegenereerd voor het oorspronkelijke beeld.

Er werd ook aandacht besteed aan een onbegeleide leertechniek, waarbij een auto-encoder werd getraind met correcte beelden. Artefacten met een te grote reconstructiefout konden zo als zodanig worden gelabeld. Verklaarbaarheid werd toegevoegd door de latent space te verkennen (een typische eigenschap van auto-encoders) en door te tonen hoe alle samples in een 2D-ruimte worden geprojecteerd.

Onze derde demonstrator is de chatbot dAIsy, een zelfverklarende NLP-chatbot om de database aan papers te verkennen. Dit helpt gebruikers die op zoek zijn naar specifieke papers de meest relevante aanbevelingen te doen. Gebruikers kunnen ook een NLP-generieerde samenvatting van een paper lezen om te bepalen of het aan hun behoeften voldoet. De gegenereerde samenvatting wordt ook verklaarbaar gemaakt door aan te geven welke termen het meest hebben bijgedragen aan de samenvatting.

Tijdens het project werd ook een Summer School over Explainable AI georganiseerd. Hiervoor werd workshopmateriaal ontwikkeld dat deels wordt gebruikt in het hoger onderwijs.

De projectwebsite is te vinden op: https://www.explainableai.be/

Voor meer informatie kunt u contact opnemen met Steven Palmaers (PXL) of Mieke Haesen (UHasselt-EDM).