Adaptieve menselijke operatorinteractie met autonome systemen

Autonome systemen worden steeds populairder in verschillende toepassingen, zoals autonome scheepsnavigatie, autonoom rijden en robotica. Dit komt door de beschikbaarheid van grote hoeveelheden gegevens die een grote hoeveelheid onderzoek naar de interpretatie van deze gegevens en onafhankelijke besluitvorming op basis van deze gegevens. Het kenmerk van autonome systemen is dat ze worden beschouwd als onafhankelijk zijn van menselijke tussenkomst in algemene zin, en het potentieel bevatten om de prestaties te verbeteren, de kosten te verlagen en de veiligheid te verbeteren in een groot aantal toepassingsgebieden.

Een groot probleem blijft echter dat deze systemen gebruikmaken van de ontwikkelingen in AI die nog steeds black box blijven. Hierdoor blijft de aard van hun besluitvorming een open punt van zorg en hun overtreding van het beleid of de regelgeving in een bepaald toepassingsdomein een risico blijft. Om deze zorgen aan te pakken, moet de aard van de interactie tussen mensen en autonome systemen opnieuw worden bekeken. In plaats van de één te beschouwen als de supervisor van de ander, zou het doel moeten zijn om de voortdurende betrokkenheid van elkaar te onderzoeken als een samenwerkingsprobleem.

Adaptive Human Operator Interaction with Autonomous Systems (AHOI) richt zich op deze problemen. Onze nieuwe onderzoeksbenadering brengt een verscheidenheid aan onderzoekers samen die betrokken zijn bij verschillende onderzoeksdomeinen zoals kunstmatige intelligentie (AI), verklaarbare AI (XAI), menselijke gedragswetenschappen, maritieme personeelstraining en mensmachine-interfaces (HMI) om het samenwerkingsprobleem tussen mensen en autonome systemen in een use case van botsingvermijding in de korte vaart. We streven ernaar probleem op meerdere niveaus op te lossen.

Ten eerste ontwerpen we een autonoom navigatiesysteem dat in staat is om te gaan met de interne en externe beperkingen, zoals het falen van de operator om op het juiste moment actie te ondernemen, onnauwkeurig situatiebewustzijn door sensorstoringen, motorstoringen, druk scheepvaartverkeer en weersinvloeden. Ons doel hier is om een veerkrachtig navigatiesysteem te construeren, dat functioneert bovenop de scheeps en generaliseert naar onbekende en zeer ongestructureerde omgevingen met minimale herafstemming. We construeren een oplossing voor dit probleem als een sequentieel beslissingssysteem dat in staat is om de bovengenoemde omgevingsbeperkingen en botsingsregels (colregs) op te nemen. Aangezien deze systemen zijn gebaseerd op machinaal leren, gaat een groot deel van onze studie naar de verklaarbaarheid van deze systemen. Ons doel is het bestuderen van het fundamentele probleem van onzekerheden in het situationeel bewustzijn en hun relatie tot de onzekerheden in de daaropvolgende navigatieplanning. Deze studie stelt ons in staat om een holistisch beeld te construeren van de beslis van het autonome scheepsnavigatiesysteem dat gebruikt kan worden om inzicht te krijgen in de punten van potentiële storingen en de momenten om mensen te betrekken in het besluitvormingsproces van de autonome systemen.

Ten tweede bestuderen we het effect van de XAI op menselijke operators. Menselijke operators hebben verschillende achtergronden en hebben verschillende ervaringsniveaus. Hierdoor kan hun perceptie van de AI systemen en hun besluitvorming variëren. AHOI bestudeert dit probleem door de toename in vertrouwen van de menselijke operators wanneer machines zichzelf uitleggen. Daarnaast onderzoeken we ook het effect en de invloed van menselijke vooroordelen op de perceptie van transparantie van de mens-machine-interactie. Dit is een interessante onderzoeksrichting, want het dicteert de aanpassing in het ontwerp van intelligente automatiseringssystemen, zodat ze ofwel door het ontwerp transparant zijn ofwel transparant worden gemaakt als ze worden ingezet in situaties waar mensen bij betrokken moeten zijn. Daarnaast zal experimenteel onderzoek worden uitgevoerd om deze relatie in detail te bestuderen en het contactpunt tussen mensen en machines, waardoor ze elkaar kunnen betrekken wanneer de onzekerheid of vooringenomenheid in hun besluitvorming groot is. We zijn van plan om te werken op een continuüm waar mensen en machines elkaar soepel elkaar soepel betrekken in verschillende situaties door elkaars tekortkomingen in toom te houden.

Ten slotte zal AHOI gebruikmaken van nieuwe methodologieën in XAI en visualisatiesoftware om een geavanceerde mensmachine-interactie (HMI) te ontwerpen, die niet alleen het resultaat van de AI-systemen laat zien maar ook hun onderliggende redenering. Onze HMI zal geavanceerd en nieuw zijn in die zin dat het de gebruikersprofielen bijhoudt en de output aanpast aan de mensen op basis van hun ervaringsniveau. Dit zal naar verwachting leiden tot een groter vertrouwen van mensen in machines. Bovendien zal onze HMI het gebruiksgedrag (of feedback) bij en gebruikt het om de XAI aan te passen of de prestaties van de AI in randgevallen te verbeteren.

Onze oplossing is relevant voor verschillende defensiegerelateerde toepassingen, waarbij systemen onafhankelijk opereren, maar ze hebben de behoefte om mensen en de juiste commandostructuur te betrekken in tijden van grote onzekerheid. We richten onze oplossing op een autonoom navigatiescenario voor schepen, maar onze leerresultaten kunnen algemeen worden toegepast op toepassingen zoals mijnenjacht, inlichtingen, bewaking en Reconnaissance (ISR) missies, UAV operaties, en UGV operaties enz. In AHOI zal imec onderzoek doen naar AI en XAI, terwijl UA en AMA diepgaand onderzoek zullen doen naar de biases en profilering van menselijke operatoren. MAHI zal onderzoek doen naar het situationeel bewustzijn van de autonome schepen en de uiteindelijke HMI ontwerpen. DEFRA