Het potentieel van adaptieve extended reality
PROBLEEMSTELLING
Dankzij de huidige AI-revolutie breekt er een nieuw tijdperk aan binnen immersive storytelling in Extended Reality (XR). Tijdens Show & Tell (PWO, 2017-2019) benadrukte het Immersive Lab al dat verdere ontwikkeling van Artificiële Intelligentie (AI) en computer-algoritmes nodig is om de narratieve flexibiliteit van de gebruiker verder te verbeteren (AP Hogeschool, 2019). Zo kan AI een belangrijke rol spelen in het ontwikkelen van nieuwe interactieve vertelvormen waarbij de verhaalwereld zich aanpast aan de gebruiker. De enorme groei van deze technologieën in de voorbije jaren maakt het mogelijk om de overstap van storytelling naar storyliving te maken. Hierbij maakt de gebruiker integraal deel uit van de VR-experience; zijn of haar ervaringen, gedragingen, reacties en uitkomsten worden een onderdeel van het verhaal (Vallance & Towndrow, 2022).
Denk maar aan VR-werelden of verhaallijnen die zich aanpassen aan bepaalde keuzes die de gebruiker maakt. Bij storyliving “wordt” de deelnemer letterlijk het verhaal (Rubin et al., 2016), wat resulteert in een adaptieve XR-ervaring die telkens tot unieke gebruikerservaringen leidt. Binnen adaptieve XR zal de wereld in real-time worden aangepast op basis van verschillende interacties tussen de gebruiker en zijn omgeving. Het maken van zo’n adaptieve ervaring zal zorgen voor creatieve uitdagingen (overgang van storytelling naar storyliving), evenals technische (AI-modellen, hardware restricties) en user experience uitdagingen (UX, emoties).
Op creatief vlak stelt adaptieve XR-content nieuwe uitdagingen voor de XR-producent, aangezien de kijkers hun eigen gezichtspunt, kijktijd en verhaallijn kunnen kiezen (Papathanasiou et al., 2022). Nieuwe storytellingtechnieken zijn dus essentieel om de transitie van storytelling naar storyliving mogelijk te maken. De game-industrie gebruikt al geavanceerde technieken om non-lineaire verhalen te vertellen en interactieve werelden te creëren. Verder toonden Paraschos en Koulouriotis (2023) in hun review aan dat adaptieve en gepersonaliseerde games voor een positieve ervaring zorgden. Deze methoden kunnen echter niet zomaar rechtstreeks worden overgenomen in Virtual Reality (Filmby Aarhus et al., 2019).
METHODE
Deskresearch: Best practices verzamelen. Meetinstrumenten voor user research in kaart brengen. Literatuurstudie naar de verschillende parameters binnen storyliving. Vergelijking maken van voor- en nadelen van de bruikbare tools voor het creëren van adaptieve ervaringen.
Ontwikkelen van proof of concepts: 3 POC’s ontwikkelen – 2 eigen POC’s en 1 studentenproject – telkens gericht op het beantwoorden van meerdere onderzoeksvragen. Er wordt onderzocht hoe we adaptieve XR-ervaringen eenvoudig en laagdrempelig kunnen implementeren en hoe we AI hierbij kunnen betrekken. Op minstens 1 POC zal ook een user test worden uitgevoerd ter voorbereiding van het experiment in WP4.
Experiment: Gebruikersonderzoek voor 1 POC in jaar 2. Via een experiment worden 1 of meerdere eigenschappen (bv verhaal, omgeving, interacties met objecten) van de XR-ervaring aangepast op basis van de gebruikersinput. Tijdens het experiment meten en evalueren we de invloed van de ervaring via zowel psychofysiologische maten (aandacht meten via eye tracking, hartslag meten via hardware) als zelfrapportering (vragenlijsten met gevalideerde meetschalen). Hiervoor zullen we minstens 30 personen per experimentele conditie testen.
Dankzij de huidige AI-revolutie breekt er een nieuw tijdperk aan binnen immersive storytelling in Extended Reality (XR). Tijdens Show & Tell (PWO, 2017-2019) benadrukte het Immersive Lab al dat verdere ontwikkeling van Artificiële Intelligentie (AI) en computer-algoritmes nodig is om de narratieve flexibiliteit van de gebruiker verder te verbeteren (AP Hogeschool, 2019). Zo kan AI een belangrijke rol spelen in het ontwikkelen van nieuwe interactieve vertelvormen waarbij de verhaalwereld zich aanpast aan de gebruiker. De enorme groei van deze technologieën in de voorbije jaren maakt het mogelijk om de overstap van storytelling naar storyliving te maken. Hierbij maakt de gebruiker integraal deel uit van de VR-experience; zijn of haar ervaringen, gedragingen, reacties en uitkomsten worden een onderdeel van het verhaal (Vallance & Towndrow, 2022).
Denk maar aan VR-werelden of verhaallijnen die zich aanpassen aan bepaalde keuzes die de gebruiker maakt. Bij storyliving “wordt” de deelnemer letterlijk het verhaal (Rubin et al., 2016), wat resulteert in een adaptieve XR-ervaring die telkens tot unieke gebruikerservaringen leidt. Binnen adaptieve XR zal de wereld in real-time worden aangepast op basis van verschillende interacties tussen de gebruiker en zijn omgeving. Het maken van zo’n adaptieve ervaring zal zorgen voor creatieve uitdagingen (overgang van storytelling naar storyliving), evenals technische (AI-modellen, hardware restricties) en user experience uitdagingen (UX, emoties).
Op creatief vlak stelt adaptieve XR-content nieuwe uitdagingen voor de XR-producent, aangezien de kijkers hun eigen gezichtspunt, kijktijd en verhaallijn kunnen kiezen (Papathanasiou et al., 2022). Nieuwe storytellingtechnieken zijn dus essentieel om de transitie van storytelling naar storyliving mogelijk te maken. De game-industrie gebruikt al geavanceerde technieken om non-lineaire verhalen te vertellen en interactieve werelden te creëren. Verder toonden Paraschos en Koulouriotis (2023) in hun review aan dat adaptieve en gepersonaliseerde games voor een positieve ervaring zorgden. Deze methoden kunnen echter niet zomaar rechtstreeks worden overgenomen in Virtual Reality (Filmby Aarhus et al., 2019).
METHODE
Deskresearch: Best practices verzamelen. Meetinstrumenten voor user research in kaart brengen. Literatuurstudie naar de verschillende parameters binnen storyliving. Vergelijking maken van voor- en nadelen van de bruikbare tools voor het creëren van adaptieve ervaringen.
Ontwikkelen van proof of concepts: 3 POC’s ontwikkelen – 2 eigen POC’s en 1 studentenproject – telkens gericht op het beantwoorden van meerdere onderzoeksvragen. Er wordt onderzocht hoe we adaptieve XR-ervaringen eenvoudig en laagdrempelig kunnen implementeren en hoe we AI hierbij kunnen betrekken. Op minstens 1 POC zal ook een user test worden uitgevoerd ter voorbereiding van het experiment in WP4.
Experiment: Gebruikersonderzoek voor 1 POC in jaar 2. Via een experiment worden 1 of meerdere eigenschappen (bv verhaal, omgeving, interacties met objecten) van de XR-ervaring aangepast op basis van de gebruikersinput. Tijdens het experiment meten en evalueren we de invloed van de ervaring via zowel psychofysiologische maten (aandacht meten via eye tracking, hartslag meten via hardware) als zelfrapportering (vragenlijsten met gevalideerde meetschalen). Hiervoor zullen we minstens 30 personen per experimentele conditie testen.
Resultaten
GEPLANDE RESULTATEN
Deskresearch: Overzicht van parameters en best practices voor bestaande storytellingtechnieken, voor adaptieve content in XR en van storyliving. Deze zullen gedeeld worden in een whitepaper.
Proof of concepts: 2 POC’s, 1 studentenproject
User manual: Handleiding met gevalideerde informatie over ontwikkeling van Adaptieve XR-ervaringen. Binnen deze handleiding zal er een Framework over de verschillende parameters van storyliving worden uitgewerkt. Verder zullen we, op basis van de resultaten van het experiment, integreren hoe persoonlijke informatie kan gebruikt worden om adaptieve XR-content te maken.
User research: 1 user test + 1 experiment voor testen persoonlijke ervaringen in Adaptieve XR. De resultaten van het experiment zullen gedeeld worden in ofwel een whitepaper of in een academisch tijdschrift. Deze kunnen ook gepresenteerd worden op conferenties en lezingen.
Workflow: Een technische workflow opstellen om op een optimale manier een real-time adaptieve XR-wereld te laten functioneren.
Deskresearch: Overzicht van parameters en best practices voor bestaande storytellingtechnieken, voor adaptieve content in XR en van storyliving. Deze zullen gedeeld worden in een whitepaper.
Proof of concepts: 2 POC’s, 1 studentenproject
User manual: Handleiding met gevalideerde informatie over ontwikkeling van Adaptieve XR-ervaringen. Binnen deze handleiding zal er een Framework over de verschillende parameters van storyliving worden uitgewerkt. Verder zullen we, op basis van de resultaten van het experiment, integreren hoe persoonlijke informatie kan gebruikt worden om adaptieve XR-content te maken.
User research: 1 user test + 1 experiment voor testen persoonlijke ervaringen in Adaptieve XR. De resultaten van het experiment zullen gedeeld worden in ofwel een whitepaper of in een academisch tijdschrift. Deze kunnen ook gepresenteerd worden op conferenties en lezingen.
Workflow: Een technische workflow opstellen om op een optimale manier een real-time adaptieve XR-wereld te laten functioneren.
Promotor
Karen Pauwels
Onderzoeker
Rob Mertens,Andi Smet,Jeroen Cluckers,Lowie Spriet,Laura Herrewijn,Yasmin Van de Werf,Arafa Yoncalik
AP Hogeschool Antwerpen
16/09/2024 - 20/09/2026
Centrale contactpersoon
Eva Brodelet
AP Hogeschool Antwerpen - Blikopener contact
