Automatische audiodescriptie in videogames (AUDIVI)
De toegankelijkheid van videogames voor personen met een visuele beperking blijft een onderbelicht onderzoeksdomein. Hoewel audiodescriptie (AD) in lineaire media zoals film en televisie uitgebreid onderzocht en toegepast is, ontbreekt fundamenteel onderzoek naar AD in interactieve, niet-lineaire omgevingen zoals videogames. Bestaande game-toepassingen zijn schaars en beperken zich meestal tot cutscenes, waardoor essentiële gameplay-informatie ontoegankelijk blijft.
Het onderzoeksproject AUDIVI verkent de haalbaarheid van automatische, real-time audiodescriptie in videogames via de ontwikkeling van een technische proof-of-concept (tPOC). Centraal staat de vraag hoe visuele spelinformatie - zoals spelerstatus, objectinteracties en omgevingskenmerken - automatisch kan worden geïnterpreteerd en vertaald naar betekenisvolle auditieve beschrijvingen. Het project onderzoekt hoe back-end data uit game engines kan worden gekoppeld aan AI-modellen op basis van open large language models (LLM's) om dynamische en contextgevoelige AD te genereren tijdens gameplay.
De tPOC wordt ontwikkeld als engine-onafhankelijke plug-in en fungeert als experimenteel onderzoeksplatform. Via iteratieve ontwikkelingscycli worden technische haalbaarheid en descriptieve kwaliteit geëvalueerd, met studentengames als testbed. Parallel ontwikkelt UAntwerpen richtlijnen en evaluatiekaders voor audiodescriptie in interactieve media.
AUDIVI levert zowel technologische als wetenschappelijke inzichten op en draagt bij aan de theoretische onderbouwing van inclusieve gameontwikkeling, met toepassingsmogelijkheden in entertainment-, educatieve en VR-contexten.
Resultaten
- Een werkende plug-in die integreerbaar is in Unity- en Unreal-game engines.
- Een functionele koppeling tussen visuele game-events, back-end data en AI-gestuurde taalmodellen.
- Een design guide met concrete richtlijnen en kwaliteitscriteria voor audiodescriptie in interactieve gameplay.
- Een gevalideerde testset van studentengames uit verschillende genres waarin de tool is toegepast.
- Resultaten en verslaggeving van gebruikerstesten met spelers met een visuele beperking.
- Technische documentatie van de architectuur, AD-flow en implementatie van de tPOC.
- Een marktanalyse met mogelijke licentie- en distributiemodellen voor gameontwikkelaars.
- Een uitgewerkte IP-strategie en valorisatieplan voor verdere opschaling.
- Disseminatiemateriaal dat inzet op kennisdeling rond inclusieve gameontwikkeling.
