SMOG in VR
Spreken Met Ondersteuning van Gebaren (SMOG) wordt ingezet voor mensen met communicatieve beperkingen. Dit project biedt ondersteuning aan begeleiders bij het inoefenen en automatiseren van SMOG voor jongadolescenten via immersive storytelling en een adaptieve, feedbackgebaseerde virtuele leeromgeving. Dit kan leiden tot een beter leerrendement en een soepelere transfer naar de praktijk. Het project combineert technologie, orthopedagogiek en onderwijs in een op maat gemaakte aanpak, in samenwerking met SMOG & CO vzw.
Korte schets van de probleemstelling
Spreken Met Ondersteuning van Gebaren (SMOG) wordt ingezet voor mensen met communicatieve beperkingen om hun ontwikkelingspotentieel en maatschappelijke participatie te verhogen. Virtual Reality (VR) biedt ondersteuning aan begeleiders bij het inoefenen en automatiseren van SMOG voor lagereschoolkinderen en jongadolescenten. Hoewel het aanleren van gebaren de verantwoordelijkheid van de SMOG-begeleider blijft, wordt VR-ondersteuning ingezet in de oefen- en automatisatiefase.
Door basiswoordenschat te oefenen in een virtuele leeromgeving met behulp van immersive storytelling, worden kinderen op een interactieve manier aangemoedigd om actief met gebaren aan de slag te gaan. Dit kan leiden tot een betere inprenting en diepgaandere kennis van gebaren, evenals een soepelere transfer naar de praktijk, wat de taalontwikkeling versterkt en meer zelfstandigheid creëert.
Doelstelling van het projectidee
Het project onderzoekt hoe de combinatie van SMOG-vaardigheden met verwerking en inoefening in een virtuele leeromgeving het leerrendement, de leerretentie en de transfer naar de praktijk kan bevorderen bij cliënten die worden begeleid door een SMOG-begeleider. Het gebruik van een virtuele oefenomgeving biedt de SMOG-begeleider meer tijd om andere cliënten efficiënt en op maat te begeleiden en in te spelen op specifieke noden.
De doelstellingen van het onderzoek zijn als volgt:
- Dieper uitwerken van een educatief model voor immersief leren (IMIL; Vanthournout, G., Wauthier, Y.C., & Van Aken, S., 2022) voor SMOG-cliënten en integratie in de virtuele leeromgeving, met publicatie.
- Creëren van een educatieve virtuele leeromgeving waarin de gebaren van jonge gebruikers worden gemonitord, met publicatie (geen code).
- Ontwikkelen van een educatieve virtuele leeromgeving waarin gebruikers feedback op eigen niveau ontvangen en bijgestuurd worden, met publicatie (geen code).
- Creëren van een educatieve virtuele leeromgeving waar gebruikers door hun SMOG-begeleider kunnen worden opgevolgd via een dashboard.
Profiel van de leden van de begeleidingscommissie
Orthopedagogisch luik/doelgroep: logopedisten/ taaltherapeuten, orthopedagogen, experts in SMOG, SMOG-begeleiders, begeleidingscentra
Technologisch luik: software ontwikkelaars, experts in ontwikkeling van AI, experts in ontwikkeling van virtuele (leer)platforms, experts in user experience, experts in educatieve technologie
Onderwijskundig luik: didactische ondersteuners, instructional designers, experts in immersief leren
Onderzoek: onderzoekers met expertise in gebruikersonderzoek
Neem contact op met
Yasmine Wauthier
yasmine.wauthier@ap.be
AP Hogeschool
Mogelijke activiteiten tijdens de uitvoering van het project
Het project omvat verschillende parallelle en onderling verbonden processen:
- Orthopedagogisch proces - contact met het werkveld en vertaling van diens noden naar technologie.
- Educatief proces - vertaling van het educatieve luik naar technologie.
- UX-proces - visuele weergave en ervaring van het leertraject.
- Technisch proces - onderzoek naar technologie en toepassingen.
Werkpakketten (WP):
- WP 0: Projectmanagement
- WP 1: Communicatie
- WP 2: Deskresearch, intakegesprekken, nodenanalyse en matching.
- WP 3: Opbouw educatief plan - onderzoek naar onderwijs en training binnen SMOG-training en integratie van IMIL.
- WP 4: Proof of Concepts (vervolgonderzoek: prototype)
- Herkenning en monitoring van handgebaren
- Feedback op handgebaren
- Bijsturen van handgebaren
- Opvolgsysteem voor SMOG-begeleiders
- WP 5: Gebruikersonderzoek
- WP 6: Juridische, ethische en deontologische vragen
- WP 7: Disseminatie en kennisoverdracht
Verwachtingen op vlak van projectresultaten
Het project omvat het ontwikkelen van een educatief model voor immersief leren, dat zal leiden tot publicatie. Daarnaast wordt er een educatieve virtuele leeromgeving gecreëerd waarbij de handgebaren van jonge gebruikers worden gemonitord. Gebruikers ontvangen feedback op hun eigen niveau, worden bijgestuurd en kunnen worden opgevolgd door hun SMOG-begeleider via een dashboard. Verder zal er een AI-methodiek en -systeem worden ontwikkeld om handgebaren te registreren, bij te sturen en op te volgen, met een adaptief leerpad dat is afgestemd op de behoeften van de gebruiker. Ten slotte wordt er gebruikersonderzoek uitgevoerd om de verhoging van leerrendement en leerretentie te evalueren, wat ook zal resulteren in een publicatie.
In het onderzoek stellen we volgende onderzoeksvragen voorop:
- Wat zijn de technologische uitdagingen en optimalisatiemogelijkheden bij het ontwerpen van een nauwkeurig hand-tracking systeem voor toepassing in virtuele realiteit, met het oog op een verbeterde gebruikerservaring en interactiemogelijkheden? (Acuraat genoeg bij kinderen? Mimiek? Spraaktechnologie?)
- Hoe kan een virtuele leeromgeving worden geoptimaliseerd om effectieve, intuïtieve real-time en constructieve feedback op maat te bieden aan jonge gebruikers?
- Hoe kan een doeltreffend opvolgsysteem voor begeleiders worden ontworpen en geïntegreerd binnen een virtuele leeromgeving, met als doel het optimaliseren van toezicht, evaluatie en aanpassing van gebruikersinteracties?
Wil jij graag een rol opnemen in één of meerdere beoordelingscommisies?
Bezorg ons dan jouw contactgegevens. Ria Bollen, projectcoördinator Blikopener aan de Vlaamse Hogescholenraad, neemt dan persoonlijk contact met jou op.
Benieuwd
naar andere
TETRA-projectideeën?
Vanzelfsprekend is dit niet het enige projectidee. Misschien zijn er tussen de verschillende voorstellen wel andere die meer, of beter, aansluiten bij de werkgebieden van jouw onderneming of organisatie.
Expertisedomeinen
Dit projectidee is gelinkt aan volgende expertisedomeinen:
