Large Language Models for News

Transparantie en vertrouwen zijn in journalistieke context belangrijke voorwaarden voor kwaliteitsvol nieuws. Zowel journalisten als nieuwsconsumenten tonen argwaan wanneer nieuwsberichten door generatieve AI tot stand komen. Hoewel Large Language Models (LLM’s) breed inzetbaar zijn voor IE-taken (information extraction), ondervinden ze vaak moeilijkheden als de gebruiker domeinspecifieke vragen stelt. Dit leidt tot onnauwkeurigheden en irrelevante resultaten (hallucinaties), vooral in scenario's waarin de beschikbaarheid van gegevens beperkt is.
Als reactie op deze uitdaging wordt het Retrieval-Augmented Generation (RAG) framework geïntroduceerd, met als doel de mogelijkheden van LLM’s te vergroten. RAG maakt het mogelijk om zelf actuele en geverifieerde bronnen te selecteren voor het formuleren van een antwoord op een vraag van de gebruiker. Door deze selectie van kennisbronnen beperkt RAG het risico op het gebruik van onbetrouwbare informatie. Dit zou LLM’s bruikbaar moeten maken voor journalistieke doeleinden.
Dit onderzoek heeft als doel een adviesrapport met richtlijnen op te stellen voor een succesvolle RAG-integratie binnen Vlaamse nieuwsredacties. Het project start met een literatuurstudie naar de adoptie van generatieve AI voor tekstuele nieuwsverslaggeving en onderzoekt daarna met iteratief experimenteel onderzoek hoe RAG de feitelijke nauwkeurigheid van door LLM’s gegenereerde antwoorden verbetert. Een prestatietest gebaseerd op de criteria van de journalistieke code geldt als benchmark. Aan gebruikerszijde wordt nagedacht over een gebruiksvriendelijke manier om gegenereerde antwoorden aan nieuwsconsumenten te presenteren. Een eventueel vervolgtraject bekijkt het ontwikkelen van een eigen chatbot en de bredere implementatie in de media- en communicatiesector.

Proces/dienst:
Adviesrapport voor journalisten en nieuwsredacties met richtlijnen voor een succesvolle RAG-integratie in tekstuele nieuwsverslaggeving gebaseerd op de literatuurstudie en het iteratief experimenteel onderzoek. Met het adviesrapport en bijhorende richtlijnen kunnen nieuwsredacties de transitie naar een RAG-integratie geïnformeerd aanvatten. Dit bespaart hen eventuele dure voortrajecten en haalt vooroordelen uit de weg. Het geeft journalisten ook de nodige argumenten om interne besluitvormers te overtuigen om de stap naar een RAG-integratie te zetten. Dit zou ook de drempel verlagen om in te stappen in het geplande vervolgtraject van dit onderzoek.
Proces/dienst:
Onderzoeksresultaten van dit praktijkonderzoek worden geïntegreerd binnen bepaalde opleidingsonderdelen in de clusters CST, IT en Business & Media. Een aangepaste versie van het adviesrapport moet het voor Howest-docenten mogelijk maken om de onderzoeksresultaten te vertalen naar bruikbare lesinhoud gericht op specifieke opleidingsonderdelen binnen het curriculum.
Voor de doelgroep professionals in het werkveld (journalisten)
Een robuuste RAG-pipeline samenstellen die de feitelijke nauwkeurigheid optimaal waarborgt en de kans op misinformatie tot een minimum te beperkt.
Het vertrouwen van journalisten in een deugdelijk gebruik van generatieve AI (i.e. LLM met RAG) voor nieuwsverslaggeving versterken.
De Vlaamse traditionele nieuwsmedia volgens het 'try before you buy'-principe de nodige inzichten geven om op een geïnformeerde manier te investeren in generatieve AI-oplossingen.
De Vlaamse traditionele nieuwsmedia voldoende concurrentieel houden ten opzichte van internationale spelers die het soms minder nauw nemen met de waarden die vervat zitten in de journalistieke code.
Voor de doelgroep nieuwsconsumenten
Het vertrouwen van nieuwsconsumenten in het gebruik van generatieve AI (i.e. LLM met RAG) voor journalistieke doeleinden versterken.
Een betere gebruikerservaring voor nieuwsconsumenten aanbieden door het mogelijk te maken om metnieuwsartikelen in interactie te gaan en van nieuwsgaring een meer gepersonaliseerde, on demand ervaring te maken.