Veiligheid en privacy van LLM-integraties
Onze wereld evolueert razendsnel, maar deze groei brengt ook nieuwe risico's met zich mee. LLMs, zoals ChatGPT, bieden ongekende mogelijkheden, maar vergroten ook de kwetsbaarheden van organisaties. Dit onderzoek richt zich op de veilige en privacybewuste integratie van LLMs in producten en diensten. We ontwikkelen een best practice-gids, threat models en proof-of-concepts om risico's te minimaliseren. Samen met studenten en bedrijven creëren we bewustzijn en praktische oplossingen via workshops en cases. Zorg ervoor dat jouw organisatie voorbereid is op de toekomst van AI!
Korte schets van de probleemstelling
De ontwikkeling van onze digitale wereld overtreft de beveiliging, met een recordtempo van digitalisering en automatisering. Dit zet de digitale veiligheid en privacy van bedrijven, overheden en burgers onder druk, terwijl hackers steeds creatiever worden en de cybercriminaliteit toeneemt. Sinds de lancering van ChatGPT in november 2022 zijn Large Language Models (LLMs) en traditionele Machine Learning (ML) oplossingen, zoals voorspellende modellen en beeldherkenning, essentieel geworden in de digitale transformatie.
Echter, zowel LLMs als traditionele ML brengen unieke uitdagingen mee op het gebied van veiligheid en privacy. De integratie van LLMs vergroot de 'attack surface' van organisaties en introduceert nieuwe kwetsbaarheden, wat kan leiden tot misbruik, reputatieschade, juridische gevolgen en datalekken. Het is van groot belang om te begrijpen hoe LLMs veilig geïntegreerd kunnen worden om proactief aanvallen te voorkomen en de impact van eventuele incidenten te minimaliseren. Kennis hierover is essentieel voor organisaties die willen innoveren en competitief willen blijven in de snel evoluerende wereld van AI.
Doelstelling van het projectidee
Dit onderzoek richt zich op de best practices voor de integratie van LLMs in nieuwe producten en diensten. We brengen bestaande attack surfaces in kaart en onderzoeken nieuwe attack surfaces en exploits. Om vroeg in het softwareontwikkelingsproces kwetsbaarheden en bedreigingen op te sporen, ontwikkelen we integreerbare threat models die elke LLM-integrator gemakkelijk in zijn ontwikkelingsproces kan opnemen. De output hiervan is een lijst van threats waarmee de risico's in kaart kunnen worden gebracht en aangepakt. Samen met onze studenten werken we aan bedrijfsspecifieke cases en ontwikkelen we proof-of-conceptapplicaties die de beveiligings- en privacyrisico's demonstreren.
Profiel van de leden van de begeleidingscommissie
- AI-integratoren
- AI-eindgebruikers
- Softwareleveranciers
Neem contact op met
Robin Schrijvers
robin.schrijvers@pxl.be
Hogeschool PXL
Mogelijke activiteiten tijdens de uitvoering van het project
- awareness vergroten.
- Best practice-gidsen ontwikkelen (wegwijzers, beschrijving van attack surfaces, integratie van compliance).
- Threat models ontwikkelen voor een secure development life cycle (SDLC).
- Proof-of-concepts ontwikkelen, inclusief een interactieve applicatie met een educatief component.
- Bedrijfsspecifieke use cases uitwerken.
- Samenwerken met studenten.
- Workshops uitvoeren om bewustzijn te creëren en technische hands-on expertise op te bouwen.
Verwachtingen op vlak van projectresultaten
** Practice Guide:** We ontwikkelen een guide voor de integratie van LLMs in nieuwe producten en diensten, die bewustzijn creëert over de gevaren van LLM-integraties, dataprotectietechnieken en compliance met de AI-act en GDPR, en verduidelijkt wanneer LLMs boven traditionele ML gekozen moeten worden.
Threat Models: We ontwerpen toekomstbestendige threat models voor LLM-integratie, gericht op zowel veiligheid als privacy, die toepasbaar zijn bij de ontwikkeling van nieuwe applicaties en diensten.
Proof of Concept: We implementeren twee LLM-assistenten via een webapplicatie; de eerste is proactief veilig met continue monitoring, terwijl de tweede zonder beveiligingsmaatregelen is. Beide dienen om bewustzijn te creëren en de risico's van LLM-integraties te illustreren, en worden opgenomen in een interactieve applicatie met security-challenges en bug bounties.
Onderwijs: Studenten worden betrokken bij het project via vakken en theses om specifieke deelaspecten te onderzoeken en bedrijfscases uit te werken.
Workshops: Voor maximale kennisdeling organiseren we workshops met hands-on training, netwerkmogelijkheden en feedbackmomenten om het project bij te sturen.
Wil jij graag een rol opnemen in één of meerdere beoordelingscommisies?
Bezorg ons dan jouw contactgegevens. Ria Bollen, projectcoördinator Blikopener aan de Vlaamse Hogescholenraad, neemt dan persoonlijk contact met jou op.
Benieuwd
naar andere
TETRA-projectideeën?
Vanzelfsprekend is dit niet het enige projectidee. Misschien zijn er tussen de verschillende voorstellen wel andere die meer, of beter, aansluiten bij de werkgebieden van jouw onderneming of organisatie.
Expertisedomein
Dit projectidee is gelinkt aan volgende expertisedomeinen:
