Hij onderzoekt vooral de invloed van vooringenomenheid in taalmodellen die in de medische sector worden gebruikt. Dergelijke bias, waaronder gender-, religieuze en politieke vooroordelen, kan leiden tot onnauwkeurige diagnoses en de kwaliteit van de zorg voor minderheidsgroepen beïnvloeden. Zijn onderzoek richt zich in de beginjaren van zijn lectoraat op het identificeren en aanpakken van deze vooringenomenheid in grootschalige taalmodellen, waaronder ChatGPT en andere modellen die gespecialiseerd zijn in medische terminologie. Daarnaast onderzoekt hij hoe AI menselijke besluitvorming kan ondersteunen in complexe situaties, vooral binnen de zorgsector. Dit omvat projecten gericht op de vroege opsporing van ziekten, een taak waarbij AI en NLP essentieel kunnen zijn vanwege de complexiteit en de moeilijkheid om vroege symptomen te herkennen zonder deze technologieën.
Hij behaalde zijn doctoraat met als thema semantiek van gesproken taal (Spoken Language Understanding - SLU), als onderdeel van een project met sociale impact, gericht op de ontwikkeling van een stemgestuurde communicatiemodule voor een smart home voor senioren, gebruikmakend van deep learning-technieken, aan de Universiteit Grenoble-Alpes (2017-2020). Vervolgens werkte hij als postdoctoraal onderzoeker aan de Universiteit Gent (2021-2023), waar hij zich richtte op informatie-extractie voor een nieuwsaanbevelingssysteem door het gebruik van grote taalmodellen.
Projecten
TheraVatars: Emotionele Avatars
Virtual humans maken interactieve ervaringen mogelijk. In de gezondheidszorg kunnen ze ingeschakeld worden tijdens de opleiding van toekomstige zorgprofessionals. Hogeschool Rotterdam, kenniscentrum Creating 010 werkt in samenwerking met MKB Kurtosis aan een onderzoek, op vraag van en samen met Erasmus Universiteit Rotterdam, ESSB (Erasmus School of Social and Behavioural Sciences). Dit onderzoek richt zich op de vraag of het inzetten van virtuele patiënten kan bijdragen aan het verbeteren en ondersteunen van de interview- en diagnosevaardigheden van psychologen en psychiaters in opleiding. Daarnaast worden partners zoals Kindertelefoon en Psyflix betrokken. Psyflix faciliteert Nederlandse dialogen en rollenspellen tussen psychotherapeuten, psychologen enerzijds en patiënten anderzijds.
De huidige generatie virtuele patiënten mist authenticiteit in patiëntinteracties met de therapeut, en vertoont een beperkte variatie qua persoonlijkheid en communicatie. Om interacties tussen virtuele patiënten en psychotherapeuten of psychiaters in opleiding realistischer te maken, willen we onderzoek doen naar de ontwikkeling van een trainingshulpmiddel dat medische taalmodellen gebruikt, verrijkt met data bestaande uit transcripties van reële dialogen tussen patiënten en therapeuten. We onderzoeken of deze aanpak zorgt voor virtuele patiënten met meer diverse persoonlijkheden en dialoogstijlen.
Om tot een authentiekere interactie tussen de therapeut in opleiding en de virtuele patiënt te komen, moet er tijdens de dialogen emotie uitgedrukt en begrepen worden. Daarom doen we ook onderzoek naar automatische emotiedetectie tijdens de dialooginteracties waardoor de virtuele patiënt emotioneel taalgebruik begrijpt en vertoont. Dit laat de therapeut in opleiding toe om tot een diagnose te komen op basis van zowel de inhoud van de tekst als de uitgedrukte emoties.
Bovendien willen we virtuele patiënten zowel verbale als non-verbale communicatie van therapeuten laten begrijpen, door te experimenteren met het gebruik van een multimodaal taalmodel dat tekst met beeldinformatie, zoals gezichtsuitdrukkingen van de therapeut, combineert. Deze methode integreert verbale en non-verbale signalen voor een emotieherkenning bij de virtuele patiënt.