De huidige generatie virtuele patiënten mist authenticiteit in patiëntinteracties met de therapeut, en vertoont een beperkte variatie qua persoonlijkheid en communicatie. Om interacties tussen virtuele patiënten en psychotherapeuten of psychiaters in opleiding realistischer te maken, willen we onderzoek doen naar de ontwikkeling van een trainingshulpmiddel dat medische taalmodellen gebruikt, verrijkt met data bestaande uit transcripties van reële dialogen tussen patiënten en therapeuten. We onderzoeken of deze aanpak zorgt voor virtuele patiënten met meer diverse persoonlijkheden en dialoogstijlen.
Om tot een authentiekere interactie tussen de therapeut in opleiding en de virtuele patiënt te komen, moet er tijdens de dialogen emotie uitgedrukt en begrepen worden. Daarom doen we ook onderzoek naar automatische emotiedetectie tijdens de dialooginteracties waardoor de virtuele patiënt emotioneel taalgebruik begrijpt en vertoont. Dit laat de therapeut in opleiding toe om tot een diagnose te komen op basis van zowel de inhoud van de tekst als de uitgedrukte emoties.
Bovendien willen we virtuele patiënten zowel verbale als non-verbale communicatie van therapeuten laten begrijpen, door te experimenteren met het gebruik van een multimodaal taalmodel dat tekst met beeldinformatie, zoals gezichtsuitdrukkingen van de therapeut, combineert. Deze methode integreert verbale en non-verbale signalen voor een emotieherkenning bij de virtuele patiënt.