Intérêts de recherche
• Intégrer une dimension sociale et émotionnelle dans les systèmes interactifs pour améliorer l'interaction avec l'utilisateur
• Gérer les comportements socio-émotionnels de l'utilisateur
• Personnifier les personnages virtuels et les robots humanoïdes
• Modéliser le comportement socio-emotionnel des agents virtuels et physiques à travers un langage verbal et non-verbal

Domaines d'application
• E-éducation,  jeux sérieux
• Assistant, conseiller, compagnon virtuel 
• Communication médiatisée (avatar)
• Jeux vidéo
• Média Interactif
• Robotique 
• Réalité virtuelle

News

Projet ANR ACCORFORMED
"Virtual Reality for Training Doctors to Break Bad News"

Workshop WACAI -  13-15 juin 2018 à Porquerolles 
"Affects, Compagnons Articificiels et Interaction"
***** Call for participation *****

PhD Position in Human-Machine Interaction, Aix Marseille Université, France
"Towards a Computational Model of Social Skills for Human-Computer Interaction"
Deadline for application: April 9th, 2018

Atelier JEP - 8 juin 2018
"Explorer les interactions sociales conversationnelles avec des agents artificiels"
Call for participation (soon)

Les ordinateurs sont aujourd'hui pour la plupart socialement et émotionnellement ignorants (Pentland, 2005). Or, les interactions humain-machine sont intrinsèquement sociales et émotionnelles, impliquant souvent une expérience affective dans un contexte social particulier. En effet, l'utilisateur peut ressentir de nombreuses émotions tant positives (joie, soulagement, etc) que négatives (frustration, énervement, etc.) lors de son interaction avec un ordinateur (Picard, 1997). De plus, sous la forme de personnages virtuels ou de robot humanoïde, ces ordinateurs sont de plus en plus utilisés pour incarner des rôles sociaux particulier tels que celui de tuteur, de compagnon, d’assistant, de conseiller ou d’acteur. Dans ces contextes d’usages, les ordinateurs doivent être dotés d’une certaine forme d’intelligence sociale et émotionnelle (Kihlstorm et Cantor, 2000, Salovey et al., 2000) leur permettant d’interagir et sociabiliser avec l’utilisateur ainsi que d’exprimer des émotions et gérer celles de l’utilisateur afin d’optimiser l’interaction (perception, motivation, performance, décision, autonomie, etc.). Un certain nombre de recherches montre que l'ajout de fonctions pour doter un système computationnel de capacités d'intelligence socio-émotionnelle permet d'améliorer l'interaction humain-machine (Bartneck, 2002; Brave et al., 2005; Klein et al., 1999; Prendinger et al., 2005; Picard et al., 2007).

Dans le cadre de mes travaux de thèse dirigés par Catherine Pelachaud (Directrice de Recherche CNRS, LTCI) et David Sadek (Directeur délégué à la recherche, Orange Labs), nous avons travaillé sur la modélisation, la formalisation et la mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique. Notre objectif était de concevoir un agent virtuel capable d'exprimer des émotions d'empathie envers l'utilisateur durant le dialogue. Plusieurs recherches récentes tendent, en effet, à montrer que les agents virtuels capables d'exprimer des émotions d'empathie permettent d'améliorer l'interaction humain-machine (Brave et al., 2005, Picard et al., 2007; Prendinger et al., 2005). De tels agents doivent connaître dans quelles circonstances quelles émotions peuvent apparaître durant l'interaction. Pour ce faire, une analyse exploratoire de situations de dialogues réels humain-machine ayant amené l'utilisateur à exprimer des émotions a été réalisée. Les résultats obtenus ont été examinés à la lumière des descriptions théoriques des émotions en psychologie cognitive (Ortony et al., 1988; Roseman, 1991; Scherer, 1988) afin d'identifier les types d'émotions pouvant apparaître durant un dialogue humain-machine et leurs conditions de déclenchement. A partir de ces informations, un modèle formel des émotions d'un agent rationnel dialoguant a été construit. Les émotions y sont définies par leurs conditions de déclenchement représentées par des états mentaux particuliers, i.e. des combinaisons de croyances, d'incertitudes et d'intentions. L'intensité de ces émotions est calculée à partir de ces mêmes attitudes mentales. Cette formalisation permet à un agent rationnel dialoguant de déterminer dans une situation donnée l'émotion d'empathie qu'il devrait exprimer. Ce modèle formel d'émotions a été implémenté sous la forme d'un module de gestion des émotions pour des agents rationnels dialoguants - les agents JSA, Jade Semantics Agents (Louis et al., 2007). Une évaluation auprès d'un panel de personnes a permis de mettre en évidence l'amélioration de la perception qu'a l'utilisateur de l'agent lorsque celui-ci exprime des émotions d'empathie.

Lors de mon post-doctorat au Laboratoire d'Informatique de l'Université Paris 6 (LIP6), mes recherches ont porté sur la modélisation de la dynamique des relations sociales de personnages virtuels dans les jeux vidéo. L'objectif de ces travaux de recherche était de tenter d'améliorer la crédibilité des personnages non-joueurs (i.e. des personnages virtuels non contrôlés par le joueur) afin d'améliorer le sentiment d'immersion du joueur dans un jeu. Ces travaux ont été réalisés dans le cadre d'un projet RIAM (Réseau pour la Recherche en Audiovisuel et Multimedia) en collaboration avec le LIP6 (Nicolas Sabouret et Vincent Corruble), le laboratoire CEDRIC au CNAM et avec deux entreprises de jeux vidéo (SpirOps et QuanticDream). A partir des travaux en Sciences Humaines et Sociales (Ortony, 1991; Shiota et al., 2004; Keltner et al., 2001; Knutson, 1996), nous avons modéliser l'impact des émotions apparaissant durant une interaction sur la relation sociale d'un personnage suivant son expérience affective avec les autres personnages (joueurs et non-joueurs). A partir de ce modèle, nous avons développé un Outil de Simulation du contexte Socio-Emotionnel pour des personnages virtuels (appelé outil OSSE). Il permet aux concepteurs de jeux de définir aisément des scènes virtuels d'interaction et de visualiser la dynamique des relations sociales de chaque personnage, chacun étant caractérisé par une personnalité, des attitudes (i.e. dispositions positives ou négatives par rapport à différents éléments du monde) et un ou plusieurs rôles sociaux. Un mécanisme simple fondé sur les attitudes est proposé pour calculer automatiquement les émotions qui apparaissent durant les interactions entre les personnages.

Durant mon post-doctorat au National Institute of Informatics (NII) à Tokyo au Japon, j'ai travaillé sur l'utilisation des émotions pour améliorer le caractère persuasif de personnages virtuels dans des environnements virtuels tel que Second Life. Un modèle de stratégies d'expressions d'émotion a été développé à partir des travaux en Sciences Humaines et Sociales. Fondé sur ce modèle, un personnage virtuel émotionnellement persuasif a été implémenté et évalué auprès d'utilisateurs dans l'environnement Second Life.

Au laboratoire CNRS-LTCI à Telecom ParisTech, mes recherches se sont 'intégrées dans le réseau européen d'excellence SSPnet (Social Signals Processing Network). Ces travaux visent l'intégration d'une intelligence sociale dans les agents conversationnals animés pour une amélioration de l'interaction humain-machine. Nous avons travaillé en particulier sur un modèle computationnel du sourire pour les agents conversationnels animés ainsi qu'un modèle computationnel d'attitudes sociales permettant de déterminer quand et comment un agent virtuel doit exprimer une attitude sociale (dominance, soumission, sympathie, hostilité) durant une interaction avec un utilisateur. 

Aujourd'hui  au sein de l'équipe DIMAG du laboratoire LSIS, mes activités de recherche visent l'analyse et le traitement automatique de la dimension socio-affective de l'interaction humain-machine. Un des projets collaboratifs réunissant plusieurs partenaires vise à modéliser un patient virtuel à partir de l'analyse automatique de coprus réels d'interaction médecins-patients.