Contexte : 

Les techniques récentes d'extraction d'information (text-mining) les plus performantes reposent sur de l'apprentissage automatique supervisé. Or, l’évaluation et l’entraînement de ces méthodes nécessitent une phase d’annotation humaine laborieuse et répétitive. Cela est particulièrement vrai pour les domaines spécialisés, tels que la microbiologie, où la production et la validation des annotations nécessitent l'intervention d'experts, et où les données produites sont d’un grand intérêt [Deléger2016]. La Réalité Virtuelle (RV) ou Étendue (XR) permettent d’améliorer les performances d’utilisateurs ainsi que leur engagement lors de la réalisation de tâches spécifiques comme de la rééducation ou de l’apprentissage humain [David2017, Mayer2023]. 
Notre hypothèse de recherche est que l’annotation de texte en environnement virtuel ou augmenté pourrait être au moins aussi performante et perçue comme moins contraignante que l’annotation textuelle sur des systèmes existants. Elle pourrait de plus faciliter les échanges entre annotateurs.

Projet : 

Nous proposons dans ce stage de développer et d’évaluer un outil d'annotation textuelle immersif en Réalité Mixte (XR) similaire à VAnnotator [Spiekermann2018], pouvant tirer parti des possibilités d’annotation en Réalité Étendue (XR) [Borhani2023]. La tâche d’annotation spécifique visée sera la reconnaissance d'entités. Cette dernière consiste à identifier et classifier des entités nommées dans un texte (ex : identifier dans la phrase suivante que la mention “Escherichia coli” est une bactérie - “Escherichia coli est trouvée dans les intestins des animaux”). L’application web Doccano, bien que fonctionnelle sur la plupart des navigateurs natifs des casques XR n’est pas adaptée à l’interaction naturelle et pourra servir de point de départ. L’accent sera mis durant le stage sur l’évaluation de l’activité d’annotation en environnement virtuel et l’amélioration d’un annotateur immersif.

Les verrous techniques et scientifiques identifiés pour la réalisation de cette tâche sont les suivants :

• Développement web dans un environnement android pour casques de XR
• Développement d’applications XR sur casque autonome
• Interaction textuelle en XR via contrôleurs ou ‘hand-tracking’
• Adaptation d’interfaces classiques (2D) en environnement virtuel ou augmenté
• Évaluation des pratiques d’annotation (via dispositif classique ou immersif)
• Récolte et analyse des données issues d’une tâche d’annotation

Missions :

• Revue de la littérature des solutions d’annotation immersives.
• Installation et configuration d’un serveur Doccano pour une utilisation avec casque XR permettant de visualiser et d’annoter des documents.
• Transfert de données textuelles issues d’un corpus BB4 de microbiologie pour la reconnaissance d’entités et développé à MaIAGE dans un casque de XR.
• Évaluation d’une tâche d’annotation via Doccano en environnement virtuel ou augmenté.
• Proposition d’améliorations de l’annotateur immersif.
• Mise en place d’expérimentations utilisateurs pour comparer l’utilisation immersive et non-immersive (cybersickness, utilisabilité, etc.).
• Rédaction du manuscrit pour diffusion et documentation.

Le stage pourra être l’occasion de préparer un poster pour une conférence des domaines concernés (ex : IHM, TALN).

Compétences :

Formations visées : informatique (IHM, IA, etc.) ou équivalent.

• Compétences en développement informatique : web et Android, ou encore Python.
• Compétences en IHM (évaluation de l’expérience utilisateur, analyse d’applications
  interactives).
• Une expérience en développement XR serait un plus.
• Capacité de travail en autonomie.
• Un attrait pour la recherche scientifique.

Lieu : laboratoire MaIAGE, centre INRAE de Jouy-en-Josas (78)