LabForSIMS 2

Présentation

Le projet IDEFI-N « LabForSIMS 2 », est un projet initiative d’excellence en formations innovantes numériques retenues par le Ministère de l’Enseignement Supérieur et de la Recherche.

Le « LabForSIMS 2 » a pour objectif d’offrir à un nombre de plus en plus important d’apprenants des formations de haute qualité par une simulation de plus en plus réaliste dans le cadre d’un plus grand nombre de spécialités.

Il  s’articule essentiellement autour de deux « modèles pédagogiques de simulation » :

  • Les jeux sérieux en prenant comme modèle un jeu décrivant la stratégie diagnostique d’une urgence chirurgicale abdominale
  • La simulation ultra-haute fidélité en prenant comme modèle un scénario de réanimation néo-natale

croisés avec deux « axes technologiques » :

  • L’analyse conversationnelle
  • L’environnement immersif collaboratif

Du LabForSIMS au LabForSIMS 2

Les  outils innovants du « LabForSIMS 2 » basés sur une même plateforme, mettront en œuvre des scénarios ultra-réalistes, générateurs de satisfaction et d’acceptation de la part des apprenants et favoriseront donc une meilleure rétention des connaissances dans le cadre de :

  • Jeux sérieux de deuxième génération dans lesquels l’apprenant peut interagir directement avec l’environnement : immersion dans un environnement 3D grâce à un casque et à la détection des mouvements, manipulation naturelle et écologique avec l’environnement (instrument, patient…), interaction vocale avec des avatars autonomes, conversationnels et  émotionnels…
  • Plateforme ultra-haute fidélité dans laquelle l’apprenant, qui intervient à l’heure actuelle sur un mannequin tangible haute-fidélité, sera immergé dans un environnement augmenté et virtuel (interaction vocale avec le mannequin tangible haute-fidélité et des avatars autonomes conversationnels et émotionnels)

Ces modalités complémentaires permettront d’élargir le champ d’application dans un certain nombre de compétences et de spécialités : la pédiatrie, les procédures préopératoires, les gestes chirurgicaux, la formation à l’interrogatoire, la relation soignant-soigné ou soignant-entourage, notamment…

Ces nouvelles méthodes permettent de former les apprenants via la simulation de manière plus autonome et permettront également de former plus d’étudiants avec le même nombre d’enseignants.

Les axes pédagogiques

La simulation par les jeux sérieux


La stratégie diagnostique d’une urgence chirurgicale abdominale

Le jeu consiste en la prise en charge d’une patiente aux urgences pour des douleurs abdominales.

Il s’agit d’un jeu sérieux (serious game) en réalité virtuelle dans lequel l’apprenant pourra tout en évoluant dans un environnement virtuel, converser avec la patiente, l’ausculter et demander des examens complémentaires.

 

 

La simulation ultra-haute fidélité 


Un scénario de réanimation pédiatrique

Le jeu a pour objectif  de simuler la prise en charge d’un nouveau-né tel que décrit dans les recommandations internationales (protocole ILCOR).

Il s’agit d’un jeu en réalité mixte dans lequel les apprenants pourront évoluer dans un environnement virtuel, interagir avec des objets présents à la fois dans le monde réel et le monde virtuel et converser avec différents types d’avatars.

Les parties prenantes du projet

L’amélioration du réalisme de la simulation nécessite une évolution dans le domaine de l’image et de la parole, afin que les apprenants interagissent avec des avatars virtuels de façon instantanée et cohérente avec les objectifs pédagogiques.

Pour y parvenir, la Faculté de Médecine de l’Université Paris-Sud a mis en place un partenariat à forte complémentarité avec :

Unique en France, c'est un acteur essentiel de la formation universitaire en cancérologie de l’Université Paris-Sud. Elle regroupe un corps enseignant de très haut niveau des UFRs de Médecine, de Pharmacie, de Sciences et de Droit-Économie-Gestion de Paris-Sud et du premier centre de lutte contre le cancer en Europe, Gustave Roussy.

 

Institut du CEA Tech, le CEA List développe une recherche technologique dédiée aux systèmes numériques intelligents. Porteurs d’enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur le manufacturing avancé, les systèmes embarqués, l’intelligence ambiante et la maîtrise des rayonnements ionisants pour la santé.

Dans le cadre du présent projet, deux composants du CEA List vont contribuer au développement d’outils de simulation pour l’enseignement et la formation des médecins et personnels paramédicaux.

  • Le Laboratoire Vision et Ingénierie des Contenus (LVIC), qui se structure autour de 4 thématiques : Perception 3D et Mobilité, Analyse de scènes par vision, Image et Fusion Multimédia, Traitement du langage naturel. Le LVIC proposera ses technologies pour l’axe d’Analyse Conversationnelle.

 

  • Le Laboratoire Simulation Interactive (LSI) quant à lui conçoit et développe des environnements virtuels ou mixtes immersifs (EVMI) et collaboratifs. Ceux-ci sont dédiés au prototypage virtuel de produit ou « process » et à la formation. Les technologies associées peuvent être généralisées dans le domaine de la santé et notamment dans la formation des soignants. A ce titre, le LSI contribuera au développement d’environnements virtuels ou mixtes immersifs collaboratifs dans le cadre des jeux sérieux développés dans le domaine de la pédiatrie et de la chirurgie.

 

HRV est une société innovante en réalité virtuelle, née de l’association de fortes compétences complémentaires, sur l’acquis de travaux conduits depuis plusieurs années. Son cœur de métier est l’amélioration de l’apprentissage des gestes complexes précis et délicats avec l’apport de l’haptique et de la réalité virtuelle. Dans le cadre du projet « LabForSIMS 2 », HRV apporte ses compétences de prototypage de solutions complexes.

Les axes technologiques

Analyse conversationnelle

Interagir en langage naturel dans un jeu sérieux participe à la réalisation de scénarios ultra-réalistes.

Au sein du « LabForSIMS 2 », les apprenants dialogueront avec des avatars capables de répondre oralement en langage naturel aux questions posées par les humains selon un scénario préétabli et de se comporter selon un profil paramétré : patient, sage-femme, médecin, aide-soignante, proche du patient...

Le laboratoire LVIC du CEA-List a ainsi pour objectifs de :

  • Construire un système de dialogue homme – machine générique pour implémenter les  nombreux avatars des différents scénarios.
  • Comprendre les solutions apportées par l’élève en langage naturel et les comparer finement avec la solution attendue
  • Synthétiser les résultats des évaluations à destination d’un élève ou du corps enseignant

 

Nous savons que la communication verbale est un moyen majeur de réussite des soins. L’analyse conversationnelle permettra ainsi à l’apprenant de mieux comprendre les qualités et défauts de ses réponses et au corps enseignant d’évaluer sur l’ensemble des apprenants les éléments à retravailler par l’intermédiaire d’outils statistiques.

Environnement immersif collaboratif

Le laboratoire LSI du CEA-List développe des environnements virtuels ou mixtes immersifs collaboratifs. Ces environnements de simulation permettent de :

  • Partager un environnement qui est « physicalisé »
  • Piloter son clone « physicalisé » de manière naturelle et écologique via des systèmes de capture de mouvement temps réel du corps.
  • Piloter par des commandes de haut niveau des avatars numériques autonomes dotés de comportements réactifs et capables d’interagir avec l’environnement.
  • Manipuler des objets virtuels de manière naturelle et écologique via des systèmes de capture de mouvement de la main.

La réalité mixte consiste dans le cadre du « LabForSIMS 2 » à afficher l'environnement réel dans un casque de réalité virtuelle permettant des interactions tangibles pour l'utilisateur. Pour une expérience réussie, l'environnement réel se doit d'être fidèlement reconstruit en 3D (et correctement recalé avec l'environnement virtuel du casque de réalité virtuelle) et les divers objets manipulés par l'utilisateur (principalement des instruments médicaux de petite taille) doivent être précisément localisés sans latence. Le laboratoire LVIC développe à cette fin, deux technologies : un module de reconstruction 3D dense automatique de l’environnement médical et un module de suivi des instruments médicaux en s’appuyant sur le suivi de marqueurs et de primitives bas-niveaux.

La société HRV a pour missions de capitaliser dans les démonstrateurs les connaissances métier de la Faculté de Médecine, de relier de manière intelligente les différentes briques technologiques du CEA et d’apporter son expertise en infographie donnant ainsi une cohérence et des outils de formation attractifs et performants.

 

Publications 

A. Blanié, C. Andriot, A. Brouquet, C. Boithias , A. Cosson, S. Ghalloussi,
G. Jourdain , D. Benhamou LabForSIMS 2 Simulation haute fidélité et jeu sérieux de 2nde génération Bilan à 1 an d’avancée du projet (Poster SoFraSims 2017)

Poster "Projet LabForSIMS 2". Congrès EDUCAUSE 2016 (USA)