Vision pour la robotique et les applications médicales

Aller à : navigation, rechercher

Contact: F. Nageotte et J. Gangloff

Vue d'ensemble

Ce thème rassemble les activités autour de l’extraction d’informations à partir d’images. Nous nous intéressons à plusieurs aspects de cette problématique avec pour principale application l’augmentation de la perception et de la décision pour les gestes médicaux, notamment lorsqu’une assistance robotique est introduite. Les travaux sont conduits selon 4 axes principaux : a) la reconstruction par vision, b) le recalage pour la robotique et la réalité augmentée, c) la modélisation et la reconnaissance d’activités médicales, d) la vision pour la commande robotique.

Reconstruction par vision

L’équipe s’intéresse à l’utilisation d’images pour reconstruire des informations qui puissent être utilisées pour le guidage de robots ou pour augmenter la perception des utilisateurs. Une application privilégiée est celle de la chirurgie mini-invasive, pour laquelle les difficultés résident dans la prise en compte de l’environnement in vivo qui est peu structuré, déformable et en mouvement. Plusieurs pistes sont explorées dans ce domaine. Nous nous sommes intéressés à l'utilisation de lumière structurée codée pour la reconstruction de scènes. Des contributions importantes ont été proposées par l'utilisation de la géométrie épipolaire dès la conception numérique des motifs projetés.

Une autre difficulté de la chirurgie mini-invasive est l'utilisation d'instruments flexibles difficiles à modéliser précisément. Nous travaillons à la mesure par vision passive de la position d’instruments béquillables. Des techniques d'extraction robuste de marqueurs de couleur ont été développées pour segmenter de tels instruments dans des images in vivo. Pour obtenir des mesures tri-dimensionnelles, nous proposons par ailleurs des approches basées sur des modèles adaptatifs des mouvements des instruments, et des approches basées sur l'apprentissage et ne requérant pas de modèles physiques ont également été testées.

Plus récemment, des travaux ont débuté dans le but d'étendre le cadre applicatif du SLAM à des scènes chirurgicales non rigides. Pour cela nous travaillons sur l'intégration de contraintes de surface. Des premiers résultats encourageants ont été obtenus pour l’appariement automatique de points anatomiques suivis.

De façon plus amont, nous nous intéressons également aux techniques d’autocalibrage de caméras, un élément important pour la reconstruction automatique d’information. De nouvelles méthodes exploitant les changements de zoom ont été proposées pour les cas des caméras fixes rotatives et des systèmes multi-caméras où chaque caméra est fixe. Pour le cas des caméras en mouvement dont les paramètres sont constants, nous proposons une méthode dite "stratifiée" exploitant l’absence de distorsion de décentrage des caméras modernes, ainsi qu’une formulation originale basée sur une modélisation LMI (Linear Matrix Inequalities). Cela a permis le développement d’une méthode déterministe et globalement convergente, et des travaux en cours s’intéressent maintenant au cas des caméras en mouvement avec paramètres variables avec application à la vision endoscopique.

Recalage pour la robotique et la réalité augmentée

Nous nous intéressons aux problématiques de recalage entre des informations visuelles acquises à des instants différents ou avec différentes modalités. Un de nos objectifs est de simplifier les procédures requises et les rendre plus flexibles pour l’utilisateur.

Des travaux méthodologiques sont menés pour l’alignement de séquences d’images avec un modèle 3D. Des méthodes déterministes, globalement convergentes et extrêmement robustes aux données aberrantes ont été développées pour le cas d’images non calibrées et pour les scènes structurées (décomposables en plans). Dans un but de simplification, nous développons par ailleurs différents systèmes de recalage tenant compte des contraintes applicatives fortes liées au contexte médical : utilisations de caméras de profondeur pour le recalage pré-opératoire (reconstruction issue d’images IRM) / per-opératoire du patient pour les opérations de stimulation magnétique transcrânienne robotisée; optimisation des marqueurs pour le recalage entre robots et patient sous imageurs à coupe (CT-scanner / IRM), utilisation de la lumière structurée et de vision stéréoscopique pour les injections intra-tumorales chez le petit animal. Pour des applications de réalité augmentée en chirurgie laparoscopique, nous avons proposé une approche permettant de fournir la relation géométrique statique entre un endoscope et un scan per-opératoire 3-D. De nombreuses expériences sur un motif radio-opaque et des tests sur des données in vivo ont consolidé l’intérêt et le potentiel clinique de notre approche. Enfin, nous avons proposé une méthode de recalage pré-op / per-op pour la partie antérieure du foie. Un tel organe présente des déformations in vivo importantes qui rendent complexe son recalage. Pour prendre en compte l’effet du pneumopéritoine, la méthode que nous avons introduite repose sur l’estimation de la position de la cavité abdomino-thoracique obtenue à partir d’une simulation biomécanique du pneumopéritoine ou d’une méthode géométrique basée sur le suivi de la peau.

Modélisation et reconnaissance d’activités médicales

Nous nous intéressons à la modélisation et à la reconnaissance des activités à partir de systèmes multicaméras RGB-D intégrés en salle opératoire. Nous proposons des méthodes fondées sur l’apprentissage pour détecter les personnes présentes dans la salle et estimer leur pose en 3D. En particulier, nous proposons des nouveaux modèles d’apparence et de déformation 3D qui tirent pleinement profit des cartes de profondeur dans les modèles pictoriels. Nous étudions par ailleurs la reconnaissance des étapes opératoires dans ces vidéos multimodales et multi-vues.

Nous nous intéressons avec des objectifs similaires à l’analyse des vidéos de chirurgie endoscopique (vues internes). Nous avons proposé des modèles de reconnaissance temporels fondés sur les modèles de Markov hiérarchiques et sur les réseaux neuronaux récurrents pour reconnaître les activités chirurgicales. Nous étudions tout particulièrement les caractéristiques d’image qui peuvent être employées pour cette tâche. Nous proposons des méthodes fondées sur le deep learning pour apprendre de manière automatique ces caractéristiques. Les bénéfices de cette dernière approche ont été démontrés sur des données indépendantes comprenant 80 vidéos annotées.

Vision pour la commande de robots

L’utilisation d’informations visuelles pour commander les mouvements ou le positionnement d’un robot fait partie des thèmes “historiques” de l’équipe AVR. Ils sont développés en s'intéressant au cas des asservissements visuels par stéréovision. Des lois de commande cinématiques basées position (par triangulation) et basées images et intégrant la géométrie épipolaire ont été proposées et analysées. Nous avons étudié la possibilité d’utiliser un très petit nombre d'indices visuels grâce à la représentation de Plücker. Ces lois ont été appliquées au déplacement d'un robot manipulateur à 6 ddl par rapport à un objet d'intérêt puis au suivi visuel basé primitives. Les asservissements visuels ont aussi été utilisés pour aider au suivi de la respiration par imagerie échographique pour la thérapie par HIFU (High-Intensity Focused Ultrasound). Nous travaillons alors sur les problématiques propres à cette modalité et à ces thérapies : suivi de speckle dans les images ultrasonores et compatibilité entre suivi et activation du traitement HIFU. L’intérêt de l'approche est démontré à travers l'observation des lésions thermiques se produisant lors d’expériences ex vivo.


Projets

Projets directement liés au thème :


Projets en partie liés au thème :

Projets antérieurs Quelques projets passés en lien avec le thème, historiquement centré sur les asservissements visuels

  • Assistance à la chirurgie à coeur battant & laparoscopique
  • Insertion d'aiguille pour le petit animal
  • Asservissements visuels stéréo
  • ANR US Comp : compensation de mouvements en télé-échographie