Sujets de stages

Aller à : navigation, rechercher

Sujets en Vision par Ordinateur / Deep Learning (CAMMA: Computational Analysis and Modeling of Medical Activities)

We are looking for motivated and talented students with knowledge in computer vision and/or machine learning who can contribute to the development of our computer vision system for the operating room.

Please feel free to contact Nicolas Padoy if you are interested to do your master's thesis or an internship with us (funding of ~500Euros/month will be provided during 4 to 6 months). The successful candidates will be part of a dynamic and international research group hosted within the IRCAD institute at the University Hospital of Strasbourg. They will thereby have direct contact with clinicians, industrial partners and also have access to an exceptional research environment. The CAMMA project is supported by the laboratory of excellence CAMI, the IdEx Unistra and the MixSurg Institute.

Topics:

  • Deep Learning for Activity Recognition in Large Video Databases
  • Multi-view Human Body Tracking for the Operating Room using RGBD Cameras

More information about CAMMA

Links:


PiSaRo : du laboratoire aux grands espaces

Contexte

Ce stage s'inscrit dans le cadre du projet ANR DexterWide (https://www.lirmm.fr/dexterwide) qui entre dans sa dernière phase (date de fin : Juin 2019). La plupart des concepts théoriques ont été validés en laboratoire. Or, le robot parallèle à câbles est par nature tourné vers l'extérieur. En effet, à ce jour, c'est la seule architecture robotique permettant de couvrir de vastes espaces de travail tels qu'un stade (https://www.spidercam.tv).

Travail

Ce stage s'inscrit dans la suite de ceux de Jérémy Begey (https://youtu.be/gy_SDfLPbF0) et de Hugo Sellet (https://youtu.be/VochlxFeyqk). Il vise à combiner les techniques de stabilisation active utilisant les poulies, avec un système de génération de forces embarqué tel que des jets d'air comprimé (d'autres moyens similaires pourront être utilisés, prendre contact pour plus de précisions). Ces deux moyens avaient jusqu'à présent été utilisés de manière isolée. Un des objectifs de ce stage sera de les combiner grâce à une loi de commande innovante (commande prédictive) utilisant un feedback visuel rapide (camera 500Hz ou caméra événementielle). L'autre objectif est de modifier la conception du robot (taille de l'espace de travail, autonomie, vitesse maximale) de manière à pouvoir aller à l'extérieur et ainsi démontrer la faisabilité du concept sur de grands espaces de travail. Ci-dessous, les différentes versions du robot PiSaRo dans un ordre chronologique :

Profil recherché

Ce stage nécessite de bonnes compétences en mécanique (conception, modélisation dynamique) ainsi qu'en mécatronique (interfaçage avec des actionneurs, des capteurs). Des connaissances moyennes en automatique sont nécessaires pour comprendre la loi de commande fournie par une doctorante travaillant sur le sujet. Des connaissances basiques en programmation seront éventuellement un plus, néanmoins la plupart des tests seront effectués avec Simulink coder et une boite à outils (https://github.com/jacqu/rpit), développée spécifiquement au laboratoire pour ce type de projet, qui ne nécessite pas de connaissances en programmation.

Contact

jacques.gangloff@unistra.fr

03 67 10 61 79


Computer vision for medical robotics

  • Title: Detection of instruments motion in flexible endoscopy using computer vision
  • Training period: 5-6 monthes, between January and August 2019
  • Supervisor: F. Nageotte (nageotte_at_unistra.fr) and B. Rosa
  • Keywords: motion detection, features tracking, surgical endoscopy
  • Context:


In the STRAS project, we are developing robotic tools for assisting surgeons during complex endoscopy procedures in the digestive tract (see wep page). To improve the control of such instruments, one of the problems to be solved is the compensation of backlash due to imperfections of motion transmission along the instruments shaft. For this purpose, we propose to use the images of the instruments (see figure) provided by the endoscopic camera in order to detect instruments motions.


The challenges for reaching this goal are that

    • tissues in the background are moving due to physiological motion (e.g., breathing),
    • direct lighting from the embedded light source creates many specularities and
    • the visual appearance of the instruments is not always known beforehand

Picture instruments.jpg


  • Work of the intern:

The objective of the internship will be to develop computer vision methods to detect when the instruments are moving. These methods will be coupled with robotic motions to update the backlash mode in real-time.

The work will therefore consist in: Developing and implementing algorithms to detect or track flexible instruments in colonoscopy sequences Proposing methods to detect the presence / absence of motions of these instruments Adapting and improving the algorithms to be robust to the environment motions The use of machine learning techniques is a possibility which may be explored.

The algorithms will be tested on a laboratory setup including the STRAS robot as well as on colonoscopy videos acquired in vivo. The work will be carried out on the robotic platform of the AVR team of the ICube laboratory, located at the hospital in the center of Strasbourg.

  • Profile of candidates : Master student (or student from engineering school) with major in computer vision or real-time image processing or robotics. Interest for / knowledge in medical robotics application can be a plus but is not a requirement. Proficiency in C/C++ or Python are required. Knowledge of OpenCV will be appreciated.
  • To apply: send a CV, cover letter, available grades at master level and programs of master courses to Florent Nageotte : Nageotte@unistra.fr