Concevoir l'intelligence opératoire - Parcours, recherche et projets en robotique chirurgicale
UN PARCOURS ENTRE INGÉNIERIE, IA ET MÉDECINE
Je m’appelle Leonardo Borgioli et je suis doctorant en Electrical and Computer Engineering à l’University of Illinois Chicago. Mon travail s’inscrit dans un laboratoire où l’ingénierie rencontre directement la pratique médicale : la chirurgie robotassistée, ses contraintes techniques, ses données complexes et son besoin très concret d’outils fiables. Depuis le début de mon doctorat, j’essaie de construire un fil conducteur clair : utiliser l’intelligence artificielle non pas comme un simple outil de classification, mais comme une infrastructure de compréhension de la scène chirurgicale.
Cette orientation vient d’une conviction simple. La chirurgie robotique produit une quantité considérable de vidéos, de trajectoires, de gestes, d’événements et de connaissances tacites. Pourtant, une grande partie de cette information reste sous-exploitée. Les vidéos sont souvent archivées, parfois annotées, rarement transformées en systèmes capables d’aider la formation, l’analyse de performance ou la prise de décision scientifique. Mon projet consiste donc à transformer ces flux visuels en représentations exploitables, interprétables et connectées à la connaissance médicale.
Dans ce contexte, mon profil est volontairement hybride. Je travaille sur des modèles de vision, mais je dois comprendre les contraintes du geste chirurgical. Je développe des pipelines d’apprentissage profond, mais je dois les rendre exécutables sur des infrastructures réelles. Je m’intéresse aux grands modèles de langage et aux agents, mais je les considère avec prudence : dans un domaine clinique, une réponse séduisante mais non vérifiable est un risque, pas une solution. Cette tension entre ambition technologique et exigence de validation est au centre de mon travail.
COMPRENDRE LA VIDÉO CHIRURGICALE ROBOTIQUE
Une première partie de mes projets porte sur la représentation de la vidéo endoscopique. Les modèles modernes de vision ont obtenu des résultats impressionnants sur des images naturelles, mais la chirurgie robotique pose des problèmes très différents. La caméra bouge dans un espace contraint, les instruments occluent régulièrement les tissus, les couleurs et textures varient fortement selon la procédure, et l’action importante peut être locale, subtile ou temporellement longue. Il ne suffit donc pas d’appliquer un modèle généraliste et d’espérer qu’il comprenne automatiquement le contexte opératoire.
J’ai travaillé sur des expériences comparant les données laparoscopiques et robotiques, notamment autour de la reconnaissance de phases chirurgicales. Ces travaux Wdomaine entre laparoscopie et robotique n’est pas un simple problème cosmétique. Il ne s’agit pas seulement de contraste, de résolution ou de couleur. La géométrie de la scène, l’incarnation des instruments, la dynamique de la caméra et la structure même des procédures modifient profondément modèles performants dans leur domaine d’entraînement se dégradaient fortement lorsqu’ils étaient évalués sur l’autre domaine. Ce constat a renforcé l’idée qu’il faut des corpus et des représentations spécifiquement pensés pour la chirurgie robotique.
C’est dans cette logique que nous avons créé un corpus vidéo robotique à grande échelle destiné à l’apprentissage autosupervisé. L’objectif est d’exploiter des centaines puis des milliers d’heures de vidéo opératoire pour apprendre des représentations sans dépendre exclusivement d’annotations coûteuses. L’annotation chirurgicale est précieuse, mais elle est lente, experte et difficile à généraliser. L’apprentissage autosupervisé permet au modèle d’apprendre d’abord la structure visuelle et temporelle du monde opératoire, puis d’être adapté à des tâches spécifiques : reconnaissance de phase, détection d’outils, compréhension de gestes, repérage d’événements ou assistance à la formation.
DES MODÈLES DE FONDATION POUR LE BLOC OPÉRATOIRE
Mon travail sur les modèles de fondation s’appuie notamment sur des architectures de type EndoViT, V-JEPA et variantes vidéo. L’enjeu est de construire des représentations qui ne se contentent pas d’identifier une image isolée, mais qui capturent la progression d’une intervention. Une intervention chirurgicale n’est pas une succession de photos indépendantes : c’est un processus, avec des états, des transitions, des intentions et des contraintes anatomiques.
Dans mes expériences, j’étudie plusieurs questions. À quelle profondeur faut-il réadapter un modèle pré-entraîné pour qu’il devienne utile en robotique chirurgicale ? Quelle part de données laparoscopiques peut aider un modèle robotique, et à partir de quel moment cette injection dilue-t-elle le signal spécifique au robot ? Comment gérer les classes rares, par exemple les phases brèves ou les événements moins fréquents mais cliniquement importants ? Ces questions peuvent sembler techniques, mais elles déterminent directement la robustesse d’un système. Un modèle qui réussit uniquement sur les classes dominantes n’est pas un bon assistant ; il devient aveugle précisément là où l’aide automatique pourrait être la plus utile. Une partie importante de mes résultats concerne donc l’équilibre entre généralisation et spécialisation. Les grands modèles pré-entraînés apportent une base puissante, mais la chirurgie robotique exige une adaptation fine. J’ai observé que le dégel progressif ou complet du backbone peut changer fortement les performances, ce qui suggère que les représentations génériques ne suffisent pas toujours. En parallèle, l’injection modérée de données laparoscopiques peut aider certaines classes sous-représentées, mais une injection excessive risque de déplacer le modèle vers une distribution qui n’est plus celle de la robotique. Cette idée est centrale dans ma façon de concevoir les expériences : il ne faut pas chercher seulement le meilleur score global, mais comprendre quel signal le modèle apprend et quelles erreurs il produit.
RELIER PERCEPTION ET CONNAISSANCE CHIRURGICALE
Mon deuxième axe majeur concerne les systèmes de recherche augmentée pour la chirurgie. L’idée est de dépasser le modèle qui répond à une question médicale en s’appuyant uniquement sur sa mémoire paramétrique. En chirurgie, la connaissance est structurée : manuels, chapitres, sections, recommandations, descriptions anatomiques, variantes techniques et raisonnements opératoires. Un système utile doit retrouver les sources pertinentes, expliquer son cheminement et permettre à un expert de vérifier la réponse.
Une partie de ce travail part de cette intuition : la connaissance médicale n’est pas une liste plate de fragments. Elle possède une hiérarchie. Un chapitre donne le contexte, une section précise le concept, un paragraphe contient le détail technique.
En exploitant cette structure, le système peut naviguer de façon plus proche de la manière dont un chirurgien ou un étudiant consulte une ressource. Plutôt que de récupérer uniquement les morceaux textuels les plus similaires à une question, l’agent peut explorer l’arbre documentaire, remonter au contexte ou descendre vers un détail opératoire.
Cette logique est aussi appliquée à la chirurgie robot-assistée avec une exigence d’évaluation. Le but n’est pas seulement de produire des réponses plausibles, mais de construire un benchmark où des experts chirurgicaux peuvent juger la pertinence, la complétude et la sécurité des réponses. Cette dimension est essentielle. Les grands modèles de langage ont tendance à formuler des réponses fluides même lorsque l’information manque. Pour un usage scientifique ou clinique le système doit au contraire apprendre à citer, à se limiter, à exprimer l’incertitude et à refuser une réponse lorsqu’elle n’est pas suffisamment appuyée par les sources.
À terme, je vois ces systèmes comme une couche de raisonnement complémentaire aux modèles de perception.
Un modèle vidéo peut détecter une phase, un outil ou une configuration anatomique ; un système de recherche augmentée peut relier cette observation à des connaissances opératoires, à des protocoles, à des risques ou à des explications pédagogiques. L’enjeu est de passer d’une IA qui regarde à une IA qui contextualise.
CALCUL HAUTE PERFORMANCE ET PASSAGE À L’ÉCHELLE
Ces projets ne peuvent pas être menés sérieusement sans une infrastructure solide. La vidéo chirurgicale est volumineuse, le pré-entraînement est coûteux, et les expériences nécessitent de nombreuses itérations. C’est pourquoi une partie très concrète de mon travail concerne le calcul haute performance, notamment à travers mes collaborations et expérimentations avec l’Argonne National Laboratory et les ressources de l’ALCF.
Travailler sur des systèmes comme Sophia, Polaris ou des machines locales de type DGX m’a appris qu’une idée de recherche n’existe vraiment que lorsqu’elle peut être exécutée.
Un pré-entraînement qui prend plusieurs jours ou plusieurs semaines impose une discipline expérimentale : bien définir les ablations, journaliser les configurations, contrôler les versions de données et éviter les expériences redondantes.
Cette dimension infrastructurelle influence aussi ma vision scientifique. À grande échelle, l’IA médicale ne peut pas dépendre de scripts fragiles ou de manipulations manuelles.
Il faut des pipelines capables d’ingérer des vidéos, de les découper, de les indexer, d’entraîner des modèles, d’évaluer les résultats et de produire des artefacts vérifiables. L’ingénieur qui travaille sur l’IA clinique doit donc être à la fois chercheur, architecte logiciel et opérateur de calcul.
VERS DES ASSISTANTS CHIRURGICAUX FIABLES
Le fil rouge de mes projets est la fiabilité. Je ne cherche pas à construire une IA qui remplace le chirurgien, mais des systèmes qui augmentent la capacité d’observation, d’apprentissage et d’analyse. Pour la formation, cela peut signifier retrouver automatiquement des moments pédagogiques dans une vidéo.
Pour la recherche, cela peut signifier comparer des procédures à grande échelle et identifier des variations de technique.
Pour l’évaluation, cela peut signifier fournir des métriques plus fines que les scores globaux habituels. Pour l’assistance cognitive, cela peut signifier relier une observation visuelle à une connaissance vérifiée. Cette ambition demande de rester prudent. Les modèles doivent être évalués sur des distributions réalistes, pas seulement sur des jeux de données propres. Les performances doivent être analysées par classe, par procédure, par domaine et par scénario d’échec. Les systèmes de langage doivent fournir leurs sources et accepter l’incertitude. Les agents doivent être contraints : accès aux outils limité, traces de raisonnement auditables, validation humaine lorsque l’impact est important. Dans un domaine comme la chirurgie, la sécurité ne peut pas être ajoutée à la fin ; elle doit guider l’architecture dès le départ.
Mon objectif doctoral est donc de contribuer à une IA chirurgicale qui soit à la fois moderne et responsable. Moderne, parce qu’elle s’appuie sur les modèles de fondation, l’apprentissage autosupervisé, la vidéo à grande échelle, la recherche augmentée hiérarchique et le calcul haute performance. Responsable, parce qu’elle respecte les contraintes du domaine médical : validation experte, traçabilité, robustesse, incertitude et supervision humaine.
UN PROJET SCIENTIFIQUE AUSSI COLLECTIF
Derrière ces axes techniques, il y a également une dimension collective. Mes projets avancent parce qu’ils se situent dans un écosystème où se croisent ingénieurs, chirurgiens, chercheurs en apprentissage automatique, spécialistes du calcul et étudiants. Cette pluralité impose un effort de traduction permanent. Un résultat qui semble évident pour un chercheur en vision peut être insuffisant pour un chirurgien ; une contrainte clinique peut sembler secondaire dans un benchmark alors qu’elle devient décisive dans un bloc opératoire. J’essaie donc de concevoir mes travaux comme des objets de dialogue, pas seulement comme des pipelines.
C’est aussi pour cette raison que je m’intéresse à la communication scientifique. Présenter un modèle, ce n’est pas uniquement montrer une architecture ou une courbe de performance ; c’est expliquer pourquoi la question posée mérite d’être étudiée, quelles hypothèses ont été faites, quelles limites restent ouvertes et ce qu’un utilisateur expert peut réellement attendre du système. Dans mes présentations, je cherche à rendre visible cette chaîne complète : les données, les choix méthodologiques, les échecs, les compromis et les perspectives. C’est particulièrement important dans un domaine où l’enthousiasme pour l’IA peut parfois masquer la difficulté du passage au réel.
Mes prochains objectifs s’organisent autour de trois directions. La première est de consolider les modèles vidéo pour mieux exploiter la temporalité opératoire, notamment par des représentations capables de suivre des gestes et des transitions longues. La deuxième est de renforcer l’évaluation : jeux de données mieux documentés, splits plus rigoureux, analyses par classe, mesures de calibration et tests de généralisation entre domaines. La troisième est d’unifier davantage perception et raisonnement, afin qu’un système puisse passer d’une observation visuelle à une réponse documentée, avec des sources et une incertitude explicite.
À plus long terme, je souhaite que ces travaux contribuent à une plateforme de recherche capable de servir plusieurs usages : pré-entraînement sur grands corpus chirurgicaux, évaluation standardisée de modèles, interrogation de connaissances opératoires et génération de retours pédagogiques. Une telle plateforme ne serait pas un produit clinique immédiat, mais un socle scientifique. Elle permettrait de comparer les approches, de réduire la fragmentation des expériences et de donner aux équipes médicales des outils plus transparents pour comprendre ce que l’IA sait faire, ce qu’elle ne sait pas faire et ce qu’il reste à valider.
CONCLUSION : CONSTRUIRE UN PONT
Si je devais résumer mon parcours en une phrase, je dirais que j’essaie de construire un pont entre la vidéo opératoire brute et la connaissance chirurgicale utilisable. D’un côté, il y a les données : massives, complexes, souvent silencieuses.
De l’autre, il y a les besoins humains : former, comprendre, comparer, expliquer, décider. Entre les deux, il faut des modèles capables de percevoir, des systèmes capables de retrouver la bonne information et une méthodologie capable de prouver que l’ensemble fonctionne.
Ce travail est encore en construction, mais c’est précisément ce qui le rend stimulant. Chaque projet ouvre une question nouvelle : comment apprendre sans annotations exhaustives ?
Comment transférer entre domaines chirurgicaux sans perdre la spécificité robotique ? Comment évaluer une réponse médicale générée ? Comment rendre un agent utile sans le rendre dangereux ? Comment faire passer une idée de laboratoire vers un système robuste ? Ces questions définissent ma trajectoire actuelle et la direction que je souhaite poursuivre : une recherche en intelligence artificielle profondément ancrée dans l’ingénierie, mais orientée vers un impact clinique réel.
 | Leonardo BORGIOLI (ECN 2022) Leonardo a obtenu un double diplôme de master en robotique avancée à l’Université de Gênes, en Italie, et à l’École Centrale de Nantes, en France. |
Article paru dans l'Hippocampe n°130 de Juin 2026
Pour recevoir la version papier de la revue, il suffit de s'abonner et de vérifier sur votre profil si vos coordonnées postales sont bien renseignées.
Image gallery4
Comments0
Please log in to see or add a comment
Suggested Articles
