Not logged in.

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Intraoperative Surgical Tool Pose Estimation Based on Fluoroscopic Landmark Detection
Organization Unit
Authors
  • Qiaowen Wang
Supervisors
  • Manuel Günther
  • Philipp Fürnstahl
  • Hooman Esfandiari
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2022
Abstract Text Optical surgical instrument tracking systems have been invented and polished for decades, yet due to a variety of reasons, their popularity is still not reaching a satisfactory state. Among all the obstacles, the high monetary expense of introducing such systems to the operating rooms is considered a significant impediment. However, one type of equipment that is indispensable for arming an operating room is the intraoperative imaging system. Therefore, the idea of providing intraoperative navigation based on intraoperative fluoroscopy has been developed and named X23D. This study aims to explore the potential method to support the realization of X23D, especially the feasibility of integrating an advanced neural network into the pipeline. Learning from existing navigation systems, a prototype of a reference frame for locating instruments in fluoroscopic images is sketched. We focus on the potentiality of locating the reference frame using a single fluoroscopic image and 6 landmarks. We performed error stimulation to build our preliminary expectation of the neural network's performance. We defined criteria that can be used to filter the pose of the reference frame in 2D images, which can separate poses into challenging and unchallenging poses. Based on the criteria, we generated the data needed for model training, validation, and testing. The neural network structure that can fulfil the performance expectation is also designed and trained. Even though the accuracy of the proposed approach still craves improvement before it can be deployed into practice, the value of this project as a stepping stone is not to be neglected.
Zusammenfassung Optische Systeme zur Verfolgung von chirurgischen Instrumenten werden seit Jahrzehnten erfunden und ausgefeilt, doch aus einer Vielzahl von Gründen hat ihre Popularität noch immer keinen zufriedenstellenden Stand erreicht. Unter all den Hindernissen wird der hohe finanzielle Aufwand für die Einführung solcher Systeme in den Operationssälen als ein wesentliches Hindernis angesehen. Eine Ausrüstung, die für die Ausstattung eines Operationssaals unverzichtbar ist, ist jedoch das intraoperative Bildgebungssystem. Daher wurde die Idee einer intraoperativen Navigation auf der Grundlage der intraoperativen Fluoroskopie entwickelt und X23D genannt. Diese Studie zielt darauf ab, die potenzielle Methode zur Unterstützung der Realisierung von X23D zu erforschen, insbesondere die Machbarkeit der Integration eines fortschrittlichen neuronalen Netzwerks in die Pipeline. In Anlehnung an bestehende Navigationssysteme wird ein Prototyp eines Referenzrahmens zur Lokalisierung von Instrumenten in Durchleuchtungsbildern entworfen. Wir konzentrieren uns auf die Möglichkeit, den Referenzrahmen mit Hilfe eines einzigen Durchleuchtungsbildes und 6 Landmarken zu lokalisieren. Wir haben eine Fehlerstimulation durchgeführt, um unsere vorläufige Erwartung an die Leistung des neuronalen Netzes zu ermitteln. Wir haben Kriterien definiert, die zur Filterung der Position des Referenzrahmens in 2D-Bildern verwendet werden können, um die Posen in schwierige und nicht schwierige Posen zu unterteilen. Auf der Grundlage dieser Kriterien haben wir die für das Training, die Validierung und den Test des Modells erforderlichen Daten generiert. Die Struktur des neuronalen Netzes, die die Leistungserwartungen erfüllen kann, wurde ebenfalls entworfen und trainiert. Auch wenn die Genauigkeit des vorgeschlagenen Ansatzes noch verbessert werden muss, bevor er in der Praxis eingesetzt werden kann, ist der Wert dieses Projekts als Sprungbrett nicht zu vernachlässigen.
PDF File Download
Export BibTeX