Das BMBF geförderte Projekt COMPASS erarbeitet neue Assistenzfunktionen für die minimalinvasive Chirurgie. Dabei sollen 3D Videodaten zu Tiefenbildkarten umgewandelt werden und diese Information räumlich verortet werden. Dazu muss eine echtzeitfähige 3D Videoverarbeitungskette und eine echtzeitfähige Lokalisierung im Raum gewährleistet sein. Im Rahmen des Projektes wird außerdem eine Umgebungswahrnehmung, wie das semantische Erkennen und Klassifizieren von Instrumenten im Bauchraum mittels maschinellem Lernen, entstehen. Am Projekt sind 4 Unternehmen, 4 Forschungsinstitute und 2 Universitätsklinika beteiligt.

Von Seite des MITIs wurde ein SLAM Algorithmus entwickelt, welcher die Beweungseinschränkungen im Bauchraum und IMU Sensordaten miteinbezieht, um so gänzlich ohne optischem Tracking die Kamera zu lokalisieren. Im unten stehenden Video wird eine Kamerabewegung durch getrackte und stereogematchte 2D Punkte im Videobild lokalisiert. Das iterativ gelöste Optimierungsproblem bezieht die Bewegungseinschränkungen der Kamera, sowie die IMU Messdaten mit ein.

Die grünen Linien stellen das Laparoskop dar, welches durch optisches Tracking lokalisiert wurde. Die roten Linien visualisieren das Kamera- und IMU-basierte Tracking. DIe hellblauen Linien zeigen rein IMU-basierte Lokalisierung, also eine einfache Integration der Gyroskopdaten des IMU Sensors mit zusätzlichem Ausnutzen der Bewegungseinschränkung durch den Trokar.

Presentation for the IEEE International Conference on Robotics and Automation (ICRA) 2022

• R. Hartwig, D. Ostler, J.-C. Rosenthal, H. Feussner, D. Wilhelm, and D. Wollherr, (2022): Constrained Visual-Inertial Localization With Application And Benchmark in Laparoscopic Surgery. IEEE International Conference on Robotics and Automation (ICRA) 2022. ArXiv preprint available: pdf
• R. Hartwig, D. Ostler, J.-C. Rosenthal, H. Feussner, D. Wilhelm, and D. Wollherr, “MITI: SLAM benchmark for laparoscopic surgery,” TUM, 2021. [Online]. Available: https://mediatum.ub.tum.de/1621941, pdf