Augmented Reality in der Chirurgie

Die Arbeit von Staffan Ronnas in der Münchner Firma Brainlab
befasst sich mit der Anwendung von Augmented Reality (AR) in der
Chirurgie - vor allem in der Neurochirurgie. Ziel ist es,
virtuelle, präoperativen Daten mit der "Realität" in Form von
live Video auf dem chirurgischen Mikroskop so zu verblenden, dass
der Chirurg vor und während der OP einen Nutzen davon hat.


Staffan stammt aus Schweden und hat in Karlsruhe in Mathematik in
der Arbeitsgruppe promoviert in der auch Gudrun Thäter und
Sebastian Ritterbusch tätig waren. Nach seiner Verteidigung 2012
hat er einige Zeit als Postdoc in Karlsruhe und Heidelberg
gearbeitet, bevor er zur Firma COMSOL in Stockholm ging. Seit
September 2015 wohnt er in München und bringt seine Fähigkeiten
als Softwareingenieur bei Brainlab ein.


Welche Rolle spielt denn AR zur Zeit in der Chirurgie? Digitale
Daten sind schon weit verbreitet in der Medizintechnik und
insbesondere in der Chirurgie. Dabei handelt es sich z.B. um CT-
oder MR-Bilder, aus denen man virtuelle Objekte durch
Segmentierung gewinnen kann. Diese Daten können vor oder während
der Behandlung (prä-/intraoperativ) entstehen und werden zur
Planung der OP oder zur Navigation während des Eingriffs
verwendet. Zum größten Teil werden sie klassisch auf Bildschirmen
dargestellt und zur Interaktion dienen eine Maus oder ein
Touchscreen oder auch Instrumente, die über Infrarotkameras
getracked werden.


Speziell in der Neurochirurgie kommen große Mikroskope zum
Einsatz, die auch Video aufnehmen können. Das Ziel von Staffans
Arbeit ist dabei präoperative virtuelle Daten mit Videodaten zu
verblenden um eine erweiterte Darstellung zu zeigen, mit der der
Chirurg während der OP navigieren kann. Zu dieser Zweck werden
nützliche Informationen wie die aktuelle Position, das Zielobjekt
und dazwischen liegende Strukturen im Video dargestellt.


Um ein solches System umsetzen zu können, werden Methoden aus
vielen verschiedenen Bereichen der angewandten Mathematik
benötigt, wie z.B. Bildbehandlung, geometrische Modellierung, 3D
Grafik und Computer Vision. Themen wie maschinelles Lernen und
Robotik spielen auch eine zunehmend wichtige Rolle.


Eine grundlegende Fragestellung mit der sich Staffan viel
beschäftigt hat, ist die Modellierung der Optik chirurgischer
Mikroskope mit variablem Fokus und Zoom. Ein genaues Modell wird
benötigt, um die Lage und Größe der virtuellen Daten bei der
Verblendung mit dem Videobild bestimmen zu können. Als
grundlegendes Kameramodell dient das Pinholemodell, d.h. eine
perspektivische Projektion von Punkten gemessen in einem 3D
Koordinatensystem auf die planare Bildebene. Extrinsische
Parameter sind dabei die Lage und Orientierung der Kamera im Raum
(die Richtung der "optische Achse"). Die intrinsischen Parameter
sind abhängig von der Optik z.B. die Brennweite (Skalierung von
mm auf pixel-Maß) und verschiedene Arten von Verzerrung.


Die Parameter des nichtlinearen Kameramodells werden bestimmt
durch Minimierung der Reprojektionsfehler in Aufnahmen von einer
bekannten Geometrie. Typischerweise wird der Levenberg-Marquardt
Algorithmus benutzt um das Optimierungsproblem zu lösen.


Es gibt aber mehrere Schwierigkeiten:


Der Modell ist nicht konvex wodurch lokale Minima möglich
sind;

Die Berechnung der Parameter wird vom Messfehler beeinflusst;

Die begrenzte Schärfentiefe und großer Arbeitsabstand
erschweren die Messungen;



Als Lösung bietet es sich an ein einfacheres Modell zu verwenden
und dadurch zu vermeiden, dass redundante Parameter geändert
werden. Allerdings muss man darauf achten, dass das Ergebnis
immer noch ausreichend Genauigkeit bietet.

Literatur und weiterführende Informationen

Z. Yaniv, C. A. Linte: Applications of Augmented Reality in
the Operating Room (Preprint), in Fundamentals of Wearable
Computers and Augmented Reality, Second Edition, ch. 19, CRC
Press, 2015.

I. Cabrilo, P. Bijlenga, K. Schaller: Augmented reality in
the surgery of cerebral aneurysms: a technical report, Operative
Neurosurgery, 10.2: 252-261, 2014.

Z. Zhang: A Flexible New Technique for Camera Calibration,
IEEE Transactions on Pattern Analysis and Machine Intelligence,
vol. 22, pp. 1330–1334, 2000.

Übersicht Brainlab Mikroskopintegration


Podcasts

Y. Liang: Bewegte Computertomographie, Gespräch mit S.
Ritterbusch im Modellansatz Podcast, Folge 6, Fakultät für
Mathematik, Karlsruher Institut für Technologie (KIT), 2013.

I. Waltschläger: Windsimulation, Gespräch mit S. Ritterbusch
im Modellansatz Podcast, Folge 14, Fakultät für Mathematik,
Karlsruher Institut für Technologie (KIT), 2014.

D. Breitenbach, U. Gebhardt, S. Gaedtke: Raketen,
CT-MRT-PET-etc, Widerstände, Proton Podcast, Folge 17, 2017.

F. Rau: Augmented Reality Gaming, Gespräch mit T. Nowak im
Kulturkapital Podcast, Folge 28, 2017.