Künstliche Intelligenz kann die Notwendigkeit chirugischer Instrumente bei einer Operation vorhersehen. Eine Methode, die aus einem spezischen Anforderungsprofil und durch Videos von realen Eingriffen ein neuronales Netz spinnt, haben Forschende vom Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC) und vom Zentrum für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) der TU Dresden entwickelt.
Computerbasierte Assistenzsysteme können die Arbeitsabläufe im Operationssaal künftig einfacher und sicherer machen. Sie seien aber nur möglich, wenn der Computer wichtige Ereignisse im OP antizipieren und zur richtigen Zeit die richtigen Informationen bereitstellen kann, erklärt Prof. Stefanie Speidel, Leiterin der Abteilung Translationale Chirurgische Onkologie am Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC).
Ein System, das die Nutzung bestimmter chirurgischer Instrumente vorhersehen kann, ist eine wichtige Voraussetzung für den Einsatz autonomer Robotersysteme, die einfache Teilaufgaben im OP wie das Absaugen von Blut übernehmen könnten. Zudem könnte es früh vor Komplikationen warnen, wenn diese mit dem Einsatz eines bestimmten Instruments verknüpft sind oder die Effizienz bei der Vorbereitung von Instrumenten erhöhen. Man wolle Chirurgen aber keinesfalls durch einen Roboter oder andere Assistenzen ersetzen, die intelligenten Systeme sollen lediglich eine helfende Hand sein und den Arzt und das gesamte OP-Team entlasten, wenn es nach Prof. Jürgen Weitz, geschäftsführender Direktor am NCT/UCC und Direktor der Klinik für Viszeral-, Thorax- und Gefäßchirurgie des Universitätsklinikums Dresden, geht.
Ein künstliches neuronales Netz ahmt als Teilgebiet der Künstlichen Intelligenz die Fähigkeit des Menschen nach. Der intelligente Algorithmus analysiert anhand einer mathematisch formulierten Aufgabenstellung kontinuierlich Video-Bilder einer Operation und kann so die Nutzung bestimmter Instrumente wenige Minuten vor deren Einsatz anzeigen. Wenn das jeweilige Instrument nicht genutzt wird, soll das neuronale Netz nicht reagieren. Anschließend trainierten die WissenschaftlerInnen am NCT/UCC und am CeTI das neuronale Netz mit 60 Videos von Gallenblasenentfernungen, die standardmäßig über ein optisches Instrument (Laparoskop) im Bauchraum aufgenommen wurden. In diesen Videos war das Auftreten von fünf verschiedenen Instrumenten markiert.
An 20 weiteren Videos musste das Neuronale Netz dann sein Wissen ohne entsprechende Markierungen unter Beweis stellen. Das System hatte wichtige Lernfortschritte erzielt und konnte die Instrumentennutzung vielfach korrekt vorhersagen. Auch im Vergleich mit anderen Herangehensweisen zeigte die Methode vielversprechende Resultate. Der gewählte Ansatz ist im Vergleich zu anderen Herangehensweisen deutlich anwendungstauglicher und ermöglicht zugleich die Lösung komplexer Aufgaben.
So setzen bereits bestehende Forschungsansätze zur Vorhersage von Ereignissen aus Video-Daten vielfach auf engmaschige manuelle Markierungen in den Trainings-Daten. Ein Aufwand, der bei langen Operations-Videos in der Praxis nicht leistbar wäre. Andere Methoden nehmen den Zeitpunkt des Ereignisses als gegeben an. Das Netz hat dann lediglich die Aufgabe, zwischen verschiedenen möglichen Ereignissen zu entscheiden.
Das künstliche neuronale Netz mit spezifischen Anpassungen und einer geeignet formulierten mathematischen Aufgabenstellung habe mit geringem Markierungs-Aufwand sinnvolle Aussagen über die Art des zu wählenden Instruments und den zeitlichen Horizont der Anwendung treffen können, sagt Erstautor Dominik Rivoir von der Abteilung Translationale Chirurgische Onkologie am NCT/UCC.
In vielen Bereichen des Lebens zählen Leistungen künstlicher neuronaler Netze heute schon selbstverständlich zu unserem Alltag, etwa bei Produktempfehlungen auf Online-Verkaufsplattformen oder automatischer Bilderkennung auf Social Media. Die Netze können Informationen aus Bilddaten extrahieren. Durch das Training mit großen Bild- oder Videomengen lernen sie, Muster in Bildern zu erkennen, um eine vorgegebene Aufgabe zu lösen. Die Entscheidungsfindung innerhalb des mathematischen Systems ist hierbei jedoch häufig so komplex, dass sie sich vom Menschen kaum noch nachvollziehen lässt. Gerade bei medizinischen Anwendungen sollen die Entscheidungen des Computers aber möglichst transparent sein, um mögliche Fehler und potentielle Auslöser für die Entscheidungsfindung nachvollziehen zu können.
Für diese Methode wurde ein Bayessches Netz gewählt, bei dem jede Teilentscheidung misst, mit welchem Grad an Unsicherheit das Netz die jeweilige Aussage trifft. So können Bildmerkmale identifiziert werden, die ein Netz mit so hoher Sicherheit erkennen kann, dass es als Ausgangspunkt für eine Assistenzfunktion genutzt werden kann. In der neuen Studie interpretierte das neuronale Netz das Auftauchen eines Clips zum Abklemmen eines Blutgefäßes mit hoher Sicherheit als Merkmal, um den kurz darauf erfolgenden Einsatz einer Schere vorherzusagen.
Nun wollen die WissenschaftlerInnen die Methode verfeinern und das neuronale Netz mit weiteren Datensätzen füttern. Ein Fokus liegt auf Operations-Videos, in denen vermehrt stärkere Blutungen zu sehen sind. Anhand der Bilddaten soll das Netz noch besser lernen, wann diese mittels eines speziellen Instruments abgesaugt werden müssen. So könnte der Einsatz eines robotergeführten Sauginstruments zeitlich gesteuert oder Komplikationen vorhergesagt werden.
Quelle:
Dominik Rivoir, Sebastian Bodenstedt, Isabel Funke, Felix von Bechtolsheim, Marius Distler, Jürgen Weitz, and Stefanie Speidel: Rethinking Anticipation Tasks: Uncertainty-aware Anticipation of Sparse Surgical Instrument Usage for Context-aware Assistance. In: Martel A.L. et al. (eds) Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. MICCAI 2020. Lecture Notes in Computer Science, vol 12263. Springer, Cham. DOI: https://doi.org/10.1007/978-3-030-59716-0_72