DE102020130805A1 - Kontext-abhängige Steuerung eines Operationsmikroskops - Google Patents

Kontext-abhängige Steuerung eines Operationsmikroskops Download PDF

Info

Publication number
DE102020130805A1
DE102020130805A1 DE102020130805.1A DE102020130805A DE102020130805A1 DE 102020130805 A1 DE102020130805 A1 DE 102020130805A1 DE 102020130805 A DE102020130805 A DE 102020130805A DE 102020130805 A1 DE102020130805 A1 DE 102020130805A1
Authority
DE
Germany
Prior art keywords
surgical microscope
setting
control algorithm
status indicators
prioritization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020130805.1A
Other languages
English (en)
Inventor
Markus PHILIPP
Stefan Saur
Christian Albrecht
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Priority to DE102020130805.1A priority Critical patent/DE102020130805A1/de
Priority to US17/455,274 priority patent/US20220163780A1/en
Publication of DE102020130805A1 publication Critical patent/DE102020130805A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Es wird eine Parametrierung eines Steuerungsalgorithmus eines Operationsmikroskops basierend auf ein oder mehrerer Kontextparameter einer Operation durchgeführt. Basierend auf der Parametrierung wird dann der Steuerungsalgorithmus auf ein oder mehrere Zustandsindikatoren, die mit einer ersten Einstellung des Operationsmikroskops assoziiert sind, angewendet, um derart eine zweite Einstellung des Operationsmikroskop zu erhalten. Die Parametrierung kann z.B. ein oder mehrere Priorisierungsoperationen umfassen.

Description

  • TECHNISCHES GEBIET
  • Verschiedene Beispiele betreffen die Bestimmung von Einstellungen für ein Operationsmikroskop. Verschiedene Beispiele betreffen insbesondere die Berücksichtigung von Kontextparametern der Operation bei der Bestimmung von Einstellungen.
  • HINTERGRUND
  • Im Stand der Technik sind Operationsmikroskope bekannt, die einem Benutzer, in der Regel dem Operateur (Chirurg), verschiedenste Informationen im Okular darbieten. Die DE 10203215 A1 beschreibt beispielsweise ein Operationsmikroskop, das eine Kamera hat, welche ein elektronisches Bildsignal erzeugt. Das Bildsignal wird auf einem elektronischen Okular angezeigt, das eine entsprechende Anzeigevorrichtung für die elektronischen Bilddaten hat. Dort können auch weitere Informationen ausgegeben werden. Ein Operationsmikroskop ist auch bekannt aus DE 10 2014 113 935 A1 .
  • Typische Operationsmikroskope (OP-Mikroskope) weisen eine Vielzahl von möglichen Einstellungen auf. Oftmals kann es während der Operation aufwendig sein, eine gute Einstellung auszuwählen.
  • Bekannt ist unter anderem die EP3593704 , welche ein assistierendes Endoskop zeigt, das basierend auf Bildverarbeitung und einer Datenbank vorheriger Operationen Aktionen ableitet. Dabei kommt eine händisch erstellte Datenbank zum Einsatz. Solche Techniken weisen oftmals eine begrenzte Flexibilität auf und sind damit manchmal ungenau.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Deshalb besteht Bedarf für Techniken, um eine Einstellung für ein OP-Mikroskop zu bestimmen.
  • Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
  • In den verschiedenen Beispielen wird eine Einstellung für ein OP-Mikroskop automatisch bestimmt. Dabei kann ein Zielkonflikt zwischen passender Einstellung einerseits und ungestörtem Arbeitsablauf während der OP gelöst werden, indem die zu erwartende optimale Einstellung selbstständig bestimmt wird und somit die kognitive Belastung reduziert wird.
  • Ferner wird in verschiedenen Beispielen beschrieben, wie ein weiterer Zielkonflikt, der durch verschiedene Anforderungen unterschiedlicher Assistenzfunktionalitäten hervorgerufen wird, bei der automatischen Bestimmung der Einstellung für das OP-Mikroskop aufgelöst werden kann.
  • Ein Verfahren zur Steuerung eines Operationsmikroskops während einer Operation eines Patienten umfasst das Bestimmen von ein oder mehreren Zustandsindikatoren. Die ein oder mehreren Zustandsindikatoren sind mit mindestens einer ersten Einstellung des Operationsmikroskops assoziiert. Das Verfahren umfasst auch das Durchführen einer Parametrierung eines Steuerungsalgorithmus des Operationsmikroskops basierend auf ein oder mehreren Kontextparametern der Operation. Außerdem umfasst das Verfahren das Anwenden des Steuerungsalgorithmus auf die ein oder mehreren Zustandsindikatoren, um derart eine zweite Einstellung des Operationsmikroskops zu bestimmen.
  • Das bedeutet also, dass ein Steuerungsalgorithmus durch die Parametrierung zunächst geeignet eingestellt werden kann und anschließend dafür verwendet wird, um die zweite Einstellung des Operationsmikroskops zu bestimmen.
  • Allgemein kann die zweite Einstellung des Operationsmikroskops verschieden von der mindestens einen ersten Einstellung sein.
  • Zum Beispiel könnte die zweite Einstellung des Operationsmikroskops durch Anpassung von ein oder mehreren der mindestens einen ersten Einstellung des Operationsmikroskops erhalten werden.
  • Die ein oder mehreren Zustandsindikatoren können beispielsweise basierend auf eine Überwachung der Operation und/oder basierend auf Mikroskopiebildern des Operationsmikroskops bestimmt.
  • Dabei können die Mikroskopiebilder mit der mindestens einen ersten Einstellung des Operationsmikroskops erfasst werden.
  • Durch die Parametrierung des Steuerungsalgorithmus ist es möglich, die zweite Einstellung so zu bestimmen, dass diese möglichst gut an einen Bedarf des Operateurs angepasst ist, das heißt eine möglichst gute Unterstützung des Operateurs bei der Operation ermöglicht.
  • Das Verfahren kann weiterhin das Auslösen einer Anwendung der zweiten Einstellung umfassen. Dazu können z.B. entsprechende Steuerdaten für das OP-Mikroskop bereitgestellt werden.
  • Der Steuerungsalgorithmus kann fortlaufend angewendet werden, das heißt es ist möglich, dass fortlaufend neue Einstellungen für das Operationsmikroskop bestimmt werden und angewendet werden können.
  • Derart kann bei fortschreitender Operation eine kontinuierliche Interaktion zwischen dem Operateur und dem Steuerungsalgorithmus erfolgen, weil der Steuerungsalgorithmus auf die durch Aktionen des Operateurs veränderten Kontextparameter neu parametriert wird. Außerdem können sich durch Aktionen des Operateurs auf die Zustandsindikatoren auswirken.
  • Es gibt unterschiedliche Varianten für das Durchführen der Parametrierung. Beispielsweise kann die Parametrierung das Durchführen mindestens einer Priorisierungsoperation umfassen. Die Priorisierungsoperation kann bestimmte Vorgänge innerhalb des Steuerungsalgorithmus gegenüber anderen Vorgängen priorisieren. Die Priorisierungsoperation kann bestimmte Variablen innerhalb des Steuerungsalgorithmus gegenüber anderen Variablen priorisieren.
  • Zum Beispiel wäre es möglich, eine Priorisierung innerhalb von Kandidaten-Zustandsindikatoren durchzuführen. Diese Kandidaten-Zustandsindikatoren können unter Verwendung unterschiedlicher Metriken basierend auf den Mikroskopiebildern des Operationsmikroskops bestimmt sein. Dies bedeutet also, dass unterschiedliche Eigenschaften oder Merkmale der Mikroskopiebilder berücksichtigt werden können, um die verschiedenen Kandidaten-Zustandsindikatoren zu bestimmen. Beispielsweise könnten unterschiedliche Gütemerkmale berücksichtigt werden. Ein semantischer Inhalt der Mikroskopiebilder könnte unterschiedlich bewertet werden, je nach Metrik. Zum Beispiel könnten die unterschiedlichen Metriken mit unterschiedlichen Assistenzfunktionalitäten für den Operateur assoziiert sein.
  • Durch die Priorisierung innerhalb der Kandidaten-Zustandsindikatoren kann erreicht werden, dass beispielsweise je nach Kontext der Operation, unterschiedliche Eigenschaften der Mikroskopiebilder unterschiedlich stark berücksichtigt werden. Dies beruht auf der Erkenntnis, dass je nach Kontext der Operation und im Verlauf der der Operation unterschiedliche Eigenschaften der Mikroskopiebilder eine unterschiedliche Wichtigkeit für den Operateur haben können.
  • Alternativ oder zusätzlich wäre es möglich, eine Priorisierung innerhalb von Kandidaten-Steuerungsmodellen des Steuerungsalgorithmus durchzuführen. Diese Kandidaten-Steuerungsmodelle können dazu verwendet werden, um Einstellungen des Operationsmikroskops basierend auf ein oder mehreren Zustandsindikatoren zu ermitteln. In anderen Worten können solche Kandidaten-Steuerungsmodelle also Zustandsindikatoren übersetzen in mögliche Einstellungen des Operationsmikroskops, aus denen dann die endgültige zweite Einstellung ausgewählt werden kann.
  • Solche Techniken beruhen auf der Erkenntnis, dass je nach Kontext der Operation unterschiedliche Ansätze zur Auffindung von Einstellungen des Operationsmikroskops besonders zielführend oder genau arbeiten können.
  • Alternativ oder zusätzlich wäre es möglich, dass die Priorisierung innerhalb von Kandidaten-Einstellungen des Operationsmikroskops, die von mindestens einem Steuerungsmodell der Kandidaten-Steuerungsmodelle erhalten werden, durchgeführt wird.
  • Wenn zum Beispiel unterschiedliche Varianten für die Einstellung des Operationsmikroskops vorliegen, kann eine besonders geeignete Einstellung ausgewählt werden, nämlich zum Beispiel in Abhängigkeit vom Kontext der Operation.
  • Die mindestens eine Priorisierungsoperation kann zur Lösung eines oder mehrerer Zielkonflikte durchgeführt werden. Ein solcher Zielkonflikt kann durch unterschiedliche Einstellung des Operationsmikroskop je nach Ergebnis der Priorisierungsoperation charakterisiert sein.
  • Ein Zielkonflikt kann also vorliegen, wenn unterschiedliche Einstellungen des Operationsmikroskops denkbar sind. Dann kann durch die Priorisierungsoperation eine dieser unterschiedlichen Einstellungen präferiert werden.
  • Die Priorisierungsoperation kann dabei entlang des Verarbeitungsablaufs nahe bei der endgültigen Einstellung, das heißt durch Priorisierung innerhalb der Kandidaten-Einstellungen, angewendet werden, oder aber stromaufwärts im Verarbeitungsablauf, zum Beispiel durch Priorisierung innerhalb der Kandidaten-Steuerungsmodelle oder noch weiter stromaufwärts durch Priorisierung innerhalb von Kandidaten-Zustandsindikatoren.
  • Die mindestens eine Priorisierungsoperation kann eine Filterung und/oder eine Gewichtung der Kandidaten-Zustandsindikatoren und/oder der Kandidaten-Steuerungsmodelle und/oder der Kandidaten-Einstellungen umfassen.
  • Eine Filterung kann zum Beispiel das Verwerfen eines Kandidaten-Zustandsindikator oder eines Kandidaten-Steuerungsmodells oder einer Kandidaten-Einstellung umfassen, wobei ein jeweilig anderer Kandidat aber beibehalten wird.
  • Die Gewichtung kann mehrere entsprechende Kandidaten beibehalten, aber unterschiedlich stark im nachfolgenden Verarbeitungsablauf berücksichtigen. Derart kann eine flexible Priorisierung besonders akkuraten Ergebnissen erzielt werden. Es wäre möglich, dass die ein oder mehreren Kontextparameter ein oder mehrere der folgenden Elemente umfassen: ein Operationsgerät, zum Beispiel ein Operationswerkzeug; eine Zielregion der Operation; eine Benutzervorgabe; eine Phase der Operation; einen Typ der Operation; Aktivitäten der Operation; Planungsdaten der Operation; und/oder mindestens einen Operateur der Operation. Durch solche unterschiedlichen Elemente, die im Zusammenhang mit dem Kontext berücksichtigt werden, kann eine besonders umfassende und flexible Parametrierung erfolgen.
  • Die ein oder mehreren Kontextparameter können auch eine Vorhersage für einen zukünftigen Fortschritt der Operation umfassen.
  • Alternativ oder zusätzlich wäre es möglich, dass die ein oder mehreren Kontextparameter einen bisherigen, vorangegangenen Verlauf der Operation umfassen.
  • Die ein oder mehreren Kontextparameter können auch einen gegenwärtigen ist-Zustand der Operation beschreiben.
  • Beispielsweise könnte basierend auf einem bisherigen Verlauf der Operation und dem Ist-Zustand der Operation auch der weitere Verlauf der Operation vorhergesagt werden.
  • Basierend auf einer solchen Vorhersage könnte berücksichtigt werden, dass zum Beispiel während der Bestimmung und möglicherweise der Anwendung der zweiten Einstellung die Operation bereits fortgeschritten ist. Dieser Verzug kann dann durch Vorhersage des Verlaufs der Operation im Rahmen des Kontextparameters berücksichtigt werden.
  • Es wäre möglich, dass mindestens ein Kontextparameter der ein oder mehreren Kontextparameter basierend auf einer Überwachung des Verhaltens des Operateurs der Operation bestimmt wird.
  • Dazu können zum Beispiel Umfeldsensoren angewendet werden, es könnte eine Spracherkennung verwendet werden, das Bewegungsverhalten des Operateurs könnte berücksichtigt werden, und/oder die Eingabe des Operateurs über eine Mensch-Maschine-Schnittstelle könnte berücksichtigt werden, um nur ein paar Beispiele zu nennen.
  • Solche Techniken können insbesondere ein individuelles Bestimmen des Kontext in Abhängigkeit vom Operateur ermöglichen, und damit eine zielgerichtete Parameterierung des Steuerungsalgorithmus ermöglichen.
  • Die Überwachung der Operation, die beim Bestimmen von ein oder mehreren Zustandsparameter berücksichtigt wird, könnte zum Beispiel eine Anzahl und/oder Anordnung von ein oder mehreren Zielregionen der Operation im Patienten betreffen. Die Zielregionen (engl. region of interest) können besonders indikativ für den Zustand der Operation sein. Die Zielregionen können nämlich diejenigen Bereiche bezeichnen, auf die der Operateur sein Augenmerk legt. Eine Zielregion der Operation kann zum Beispiel einen Bereich innerhalb des Situs oder auf den gesamten Situs bezeichnen, der in einem entsprechenden Kontext der Operation von Interesse ist.
  • Dadurch kann der Zustand der Operation gut in Bezug auf die Zielregionen bewertet werden. Entsprechend wäre es dann denkbar, dass ein zugehöriger Zustandsparameter zum Beispiel die Sichtbarkeit oder Erkennbarkeit von Merkmalen innerhalb der Zielregion in einem Mikroskopiebilder des Operationsmikroskops bewertet. Die Überwachung der Operation könnte alternativ oder zusätzlich basierend auf einem vorgegebenen Modell der Operation erfolgen, dass beispielsweise Benutzer-spezifische Varianten umfassen kann. Das bedeutet, dass zum Beispiel der konkrete Ablauf der Operation verglichen werden kann mit einer Vorgabe, die durch das Modell bereitgestellt wird. Durch das Modell können zum Beispiel die Zielregionen, etwa je nach Phase der Operation, bestimmt werden. Es könnten zum Beispiel Abweichungen zwischen der konkreten Operation und einer Vorgabe durch das Modell überwacht werden und basierend auf solchen Abweichungen eine Zielregion oder allgemeiner ein Zustandsindikator bestimmt werden. Die Parametrierung selbst könnte basierend auf einem entsprechenden Algorithmus durchgeführt werden. Ein entsprechender Algorithmus könnte maschinengelernt sein. Zum Beispiel könnte bestärkendes Lernen verwendet werden. Solches bestärkendes Lernen (engl. reinforcement learning) kann basierend auf Feedback trainiert werden, das einen Unterschied zwischen der vom Steuerungsalgorithmus bestimmten zweiten Einstellung des Operationsmikroskops und einer manuell ausgewählten Einstellung des Operationsmikroskops umfasst.
  • Derart könnte durch eine kontinuierliche Interaktion zwischen den Operateur und dem Algorithmus zur Parametrierung erreicht werden, dass die Parametrierung mit zunehmender Genauigkeit die Vorgaben des entsprechenden Operateurs umsetzt. Eine separate Trainingsphase kann entfallen.
  • Die ein oder mehreren Zustandsindikatoren könnten zum Beispiel basierend auf Metriken, die auf die Mikroskopiebilder angewendet werden, bestimmt werden.
  • Unterschiedliche Metriken sind denkbar. Zum Beispiel könnten die Metriken ein oder mehrere der folgenden Eigenschaften Mikroskopiebilder bewerten: eine Bildqualität; einen semantischen Inhalt der Mikroskopiebilder; und/oder eine Sichtbarkeit von Zielregionen in den Mikroskopiebilder an.
  • Zum Beispiel könnte die Bildqualität eine Helligkeit und/einen Kontrast und/oder einen Farbraum der Mikroskopiebilder bezeichnen. Insoweit kann die Bildqualität unabhängig vom semantischen Inhalt der Mikroskopiebilder sein, das heißt zum Beispiel unabhängig von der Sichtbarkeit einer bestimmten Zielregion.
  • Es könnte zum Beispiel überprüft werden, ob innerhalb einer bestimmten Zielregion Reflexe vorliegen.
  • Es könnte zum Beispiel überprüft werden, ob innerhalb einer bestimmten Zielregion ein besonders geringer Kontrast vorliegt.
  • Es könnte zum Beispiel überprüft werden, ob innerhalb einer bestimmten Zielregion eine Sättigung der Bildpunktwerte der verschiedenen Bildpunkte der Mikroskopiebilder, die die entsprechende Zielregion abbilden, vorliegt.
  • Zum Beispiel könnten unterschiedliche Zustandsindikatoren mit unterschiedlichen Assistenzfunktionalitäten assoziiert sein. Diese Assistenzfunktionalitäten können wiederum mit unterschiedlichen Metriken assoziiert sein.
  • Die Metriken können einen oben beschriebenen Zielkonflikt verursachen. Dies kann dadurch geschehen, dass die unterschiedlichen Metriken gleiche Eigenschaften der Mikroskopiebilder gegenläufig beurteilen.
  • Die Überwachung der Operation kann zumindest eines der folgenden betreffen: einen Verlauf der Operation; einen ist-Zustand der Operation; und/oder einen Fortschritt Operationen Bezug auf einen Zielzustand. Zum Beispiel wäre es denkbar, dass dazu ein vorgegebenes Modell der Operation berücksichtigt wird. Der Fortschritt der Operation kann zum Beispiel einen Erfüllungsgrad von ein oder mehreren durch das vorgegebene Modell definierten Ziele beschreiben.
  • Durch die Überwachung der Operation basierend auf solchen Kriterien kann insbesondere eine Abweichung von bestimmten Vorgaben überwacht werden und basierend darauf ein oder mehrere Zustandsindikatoren bestimmt werden. Diese sind dann besonders aussagekräftig, um eine entsprechende Anpassung der Einstellung des Operationsmikroskops zu erwirken, die eine Erreichung der Vorgaben ermöglicht.
  • Der Steuerungsalgorithmus könnte ein oder mehrere Steuerungsmodell umfassen. Ein solches Steuerungsmodell ist eingerichtet, um basierend auf mindestens einem entsprechenden Zustandsindikator eine Kandidaten-Einstellung des Operationsmikroskops zu bestimmen.
  • Zum Beispiel können als Steuerungsmodelle maschinengelernte Algorithmen verwendet werden. Maschinengelernten Algorithmen der verschiedenen Steuerungsmodelle können getrennt trainiert werden.
  • Dies kann zum Beispiel ermöglichen, dass ein modularer Steuerungsalgorithmus bereitgestellt werden kann, der flexibel erweitert werden kann. Bestimmte Steuerungsmodelle können gegeneinander ausgetauscht werden. Neue Steuerungsmodelle können hinzugefügt werden. Alte Steuerungsmodelle können entfernt werden.
  • Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Dieser kann von einem Prozessor geladen und ausgeführt werden. Wenn der Prozessor den Programmcode ausführt, bewirkt dies, dass der Prozessor ein Verfahren zur Steuerung eines Operationsmikroskops während einer Operation eines Patienten ausführt. Das Verfahren umfasst das Bestimmen von ein oder mehreren Zustandsindikatoren. Die ein oder mehreren Zustandsindikatoren sind mit mindestens einer ersten Einstellung des Operationsmikroskops assoziiert. Das Verfahren umfasst auch das Durchführen einer Parametrierung eines Steuerungsalgorithmus des Operationsmikroskops basierend auf ein oder mehreren Kontextparametern der Operation. Außerdem umfasst das Verfahren das Anwenden des Steuerungsalgorithmus auf die ein oder mehreren Zustandsindikatoren, um derart eine zweite Einstellung des Operationsmikroskops zu bestimmen.
  • Ein Gerät umfasst einen Prozessor. Der Prozessor ist eingerichtet, um basierend auf einer Überwachung einer Operation sowie ferner basierend auf Mikroskopiebildern eines Operationsmikroskops, die mit mindestens einer ersten Einstellung des Operationsmikroskops erfasst werden, ein oder mehrere Zustandsindikatoren zu bestimmen. Die ein oder mehreren Zustandsindikatoren sind mit der mindestens einer ersten Einstellung des Operationsmikroskops assoziiert. Außerdem ist der Prozessor eingerichtet, um eine Parametrierung eines Steuerungsalgorithmus des Operationsmikroskops basierend auf ein oder mehreren Kontextparametern der Operation durchzuführen. Ferner ist der Prozessor eingerichtet, um den Steuerungsalgorithmus auch die ein oder mehreren Zustandsindikatoren anzuwenden, um derart eine zweite Einstellung des Operationsmikroskops zu bestimmen. Dieser Anwendung des Steuerungsalgorithmus basiert auf der Parametrierung.
  • Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
  • Figurenliste
    • 1 illustriert schematisch ein OP-Mikroskop gemäß verschiedenen Beispielen.
    • 2 illustriert schematisch eine Zielregion einer Operation und die relative Positionierung des OP-Mikroskops zur Zielregion gemäß verschiedenen Beispielen.
    • 3 illustriert schematisch ein Gerät zur Datenverarbeitung gemäß verschiedenen Beispielen.
    • 4 illustriert schematisch einen Steuerungsalgorithmus gemäß verschiedenen Beispielen.
    • 5 ist ein Flussdiagramm eines beispielhaften Verfahrens.
    • 6 illustriert schematisch eine Parametrierung eines Steuerungsalgorithmus gemäß verschiedenen Beispielen.
    • 7 illustriert schematisch eine Parametrierung eines Steuerungsalgorithmus gemäß verschiedenen Beispielen.
    • 8 illustriert schematisch eine Parametrierung eines Steuerungsalgorithmus gemäß verschiedenen Beispielen.
    • 9 illustriert schematisch eine Parametrierung eines Steuerungsalgorithmus gemäß verschiedenen Beispielen.
    • 10 illustriert eine algorithmische Implementierung eines Steuerungsalgorithmus gemäß verschiedenen Beispielen.
  • DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
  • Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
  • Verschiedene Beispiele der Erfindung betreffen die Bestimmung einer Einstellung eines OP-Mikroskops während der Operation. In den verschiedenen hierin beschriebenen Beispielen können unterschiedliche Einstellungen des OP-Mikroskops bestimmt werden. Beispielsweise wäre es denkbar, dass eine relative Positionierung des OP-Mikroskops in Bezug auf den Patienten der Operation bestimmt wird, d.h. ein Abstand und/oder Orientierung (Pose). Es könnten alternativ oder zusätzlich auch Einstellungen des optischen Systems des OP-Mikroskops bestimmt werden, zum Beispiel eine Vergrößerung (Zoom), eine Beleuchtungsintensität und/oder ein Kontrast. Es könnte auch ein Betriebsmodus bestimmt werden, zum Beispiel die Verwendung von indirekter oder direkter Beleuchtung oder Beleuchtung mit Licht einer bestimmten Wellenlänge. Es könnte ein Fluoreszenzmodus aktiviert werden. Es könnten Videoeinstellungen eingesetzt werden.
  • Verschiedene Beispiele beruhen auf der Erkenntnis, dass ein manuelles Bestimmen und Anwenden von Einstellungen - etwa ein handgeführtes Umpositionieren des OP-Mikroskops - eine zusätzliche kognitive und psychische Belastung für den ausführenden Operateur während der Operation darstellen kann. Beispielsweise zum händischen Umpositionieren eine „freie Hand“ erforderlich, so dass der Operateur das Operationsbesteck ablegen muss bzw. eine Pause für einen Wechsel des Operationsbesteck abwarten muss. Im Fall des dedizierten Ablegens des Operationsbesteck führt händisches Umpositionieren zu einer Unterbrechung der Operation. Wartet der Operateur mit dem Umpositionieren ein geeignetes Zeitfenster ab, so besteht die Gefahr, dass der Operateur die Operation zumindest teilweise mit suboptimalen Einstellungen für das OP-Mikroskops durchführt. Entsprechend ist es gemäß den verschiedenen hierin beschriebenen Beispielen möglich, die Einstellungen des OP-Mikroskops automatisch zu bestimmen.
  • Außerdem können die Einstellungen des OP-Mikroskops anschließend an die Bestimmung automatisch angewendet werden.
  • Eine Referenzimplementierung für die automatische Bestimmung der Einstellung des OP-Mikroskops wäre z.B. ein Verfolgen (Tracking) des Kopfs des Operateurs. Das OP-Mikroskop kann dann den Kopfbewegungen folgen. Verschiedene Beispiele beruhen auf der Erkenntnis, dass ein solches automatische Steuerungsverfahren insbesondere vor folgendem applikativen Problem steht: Intraoperativ stellt der Arzt das Mikroskop so ein, dass die Visualisierung seinen Ansprüchen entspricht. Der Arzt stellt das Mikroskop basierend auf seiner Erfahrung ein, dabei geht der Arzt unterbewusst Kompromisse ein, wie am Beispiel der Wahl der Zoomstufe verdeutlicht werden soll: Einerseits soll das Mikroskop so eingestellt sein, dass der Chirurg Details z.B. eines Gefäßes deutlich sehen kann. Hierzu wäre eine hohe Vergrößerung des Gefäßes notwendig. Andererseits möchte der Chirurg „zügig“ im Situs arbeiten können, wobei eine zu hohe Zoomstufe nachteilig wäre. Ein weiteres Beispiel besteht darin, dass der Chirurg gerne die im Situs befindlichen OP-Instrumente zentral im Bild sehen möchte. Da die Instrumente an unterschiedlichen Orten im Bild sind und nicht beide Instrumente zeitgleich im Bildzentrum sein können, muss der Chirurg auch hier einen Kompromiss finden. Der Chirurg löst diesen Zielkonflikt unterbewusst.
  • Gemäß verschiedenen Beispielen ist es möglich, einen solchen Zielkonflikt zwischen unterschiedlichen möglichen Einstellungen des OP-Mikroskops automatisch zu lösen. Die für den Operateur erlernte, unterbewusste Einstellung eines Kompromisses zwischen verschiedenen Zielkonflikten kann in manchen Beispielen algorithmisch umgesetzt werden.
  • Solche Techniken beruhen auf der Erkenntnis, dass bei der herkömmlichen manuellen Einstellung des OP-Mikroskops oftmals ein Zielkonflikt zwischen optimaler Visualisierung und unbeeinträchtigtem Arbeitsablauf vorliegt: Um eine durchschnittliche hohe Visualisierungsqualität zu erreichen ist häufiges Umpositionieren erforderlich; mit häufigem Umpositionieren wächst jedoch auch die kognitive Belastung bzw. Workflow-Unterbrechungen.
  • In den verschiedenen hierin beschriebenen Beispielen wird im Zusammenhang mit der Bestimmung von Einstellungen des OP-Mikroskops ein Kontext der Operation berücksichtigt. Der Kontext der Operation kann dabei durch ein oder mehrere Kontextparameter beschrieben werden. Der Kontext der Operation kann eine Situation, in der sich die Operation befindet, beschreiben. Als allgemeine Regel kann der Kontext alle Objekte, Zielregionen, Akteure und Aktionen im Operationssaal umfassen. Der Kontext kann beispielsweise durch Bewegungssensoren, Bildverarbeitung, Sprachverarbeitung usw. erfasst werden. Der Kontext, bzw. ein entsprechender Kontextparameter, kann durch die Analyse des Situs und Nutzung des chirurgischen OP-Mikroskops bestimmt werden. Der Kontext kann auch eine zukünftig erwartbare Handlung umfassen. Der aktuelle Kontext kann also dazu genutzt werden, um künftige Objekte, Akteure und Aktionen bei der Operation vorherzusagen. Beispiel: Auf Basis von Videodaten und einem OP-Phasenmodell kann die nächste OP-Phase vorhergesagt werden. Weiteres Beispiel: Die Zielregion in der der Chirurg zukünftig primär arbeiten möchte (abgeleitet z.B. durch die Zeit).
  • Als allgemeine Regel können unterschiedlichste Kontextparameter berücksichtigt werden. Einige solche Kontextparameter sind nachfolgend in TAB. 1 aufgeführt.
    Kurze Beschreibung Beispielhafte Details
    I Operationsgerät Zum Beispiel könnte über einen Kontextparameter indiziert werden, welches Operationsgerät gegenwärtig zum Einsatz kommt. Es könnte auch indiziert werden, welches Operationsgerät bereits zum Einsatz kam oder zukünftig zum Einsatz kommen wird, während der jeweiligen Operation.
    Der Kontextparameter könnte z.B. eine Identifikationsnummer und/oder eine Typennummer des jeweiligen Operationsgeräts angeben.
    Das verwendete Operationsbesteck bzw. OP-Werkzeug kann berücksichtigt werden.
    II Zielregion im Patienten Es könnte zum Beispiel angegeben werden, welche Zielregion oder Zielregionen derzeit oder zukünftig während der Operation von Relevanz für den Operateur sind.
    Als allgemeine Regel kann eine Zielregion zum Beispiel einen anatomischen Bereich oder ein anatomisches Merkmal im Patienten beschreiben, dass die Aufmerksamkeit des Operateurs im Zusammenhang mit der Operation benötigt. Zum Beispiel könnte die Zielregion den Bereich des operativen Eingriffs (Situs) bezeichnen, oder einen Teilbereich davon.
    Der Kontextparameter könnte die Zielregion parametrisiert angeben, d.h. z.B. „2 cm um Toolspitze herum“. Der Kontextparameter könnte die Zielregion bereits in einem Mikroskopiebild des OP-Mikroskops annotieren.
    III Benutzervorgabe Der Benutzer könnte - zum Beispiel präoperativ - ein oder mehrere Kontextparameter manuell bestimmen. Zum Beispiel könnten derart Nutzerpräferenzen abgebildet werden. Es könnten zum Beispiel historische Nutzerdaten und/oder Nutzungsdaten berücksichtigt werden. Es wäre auch denkbar, dass Nutzer-Feedback zur Laufzeit bereitgestellt wird. Nutzereingaben können berücksichtigt werden. Die Benutzervorgabe könnte zum Beispiel in einem Benutzerprofil hinterlegt sein.
    IV Phase der Operation Typischerweise kann eine Operation in mehrere Abschnitte bzw. Phasen untergliedert werden. Die unterschiedlichen Phasen einer Operation können zum Beispiel mit unterschiedlichen Zielregionen assoziiert sein. Die unterschiedlichen Phasen einer Operation können auch mit unterschiedlicher medizinischer Gerätschaft bzw. Operationsbesteck (Tools) assoziiert sein.
    V Typ der Operation Der Typ der Operation kann zum Beispiel eine grundsätzliche Form des operativen Eingriffs beschreiben. Zum Beispiel werden denkbare Typen von Operationen: Wirbelsäule; mikrobiologische Eingriff; Kopf; Gehirn; Auge; usw.
    VI Operateur Je nach Operateur kann ein bestimmter Typ der Operation unterschiedliche Verläufe nehmen. Zum Beispiel haben unterschiedliche Operateure unterschiedliche Präferenzen was die Zielregion im Patienten betrifft, die zum Beispiel in Mikroskopiebilder an das OP-Mikroskops darzustellen sind. Unterschiedliche Operateure können auch unterschiedliche Arten des Eingriffs umsetzen.
    Es wäre in manchen Beispielen möglich, das Verhalten des Operateurs während der Operation dynamisch zu überwachen. Derart kann es dann möglich sein, auch auf Änderungen des Verlaufs der Operation die vom Operateur dynamisch intraoperativ veranlasst werden, zu reagieren.
    VI Analyse des Situs zum Beispiel wäre es denkbar, dass mittels einer Bildanalyse von präoperativ und/oder intraoperativ erfassten Bilddaten, ein oder mehrere Charakteristiken des Situs der Operation bestimmt werden. Zum Beispiel könnte eine Platzierung und/Ausdehnung bestimmt werden. Dazu könnten zum Beispiel bildgebende Techniken wie Magnetresonanz-Bildgebung oder Computertomografie verwendet werden.
    VII Aktivitäten der Operation Es wäre zum Beispiel denkbar, dass bestimmte Landmarken des Verlaufs der Operation überwacht werden. Zum Beispiel kann das Erreichen von bestimmten Meilensteinen in einem Modell der Operation überwacht werden. Dies kann einer Phase der Operation entsprechen, vergleiche Beispiel IV.VIII
    VIII Bewegungsmuster des Operationsbestecks Beispielsweise könnten Bewegungsmuster des Operationsbesteck überwacht werden, zum Beispiel durch Objekterkennung in den entsprechenden Bilddaten oder durch aktives Tracking.
    IX Randomisierung Manchmal kann auch eine randomisierte Komponente im Zusammenhang mit dem Kontextparameter berücksichtigt werden. Randomisierung geht zurück auf die Idee, dass ein Algorithmus erkennt, dass er den Kontext nur unzureichend versteht und dann durch Randomisierung dennoch eine akzeptable (wenn auch nicht optimale) Entscheidungsgrundlage für das Bestimmen der Einstellung bereitstellen kann.
    X Planungsdaten der Operation Z.B. könnten präoperativ erfasste oder vorgegebene Planungsdaten berücksichtigt werden. Diese können, müssen aber nicht als Benutzervorgaben vorliegen.
  • TAB. 1: Beispiele für unterschiedliche Kontextparameter, die im Zusammenhang mit der Parametrierung des Steuerungsalgorithmus berücksichtigt werden können. Als allgemeine Regel können die Kontextparameter im Zusammenhang mit einem Ist-Zustand der Operation definiert sein, das bedeutet zum Beispiel eine gegenwärtige Phase der Operation oder eine gegenwärtige Zielregion im Patienten beschreiben. Alternativ oder zusätzlich wäre es aber auch denkbar, dass die ein oder mehreren Kontextparameter eine Vorhersage für einen zukünftigen Fortschritt der Operation umfassen. Es wäre also denkbar, dass ein Kontextparameter eine zukünftige Zielregion angibt. Dies kann eine vorausschauende Anpassung der Einstellung des OP-Mikroskops ermöglichen.
  • Je nach Informationsgehalt der Kontextparameter können unterschiedliche Techniken zum Bestimmen der Kontextparameter verwendet werden. Manche Kontextparameter können statisch vorgegeben sein, das heißt aus einem Speicher ausgelesen werden. Andere Kontextparameter können zum Beispiel dynamisch, etwa intraoperativ bestimmt werden. Dazu können zum Beispiel unterschiedliche Sensordaten verwendet werden. Es kann ein entsprechender Algorithmus zum Bestimmen der ein oder mehreren Kontextparameter verwendet werden, z.B. ein maschinengelerntes Verfahren.
  • Gemäß verschiedenen Beispielen werden ein oder mehrere Kontextparameter - vgl. TAB. 1 - der Operation verwendet, im Zusammenhang mit dem Bestimmen einer Einstellung des OP-Mikroskops. Dabei werden die ein oder mehreren Kontextparameter der Operation im Zusammenhang mit der Parametrierung eines Steuerungsalgorithmus verwendet, der eingerichtet ist, um die Einstellung des OP-Mikroskops zu bestimmen. Dabei bedeutet Parametrierung, dass ein oder mehrere Parameter des Steuerungsalgorithmus in Abhängigkeit der ein oder mehreren Kontextparameter eingestellt werden, das heißt dass z.B. entsprechende Prozessierungsrandbedingungen entsprechend vor-eingestellt werden, bevor konkret eine Ausgabe berechnet wird. Ein mögliches Beispiel für die Parametrierung wäre die Priorisierung zwischen unterschiedlichen Einstellungen und/oder Ergebnissen des Steuerungsalgorithmus. Zum Beispiel könnte eine Auswahl zwischen mehreren Sub-Algorithmen erfolgen. Es könnten Eingaben gefiltert bzw. gewichtet berücksichtigt werden. Es wäre möglich, dass anschließend beim Ermitteln einer Ausgabe basierend auf einer Eingabe unterschiedliche Berechnungen durchgeführt werden, je nach Parametrierung. Die Berücksichtigung der ein oder mehreren Kontextparameter im Rahmen der Parametrierung kann insbesondere verschieden sein zur Berücksichtigung von ein oder mehreren Eingaben bei der Bestimmung einer Ausgabe durch den Steuerungsalgorithmus. Die Eingaben des Steuerungsalgorithmus entsprechen Variablen, die das Ergebnis, d.h. die Ausgabe, der Steuerungalgorithmus direkt beeinflussen. Die Parametrierung andererseits entspricht einer grundsätzlichen Konfiguration des Steuerungsalgorithmus.
  • Das Durchführen der Parametrierung kann wiederum durch einen Algorithmus (Algorithmus für die Parametrierung) durchgeführt werden. Der Algorithmus für die Parametrierung kann als Eingabe ein oder mehrere Kontextparameter empfangen und basierend darauf die Parametrierung des Steuerungsalgorithmus durchführen. Beispielsweise könnte der Algorithmus für die Parametrierung ein maschinengelerntes Verfahren einsetzen. Insbesondere könnte bestärkendes Lernen (engl. reinforcement learning) verwendet werden. Dabei könnte eine Verlustfunktion definiert werden basierend auf einer Differenz zwischen der durch den Steuerungsalgorithmus bestimmten Einstellung für das OP-Mikroskop und einer manuell durch den Operateur nachjustierten Einstellung des OP-Mikroskops. Anhand dieser Verlustfunktion kann der Algorithmus für die Parametrierung trainiert werden, wobei der Steuerungsalgorithmus selbst aber fixiert verbleiben kann
  • In den verschiedenen Beispielen wird der Steuerungsalgorithmus auf ein oder mehrere Zustandsindikatoren angewendet. Das bedeutet, dass die ein oder mehreren Zustandsindikator die Eingabe des Steuerungsalgorithmus darstellen.
  • Die Zustandsindikatoren könnten allgemein Merkmale der Operation beschreiben. Dabei können die Zustandsindikatoren einen mit mindestens einer ersten Einstellung des OP-Mikroskops assoziierten Zustand beschreiben, wobei durch den Steuerungsalgorithmus dann eine zweite Einstellung des OP-Mikroskops bestimmt wird, die verschieden von der mindestens einen ersten Einstellung ist. Beispielsweise kann die zweite Einstellung eine Anpassung einer oder mehrerer der mindestens einen ersten Einstellung darstellen. Die mindestens eine erste Einstellung könnte z.B. gegenwärtig verwendet werden und/oder ein oder mehrere früher verwendete Einstellungen umfassen.
  • Als allgemeine Regel können die Zustandsindikatoren einzelne Merkmale der Visualisierungsqualität charakterisieren. Beispielhafte Zustandsindikatoren wären z. B. Lage von Zielregionen im Sichtbereich des Mikroskops (Sichtwinkel der Kameras); Verdeckungen von Zielregionen auf Operationsbesteck (OP-Besteck) oder dem Situs durch OP-Besteck bzw. Gewebe des Situs; und/oder Ausleuchtung des Situs durch Vergleich der Position einer Zielregion mit optischer Achse.
  • Allgemein formuliert ist es möglich, dass die ein oder mehreren Zustandsindikatoren basierend auf Mikroskopiebildern des OP-Mikroskops bestimmt werden. So wäre es denkbar, dass die ein oder mehreren Zustandsindikatoren basierend auf Mikroskopiebildern des OP-Mikroskops bestimmt sind, unter Verwendung von ein oder mehreren vorgegebenen Metriken.
  • Die ein oder mehreren vorgegebenen Metriken können also die Mikroskopiebilder abbilden auf die Menge von Zustandsindikatoren. Dabei können als allgemeine Regel unterschiedlichste Eigenschaften der Mikroskopiebilder beim Bestimmen der Zustandsindikatoren berücksichtigt werden. Beispielsweise wäre es denkbar, dass eine Bildqualität der Mikroskopiebilder bewertet wird. Die Bildqualität kann dabei in erster Näherung unabhängig vom semantischen Inhalt der Mikroskopiebilder, beispielsweise unabhängig von den dargestellten anatomischen Merkmalen oder anderen Objekten, die in den Mikroskopiebildern abgebildet sind, bewertet werden. Die Bildqualität könnte zum Beispiel eine Helligkeit und/oder einen Kontrast der Mikroskopiebilder betreffen. Alternativ oder zusätzlich wäre es aber auch möglich, dass zumindest eine der ein oder mehreren Metriken auch einen semantischen Inhalt der Bilder bewertet. Zum Beispiel könnte die Sichtbarkeit von bestimmten anatomischen Merkmalen oder, allgemeiner formuliert, von Zielregionen im Patienten bewertet werden. Die Sichtbarkeit könnte z.B. beeinträchtigt werden durch Verdeckungen, etwa durch OP-Besteck, oder durch Reflexe.
  • Die Zustandsindikatoren können dabei solche Merkmale, wie obenstehend beschrieben, quantitativ beschreiben. Es wäre denkbar, dass die Zustandsindikatoren jeweils assoziiert sind mit einer entsprechenden Zielvorgabe, und jeweils den Erfüllungsgrad dieser Zielvorgabe beschreiben. Z.B. könnte ein Zustandsindikator die Anzahl der Reflexe zählen und es könnte einen Schwellenwert für die Anzahl der Reflexe als Zielvorgabe geben.
  • Je nach Ausbildung der Metrik können unterschiedlichste Techniken zur algorithmischen Implementierung eines entsprechenden Algorithmus zur Bestimmung der Zustandsindikatoren verwendet werden. Wird zum Beispiel der semantische Inhalt von Mikroskopiebilder bewertet, so könnte eine Objekterkennung verwendet werden, um die Zustandsindikatoren zu bestimmen. Wird die Bildqualität, beispielsweise die Helligkeit oder der Kontrast bewertet, könnte eine Histogramm-Analyse von Helligkeitswerten der Mikroskopiebilder durchgeführt werden. Ein entsprechender (Sub-)Algorithmus kann Teil des Steuerungsalgorithmus sein.
  • Es wäre zum Beispiel denkbar, dass die verschiedenen Zustandsindikatoren mit unterschiedlichen Assistenzfunktionalitäten für den Operateur assoziiert sind. Es ist dann möglich, dass Zustandsindikatoren durch unterschiedliche Metriken erhalten werden, die auf die Mikroskopiebilder des OP-Mikroskops angewendet werden, wobei die unterschiedlichen Metriken assoziiert sind mit den unterschiedlichen Assistenzfunktionalitäten. Beispiele für Assistenzfunktionalitäten wären z. B.: Homogene Ausleuchtung des Situs; Sichtbarkeit einer bestimmten Zielregion; Unterdrückung von Reflexen im Bild; usw..
  • Indem unterschiedliche Metriken verwendet werden, können gleiche Eigenschaften der Mikroskopiebilder unterschiedlich beurteilt werden. Dies liegt daran, dass zum Beispiel für eine erste Assistenzfunktionalität die Sichtbarkeit einer bestimmten Zielregion wichtig sein kann, wobei für eine zweite Assistenzfunktionalität die Sichtbarkeit dieser selben bestimmten Zielregion unwichtig sein kann. Das bedeutet also, dass die unterschiedlichen Metriken (etwa der verschiedenen Assistenzfunktionalitäten) gleiche Eigenschaften der Mikroskopiebilder gegenläufig beurteilen. Entsprechend liegt ein Zielkonflikt vor, was durch die entsprechenden Zustandsindikatoren, die mit den unterschiedlichen Assistenzfunktionalitäten assoziiert sind, zum Ausdruck kommen kann.
  • Zielkonflikt kann allgemein bedeuten, dass mehrere Zielvorgaben - z.B. im Zusammenhang mit unterschiedlichen Assistenzfunktionalitäten oder allgemeiner unterschiedlichen Metriken zur Bewertung von Mikroskopiebildern in Form der Zustandsindikatoren - gleichzeitig möglichst gut erfüllt werden sollen. Zielkonflikt meint dabei, dass die Zielvorgaben gegensätzlich zueinanderstehen, z.B. übersichtliches Arbeit (kleine Vergrößerung des Situs) vs. detaillierte Darstellung der Gefäße im Situs (hohe Vergrößerung). Da das OP-Mikroskop nur einen Parameter zur Zoomeinstellung hat, kann dieser nicht gleichzeitig beide Zielvorgaben erfüllen.
  • Als allgemeine Regel wäre es dabei möglich, dass die Zustandsindikatoren dynamisch bestimmt werden. Das bedeutet, dass die Zustandsindikatoren von Zeit zu Zeit - z.b. auch in Echtzeit, d.h. mit einer Taktfrequenz von beispielsweise 20 Hz oder schneller - bestimmt werden. Es ist also möglich, dass die Zustandsoperatoren auch basierend auf einer Überwachung der Operation bestimmt werden. Insbesondere wäre es denkbar, dass auch eine assoziierte Zielvorgabe von der Überwachung der Operation abhängt. Das bedeutet, dass bestimmt werden kann, ob die Mikroskopiebilder, die mit einer gegenwärtigen oder vorangegangenen Einstellung des OP-Mikroskops erfasst werden bzw. wurden, angemessen sind im Zusammenhang mit etwa einem Ist-Zustand oder einem Verlauf der Operation. Das bedeutet, dass optional dynamisch in Abhängigkeit des Verlaufs der Operation unterschiedliche Zustandsindikatoren erhalten werden können, so dass dynamisch jeweils unterschiedliche Ergebnisse für die Einstellung des OP-Mikroskops erhalten werden. Derart kann auf die jeweilige Situation der Operation eingegangen werden und eine jeweilige Einstellung ausgewählt werden.
  • Die Überwachung der Operation kann z.B. einen Verlauf der Operationen, einen Ist-Zustand der Operation und/oder einen Fortschritt der Operation in Bezug auf einen Zielzustand bezeichnen. Die Überwachung der Operation könnte auch eine Vorhersage für einen zukünftigen Zustand der Operation betreffen.
  • Dabei kann die Überwachung der Operation zum Beispiel eine Anzahl und/Anordnung von ein oder mehreren Zielregion in der Operation im Patienten betreffen. Als allgemeine Regel kann eine Zielregion die allgemeine Bezeichnung für eine Region im Situs sein, die den Operateur interessiert. Zielregionen können sein z.B. anatomische Merkmale (Tumor, Nerven, ...), Events im Situs wie Blutungen, Navigationsdaten, geplante Trajektorien, Fiber Tracts, .... Zielregionen können aber auch an der Spitze von OP-Besteck „angeheftet“ sein, die dann mit den OP-Besteck mitbewegt werden.
  • Es ist dann möglich, dass - je nach Zustand der Operation - unterschiedliche Zielregionen von Relevanz für den Operateur sein können. Es wäre möglich, dass die Überwachung der Operation auf einem vorgegebenen Modell der Operation basiert. Das Modell der Operation kann ein oder mehrere Soll-Verläufe der Operation spezifizieren. Im Zusammenhang mit solchen Soll-Verläufen können auch die Zielregionen definiert sein. Es ist denkbar, dass ein solches Modell Benutzer-spezifische Varianten umfasst. Als allgemeine Regel können in einem Modell für die Operation unterschiedliche Verläufe hinterlegt sein.
  • 1 zeigt schematisch ein Operationsmikroskop 801 für die Chirurgie. Das Operationsmikroskop 801 verfügt im dargestellten Beispiel über ein Okular 803. Der Operateur kann durch das Okular 803 vergrößerte Bilder von einem Objekt, dass sich in einem Sichtfeld 804 des Operationsmikroskops 801 befindet, betrachten. Im dargestellten Beispiel handelt es sich um einen Patienten 805, der auf einer Patientenliege liegt.
  • Alternativ oder zusätzlich zu einem optischen Okular könnte auch eine Kamera vorgesehen sein, die Bilder an einen Bildschirm überträgt (digitales Operationsmikroskop).
  • Es ist auch eine Bedieneinrichtung 808 als Mensch-Maschine-Schnittstelle vorgesehen, die beispielsweise als Handgriff oder Fußschalter ausgebildet sein kann. In der dargestellten Ausführungsform der 1 ist es ein Handgriff. Durch die Bedieneinrichtung 808 kann das an Traversen 850 befestigte Okular 803 bewegt werden. Es können Motoren vorgesehen sein, um die Bewegung basierend auf Steuerdaten automatisch durchzuführen, gemäß einer entsprechenden Einstellung des OP-Mikroskops. Die Motoren könnten die durch den Handgriff 808 veranlasste Bewegung auch unterstützen.
  • Weiter ist für das OP-Mikroskop 801 eine Steuergerät 809 vorgesehen, die den Betrieb des Kombinationsmikroskops und die Anzeige von Bildern sowie zusätzlichen Informationen und Daten im Okular 803 steuert. Das Steuergerät 809 kann eine Interaktion mit dem Operateur durchführen. Das Steuergerät 809 könnte z.B. eine Einstellung des OP-Mikroskops basierend auf entsprechenden Steuerdaten verändern.
  • Dazu können ein oder mehrere Aktuatoren angesteuert werden, etwa um die Traverse zu bewegen, eine Optik zu wechseln, usw.. Die Einstellung kann auch die digitale Nachbearbeitung von Sensordaten umfassen. Die Einstellung könnte auch Parameter zur Datenerfassung etwa für digitale Bilder, die erfasst werden. Es könnten auch zwischen unterschiedlichen Bildquellen oder Bildgebungsmodi umgeschaltet werden, je nach Einstellung.
  • Das OP-Mikroskop 801 kann auch über ein oder mehrere weitere Sensoren 860 verfügen, etwa einen Bewegungssensor oder eine Wärmebildkamera oder ein Mikrofon oder eine Umfeldkamera usw. Auch solche weiteren Sensoren 860 können, je nach Einstellung des OP-Mikroskops, unterschiedlich betrieben werden.
  • OP-Mikroskope werden in der Neurochirurgie zur Visualisierung tiefliegender Strukturen in engen Kavitäten verwendet. Je nach OP-Typ ist es erforderlich, etwa jede Minute mit dem OP-Mikroskop eine neue Blickrichtung relativ zum Situs einzunehmen, da sich z.B. auf Grund geänderter Stellungen der Instrumente eine neue Verdeckungssituation ergibt. In aktuell markterhältlichen OP-Mikroskopen ist es hierzu erforderlich, dass der Chirurg das System handgeführt umpositioniert, d.h. er umgreift z.B. einen Mikroskopseitig montierten Handgriff und führt das System in eine neue Pose (Position & Orientierung des Mikroskops).
  • In 2 ist eine beispielhafte Positionierung einer Optik 806 des OP-Mikroskops 801 in Bezug auf einen Situs 53 innerhalb der Schädeldecke 54 des Patienten dargestellt. Außerdem ist Operationsbesteck 51, 52 dargestellt. In den verschiedenen hierin beschriebenen Beispielen kann die relative Positionierung des OP-Mikroskops 801 - etwa insbesondere des Lichtmikroskops 806 - in Bezug auf den Patienten im Rahmen der Einstellung des OP-Mikroskops 801 bestimmt werden und optional auch automatisch angepasst werden, zum Beispiel in dem ein entsprechendes Stativ über mechanische Aktuatoren verfügt. Die relative Positionierung kann einen Abstand und/oder Orientierung (Pose) umfassen.
  • 3 illustriert schematisch ein Gerät 90, dass in den verschiedenen hierin beschriebenen Beispielen für die Datenverarbeitung verwendet werden kann. Das Gerät 90 könnte zum Beispiel ein PC sein oder ein Cloud-Server. Das Gerät 90 umfasst eine Prozessoreinheit 91 und einen nichtflüchtigen Speicher 92. Die Prozessoreinheit 91 kann Programmcode aus dem nichtflüchtigen Speicher 92 laden und ausführen. Dies bewirkt, dass die Prozessoreinheit 91 Techniken gemäß den hierin beschriebenen Beispielen ausführt, zum Beispiel Parametrieren eines Steuerungsalgorithmus, der eingerichtet ist, um eine Einstellung des OP-Mikroskops zu bestimmen - beispielsweise eine zweite Einstellung ausgehend von ein oder mehreren ersten Einstellungen; Bestimmen von ein oder mehreren Zustandsindikatoren, die mit einer gegenwärtigen Einstellung des OP-Mikroskops assoziiert sind, zum Beispiel basierend auf Mikroskopiebilder des OP-Mikroskops und gegebenenfalls unter Verwendung einer geeigneten Metrik; etc.
  • 4 illustriert Aspekte im Zusammenhang mit dem Steuerungsalgorithmus 130. Der Steuerungsalgorithmus 130 stellt als Ausgabe eine Einstellung 125 des OP-Mikroskops bereit. Zum Beispiel könnte die Einstellung durch entsprechende Steuerdaten beschrieben werden, die anschließend an das Steuergerät 809 übergeben werden. Basierend auf den Steuerdaten könnte die Einstellung des OP-Mikroskops 801 automatisch umgesetzt werden.
  • Diese Einstellung 125 kann auch als zweite Einstellung bezeichnet werden, wenn sie ausgehend von mindestens einer ersten Einstellung bestimmt wird.
  • Als Eingabe empfängt der Steuerungsalgorithmus 130 im Beispiel der 4 mehrere Zustandsindikatoren 121-123, die mit der mindestens einen ersten Einstellung des OP-Mikroskops 801 assoziiert sind, d.h. z.B. der gegenwärtigen Einstellung des OP-Mikroskops aber z.B. auch mit ein oder mehreren früheren Einstellungen. Als allgemeine Regel könnte der Steuerungsalgorithmus 130 als Eingabe auch nur einen einzelnen Zustandsindikator oder zwei oder mehr Zustandsindikatoren empfangen. In manchen Beispielen könnte der Steuerungsalgorithmus 130 die Zustandsindikatoren 121-123 auch selbst bestimmen.
  • Die Zustandsindikatoren 121-123 können basierend auf Mikroskopiebilder des OP-Mikroskops (die mit einer jeweiligen ersten Einstellung erfasst wurden) und/oder ferner basierend auf einer Überwachung der Operation bestimmt werden, d.h. z.B. basierend auf entsprechenden Zustandsdaten. Zum Beispiel können unterschiedliche Zustandsindikatoren 121-123 mit unterschiedlichen Metriken assoziiert sein, die auf die Mikroskopiebilder angewendet werden. Die unterschiedlichen Metriken können beispielsweise mit verschiedenen Assistenzfunktionalitäten assoziiert sein. Die unterschiedliche Zustandsindikatoren 121-123 können beschreiben, wie gut die jeweils assoziierte erste Einstellung eine bestimmte durch die jeweilige Metrik beschriebene Zielvorgabe erfüllt. Zum Beispiel kann eine bestimmte Assistenzfunktionalitäten die Sichtbarkeit einer bestimmten Zielregion verlangen; wenn die entsprechende Zielregion nicht oder nur eingeschränkt in den Mikroskopiebilder sichtbar ist, so kann der jeweilige Zustandsindikator eine schlechte Übereinstimmung dieser Vorgabe indizieren.
  • In 4 ist ferner illustriert, dass der Steuerungsalgorithmus 130 basierend auf einem Kontextparameter 129 parametriert wird. Dies bedeutet, dass ein oder mehrere Parameter des Steuerungsalgorithmus 130 angepasst werden, je nach Wert des Kontextparameter 129. Z.B. könnte eine Priorisierung erfolgen. Die Kontextparameter könnten wiederum mit der mindestens einen ersten Einstellung des OP-Mikroskops assoziiert sein. Das bedeutet, dass der Kontextparameter 129 den Kontext der Operation bei der jeweils aktivierten ersten Einstellung beschreiben kann.
  • Als allgemeine Regel könnte auch mehr als ein einzelner Kontextparameter 129 für die Parametrierung verwendet werden. Beispiele für Kontextparameter wurden voranstehend im Zusammenhang mit TAB. 1 beschrieben.
  • Indem der Steuerungsalgorithmus 130 basierend auf dem Kontextparameter 129 parametriert wird, kann erreicht werden, dass die Einstellung 125 besonders zuverlässig und dynamisch bestimmt werden kann. Derart können insbesondere Zielkonflikte aufgelöst werden, die aus mit unterschiedlichen Metriken und ggf. Assistenzfunktionalitäten assoziierten Zustandsindikatoren 121-123 resultieren können. Allgemeiner formuliert, können Zielkonflikte aufgelöst werden, die aus unterschiedlichen Vorgaben betreffend die Einstellung 125 resultieren können.
  • 5 ist ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren der 5 von den Gerät 90 ausgeführt werden, zum Beispiel von der Prozessoreinheit 91, basierend auf Programmcode, der aus dem Speicher 92 geladen wird. Optionale Boxen sind gestrichelt dargestellt.
  • Zunächst werden in Box 3010 ein oder mehrere Zustandsindikatoren bestimmt. Dies basiert auf der Überwachung der Operation - also z.B. basierend auf ein oder mehreren Zustandsdaten - und ferner auf Mikroskopiebilder des OP-Mikroskops. Zum Beispiel könnten ein oder mehrere Metriken verwendet werden, die - je nach Zustand der Operation - die Mikroskopiebilder bewerten, zum Beispiel hinsichtlich der Erfüllung von ein oder mehreren Vorgaben.
  • Beispielsweise könnte die OP hinsichtlich ein oder mehrerer Zielregionen überwacht werden. Es wäre möglich, eine kontinuierliche Identifikation von Zielregionen durchzuführen. Eine Zielregion kann einerseits durch Sensorsignale bestimmt werden, wie z.B. Toolbewegungen. Andererseits besteht die Möglichkeit, durch Bildverarbeitungsansätze Zielregionen zu extrahieren. So kann man beispielsweise Toolpositionen/-bewegungen, Blutungen, Blutgefäße, Nerven oder Tumorregionen aus Bilddaten extrahieren. Es wäre auch möglich, Zielregionen als Regionen erhöhter Aktivität definieren, etwa durch Toolspitzen. Außerdem besteht die Möglichkeit durch Einbindung eines chirurgischen Navigationssystems Zielregionen zu extrahieren. Aus einem Navigationssystem kann z.B. die geplante Trajektorie sowie die aktuelle Trajektorie zum Zielgebiet stammen.
  • Die ein oder mehreren Zustandsindikatoren können dabei mit mindestens einer ersten Einstellung des OP-Mikroskops assoziiert sein.
  • In Box 3015 werden optional ein oder mehrere Kontextparameter bestimmt. Wenn die Kontextparameter nicht dynamisch bestimmt werden, so wäre es möglich, dass diese prä-operativ vordefiniert sind.
  • Beispiele für Kontextparameter wurden voranstehenden TAB. 1 erläutert.
  • Dann wird in Box 3020 der Steuerungsalgorithmus parametriert. Dies erfolgt basierend auf den ein oder mehreren Kontextparametern in Box 3015.
  • Als allgemeine Regel könnte für die Parametrierung ein weiterer Algorithmus (Algorithmus für die Parametrierung) verwendet werden. Dieser könnte zum Beispiel maschinengelernt sein. Beispielsweise könnte ein künstliches neuronales Netzwerk verwendet werden. In einer Trainingsphase könnte der Maschinen-gelernte Algorithmus trainiert werden. Die Trainingsphase könnte getrennt von der tatsächlichen Inferenz-Phase sein, die während der Operation stattfindet. Es wäre aber auch denkbar, dass bestärkendes Kernen (engl. reinforcement learning) eingesetzt wird. Hier könnte verglichen werden, ob die vom Steuerungsalgorithmus ermittelte zweite Einstellung des OP-Mikroskops durch eine manuell ausgewählte Einstellung des OP-Mikroskops abgeändert wird oder vom Operateur übernommen wird. Basierend auf eine Abweichung zwischen der manuell ausgewählten Einstellung und der vom Steuerungsalgorithmus vom Steuerungsalgorithmus bestimmten Einstellung kann eine Verlustfunktion für das Training definiert werden.
  • In Box 3025 kann dann der Steuerungsalgorithmus angewendet werden, um die zweite Einstellung des OP-Mikroskops zu erhalten.
  • Es wäre möglich, dass diese zweite Einstellung des OP-Mikroskops dann auch angewendet wird, zum Beispiel in dem entsprechende Steuerdaten an das Steuergerät des OP-Mikroskops gesendet werden. Dies entspricht einer Aktion zur Änderung von Einstellungsparametern des OP-Mikroskops.
  • Die Aktionen aus Box 3010-3025 können optional mehrfach wiederholt werden, um derart dynamisch Einstellungen für das OP-Mikroskop zu bestimmen. Dies könnte z.B. in Echtzeit erfolgen, d.h. z.B. mit einer Taktfrequenz die nicht langsamer als z.B. 25 Hz ist.
  • Als nächstes werden Beispiele für die Parametrierung der Steuerungsalgorithmus 130 in Box 3020 beschrieben. Insbesondere kann die Parametrierung die Priorisierung von Parametern des Steuerungsalgorithmus 130 umfassen. Dies wird nachfolgend im Detail erläutert.
  • Die Priorisierung kann dabei auf verschiedene Arten innerhalb der Abfolge von Logikoperationen des Steuerungsalgorithmus 130 erfolgen, nämlich durch die Priorisierung der verfügbaren Zustandsindikatoren, Steuerungsmodelle zum Ermitteln von Einstellungen des OP-Mikroskops und/oder zwischen unterschiedlichen Kandidateneinstellungen.
  • Allgemein formuliert kann die Priorisierung also bedeuten, dass basierend auf ein oder mehreren Kontextparameter bestimmte Zustandsindikatoren, Steuerungsmodelle und/oder Einstellungen ausgewählt bzw. gewichtet werden.
  • Die Parametrierung des Steuerungsalgorithmus kann also das Durchführen mindestens einer Priorisierungsoperation umfassen. Einige Beispiele für diese Priorisierungsoperationen sind nachfolgend in TAB. 2 beschrieben.
    Beispiele für Priorisierungsoperationen Beispielhafte Beschreibung
    I Priorisierung innerhalb von Kandidaten-Zustandsindikatoren Beispielsweise kann, wenn mehrere Kandidaten-Zustandsindikatoren vorhanden sind (vgl. z.B. 4, wo mehrere Kandidaten-Zustandsindikatoren 121-123 vorhanden sind), ein oder mehrere Zustandsindikatoren aus dieser Menge ausgewählt werden und im Steuerungsalgorithmus weiterverarbeitet werden. Das bedeutet, dass eine Eingangsschicht des Steuerungsalgorithmus eine Filterung durchführen kann, im Zusammenhang mit den Kandidaten-Zustandsindikatoren. Nicht verwendete Kandidaten-Zustandsindikatoren können dann verworfen werden.
    Als Beispiel könnte z.B. eine Verdeckung einer Zielregion ist in einem bestimmten Kontext der Operation problematisch sein (z.B. wenn der Bipolarkoagulator das zu koagulierende Gebiet optisch verdeckt), während in einem anderen Kontext Verdeckungen unproblematisch sein können (z.B. wenn der Aspirator lediglich kurz den Bipolar verdeckt). Wird auf Basis eines Kontextparameters erkannt, dass eine Verdeckung die Visualisierungsqualität kritisch herabsetzt, dann wird ein Zustandsindikator, der die „Verdeckung“ quantifiziert, priorisiert und zur Bestimmung der Einstellung herangezogen. Dies erfolgt beispielsweise dadurch, dass bei der Bestimmung der Einstellung z.B. eine Pose ermittelt wird, die die für die Visualisierungsqualität problematische Verdeckung reduziert. Das bedeutet also, dass das Aktivieren der entsprechenden Einstellung des OP-Mikroskops den entsprechenden Zustandsindikator, der die „Verdeckung“ quantifiziert, verbessert (d.h. besser in Übereinstimmung mit einer entsprechenden Zielvorgabe bringt). Andere Zustandsindikatoren können nicht oder nur nachrangig berücksichtigt werden.
    Basierend auf dem aktuellen Verlauf der Operation und einem entsprechenden Kontextparameter wird festgestellt, dass ein aktuelles Zielgebiet außerhalb des Zentrums des Sichtfelds des OP-Mikroskops ist und so eine optimale Beleuchtung der Zielregion nicht mehr gegeben ist. Da diese Zielregion schon für eine vorgegebene Zeitdauer detektiert wurde, ist die zukünftig erwartbare Handlung, dass der Operateur in dieser Zielregion weiterarbeiten möchte. Daher wird ein Zustandsindikator priorisiert, der die derzeit fehlerhafte Beleuchtung quantifiziert, und derart wird eine angepasste Beleuchtung als Aktion als Einstellung des OP-Mikroskops bestimmt. Andere
    II Priorisierung innerhalb von Kandidaten-Steuerungsmodellen
    III Priorisierung innerhalb von Kandidaten-Einstellungen Es wäre denkbar, dass mehrere Kandidaten-Einstellungen - von ein oder mehreren Kandidaten-Steuerungsmodellen - erhalten werden. Es ist dann möglich, dass die Einstellung, die final ausgegeben wird (obenstehend auch als „zweite Einstellung“ bezeichnet), aus der entsprechenden Menge ausgewählt wird. Es ist also möglich, dass der Steuerungsalgorithmus eine entsprechende Filterung durchführt zwischen den Kandidaten-Einstellungen.
  • TAB. 2: Beispiele für Priorisierungsoperationen. Es ist möglich, dass die Priorisierung eine Kombination solcher und/oder weiterer Priorisierungsoperationen umfasst. Die Priorisierungsoperation kann zur Lösung mindestens eines Zielkonflikts durchgeführt werden. Der Zielkonflikt kann durch unterschiedliche Einstellungen des OP-Mikroskop je nach Ergebnis der Priorisierungsoperation charakterisiert sein. Das bedeutet, dass - je nach Ausgang der Priorisierung - jeweils eine Einstellung für das OP-Mikroskop 801 erhalten wird und unterschiedliche Ausgänge der Priorisierung mit unterschiedlichen Einstellungen assoziiert sind. Diese können gegenläufig ausgebildet sein, d.h. es liegt der Zielkonflikt vor. Das bedeutet also, dass die Priorisierungsoperation den Zielkonflikt zugunsten der letztendlich bestimmten Einstellung löst. Dies wird erreicht, indem die die Kandidaten-Zustandsindikatoren und/oder Kandidaten-Steuerungsmodelle und/oder Kandidaten-Einstellungen gewichtet berücksichtigt werden und/oder gefiltert werden (d.h. manche Elemente werden verworfen).
  • Die verschiedenen Beispiele für Priorisierungsoperationen gemäß TAB. 2 werden nachfolgend im Zusammenhang mit 6, 7, 8 und 9 näher beschrieben.
  • 6 illustriert Aspekte im Zusammenhang mit dem Steuerungsalgorithmus 130. Der Steuerungsalgorithmus 130 erhält als Eingabe mehrere Kandidaten-Zustandsindikatoren 320 (diese können den Zustandsindikatoren 121-123 gem. 4 entsprechen).
  • Die Kandidaten-Zustandsindikatoren 320 werden vorgelagert basierend auf einer Überwachung der Operation und Mikroskopiebildern bestimmt. Im dargestellten Beispiel werden insbesondere mehrere Zielregionen 310 für den gegenwärtigen Zustand der Operation bestimmt und basierend darauf die Kandidaten-Zustandsindikatoren 320 ermittelt. Dazu könnte zum Beispiel ein maschinengelerntes Verfahren eingesetzt werden. Die Kandidaten-Zustandsindikatoren 320 können beispielsweise angeben, wie gut die Sichtbarkeit der entsprechenden Zielregionen 310 (in den FIGs. als „ROI“, region of interest bezeichnet) in den Mikroskopiebildern ist. Als allgemeine Regel können aber auch andere Kandidaten-Zustandsindikatoren 320, zum Beispiel unabhängig von den Zielregionen 310 bestimmt werden.
  • Dann erfolgt eine Priorisierungsoperation 391 gemäß Tab. 2: Beispiel I. Es wird nämlich einer der Kandidaten-Zustandsindikator 320 priorisiert (dicker Pfeil in 6, „Merkmal 1“), dh. im dargestellten Fall wird eine Filterung durchgeführt. Diese Priorisierungsoperation wird in Abhängigkeit von ein oder mehreren Kontextparameter 129 durchgeführt.
  • Der entsprechende Zustandsindikator 320 wird dann als Eingabe in ein Steuerungsmodell 330 übergeben, welches eine Kandidaten-Einstellung 340 für das OP-Mikroskop ermittelt. Diese Kandidaten-Einstellung 340 wird dann als endgültige Einstellung 125 an das OP-Mikroskop übergeben (auch als „zweite Einstellung“ bezeichnet).
  • 7 illustriert Aspekte in Bezug auf den Steuerungsalgorithmus 130. Das Beispiel der 7 entspricht grundsätzlich dem Beispiel der 6. Im Beispiel der 7 bestimmt das Steuerungsmodell 330 aber zwei Kandidaten-Einstellungen 340. Dann wird im Rahmen einer weiteren Priorisierungsoperation 392 innerhalb dieser Kandidaten-Einstellungen 340 priorisiert, um die Einstellung 125 zu bestimmen, vergleiche Tab. 2: Beispiel III.
  • 8 illustriert Aspekte in Bezug auf den Steuerungsalgorithmus 130. Das Beispiel der 8 entspricht grundsätzlich dem Beispiel der 6. Im Beispiel der 8 sind aber mehrere Kandidaten-Steuerungsmodelle 330 verfügbar. Im Rahmen einer weiteren Priorisierungsoperation 393 wird eines der Kandidaten-Steuerungsmodelle 330 priorisiert („Modell 1“; dicker Pfeil) und zum Bestimmen der Einstellung für das OP-Mikroskop verwendet, vgl. TAB. 2: Beispiel II.
  • In 8 ist dargestellt, dass die verschiedenen Kandidaten-Steuerungsmodelle 330 mit unterschiedlichen Zustandsindikatoren assoziiert sind. Das kann der Fall sein, weil die Kandidaten-Steuerungsmodelle mit unterschiedlichen Assistenzfunktionalitäten assoziiert sind.
  • 9 illustriert Aspekte in Bezug auf den Steuerungsalgorithmus 130. Dabei wird lediglich die Priorisierungsoperation 392 verwendet.
  • Als allgemeine Regel ist es möglich, die verschiedenen Priorisierungsoperationen 391-393 flexibel miteinander zu kombinieren oder auch individuell zu verwenden.
  • 10 illustriert Aspekte im Zusammenhang mit dem Steuerungsalgorithmus 130. Insbesondere illustriert 10 Aspekte im Zusammenhang mit der algorithmischen Implementierung des Steuerungsalgorithmus 130.
  • Im Beispiel der 10 umfasst der Steuerungsalgorithmus 130 mehrere Sub-Algorithmen 701-702, 711-712. Dabei sind die Sub-Algorithmen 701, 711 mit einer ersten Assistenzfunktionalität assoziiert und die Sub-Algorithmen 702, 712 mit einer zweiten Assistenzfunktionalitäten assoziiert.
  • Der Sub-Algorithmus 701 und der Sub-Algorithmus 702 sind eingerichtet, Zustandsindikatoren zu bestimmen. Dazu können die Sub-Algorithmen 701-702 jeweils auf eine Überwachung der Operation zurückgreifen, beispielsweise auf aktuelle Zielregionen, sowie Mikroskopiebilder des OP-Mikroskops als Eingabe erhalten. Die Sub-Algorithmen 701-702 können zum Beispiel maschinengelernten sein.
  • Dabei ist es in anderen Beispielen möglich, dass die Bestimmung der Zustandsindikatoren vorgelagert zum Steuerungsalgorithmus 130 stattfindet.
  • Die Sub-Algorithmen 701-702 bestimmen dann die Zustandsindikatoren und basierend auf den Zustandsindikatoren können die Steuerungsmodelle 711-712 jeweils Kandidaten-Einstellungen bestimmen. Dabei kann es zu Zielkonflikten kommen.
  • Als allgemeine Regel könnte der Steuerungsalgorithmus 130 monolithisch oder modular implementiert werden.
  • Bei einer monolithischen Implementierung werden verschiedene Sub-Algorithmen 701-702, 711-712 des Steuerungsalgorithmus 130 gemeinsam implementiert und, im Falle von maschinengelernten Sub-Algorithmen, gemeinsam trainiert. Zum Beispiel können die Sub-Algorithmen 701-702, die eingerichtet sind, um die Zustandsindikatoren 320 zu bestimmen gemeinsam implementiert werden. Auch die Steuerungsmodelle 711-712 können gemeinsam implementiert werden.
  • Bei einer modularen Implementierung können unterschiedliche Sub-Algorithmen 701-702, 711-712 des Steuerungsalgorithmus 130 zumindest teilweise getrennt implementiert werden. Im Falle von maschinengelernten Sub-Algorithmen können diese getrennt trainiert werden. Beispielsweise können unterschiedliche Sub-Algorithmen mit unterschiedlichen Assistenzfunktionalitäten assoziiert sein (im Beispiel der 10 sind die Assistenzfunktionalitäten 751, 752 illustriert). Zum Beispiel könnten unterschiedliche Sub-Algorithmen 701, 702 verwendet werden, die eingerichtet sind, um die Zustandsindikatoren 320 zu bestimmen; diese können getrennt trainiert werden. Eine solche Implementierung hat den Vorteil, dass bei Änderungen an ein oder mehreren Sub-Algorithmen diese individuell ausgetauscht werden können, ohne dass Training für andere Sub-Algorithmen zu beeinflussen.
  • Ein Beispiel für einen Anwendungsfall des Steuerungsalgorithmus 130, der mit den beiden Assistenzfunktionalitäten 751-752 assoziiert ist, wird nachfolgend beschrieben:
    • Die Assistenzfunktionalität 751 ist eingerichtet, um eine optimale homogene Ausleuchtung des Situs in den Mikroskopiebildern des OP-Mikroskops zu erzielen. Damit ist die Zielregion der gesamte Situs. Als Zustandsindikatoren werden basierend auf den Mikroskopiebildern, die intra-operativ wiederholt erfasst werden, jeweils durch den Sub-Algorithmus 701 eine durchschnittliche Helligkeit sowie Gleichverteilung Helligkeit im Bild bestimmt. Dies könnte z.B. durch eine Histogramm-Analyse implementiert sein. Das Steuerungsmodell 711 bestimmt dann, basierend auf einem vorgegebenen Mapping Helligkeit zu Lichtintensität OP-Mikroskop, die erforderliche Lichtintensität des OP-Mikroskops 801, als Kandidat für die Einstellung.
  • Die Assistenzfunktionalität 752 ist eingerichtet, um Reflexe im Gewebe um Toolspitze zu vermeiden. Dabei ist die Zielregion ein Bereich, der 2 cm um Toolspitze herum definiert ist. Dabei können die entsprechenden Tools, d.h. Operationsbesteck, durch Anwendung des maschinellen Lernens bildbasiert erkannt werden, etwa vom Sub-Algorithmus 702. Der Sub-Algorithmus 702 bestimmt dann als Zustandsindikator die Anzahl der Reflexe im Zielregion. Dazu könnte der Sub-Algorithmus eine Histogramm-Analyse durchführen und/oder maschinelles Lernen. Das Steuerungsmodell 752 kann dann - basierend auf einem vorgegebenen Mapping zwischen der Anzahl der Reflexe und der Lichtintensität des OP-Mikroskops 801 - die erforderliche Lichtintensität bestimmen, als Kandidat für die Einstellung. Aus den beiden Kandidaten für die Einstellung kann sich ein Zielkonflikt ergeben: Die Assistenzfunktionalität 751 sagt „heller“ für besseres Licht, die Assistenzfunktionalität 752 sagt „dunkler“ für weniger Reflexe.
  • Dann wäre es möglich, in Abhängigkeit eines Kontextparameters zwischen den beiden Kandidaten-Einstellungen zu priorisieren, vgl. TAB. 2, Beispiel III. Der Kontextparameter könnte in diesem Beispiel eine OP-Phase beschreiben, vgl. TAB. 1, Beispiel IV.
  • Eine erste OP-Phase könnte das Heranarbeiten an das Aneurysma betreffen: hier würde beispielhaft der Chirurg eine gute Ausleuchtung auch in den periphären Bereichen des Situs bevorzugen (Wahrung des Überblicks) und dafür Reflexe in seinem konkreten Arbeitsbereich in Kauf nehmen. Eine zweite OP-Phase betrifft das Aneurysma Clipping: hier würde beispielhaft der Chirurg präferieren, wenige störende Reflexe im Bild haben und dafür eine etwas schlechtere periphere Ausleuchtung in Kauf nehmen.
  • Bei der modularen Lösung könnten im obigen Beispiel die Assistenzfunktionalitäten 751, 752 unabhängig entwickelt und getestet werden, da das Kontextwissen und die erlernte Priorisierung erst zwischen dem Schritt „Modelle“ und „Parameteränderungskandidaten“ einfließt. Auch die Kontextextraktion könnte unabhängig von den Assistenzfunktionalitäten erlernt werden.
  • Es kann auch vorkommen, dass Änderungen an den Assistenzfunktionalitäten 751, 752 vorgenommen werden, da die Priorisierung schon zu einem früheren Schritt in der Pipeline erfolgt. Dennoch können hier weiterhin wesentliche Anteile der jeweiligen Assistenzfunktionalität 751, 752 übernommen werden.
  • Nachfolgend wird ein weiteres Beispiel für die obenstehenden Techniken beschrieben.
  • Eine Einstellung des OP-Mikroskops 801 (obenstehend auch als „zweite Einstellung“ bezeichnet) wird basierend auf einem Steuerungsalgorithmus 130 bestimmt. Der Steuerungsalgorithmus 130 umfasst dabei ein Steuerungsmodell (vgl. 10, Steuerungsmodelle 711, 712), das als maschinengelernterAlgorithmus ausgebildet ist, z.B. als künstliches neuronales Netzwerk. Das Steuerungsmodell wurde in einer Trainingsphase z.B. auf Basis folgender Zustandsindikatoren trainiert: (i) Lage der Zielregion im Sichtbereich des Mikroskops (Sichtwinkel der Kameras); Verdeckungen von Zielregionen durch Operationsbesteck bzw. Gewebe des Situs. Die entsprechende angepasste Einstellung des OP-Mikroskops 801 kann als „Ground Truth“ vorgegeben werden.
  • Dabei können abgestufte Werte für die Zustandsindikatoren (z.B. wie stark Verdeckungen auftreten) während der Mikroskop-Benutzung laufend bestimmt werden (z.B. basierend auf Bildverarbeitung).
  • Weiterhin ist es aber auch vorstellbar, dass Zustandsindikatoren verwendet werden, die - etwa anhand eines Verlaufs der Operation - eine Vorhersage im Zusammenhang mit einem entsprechenden Merkmal für einen zukünftigen Zeitpunkt indizieren (z.B. Grad der bald erwartbaren Verdeckung). Dies kann beispielsweise durch neuronale Netze gelöst werden, welche vorab mit Realdaten trainiert wurden.
  • Während der Laufzeit erfolgt in Echtzeit eine situationsbedingte Priorisierung der Zustandsindikatoren (vgl. TAB. 2, Beispiel I): Es kann angenommen werden, dass Chirurgen das Mikroskop aus einem oder mehreren Gründen umpositionieren. Ein Grund das Mikroskop umzupositionieren kann darin bestehen, dass die Sicht durch Verdeckung zu stark beeinträchtigt ist. Oder eine optimale Beleuchtung nicht mehr gewährleistet ist. Gleichzeitig versucht der Chirurg aber auch, andere Ziele z.B. Verteilung der Zielregionen in der Bildebene zu optimieren. Ähnlich zum Verhalten des realen Chirurgen wird versucht, durch die Priorisierung diejenigen ein oder mehreren Zustandsindikatoren zu priorisieren, welche indikativ für die Einschränkung der Sicht sind.
  • Der Steuerungsalgorithmus zieht für das Durchführen dieser Priorisierungsoperation den aktuellen, den vergangenen sowie den künftig erwartbaren Kontext mit ein. Das bedeutet, dass ein oder mehrere Kontextparameter berücksichtigt werden. Hierzu werden Machine-Learning-basierte Verfahren eingesetzt, die z.B. auf Realdaten trainiert wurden.
  • Denkbar ist, dass Kontextparameter, die einen vergangenen Zustand der Operation beschreiben, z.B. durch intelligente Filter prozessiert werden, welche relevante Ereignisse von irrelevanten Ereignissen unterscheiden. Weiterhin ist vorstellbar, dass neuronale Netze mit Eingängen (d.h. aktuelle und vergangene Kontextsignalen) lang- bzw. kurzfristige Kontextvorhersagen treffen, welche in die Priorisierung eingezogen werden.
  • Zusammenfassend wurden voranstehend also Techniken beschrieben, die eine Parametrierung - zum Beispiel eine Priorisierung - eines Steuerungsalgorithmus für ein OP-Mikroskop in Abhängigkeit von einem Kontext der Operation beschreiben. Dazu kann zum Beispiel ein Priorisierungsalgorithmus eingesetzt werden, der ein oder mehrere Priorisierungsoperationen implementiert, in Abhängigkeit von ein oder mehreren Kontextparametern. Basierend auf einer entsprechenden Einstellung, die vom Steuerungsalgorithmus erhalten wird, kann dann das OP-Mikroskop gesteuert werden. Zum Beispiel könnten entsprechende Algorithmen, das heißt der Steuerungsalgorithmus und/oder der Priorisierung Algorithmus, auf einer geeigneten Datenverarbeitungseinheiten implementiert werden.
  • Die Parametrierung kann dabei in Echtzeit erfolgen. Ein oder mehrere Kontextparameter können in Echtzeit bestimmt werden, z.B. mittels eines entsprechenden Algorithmus der maschinengelernt sein kann. Ein oder mehrere Zustandsindikatoren können in Echtzeit bestimmt werden, z.B. mit einem maschinengelernten Algorithmus (vgl. 10, sub-Algorithmen 701, 702, oder auch vorgelagert zum Steuerungsalgorithmus).
  • Der Operation kann in Echtzeit überwacht werden. Beispielsweise könnten ein oder mehrere Zielregionen für die Operationen Echtzeit bestimmt werden. Zur Überwachung der Operation kann ein maschinengelerntes Verfahren eingesetzt werden. Beispielsweise könnte zum Bestimmen von Zielregionen ein maschinengelerntes Verfahren eingesetzt werden. Ein Modell für die Operation kann berücksichtigt werden. Die Überwachung der Operation, beispielsweise insbesondere das Bestimmen von Zielregionen, kann kontinuierlich erfolgen.
  • Ein oder mehrere Steuerungsmodelle, die dazu geeignet sind, eine Einstellung für das OP-Mikroskop zu bestimmen, können in Echtzeit ausgeführt werden (vgl. 10, sub-Algorithmen 711, 712). Dazu können Maschinen-gelernte Verfahren eingesetzt werden.
  • Alternativ oder zusätzlich zu maschinengelernten Verfahren können auch Regelbasierte Verfahren verwendet werden. Andere Beispiele betreffen selbst-lernende oder lernende Verfahren oder verhaltensbasierte Verfahren.
  • Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
  • Beispielsweise wurden voranstehend Techniken beschrieben, bei denen basierend auf ein oder mehreren Zustandsindikatoren eine Einstellung für ein OP-Mikroskop bestimmt wird. Dabei wäre es in Varianten denkbar, dass eine Einstellung auch für andere OP-Gerätschaften ermittelt wird unter Verwendung entsprechender Techniken, das heißt einer Parametrierung des Steuerungsalgorithmus basierend auf ein oder mehreren Kontextparametern.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10203215 A1 [0002]
    • DE 102014113935 A1 [0002]
    • EP 3593704 [0004]

Claims (15)

  1. Verfahren zur Steuerung eines Operationsmikroskops während einer Operation eines Patienten, wobei das Verfahren umfasst: - basierend auf einer Überwachung der Operation und ferner basierend auf Mikroskopiebildern des Operationsmikroskops (801), die mit mindestens einer ersten Einstellung des Operationsmikroskops (801) erfasst werden, Bestimmen von ein oder mehreren Zustandsindikatoren (121-123, 320), die mit der mindestens einen ersten Einstellung des Operationsmikroskops (801) assoziiert sind, - Durchführen einer Parametrierung eines Steuerungsalgorithmus (130) des Operationsmikroskops basierend auf ein oder mehreren Kontextparametern (129) der Operation, und - basierend auf der Parametrierung, Anwenden des Steuerungsalgorithmus (130) auf die ein oder mehreren Zustandsindikatoren (121-123, 320), um derart eine zweite Einstellung (125) des Operationsmikroskops zu bestimmen.
  2. Verfahren nach Anspruch 1, wobei die Parametrierung des Steuerungsalgorithmus (130) das Durchführen mindestens einer Priorisierungsoperation (391-393) umfasst, die ausgewählt ist, aus: Priorisierung (391) innerhalb von Kandidaten-Zustandsindikatoren (121-123, 320), welche unter Verwendung unterschiedlicher Metriken basierend auf den Mikroskopiebildern des Operationsmikroskops (801) bestimmt sind; Priorisierung (393) innerhalb von Kandidaten-Steuerungsmodellen (330), die vom Steuerungsalgorithmus zur Ermittlung von Einstellungen des Operationsmikroskops (801) basierend auf den ein oder mehreren Zustandsindikatoren verwendet werden, und/oder Priorisierung (392) innerhalb von Kandidaten-Einstellungen (340) des Operationsmikroskops (801), die von mindestens einem Steuerungsmodell (330) der Kandidaten-Steuerungsmodelle (330) erhalten werden.
  3. Verfahren nach Anspruch 2, wobei die mindestens eine Priorisierungsoperation (391-393) zur Lösung mindestens eines Zielkonflikts durchgeführt wird, wobei der mindestens eine Zielkonflikt durch unterschiedliche Einstellungen des Operationsmikroskops je nach Ergebnis der Priorisierungsoperation charakterisiert ist.
  4. Verfahren nach einem der voranstehenden Ansprüche, wobei die ein oder mehreren Kontextparameter (129) ein oder mehrere der folgenden umfassen: ein Operationsgerät (51, 52), etwa Operationswerkzeug; eine Zielregion (53) der Operation; eine Benutzervorgabe; eine Phase der Operation; einen Typ der Operation; Aktivitäten der Operation; Planungsdaten der Operation; und/oder mindestens einen Operateur der Operation.
  5. Verfahren nach einem der voranstehenden Ansprüche, wobei die ein oder mehreren Kontextparameter (129) eine Vorhersage für einen zukünftigen Fortschritt der Operation umfassen.
  6. Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: - Bestimmen mindestens eines Kontextparameters (129) der ein oder mehreren Kontextparameter (129) basierend auf einer Überwachung eines Verhaltens eines Operateurs der Operation.
  7. Verfahren nach einem der voranstehenden Ansprüche, wobei die Überwachung der Operation eine Anzahl und/oder Anordnung von ein oder mehreren Zielregionen der Operation im Patienten betrifft.
  8. Verfahren nach einem der voranstehenden Ansprüche, wobei die Überwachung der Operation basierend auf einem vorgegebenen Modell der Operation erfolgt, das optional Benutzer-spezifische Varianten umfasst.
  9. Verfahren nach einem der voranstehenden Ansprüche, wobei die Parametrierung basierend auf einem maschinengelernten Algorithmus durchgeführt wird, der optional durch bestärkendes Lernen basierend auf Feedback trainiert wird, das einen Unterschied zwischen der vom Steuerungsalgorithmus (130) bestimmten zweiten Einstellung des Operationsmikroskops (801) und einer manuell ausgewählten Einstellung des Operationsmikroskop (801) umfasst.
  10. Verfahren nach einem der voranstehenden Ansprüche, wobei die ein oder mehreren Zustandsindikatoren basierend auf ein oder mehreren Metriken, die auf die Mikroskopiebilder angewendet werden, bestimmt sind, wobei die ein oder mehreren Metriken ein oder mehrere der folgenden Eigenschaften der Mikroskopiebilder bewerten: eine Bildqualität; einen semantischen Inhalt der Mikroskopiebilder; und/oder eine Sichtbarkeit von Zielregionen in den Mikroskopiebildern.
  11. Verfahren nach Anspruch 10, wobei die ein oder mehreren Zustandsindikatoren (121-123, 320) mehrere Zustandsindikatoren (121-123, 320) umfassen, die mit unterschiedlichen Assistenzfunktionalitäten (751, 752) assoziiert sind und basierend auf unterschiedlichen Metriken bestimmt werden.
  12. Verfahren nach Anspruch 11, wobei die unterschiedlichen Metriken gleiche Eigenschaften der Mikroskopiebilder gegenläufig beurteilen.
  13. Verfahren nach einem der voranstehenden Ansprüche, wobei die Überwachung der Operation zumindest eines der folgenden betrifft: einen Verlauf der Operation; einen Ist-Zustand der Operation; und/oder einen Fortschritt der Operation in Bezug auf einen Zielzustand.
  14. Verfahren nach einem der voranstehenden Ansprüche, wobei der Steuerungsalgorithmus (130) mehrere Steuerungsmodelle (711, 712) umfasst, die jeweils eingerichtet sind, um basierend auf mindestens einem entsprechenden Zustandsindikator der ein oder mehreren Zustandsindikatoren (121-123, 320) eine Kandidaten-Einstellung des Operationsmikroskops zu bestimmen, wobei die mehreren Steuerungsmodelle (711, 712) jeweils einen maschinengelernten Algorithmus umfassen, wobei die maschinengelernten Algorithmen der mehreren Steuerungsmodelle getrennt trainiert werden.
  15. Gerät (90) umfassen einen Prozessor (91), der eingerichtet ist, um folgende Schritte durchzuführen: - basierend auf einer Überwachung einer Operation und ferner basierend auf Mikroskopiebildern eines Operationsmikroskops (801), die mit mindestens einer ersten Einstellung des Operationsmikroskops (801) erfasst werden, Bestimmen von ein oder mehreren Zustandsindikatoren (121-123, 320), die mit der mindestens einen ersten Einstellung des Operationsmikroskops (801) assoziiert sind, - Durchführen einer Parametrierung eines Steuerungsalgorithmus (130) des Operationsmikroskops basierend auf ein oder mehreren Kontextparametern (129) der Operation, und - basierend auf der Parametrierung, Anwenden des Steuerungsalgorithmus (130) auf die ein oder mehreren Zustandsindikatoren (121-123, 320), um derart eine zweite Einstellung (125) des Operationsmikroskops zu bestimmen.
DE102020130805.1A 2020-11-20 2020-11-20 Kontext-abhängige Steuerung eines Operationsmikroskops Pending DE102020130805A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020130805.1A DE102020130805A1 (de) 2020-11-20 2020-11-20 Kontext-abhängige Steuerung eines Operationsmikroskops
US17/455,274 US20220163780A1 (en) 2020-11-20 2021-11-17 Context-Dependent Control of a Surgical Microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020130805.1A DE102020130805A1 (de) 2020-11-20 2020-11-20 Kontext-abhängige Steuerung eines Operationsmikroskops

Publications (1)

Publication Number Publication Date
DE102020130805A1 true DE102020130805A1 (de) 2022-05-25

Family

ID=81452961

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020130805.1A Pending DE102020130805A1 (de) 2020-11-20 2020-11-20 Kontext-abhängige Steuerung eines Operationsmikroskops

Country Status (2)

Country Link
US (1) US20220163780A1 (de)
DE (1) DE102020130805A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10203215A1 (de) 2002-01-28 2003-08-07 Zeiss Carl Jena Gmbh Mikroskop, insbesondere Operationsmikroskop
DE102014113935A1 (de) 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
EP3593704A1 (de) 2017-03-07 2020-01-15 Sony Corporation Informationsverarbeitungsvorrichtung, hilfssystem und informationsverarbeitungsverfahren

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878923B2 (en) * 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
JP6690637B2 (ja) * 2015-03-31 2020-04-28 ソニー株式会社 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
JP7114568B2 (ja) * 2017-03-28 2022-08-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、制御方法およびプログラム
EP3920858A2 (de) * 2019-02-08 2021-12-15 The Board Of Trustees Of The University Of Illinois Bildgesteuertes chirurgisches system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10203215A1 (de) 2002-01-28 2003-08-07 Zeiss Carl Jena Gmbh Mikroskop, insbesondere Operationsmikroskop
DE102014113935A1 (de) 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
EP3593704A1 (de) 2017-03-07 2020-01-15 Sony Corporation Informationsverarbeitungsvorrichtung, hilfssystem und informationsverarbeitungsverfahren

Also Published As

Publication number Publication date
US20220163780A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
DE102004058911B4 (de) Reaktives Arbeitsablaufsystem und -verfahren
DE19648935B4 (de) Vorrichtung und Verfahren zur Untersuchung von Gefäßen
EP3332730B1 (de) Verfahren und trackingsystem zum nachverfolgen eines medizinischen objekts
DE102007046704B4 (de) Verfahren und Vorrichtung zur Unterstützung der Auswertung von medizinischen Bilddaten
DE102011006574B4 (de) Verfahren und System zur Unterstützung des Arbeitsablaufs in einer Operationsumgebung
DE19961971A1 (de) Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem Endoskopführungssystem (EFS) für die minimal invasive Chirurgie
WO2008058520A2 (de) Vorrichtung zur bereitstellung von bildern für einen operateur
DE102010012616A1 (de) Ophthalmologische Laser-Behandlungseinrichtung und Betriebsverfahren für eine solche
DE112011103923T5 (de) Verfahren und Vorrichtung zur mehrstufigen Augenregistrierung
DE102015014700A1 (de) Medizinische Beleuchtungsvorrichtung und medizinische Gestensteuerungsvorrichtung
DE102004003381B4 (de) Verfahren zur Bestimmung der Lage einer Schicht in einem Untersuchungsgebiet, in welcher Schicht eine Schichtbildaufnahme erfolgen soll
EP0681251A2 (de) Verfahren zum Betrieb eines Operationsmikroskopes
DE102019118752B4 (de) Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem
DE102019123742B4 (de) Augenchirurgie-Operationssystem und computerimplementiertes Verfahren zum Bereitstellen der Lage wenigstens eines Trokarpunkts
DE102020130805A1 (de) Kontext-abhängige Steuerung eines Operationsmikroskops
WO2023161193A2 (de) Medizinische bildgebungsvorrichtung, medizinisches system, verfahren zum betrieb einer medizinischen bildgebungsvorrichtung und verfahren zur medizinischen bildgebung
EP3456242B1 (de) Einstellen einer tischposition eines tomographen
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems
WO2022161930A1 (de) Tool-typ-agnostische assistenzfunktionalität bei chirurgischen eingriffen
DE102019125419A1 (de) Computerimplementiertes Verfahren zum Zuordnen von Bildbereichen eines digitalen Bildes, Mikroskop und computerimplementiertes Verfahren zum Ermitteln von Zuständen anhand eines das Gehirnoperationsfeld und das Gehirnoperationsumfeld zeigenden aufgenommenen Bildes
DE102020110983A1 (de) Verfahren, Mikroskopiesystem, computerbasiertes Datenverarbeitungssystem, Computerprogramm und Datenträger zur Evaluierung der Güte einer Kapsulorhexis
DE102020128199A1 (de) Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten
DE102015217847A1 (de) Lasergestütztes Augenbehandlungssystem und Augenbehandlungsverfahren
DE102015011421B4 (de) Verfahren zur Visualisierung eines Objektfeldes während eines chirurgischen Eingriffs und chirurgisches Mikroskop zur Ausführung des Verfahrens
EP3660860A1 (de) Verfahren und vorrichtung zur steuerung einer anzeigeeinheit in einem medizintechnischen gerätesystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0090200000

Ipc: G02B0021000000

R016 Response to examination communication