DE102022132628B3

DE102022132628B3 - System zum Visualisieren von OCT-Signalen

Info

Publication number: DE102022132628B3
Application number: DE102022132628.4A
Authority: DE
Inventors: Nassir Navab; Michael Sommersperger
Original assignee: Technische Universitaet Muenchen; Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2022-12-08
Filing date: 2022-12-08
Publication date: 2023-12-14
Anticipated expiration: 2042-12-09
Also published as: US20240193854A1

Abstract

Die vorliegende Erfindung betrifft ein System (100) zum Visualisieren von OCT-Signalen mit einem zur zeitaufgelösten Anzeige von Bilddaten (31) ausgebildeten Anzeigemittel (30) und einer Steuereinheit (40), wobei die Steuereinheit (40) dazu eingerichtet ist, ein zeitaufgelöstes OCT-Signal (19) eines ausgewählten Sichtfelds (66) einer Probe (65) von einem OCT-System (10) zu empfangen, anhand des OCT-Signals (19) ein zeitaufgelöstes OCT-Bild (31) mit einem virtuellen Schatten (60) zu ermitteln, wobei der virtuelle Schatten (50) durch virtuelles Bestrahlen zumindest eines Objekts (61) des OCT-Bildes (31) mittels einer virtuellen Lichtquelle (62) objektspezifisch auf zumindest einer Fläche (63) des OCT-Bildes (31) erzeugt wird, und das Anzeigemittel (30) zum Darstellen des zeitaufgelösten OCT-Bildes (31) auf dem Anzeigemittel (30) anzusteuern. Die vorliegende Erfindung betrifft ferner ein korrespondierendes Verfahren zum Visualisieren von OCT-Signalen.

Description

Gegenstand der Erfindung
Die vorliegende Erfindung betrifft ein System zum Visualisieren von OCT-Signalen, insbesondere zum Visualisieren zeitaufgelöster OCT-Signale in Form von zeitaufgelösten OCT-Bildern, enthaltend zumindest einen objektspezifischen Schatten. Die vorliegende Erfindung betrifft ferner ein Verfahren zum entsprechenden Visualisieren von OCT-Signalen.
Technologischer Hintergrund
Der Einsatz von technologischen Hilfsmitteln ist fester Bestandteil der modernen Medizin. Sowohl bildgebende Verfahren als auch robotische Systeme werden mittlerweile in der Chirurgie ebenso selbstverständlich eingesetzt wie in der Diagnostik. Das Verwenden bildgebender Verfahren ermöglicht dabei die Darstellung sowie Diskriminierung vielfältiger Strukturen im Patienten und die vom Patienten gewonnenen Bilddaten können vorteilhaft in der Diagnostik, als auch in therapeutischen und chirurgischen Verfahren eingesetzt werden.
Beispielsweise kann ein Operateur anhand von Bilddaten eines Patienten einen chirurgischen Eingriff besser planen und sich auch bei der Durchführung des Eingriffs unterstützen lassen. Für die Unterstützung von Operateuren bei der Durchführung chirurgischer Eingriffe kommen robotische Visualisierungssysteme zum Einsatz. Diese weisen in der Regel zumindest eine Kamera zur Aufnahme von Bildern des zu operierenden Bereichs auf, die von einem Stativ mit einer Gelenkstruktur getragen wird. Das Stativ erlaubt es, die Kamera durch Translations- und/oder Rotationsbewegungen relativ zum Subjekt zu positionieren, um Bilder eines gewünschten Sichtfelds (field of view - FOV) des zu operierenden Bereichs zu erfassen. Die Verwendung optischer Stereokameras ermöglicht dabei das Erfassen von 3D Bilddaten.
Neben der Erfassung von Oberflächeninformationen eines gewünschten Sichtfelds, beispielsweise anhand von reflektiertem, beziehungsweise rückgestreutem sichtbaren Licht, existieren mittlerweile auch Methoden zum Erfassen von Tiefeninformationen des Sichtfelds. Diese Methoden umfassen die optische Kohärenztomographie (optical coherence tomography, OCT), welche die dreidimensionale mikroskopische Abbildung von optisch transparenten und/oder reflektierenden Objekten und somit die Aufnahme von Volumenbildern des biologischen Gewebes im betrachteten Sichtfeld erlaubt. Bei der optischen Kohärenztomographie (OCT) handelt es sich im Wesentlichen um eine interferometrische Methode unter Verwendung von breitbandigem Licht mit geringer Kohärenzlänge. Systeme zum Erfassen von OCT Daten weisen daher in der Regel ein Interferometer und eine breitbandige Lichtquelle mit spektraler Breite von mehr als 1 % der zentralen Wellenlänge auf.
Die Erfassung von OCT Daten kann sequentiell oder parallel erfolgen. Die sequentielle Erfassung von OCT Daten erfolgt beispielsweise indem ein kohärenzarmer Quelllichtstrahl an einem Strahlteiler in einen Probenstrahl und in einen Referenzstrahl geteilt wird, die durch zwei Arme eines Interferometers geschickt werden, wobei im Referenzstrahlengang ein beweglicher Referenzspiegel und im Objektstrahlengang das zu untersuchende Objekt angeordnet sind. Durch Verschiebung des Referenzspiegels kann ein Gangunterschied zwischen Objekt- und Referenzstrahl und somit die vermessene Tiefe eingestellt werden. Mittels eines Spiegels im Objektstrahlengang wird der Objektstrahl zweidimensional über die Probe gerastert, was im Ergebnis eine dreidimensionale Abtastung der Probe ermöglicht.
Bei solch einer Erfassung von OCT Daten in der Zeitdomäne (time domain OCT - TD OCT) korrespondiert die spektrale Breite der Lichtquelle Δλ zu einer Kohärenzlänge L_C von L_C=λ*/Δλ. Die axiale Auflösung eines OCT-Systems korrespondiert zur Kohärenzlänge Lc des eingesetzten Lichts und bezeichnet das Auflösungsvermögen von Objekten, die entlang der optischen Achse einen Abstand von zumindest der Kohärenzlänge aufweisen. Beispielsweise hat eine Lichtquelle im Nahinfrarotbereich mit zentraler Wellenlänge von 800 nm und einer spektralen Breite von 80 nm eine Kohärenzlänge von 7 µm und ein OCT System mit einer solchen Quelle hat somit eine axiale Auflösung von etwa 1-10 µm. Die transversale Auflösung eines OCT Systems ist durch die im Objektstrahlengang verwendete Optik bestimmt, insbesondere durch die das Licht auf das zu untersuchende Objekt fokussierende Objektlinse.
Eine sequentielle Erfassung von OCT Daten ist auch in der Frequenzdomäne möglich (frequency domain OCT - FD OCT), wobei in der Regel zwischen der Verwendung einer durchstimmbaren Quelle (swept source OCT) und der Verwendung eines dispersiven Detektors (spectral domain OCT- SD OCT) unterschieden wird. Bei der swept source OCT wird die Frequenz der Anregungslichtquelle, beispielsweise einem Laser, durchgestimmt, wodurch ein Gangunterschied zwischen Proben- und Referenzstrahl und somit die abgetastete Probentiefe auch ohne verschiebbaren Referenzspiegel variiert werden kann. Bei der SD OCT wird ebenfalls eine breitbandige Lichtquelle verwendet, jedoch werden die Frequenzkomponenten des Interferenzsignals vor der Detektion separiert, beispielsweise durch ein optisches Gitter.
Mittels OCT sind Schnitt- und Volumendaten von biologischem Gewebe erfassbar und kann der Informationsgehalt für einen Operateur deutlich erhöht werden. Somit ist eine Integration von OCT in Operationsmikroskope wünschenswert, um sowohl Videodaten der Oberfläche eines gewünschten Sichtfelds als auch Tiefen- und/oder Schnittbilder des Sichtfelds darstellen zu können, beispielsweise simultan und/oder überlagert. Da Operateure bislang vor allem an die Arbeit mit (zum Teil dreidimensionalen) Videobilddaten gewöhnt sind, bedeutet die Verwendung von überlagerten zweidimensionalen OCT-Daten beziehungsweise OCT-Bildern für sie eine Umstellung. Dabei könnte es zur Überforderung der Operateure bei der Interpretation der OCT-Bilder und gegebenenfalls sogar zu Fehlinterpretationen kommen, beispielsweise wenn Operateure die OCT-Bilder genauso interpretieren wie Videobilddaten.
Darüber hinaus erfolgt das Ermitteln von OCT-Bildern aus OCT-Signalen rechnerisch, beispielsweise mittels Volumen-Rendering, Ray-Tracing und/oder Ray-Marching. Diese Verfahren bieten inhärent vielfältigere Möglichkeiten zur Bilderzeugung, als die zum Erzeugen der (teilweise dreidimensionalen) Videobilddaten aus den von einem Operationsmikroskop erfassten Bildsignalen normalerweise eingesetzten Verfahren beziehungsweise Algorithmen. Es sind daher Verfahren zum Erzeugen von OCT-Bildern (beziehungsweise zum Visualisieren von OCT-Signalen) zu entwickeln, die aus den vielfältigen Möglichkeiten diejenigen auswählen, die den Anforderungen aus der medizinischen Praxis optimal Rechnung tragen.
Die DE 102016200225 A1 offenbart ein Verfahren zum Anordnen eines virtuellen Szenebestandteils in einem eine Realszene darstellenden Ergebnisbild, wobei anhand von Tiefenbilddaten der Realszene ein 3D Modell der Realszene erstellt wird, dieses 3D Modell um den virtuellen Szenebestandteil (VSB) ergänzt wird und das Ergebnisbild durch Projektion von 2D-Bilddaten der Realszene auf das um den VSB ergänzte 3D Modell erzeugt wird.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein verbessertes System und ein verbessertes Verfahren zum Visualisieren von OCT-Signalen bereitzustellen, welches die Nachteile des Standes der Technik überwindet oder zumindest verringert und einem Operateur beziehungsweise Nutzer die korrekte Interpretation von OCT-Bildern vereinfacht.
Beschreibung der Erfindung
Die erfindungsgemäße Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Bevorzugte Weiterbildungen sind Gegenstand der Unteransprüche.
Ein erster Aspekt der vorliegenden Offenbarung betrifft ein System zum Visualisieren von OCT-Signalen, insbesondere zum Visualisieren solcher mittels eines medizintechnischen Geräts, beispielsweise eines Operationsmikroskops, erfasster Signale. Das erfindungsgemäße System weist dabei ein zur zeitaufgelösten Anzeige von Bilddaten ausgebildetes Anzeigemittel auf. Bei dem Anzeigemittel handelt es sich bevorzugt um einen oder mehrere Bildschirme, beispielsweise um zumindest einen Bildschirm eines Operationsmikroskops, um einen in einem Operationsraum fest installierten Bildschirm oder um ein Head-Mounted-Display (HMD), beispielsweise eine Videobrille. Bei dem Bildschirm handelt es sich vorzugsweise um einen 4K und/oder 8K fähigen Bildschirm und/oder um einen zur stereoskopischen Darstellung ausgebildeten 3D-Bildschirm.
Das System gemäß der vorliegenden Offenbarung weist ferner eine Steuereinheit auf, die mit dem Anzeigemittel verbunden ist, insbesondere zur ein- oder wechselseitigen Datenübertragung. Die Steuereinheit ist dazu eingerichtet, ein zeitaufgelöstes OCT-Signal eines ausgewählten Sichtfelds einer Probe von einem OCT-System zu empfangen. Bei der Probe handelt es sich beispielsweise um ein Operationsgebiet eines Patienten, bei ophthalmologischen Operationen insbesondere um ein Auge. Bei der Probe kann es sich jedoch auch um beliebige andere Operationsgebiete handeln, wie beispielsweise um Hirngewebe in der Neurochirurgie, um im HNO-Bereich befindliches Gewebe bei der HNO-Chirurgie oder um Zahnfleisch, Zahnstein oder Zahnnerven bei der Dentalchirurgie. Ebenso kann es sich um beliebige andere Gewebe oder Präparate (in vivo, in vitro oder in situ) handeln. Das zeitaufgelöste OCT-Signal ist bevorzugt erfasst worden, indem ein Lichtsignal erzeugt und mittels des Interferometers teilweise als Probenstrahl auf die Probe gelenkt und anschließend in dem Interferometer mit einem ebenfalls aus dem Lichtsignal erzeugten Referenzstrahl zur Überlagerung gebracht wird, um ein Interferenzmuster zu erzeugen.
Die Steuereinheit des Systems gemäß der vorliegenden Offenbarung ist ferner dazu ausgebildet, anhand des empfangenen zeitaufgelösten OCT-Signals ein zeitaufgelöstes OCT-Bild mit einem virtuellen Schatten zu ermitteln. Dabei ist der virtuelle Schatten durch virtuelles Bestrahlen zumindest eines Objekts des OCT-Bildes mittels einer virtuellen Lichtquelle objektspezifisch erzeugt. Mit anderen Worten, wird der virtuelle Schatten speziell für ein bestimmtes Objekt des OCT-Bildes erzeugt, indem dieses Objekt virtuell bestrahlt wird. Der virtuelle Schatten wird dabei auf zumindest einer Fläche des OCT-Bildes erzeugt, insbesondere auf einer bestimmten Fläche des OCT-Bildes. Mit anderen Worten sind erfindungsgemäß für das Erzeugen des virtuellen Schattens sowohl ein schattenerzeugendes Objekt, als auch eine schattenempfangende Fläche bestimmt. Der durch die virtuelle Lichtquelle von dem schattenerzeugenden Objekt erzeugte virtuelle Schatten wird auf der schattenempfangenden Fläche generiert. Erfindungsgemäß ist so das Erzeugen semantisch segmentierter Schatten möglich.
Die Steuereinheit des Systems gemäß der vorliegenden Offenbarung ist ferner dazu eingerichtet, das ermittelte zeitaufgelöste OCT-Bild auf dem Anzeigemittel darzustellen. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, das Anzeigemittel zum Darstellen des zeitaufgelösten OCT-Bildes mit dem virtuellen Schatten auf dem Anzeigemittel anzusteuern. Die Anzeige erfolgt dabei vorteilhaft mit dem virtuellen Schatten. Der virtuelle Schatten erleichtert dabei das Interpretieren des OCT-Bildes, insbesondere ermöglicht dieser ein besseres Verständnis von Abständen zwischen Objekten und Flächen innerhalb des OCT-Bildes. Das System gemäß der vorliegenden Offenbarung ermöglicht somit vorteilhaft eine optimale Visualisierung des OCT-Signals entsprechend der Bedürfnisse des Nutzers, wodurch die Potentiale des OCT-Signals optimal ausgenutzt werden, dem Nutzer ein maximaler Informationsgehalt zur Verfügung gestellt wird und Fehlinterpretationen vermieden werden.
Die Steuereinheit ist bevorzugt dazu ausgebildet, ein OCT-System zum Erfassen eines zeitaufgelösten OCT-Signals eines ausgewählten Sichtfelds (region of interest - ROI) einer Probe anzusteuern, wobei das Sichtfeld bevorzugt durch einen Nutzer ausgewählt wird. Ferner bevorzugt weist das System gemäß der vorliegenden Offenbarung ein OCT-System auf. Das OCT System weist bevorzugt eine zum Beleuchten einer Probe ausgebildete, beispielsweise breitbandige, Lichtquelle auf. Bei dieser Lichtquelle handelt es sich bevorzugt um einen durchstimmbaren Laser (swept source), beispielsweise ein Breitband-Laser, ein Superkontinuum-Laser und/oder ein Ultrakurzpulslaser. Dabei kann ein durchstimmbarer Laser zu einem gegebenen Zeitpunkt eine schmalbandige Lichtquelle sein, deren Mittelfrequenz jedoch zeitlich gezielt variierbar ist oder aus einer Mehrzahl schmalbandiger Lichtquellen gebildet sein. Es können jedoch auch andere breitbandige Quellen zum Einsatz kommen, beispielsweise eine Superlumineszenzdiode, beispielsweise in einer FD-OCT.
Das OCT-System weist ferner bevorzugt ein zum Erzeugen und Überlagern eines Probenstrahls und eines Referenzstrahls ausgebildetes Interferometer auf, beispielsweise ein Michelson, Mach-Zehner oder Koster Interferometer. Das Interferometer weist bevorzugt einen Strahlteiler zum Erzeugen und Überlagern von Proben- und Referenzstrahl aus dem Licht der breitbandigen Quelle, einen Referenzstrahlengang und einen Probenstrahlengang auf. Ferner bevorzugt weist das Interferometer Mittel zum Einstellen einer untersuchten Probentiefe auf. Dabei kann es sich, je nach Messmethode, um ein Mittel zum Erzeugen eines Gangunterschieds (wie eines im Referenzstrahl verschiebbaren Spiegels bei einer SD-OCT), ein Mittel zum Separieren von Licht eines bestimmten Gangunterschieds (wie ein optisches Gitter bei einer FD-OCT) oder um Mittel zum Erzeugen von Licht eines bestimmten Gangunterschieds (wie eine durchstimmbaren Quelle bei einer swept source-OCT) handeln.
Das OCT-System weist ferner einen zum Abrastern der Probe mit dem Probenstrahl ausgebildeten Scanmechanismus auf. Der Scanmechanismus ist insbesondere dazu ausgebildet, den Probenstrahl in zwei Dimensionen über die Probe zu rastern. Bevorzugt handelt es sich bei dem Scanmechanismus um einen Scanspiegel, es können jedoch auch andere Scanmechanismen, wie beispielsweise ein Glasfaserscanner, ein Prismenscanner, ein Palmer-Scanner oder dergleichen zum Einsatz kommen. Bei einem für Full-Field-OCT eingerichteten OCT-System ist ein Scanmechanismus verzichtbar.
Das OCT-System weist ferner einen zum Erfassen eines durch Überlagerung von Probenstrahl und Referenzstrahl erzeugten Interferenzmusters ausgebildeten Detektor auf.
Bei dem Detektor handelt es sich beispielsweise um einen Liniendetektor, ein zweidimensionales Detektorarray, einen Photodetektor beziehungsweise einen dispersiven Detektor. Der Detektor ist beispielsweise als CCD oder als ein CMOS Detektor ausgebildet.
Bei dem OCT-Signal handelt es sich um bevorzugt ein Interferenzsignal, wobei die Modulation der Einhüllenden des Interferenzsignals Reflektionseigenschaften der Probe kodiert. Mittels des Scanmechanismus kann die Probe zweidimensional in einer über den Gangunterschied eingestellten Probentiefe abgerastert werden. Anhand des eingesetzten Scanmechanismus, dem eingesetzten Mittel zum Auswählen beziehungsweise Erzeugen des Gangunterschieds, beispielsweise eines verstellbaren Spiegels im Referenzstrahl, einem optischen Gitter vor dem Detektor oder einer durchstimmbaren breitbandigen Lichtquelle und der Wiederholrate des Detektors, ergibt sich für das zeitaufgelöste OCT-Signal eine Taktfrequenz (Bildwiederholrate).
Die Steuereinheit ermittelt anhand des OCT-Signals rechnerisch ein zeitaufgelöstes OCT-Bild, beispielsweise mittels Volumen-Rendering, Ray-Tracing und/oder Ray-Marching, wobei erfindungsgemäß mittels einer virtuellen Lichtquelle ein virtueller Schatten eines Objekts erzeugt wird. Beispielsweise wird beim Raycasting im direkten Volumenrendering die Position eines potenziellen Schattens ermittelt, indem ein Schattenstrahl in Richtung der virtuellen Lichtquelle ausgesandt wird, sobald sich der Kamerastrahl (also ein Strahl aus der Beobachtungs- beziehungsweise Blickrichtung des Volumenrendering) mit einer schattenempfangenden Fläche schneidet. Der Schattenstrahl wird dabei von diesem Schnittpunkt in Richtung der virtuellen Lichtquelle ausgestrahlt und ein Schatten wird auf der schattenempfangenden Fläche erzeugt, wenn sich dieser Schattenstrahl während seiner Ableitung mit dem schattenerzeugenden Objekt schneidet. Der Schatten wird dann am Schnittpunkt des ursprünglichen Kamerastrahls und der schattenempfangenden Fläche erzeugt. Dem Fachmann sind diverse Verfahren zur Schattenberechnung beim Volumen-Rendering, Ray-Tracing und/oder Ray-Marching bekannt, wie beispielsweise die soeben beschriebenen Schattenstrahlen, Shadow Mapping sowie Deep Shadow Maps, die alle von der Steuereinheit des Systems gemäß der vorliegenden Offenbarung zum Erzeugen des virtuellen Schattens genutzt werden können (vgl. beispielsweise die Veröffentlichung „Shadow Ray aus Ropinski et al., „Efficient Shadows for GPU-based Volume Raycasting“).
Gemäß der vorliegenden Erfindung werden ein oder mehrere Objekte von Interesse zunächst mit Hilfe einer Segmentierungsmethode teilweise oder vollständig identifiziert. Die virtuelle Lichtquelle erzeugt dann künstliche Schatten nur für die interessierenden Objekte. Darüber hinaus werden auch die schattenempfangenden Flächen gezielt bestimmt. Beispielsweise kann die virtuelle Lichtquelle einen virtuellen Schatten eines medizintechnischen Instrumentes nur auf die Oberfläche der Netzhaut, der internen Begrenzungsmembran („internal limiting membrane - ILM“) oder des retinalen Pigmentepithel (RPE) werfen. Bei der schattenempfangenden Fläche kann es sich somit um eine oberflächliche Schicht oder um eine innenliegende Schicht handeln. Sofern es sich um eine innenliegende Schicht handelt, werden darüberliegende Schichten bevorzugt zumindest teilweise transparent visualisiert. Ein Schattenwurf ist jedoch auch ohne zusätzliche Segmentierung der schattenempfangenden Fläche möglich und betrifft dann alle Voxel im OCT-Volumen, die vom interessierenden Objekt beschattet und nicht von der virtuellen Lichtquelle bestrahlt werden.
Alternativ ist die erfindungsgemäße die Steuereinheit ferner dazu eingerichtet und ausgebildet, eine Vielzahl von Objekten und/oder eine Vielzahl von Flächen in dem OCT-Signal oder dem OCT-Bild zu segmentieren. Mit anderen Worten erfolgt keine zielgerichtete Segmentierung (beispielsweise mittels objektspezifischer Informationen), sondern werden zunächst alle Objekte und/oder Flächen in dem OCT-Signal oder OCT-Bild segmentiert. Die Steuereinheit ist ferner dazu ausgebildet, aus der Vielzahl segmentierter Objekte das zumindest eine Objekt anhand einer Nutzereingabe zu ermitteln beziehungsweise auszuwählen. Die Steuereinheit ist ferner dazu ausgebildet, aus der Vielzahl segmentierter Flächen die zumindest eine Fläche anhand einer Nutzereingabe zu ermitteln beziehungsweise auszuwählen. Der virtuelle Schatten kann somit nur für ein einziges Objekt von Interesse erstellt werden, zum Beispiel für ein chirurgisches Werkzeug, aber auch für mehrere Objekte von Interesse, beispielsweise für mehrere chirurgische Werkzeuge oder anatomische Strukturen.
Somit wird durch das System gemäß der vorliegenden Offenbarung vorteilhaft ein OCT-Bild mit zumindest einem virtuellen Schatten ermittelt, wobei durch das OCT-System bereitgestellte Freiheitsgrade beim Erzeugen des OCT-Bildes aus dem OCT-Signal vorteilhaft nutzbar sind. Sowohl die Blickrichtung des Volumenrendering, als auch die Position und Ausrichtung der virtuellen Lichtquelle, sind dabei prinzipiell von einer tatsächlichen Blickrichtung eines Nutzers oder einer tatsächlichen Lichtquelle unabhängig. Die Position und Ausrichtung der virtuellen Lichtquelle sind vielmehr durch den Nutzer wie unten beschrieben vorgebbar und/oder anhand von Geräteparametern wie unten beschrieben ermittelbar und dienen neben dem definierten (vorbestimmten) schattengenerierenden Objekt und der definierten schattenempfangenden (vorbestimmten) Fläche als Berechnungsgrundlage des virtuellen Schattens in dem OCT-Bild.
Erfindungsgemäß ist die Steuereinheit des Systems gemäß der vorliegenden Offenbarung ferner dazu eingerichtet, das zumindest eine Objekt und/oder die zumindest eine Fläche durch Segmentierung des OCT-Signals oder des OCT-Bildes zu ermitteln. Die Segmentierung erfolgt dabei insbesondere vor der Erzeugung des virtuellen Schattens, anhand der OCT Rohdaten und/oder anhand eines daraus ermittelten OCT-Bildes. Durch die Segmentierung von OCT-Signal oder OCT-Bild ist die Steuereinheit vorteilhaft dazu in der Lage, die Position des zumindest einen Objekts und/oder der zumindest einen Fläche im OCT-Volumen zu identifizieren. Dem Fachmann sind verschiedene Algorithmen bekannt, um automatisch Objekte in Bilddaten zu segmentieren und diese Algorithmen werden vorliegend von der Steuereinheit eingesetzt um schattenempfangende Flächen und schattenerzeugende Objekte zu ermitteln. Zu diesen Algorithmen gehören traditionelle schwellwertbasierte Bildverarbeitungsalgorithmen genauso wie neuere, auf maschinellem Lernen basierende 2D- und 3D-Segmentierungsnetzwerke (beispielsweise ein U-Net-Segmentierungsnetzwerk). Die Steuereinheit ist bevorzugt dazu ausgebildet, die Segmentierungen aus einzelnen 2D-OCT-B-Scans oder direkt aus dem gesamten 3D-OCT-Volumen zu gewinnen. Die dabei gewonnenen Positionen sind vorteilhaft im Volumen-Rendering, Raytracing, und/oder Ray-Marching, wie obenstehend beschrieben, verwendbar.
Die Steuereinheit gemäß der vorliegenden Offenbarung ist bevorzugt dazu ausgebildet und eingerichtet, das zumindest eine Objekt anhand objektspezifischer Informationen zu ermitteln beziehungsweise zu segmentieren. Mit anderen Worten können zusätzliche, das Objekt charakterisierende Informationen für die Identifikation und Segmentierung dieses Objekts verwendet werden. Bei diesen Informationen handelt es sich beispielsweise um Informationen zu Größe, Geometrie, geschätzter Relativlage und/oder Material des Objekts. Ebenso bevorzugt ist die Steuereinheit gemäß der vorliegenden Offenbarung bevorzugt dazu ausgebildet und eingerichtet, die zumindest eine Fläche anhand flächenspezifischer Informationen zu ermitteln. Somit können auch zusätzliche, die Fläche charakterisierende Informationen für die Identifikation und Segmentierung dieser Fläche verwendet werden. Bei diesen Informationen handelt es sich beispielsweise um Informationen zur geschätztem Relativlage (Schichtfolge), Oberflächenbeschaffenheit und/oder Gewebeart der Fläche. Die objektspezifischen und/oder flächenspezifischen Informationen umfassen ferner bevorzugt auch Informationen zu einer chirurgischen Phase (einer Phase eines bestimmten operativen Eingriffs), in der die Segmentierung des jeweiligen Objekts beziehungsweise der jeweiligen Fläche gewünscht ist. In Kombination mit einem Algorithmus zur Phasenerkennung kann eine variable Segmentierung von Objekten und/oder Flächen somit vollautomatisch erfolgen.
Das System gemäß der vorliegenden Offenbarung weist bevorzugt ferner eine zum Erfassen einer Nutzereingabe ausgebildete Schnittstelle auf. Bei der Schnittstelle handelt es sich bevorzugt um einen Handschalter, einen Fußschalter und/oder um Mittel zum Erkennen einer Kopf- und/oder Augenbewegung beziehungsweise einer tatsächlichen Blickrichtung, beispielsweise integriert in eine Videobrille oder in ein Head-Mounted-Display, HMD. Die Schnittstelle kann ferner zum Erfassen von Sprachbefehlen ausgebildet sein und hierfür zumindest ein Mikrofon umfassen. Ebenso bevorzugt handelt es sich bei der Schnittstelle um eine Tastatur, einen Joystick, eine Maus, einen Touchscreen oder eine Kombination davon.
Gemäß dieser bevorzugten Ausführungsform ist die Steuereinheit ferner dazu ausgebildet, die Schnittstelle zum Erfassen der Nutzereingabe anzusteuern. Ferner bevorzugt geht der Nutzereingabe eine Eingabeaufforderung voraus, die beispielsweise mittels des Ausgabemittels an den Nutzer ausgegeben wird. Ebenfalls bevorzugt ist die Nutzereingabe eine Auswahl aus einer Mehrzahl vordefinierter Eingabemöglichkeiten, welche beispielsweise eine virtuelle Beleuchtungsrichtung und/oder einen durchzuführenden Eingriff spezifizieren. Ebenfalls bevorzugt handelt es sich bei der Nutzereingabe um eine vom Nutzer innerhalb eines vorgegebenen Rahmens frei definierbare Nutzereingabe. Ebenfalls bevorzugt ist die Steuereinheit dazu ausgebildet, den Nutzer bei der Nutzereingabe zu unterstützen, beispielsweise durch Anzeige einer Mehrzahl von Dialogen zur gezielten Abfrage von bestimmten Nutzereingaben.
In einer ebenfalls bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist die Steuereinheit dazu eingerichtet, aus dem OCT-Signal das OCT-Bild mittels Volumen-Rendering, Ray-Tracing und/oder Ray-Marching als 3D Volumenbild zu ermitteln. Besonders bevorzugt ist die Steuereinheit dazu eingerichtet, das zeitaufgelöste OCT-Bild als ein dreidimensionales und aus einer virtuellen Blickrichtung perspektivisches Volumenbild zu ermitteln. Neben der Darstellung von OCT-Bildern in „en-face“ Darstellung, also in einer Draufsicht, ermöglicht die Steuereinheit somit auch die perspektivische Darstellung der OCT-Signale. Ebenfalls bevorzugt ist die Steuereinheit ferner dazu ausgebildet, die OCT-Signale in Form von Schnittbildern in einer Höhenrichtung der Probe (sogenannte B-Scans) darzustellen. Die Darstellung der zeitaufgelösten OCT-Bilder als dreidimensionales und perspektivisches Volumenbild aus verschiedenen Perspektiven ermöglicht es vorteilhaft, maximale Tiefeninformation über das Objekt zu erhalten. Insbesondere können sowohl die gerade Darstellung aus der Vogelperspektive (Draufsicht, „en face“), diese aus verschiedenen virtuellen Blickrichtungen (Azimuth- und Höhenwinkel), als auch Schnittbilder (B-Scans) entlang verschiedener Schnittlinien sinnvoll sein, beispielsweise um während verschiedener Phasen eines Eingriffs die jeweils relevanten Informationen über die Probe zu erhalten. Gemäß dieser Ausführungsform ist die Steuereinheit ferner dazu ausgebildet, auch die virtuelle Blickrichtung anhand einer Nutzereingabe zu ermitteln, beispielsweise mittels einer Nutzereingabe die einen Azimuthwinkel und einen Höhenwinkel der Blickrichtung spezifiziert.
Ferner bevorzugt ist die Steuereinheit dazu eingerichtet ist, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle zu variieren. Wie bereits ausgeführt, kann das Rendering von 3D-OCT-Volumenbildern zu Problemen bei der korrekten Interpretation von Raumlagebeziehungen von Objekten/Flächen in dem OCT-Bild führen. Beispielsweise kann die Relativlage einer chirurgischen Werkzeugspitze und einer anatomischen Struktur je nach Blickwinkel falsch interpretiert werden. Durch Positionierung von ein oder mehreren virtuellen Lichtquellen wird dieses Problem gelöst. Bei der virtuellen Lichtquelle kann es sich prinzipiell um jede Art von Lichtquellen handeln, wie beispielsweise um eine Punktlichtquelle, um gerichtetes (paralleles) Licht oder um andere Lichtquellen. Die virtuelle Lichtquelle erzeugt dann virtuelle Schatten in Abhängigkeit von ihrer Art, Position und Ausrichtung. Durch Variation von Art, Position und/oder Ausrichtung können die Positionswahrnehmung von interessierenden Objekten im OCT-Bild und die Abschätzung von deren Entfernung zu anatomischen Strukturen unterstützt werden. Ebenfalls bevorzugt ist die Steuereinheit dazu eingerichtet, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle in dem zeitaufgelösten OCT-Bild darzustellen. Dies unterstützt vorteilhaft zusätzlich das Verständnis des Nutzers von dem erzeugten zumindest einen virtuellen Schatten.
Auch gemäß dieser Ausführungsform weist das System gemäß der vorliegenden Offenbarung bevorzugt eine zum Erfassen einer Nutzereingabe ausgebildete Schnittstelle auf. Bei der Schnittstelle handelt es sich bevorzugt um die bereits oben beschriebene Schnittstelle. Die Steuereinheit ist dann bevorzugt dazu eingerichtet, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle anhand der Nutzereingabe einzustellen. Die Position der virtuellen Lichtquelle kann somit vorteilhaft manuell eingestellt werden, um die Größe und Richtung des virtuellen Schattens zu variieren. Dies erlaubt es dem Nutzer genau die Manipulationen vorzunehmen, die er für sein persönliches Verständnis als hilfreich erachtet.
Alternativ oder zusätzlich weist das System gemäß der vorliegenden Offenbarung ferner eine zum Erfassen eines Geräteparameters ausgebildete Geräteschnittstelle auf. Bei der Geräteschnittstelle handelt es sich vorzugsweise um eine Schnittstelle zum Anschluss eines operationsmikroskopischen Systems wie untenstehend noch im Detail beschrieben. Ebenfalls bevorzugt handelt es sich bei der Geräteschnittstelle aber auch um eine Schnittstelle zum Anschluss eines beliebigen anderen bildgebenden Systems. Bei der Geräteschnittstelle kann es sich ferner um eine Schnittstelle zum Anschließen eines medizintechnischen Instruments handeln. Ebenso bevorzugt ist über die Geräteschnittstelle ein System zum Tracking eines medizinischen oder medizintechnischen Instruments anschließbar, wobei es sich bei dem Trackingsystem auch um das operationsmikroskopische System oder ein anderes bildgebendes System handeln kann. Bei dem medizintechnischen Instrument handelt es sich beispielsweise um einen Pointer, eine Sonde, eine Pinzette, eine Ahle, einen Phako-Tip, ein Endoskop, eine Endo-LED eines Greifers oder dergleichen. Gemäß dieser Ausführungsform ist die Steuereinrichtung bevorzugt dazu eingerichtet, mit der Geräteschnittstelle zu kommunizieren, insbesondere bidirektional zu kommunizieren und ferner dazu, die Geräteschnittstelle zum Erfassen eines Geräteparameters eines mittels der Schnittstelle angeschlossenen Geräts anzusteuern.
Gemäß dieser Ausführungsform ist die Steuereinheit ferner dazu ausgebildet, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle anhand eines mittels der Geräteschnittstelle erfassten Geräteparameters zu ermitteln. Bevorzugt können anhand der Geräteparameter eines angeschlossenen operationsmikroskopischen Systems oder anderen bildgebenden Systems die Position, Ausrichtung und/oder Art einer realen Lichtquelle des operationsmikroskopischen Systems oder anderen bildgebenden Systems ermittelt werden und kann die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle gleich dieser gesetzt werden. Dies ermöglicht beispielsweise eine überlagerte oder gleichzeitige Darstellung von Videobilddaten und OCT-Bilddaten mit identischen Beleuchtungs- und Schattenverhältnissen. Vorteilhaft kann der virtuelle Schatten somit durch eine künstliche Lichtquelle erzeugt werden, die in ihrer Art, Position und/oder Ausrichtung mit der realen chirurgischen Lichtquelle im Operationsgebiet übereinstimmt. Die Position und Ausrichtung der realen Lichtquelle können auch durch Bildverarbeitung beziehungsweise -analyse im OCT-Bild oder der operationsmikroskopischen „en-face“ Ansicht ermittelt werden.
In einer ebenfalls bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung weist dieses ferner ein medizintechnisches Instrument auf. Bevorzugt beschreibt der Geräteparameter eine Lage, eine Position und/oder einen Zustand eines angeschlossenen oder eines mittels des Trackingsystems getrackten medizintechnischen (oder eines getrackten medizinischen) Instruments. Bei dem medizintechnischen Instrument handelt es sich beispielsweise um eine Sonde, einen Pointer, eine Pinzette, eine Ahle, einen Phako-Tip, ein Endoskop, eine Endo-LED oder dergleichen.
Ein Typ des medizintechnischen Instruments kann dabei bevorzugt anhand einer Geräteschnittstelle zum Anschluss des medizintechnischen Instruments, mittels eines Trackingsystems (beispielsweise durch Erkennen einer Target-ID) und/oder anhand einer Eingabe durch eine Nutzerschnittstelle erfolgen. Ebenso bevorzugt erfolgt die Erkennung eines Typs des in das Sichtfeld des operationsmikroskopischen Systems eingebrachten medizintechnischen Instruments durch Bildanalyse der Videobilddaten, beispielsweise mittels Segmentierung und Objekterkennung. Eine Position des medizintechnischen Instruments wird bevorzugt anhand der Detektion eines Markers und/oder eines mehrere Marker umfassendes Targets ermittelt, wobei der Marker eine Kennzeichnung auf oder eine Struktur des medizintechnischen Instruments sein kann. Die Erfassung des Markers und/oder des Targets erfolgt bevorzugt mittels des operationsmikroskopischen Systems und gegebenenfalls unter Verwendung zusätzlicher Lichtquellen (beispielsweise Infrarot-LEDs) und/oder nach einer Registrierung/Kalibrierung des medizintechnischen Instruments (beispielsweise durch Positionieren der einer Spitze des medizintechnischen Instruments an einem definierten Ort). Die Raumlage des medizintechnischen Instruments kann auch durch das Instrument selbst ermittelt werden. Vorteilhaft kann die Art, Position und/oder Ausrichtung der virtuellen Lichtquelle in dieser Ausführungsform abhängig von der Entfernung des Instruments zur Augenanatomie oder anderen interessanten Bereichen des OCT-Bilds automatisch eingestellt werden. Beispielsweise kann die virtuelle Lichtquelle mit abnehmendem Abstand des medizintechnischen Instruments zur schattenempfangenden Fläche, beispielsweise einem anatomischen Gewebe, mit einem abnehmendem Abstand zu dieser Fläche angeordnet werden, um den Abstand zwischen Instrument und Gewebe durch den Schatten zu betonen.
Ein Zustand des in das Sichtfeld des operationsmikroskopischen Systems eingebrachten medizintechnischen Instruments wird bevorzugt ebenfalls anhand von Bildanalyse der Videobilddaten ermittelt. So ist beispielsweise anhand der Bilddaten zu erkennen, ob eine Pinzette geöffnet oder geschlossen ist. Darüber hinaus kann eine Nutzereingabe zum Ändern eines Zustands von der Steuereinheit eingelesen werden, beispielsweise signalisiert eine Nutzereingabe zum Aktivieren eines Phako-Tips eine Änderung von dessen Zustand. Ferner kann ein an dem medizintechnischen Instrument angebrachter Sensor die Änderung von dessen Zustand detektieren, beispielsweise das Schließen einer Pinzette, und ein entsprechendes Sensorsignal an die Steuereinheit übermitteln. Ein über die Geräteschnittstelle empfangene Geräteparameter zum Zustand eines angeschlossenen medizintechnischen Instruments umfasst bevorzugt auch die Betätigung eines Eingabemittels des medizintechnischen Geräts, so dass in diesem Fall der Geräteparameter gleichzeitig auch eine Nutzereingabe darstellt. Ebenfalls bevorzugt werden verschiedene Geräteparameter gemeinsam berücksichtigt, wie die Lage des medizintechnischen Instruments (beispielsweise ermittelt durch das Instrument selbst und/oder durch ein Trackingsystem) und die Betätigung eines Eingabemittels des medizintechnischen Instruments. Somit ist beispielsweise eine Sequenz von Positionen und/oder Ausrichtungen der virtuellen Lichtquelle entsprechend einer Sequenz von Lagen des Instruments vorteilhaft einstellbar. Ein das medizinische oder medizintechnische Instrument beschreibender Geräteparameter wird über die Geräteschnittstelle vom Instrument selbst oder von einem Trackingsystem empfangen.
Gemäß dieser bevorzugten Ausführungsform ist die Steuereinheit ferner dazu eingerichtet, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle anhand der Position, des Typs und/oder des Zustands des medizintechnischen Instruments zu ermitteln. So kann die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle beispielsweise entsprechend der Lage eines Pointers oder entsprechend des Zustands eines Greifers ermittelt werden. Ein Wechsel des Zustands eines medizintechnischen Instruments eines bestimmten Typs und/oder an einem bestimmten Ort ist bevorzugt indikativ für eine bestimmte Phase einer Operation. Mithin kann anhand der Erkennung von Position, des Typs und/oder des Zustands des medizintechnischen Instruments die für diese Phase optimale virtuelle Beleuchtung gewählt werden. Dies umfasst neben der Einstellung der virtuellen Lichtquelle gegebenenfalls auch eine Anpassung weiterer Darstellungsparameter der OCT-Bilder, beispielsweise einer Zoomstufe, einer virtuellen Blickrichtung, einer dargestellten Tiefe, einer Schnittrichtung, etc..
Anhand der vorgenannten Informationen ist die Steuereinheit beispielsweise in der Lage, automatisch oder basierend auf einer Nutzereingabe zu ermitteln, dass es sich bei einem durchgeführten Eingriff um ein Membranpeeling mittels einer Pinzette handelt und in diesem Fall ferner einen Abstand beziehungsweise eine Position der Pinzette relativ zu dem Auge zu ermitteln und in Abhängigkeit der vorgenannten Ermittlungen die Art, Position und/oder Ausrichtung der virtuellen Lichtquelle anzupassen beziehungsweise einzustellen. In einem weiteren Beispiel ist die Steuereinheit bevorzugt dazu in der Lage, automatisch oder basierend auf einer Nutzereingabe zu ermitteln, dass es sich bei einem durchgeführten Eingriff um eine subretinale Injektion eines „Bieb“ oder um eine Platzierung eines Retina Stents handelt und basierend darauf die Art, Position und/oder Ausrichtung der virtuellen Lichtquelle so anzupassen, dass ein Nutzer bei dem Positionieren der Nadel beziehungsweise des Stents unterstützt wird, beispielsweise indem die virtuelle Lichtquelle mit möglichst geringem Abstand zur Retina positioniert und der virtuelle Schatten auf eine Fläche unterhalb der Retina projiziert wird, so dass ein Nutzer optimal einschätzen kann, wenn die Nadel richtig platziert ist.
Ebenfalls bevorzugt ist die Steuereinheit dazu eingerichtet ist, den virtuellen Schatten mit einer Farbcodierung in dem zeitaufgelösten OCT-Bild darzustellen. Mit anderen Worten kann der virtuelle Schatten in Graustufen oder in Farbe visualisiert werden, letzteres beispielsweise um die synthetische Natur des virtuellen Schattens hervorzuheben und um diesen von realen Schatten besser unterscheiden zu können. Dabei kann die Einfärbung fest vorgegeben sein oder kann diese ebenfalls dynamisch angepasst werden, beispielsweise abhängig von der Entfernung zwischen einem medizintechnischen Instrument und einer interessierenden Fläche einer Anatomie, beispielsweise eines Auges. Die Einfärbung wird ferner bevorzugt anhand einer Nutzereingabe oder eines Geräteparameters eingestellt.
In einer bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung weist ein OCT-Signal eine Vielzahl von (ersten) Tupeln auf, die jeweils ein Volumenelement der Probe und eine Streuintensität umfassen (beziehungsweise repräsentieren). Das Volumenelement der Probe ist dabei bevorzugt durch drei Raumkoordinaten (beispielsweise x, y und z) repräsentiert und kann beispielsweise als ein Probenvoxel interpretiert werden. Neben der Streuintensität kann das Tupel weitere Werte aufweisen. Gemäß dieser Ausführungsform weist das Anzeigemittel eine Vielzahl von Pixeln auf und ist die Steuereinheit dazu eingerichtet, die zeitaufgelösten OCT-Bilder anhand der (ersten) Tupel, anhand der Auflösung des Anzeigemittels so zu ermitteln, dass bestimmte Pixel zu bestimmten Volumenelementen korrespondieren, sprich dass bestimmte Pixel bestimmte Volumenelemente der Probe anzeigen. Mit anderen Worten ermittelt die Steuereinheit eine Zuordnung von Pixeln des Anzeigemittels und Volumenelementen der Probe. Diese Zuordnung kann dabei von weiteren Einstellungen abhängen, wie beispielsweise einer Rasterauflösung des eingesetzten Scanmechanismus, ist aber für eine gegebene Auswahl von Einstellungen, wie virtuelle Blickrichtung, Zoomstufe und Stereowinkel, bevorzugt zeitlich konstant. Die Steuereinheit realisiert somit eine örtliche Registrierung zwischen Pixeln des Anzeigemittels und den OCT-Signalen beziehungsweise den ermittelten OCT-Bildern. Die Steuereinheit ist ferner dazu eingerichtet, die zeitaufgelösten OCT-Bilder so zu ermitteln, dass ein auf bestimmten Volumenelementen ermittelter virtueller Schatten (beispielsweise mittels Raytracing, wie oben beschrieben) auf korrespondierenden Pixeln dargestellt wird.
Ferner bevorzugt ist die Steuereinheit dazu eingerichtet, die durch das OCT-System erfassten OCT-Signale anhand von Erfassungsparametern des OCT-Systems örtlich zu registrieren. Eine örtliche Registrierung dieser Signale bezeichnet dabei eine korrekte Verknüpfung dieser Signale mit einem Referenzkoordinatensystem, beispielsweise dem Koordinatensystem des Patienten während eines Eingriffs, und ermöglicht eine eindeutige Abbildung (Mapping) von Koordinaten des Patientenraumes auf entsprechende Koordinaten des Signalraumes. Eine Registrierung der Signale erfordert bevorzugt eine Kalibrierung des OCT Systems. Die Erfassungsparameter des OCT-Systems weisen bevorzugt Kalibrierungsparameter auf. Die Erfassungsparameter des OCT-Systems berücksichtigen bevorzugt den Scanmechanismus und/oder den Detektor des OCT-Systems. Anhand der örtlichen Registrierung anhand der Erfassungsparameter können vorteilhaft an definierten Koordinaten des Patientenraums befindliche Strukturen des Patienten an den entsprechenden Koordinaten im Bildraum der OCT-Bilder korrekt dargestellt werden, insbesondere mit korrekten Relativlagen zueinander.
In einer besonders bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung weist dieses ferner ein zum Erfassen eines zeitaufgelösten Bildsignals des ausgewählten Sichtfelds der Probe ausgebildetes operationsmikroskopisches System auf. Das operationsmikroskopische System weist eine reale Lichtquelle und bevorzugt eine Optik, insbesondere zum Erfassen von der Probe reflektierten oder rückgestreuten Lichts der realen Lichtquelle auf. Die Optik umfasst beispielsweise eine Objektivlinse und ein Okular, kann darüber hinaus jedoch weitere Komponenten umfassen, insbesondere weitere Linsen, Spiegel, Strahlteiler und/oder dergleichen. Das operationsmikroskopische System weist ferner einen Bildsensor auf, der zum Erfassen eines zeitaufgelösten Bildsignals des ausgewählten Sichtfelds (region of interest - ROI) einer Probe ausgebildet ist. Die Optik und der Bildsensor sind bevorzugt integriert ausgebildet, beispielsweise als Teile einer Kamera eines Operationsmikroskops. Gemäß dieser Ausführungsform ist die Steuereinheit ferner dazu ausgebildet und eingerichtet, zu dem erfassten zeitaufgelösten Bildsignal korrespondierende Videobilddaten zu ermitteln. Bei dem zeitaufgelösten Bildsignal handelt es sich insbesondere um eine Vielzahl von Oberflächenelementen der Probe zugeordneten Signalen, die sequentiell oder simultan für ein bestimmtes Raster der Probenoberfläche erfasst sind, wobei das Raster durch einen Scanmechanismus und/oder den Bildsensor bestimmt ist. Das zeitaufgelöste Bildsignal weist ferner eine Taktfrequenz (Bildwiederholrate) auf, die durch einen Scanmechanismus und/oder den Bildsensor bestimmt ist. Die Steuereinheit erzeugt aus diesem Bildsignal Videobilddaten mit einem Raster (Auflösung) und einer Bildwiederholrate die zur Darstellung auf dem Anzeigemittel geeignet sind. Die Steuereinheit ist ferner dazu eingerichtet, die Videobilddaten mittels des Anzeigemittels darzustellen.
In dem System gemäß der vorliegenden Offenbarung weist ein Bildsignal bevorzugt eine Vielzahl von (zweiten) Tupeln auf. Dabei umfasst (beziehungsweise repräsentiert) jedes (zweite) Tupel ein Oberflächenelement der Probe und zumindest einen Graustufenwert. Das Oberflächenelement der Probe ist dabei bevorzugt durch zwei laterale Raumkoordinaten (beispielsweise x und y) repräsentiert und kann beispielsweise als ein Probenpixel interpretiert werden. Neben dem Graustufenwert, der sich letztlich aus einer erfassten Intensität ergibt, kann jedes (zweite) Tupel darüber hinaus auch Farbwerte auffassen, beispielsweise bei der Erfassung von Intensitäten für verschiedene Farben mittels dem Bildsensor vorgeschalteten Farbfiltern. Gemäß dieser Ausführungsform ist die Steuereinheit zudem dazu eingerichtet, die Videobilddaten anhand der (zweiten) Tupel und anhand einer Auflösung des Anzeigemittels so zu ermitteln, dass bestimmte Pixel bestimmte Oberflächenelemente der Probe anzeigen. Mit anderen Worten ermittelt die Steuereinheit eine (zweite) Zuordnung von Pixeln des Anzeigemittels und Oberflächenelementen der Probe zusätzlich zu der (ersten) Zuordnung von Pixeln des Anzeigemittels und Volumenelementen der Probe. Diese (zweite) Zuordnung kann dabei von weiteren Einstellungen abhängen, wie beispielsweise einer Zoomstufe des operationsmikroskopischen Systems, ist aber für gegebene Einstellungen bevorzugt zeitlich konstant. Die (zweite) Zuordnung korrespondiert bevorzugt zu der (ersten) Zuordnung. Die Steuereinheit realisiert somit auch eine örtliche Registrierung zwischen Pixeln des Anzeigemittels und Bildsignalen (Videobilddaten) des operationsmikroskopischen Systems.
Ferner bevorzugt ist die Steuereinheit außerdem dazu eingerichtet, die durch das operationsmikroskopische System erfassten Bildsignale anhand von Erfassungsparametern des operationsmikroskopischen Systems örtlich zu registrieren. Eine Registrierung der Signale erfordert bevorzugt eine Kalibrierung des operationsmikroskopischen Systems. Die Erfassungsparameter des operationsmikroskopischen Systems umfassen somit bevorzugt Kalibrierungsparameter und/oder optische Einstellungen des operationsmikroskopischen Systems, wie beispielsweise eine Fokuslänge und/oder eine Zoomstufe einer eingesetzten Optik (Kamera). Darüber hinaus umfassen die Erfassungsparameter bevorzugt auch einen Satz intrinsischer Parameter des operationsmikroskopischen Systems. Die intrinsischen Parameter bestimmen dabei einen Zusammenhang zwischen dem Koordinatensystem eines Bildsignals und dem Koordinatensystem des zugehörigen bildgebenden Sensors. Die Art der intrinsischen Parameter hängt dabei insbesondere von der Art des eingesetzten bildgebenden Sensors ab, wobei mit bildgebendem Sensor hier sowohl der eigentliche Sensor als auch die verwendete Optik bezeichnet ist. Die intrinsischen Parameter umfassen bei einer Kamerakalibrierung nach Tsai beispielsweise eine effektive Brennweite, die Koordinaten eines Bildhauptpunktes (Zentrum der Verzerrung) eines Bildsignals, einen ersten Skalierungsfaktor und/oder einen ersten radialen Linsenfehlerkoeffizienten (Verzerrungskoeffizient). Alternativ zu den vorgenannten intrinsischen Parametern können auch andere intrinsische Parameter, beispielsweise für eine Kamerakalibrierung nach Zhang verwendet werden (vgl. beispielsweise „A practical comparison between Zhang's and Tsai's calibration approaches“, Li et al., Proceedings of the 29th International Conference on Image and Vision Computing New Zealand, November 2014 Pages 166-171, DOI:10.1145/2683405.2683443).
Die örtliche Registrierung der OCT-Signale gemeinsam mit der örtlichen Registrierung der Bildsignale ermöglicht vorteilhaft das Erzeugen und Darstellen der OCT-Bilder und der Videobilddaten, so dass das erzeugte zeitaufgelöste OCT-Bild zumindest zu einem Abschnitt der dargestellten Videobilddaten korrespondiert. Bevorzugt wird ein OCT-Signal von dem gesamten Sichtfeld erfasst und wird ein OCT-Bild von zumindest einem Teil des Sichtfelds erstellt. Ebenso bevorzugt wird ein OCT-Signal von einem Abschnitt des Sichtfelds erfasst und wird ein OCT-Bild von zumindest einem Teil des Abschnitts des Sichtfelds erstellt. Die Steuereinheit ist ferner dazu ausgebildet, das zeitaufgelöste OCT-Bild an der Position des Abschnitts der Videobilddaten auf dem Anzeigemittel darzustellen. Bevorzugt werden Videobilddaten und ein OCT-Bild von dem gesamten Sichtfeld erstellt und jeweils auf dem gesamten Anzeigemittel dargestellt. Ebenso bevorzugt wird ein OCT-Bild von einem Abschnitt des Sichtfelds erzeugt und an der Position der zu diesem Abschnitt des Sichtfelds korrespondierenden Videodaten auf dem Anzeigemittel dargestellt. Mit anderen Worten werden Videobilddaten und OCT-Bilder, die zu demselben Abschnitt der Probe korrespondieren, an derselben Stelle des Anzeigemittels dargestellt. Das System gemäß der vorliegenden Offenbarung ermöglicht somit eine nahtlose Integration von Videobilddaten und OCT-Bildern auf dem Anzeigemittel, wodurch einem Nutzer eine einfachere Betrachtung der multimodalen Bilddaten ermöglicht wird. So können die multimodalen Bilddaten betrachtet werden, ohne den Kopf oder die Augen zu bewegen, was sich insbesondere bei Bildgebung während operativer Eingriffe vorteilhaft auf die Aufmerksamkeit des Operateurs auswirkt.
Gemäß dieser Ausführungsform ist die Steuereinheit bevorzugt dazu eingerichtet, den virtuellen Schatten mittels einer zu der realen Lichtquelle des operationsmikroskopisches System korrespondierenden virtuellen Lichtquelle zu erzeugen. Bei einer gleichzeitigen oder sequentiellen Darstellung der Videobilddaten und des zeitaufgelösten OCT-Bilds auf dem Anzeigemittel kommt es somit vorteilhaft zu keiner Abweichung zwischen von der realen Lichtquelle verursachten Schatten und dem zumindest einen virtuellen Schatten. Somit wird eine Ablenkung oder sogar Verwirrung eines Nutzers vermieden und kann vorteilhaft eine gemeinsame Darstellung von Videobilddaten und OCT-Bildern ohne Nachteile erfolgen.
Die Steuereinheit des Systems ist bevorzugt dazu eingerichtet, die Videobilddaten und das zeitaufgelöste OCT-Bild gleichzeitig auf dem Anzeigemittel darzustellen. Dies ermöglicht besonders vorteilhaft die gleichzeitige Berücksichtigung beider Bildmodalitäten durch einen Anwender. Um dennoch eine Unterscheidung der verschiedenen Bilddaten zu ermöglichen, ist die Steuereinheit ferner bevorzugt dazu eingerichtet, die Videobilddaten mit einer ersten Transparenzstufe und das zeitaufgelöste OCT-Bild mit einer zweiten Transparenzstufe darzustellen. Dabei unterscheiden sich die erste und die zweite Transparenzstufe bevorzugt. Ebenfalls bevorzugt variieren die erste und zweite Transparenzstufe zeitlich. Beispielsweise wird zunächst das Bildsignal mit einer Transparenz von 0% dargestellt, während das OCT-Bild mit einer Transparenz von 100% dargestellt wird. Im zeitlichen Verlauf wird die Transparenz des Bildsignals dann kontinuierlich von 0% auf 100% eingestellt, während zeitgleich die Transparenz des OCT-Bildes von 100% auf 0% eingestellt wird. Somit wird ein kontinuierlicher Übergang zwischen der Darstellung des Videobildes und der des OCT-Bildes gewährleistet.
In einer ebenfalls bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist die Steuereinheit ferner dazu ausgebildet, die Videobilddaten und OCT-Bilder mittels Bildanalyse örtlich zu registrieren. Dabei bezeichnet eine örtliche Registrierung dieser Bilddaten eine korrekte Verknüpfung dieser Bilder in einem gemeinsamen Bildkoordinatensystem. Die Registrierung anhand der Bilddaten ermöglicht somit eine relative Verknüpfung der Bilddaten für eine möglichst deckungsgleiche Abbildung gleicher Strukturen. Beispielsweise können Struktur- oder Gewebegrenzen in den Videobilddaten und den OCT-Bildern mittels Bildanalyse, beispielsweise Kantenerkennung oder dergleichen, erkannt und miteinander verglichen werden. Durch translatorische Verschiebung, Rotation und/oder Skalierung können diese Strukturen dann auf dem Anzeigemittel miteinander in Überlagerung gebracht werden. Bevorzugt erfolgt die örtliche Registrierung der Bilddaten zusätzlich zu einer örtlichen Registrierung der erfassten Signale, wie obenstehend beschrieben.
In einer ebenfalls bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist die Steuereinheit dazu eingerichtet, die Videobilddaten und das zeitaufgelöste OCT-Bild sequentiell auf dem Anzeigemittel darzustellen. Mit anderen Worten wird, zumindest an einem bestimmten Ort des Anzeigemittels, zu jeder Zeit nur eines von Videobilddaten und OCT-Bildern dargestellt. Dies ermöglicht vorteilhaft eine deutliche Unterscheidung zwischen Videobilddaten und OCT-Daten und ebenso vorteilhaft eine gleichzeitige Darstellung der verschiedenen Bilddaten an verschiedenen Orten des Anzeigemittels.
Besonders bevorzugt ist die Steuereinheit dazu eingerichtet, die Videobilddaten und das zeitaufgelöste OCT-Bild mit gleicher Vergrößerung, gleicher Perspektive und/oder gleichem Stereowinkel darzustellen. Dies ermöglicht bei einer gleichzeitigen Darstellung beider Videobilddaten an einem selben Ort des Anzeigemittels bevorzugt eine perfekte Überlagerung beider Bilddaten und kann vorteilhaft eine Darstellung mit optimiertem Kontrast ermöglichen. Bei einer sequentiellen Darstellung erfolgt bevorzugt am Übergang zwischen den örtlich registrierten Bilddaten eine Darstellung mit gleicher Vergrößerung, gleicher Perspektive und/oder gleichem Stereowinkel. Ebenfalls bevorzugt erfolgt zumindest am Übergang ein Erzeugen der virtuellen Schatten in dem OCT-Bild mittels einer virtuellen Lichtquelle derselben Position, Art, und/oder Ausrichtung wie die reale Lichtquelle der Videobilddaten. Somit erfolgt ein flüssiger Übergang zwischen der Darstellung der Bilddaten. Bei den Videobilddaten ist lediglich eine Darstellung der Oberfläche (Draufsicht) möglich. Dies entspricht beispielsweise einem „en-face“ OCT-Bild. Sobald ein Übergang von Videobilddaten zu OCT-Bild erfolgt ist, ist ferner bevorzugt die Vergrößerung, Perspektive und/oder der Stereowinkel anpassbar, um vorteilhaft eine verbesserte Ansicht mit optimaler Tiefenwahrnehmung zu ermöglichen. Insbesondere kann von der initialen „en-face“ Ansicht auf eine perspektivische Darstellung, beispielsweise durch einen kontinuierlichen Übergang der virtuellen Blickrichtung, oder auf eine Schnittansicht (OCT-B-Scan) gewechselt werden, um die beste Ansicht zu gewährleisten.
Gemäß einer ferner bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist das Anzeigemittel bevorzugt dafür ausgebildet, Bilddaten stereoskopisch darzustellen. Bei dem Anzeigemittel handelt es sich bevorzugt um ein Anzeigemittel, das zur Anzeige von Bilddaten mit verschiedenen (beispielsweise orthogonalen) Polarisationen ausgebildet ist, in Kombination mit einer Polarisationsbrille. Ebenfalls bevorzugt ist eine Kodierung der stereoskopischen Bilddaten mittels Farbfilterung und eine Kombination mit einer 3D-Brille mit Farbfiltern. Bei dem Anzeigemittel kann es sich jedoch auch um einen 3D Bildschirm, beispielsweise einen Lichtfeldmonitor oder dergleichen, handeln. Gemäß dieser bevorzugten Ausführungsform ist die Steuereinheit ferner dazu eingerichtet, anhand des zeitaufgelösten OCT-Signals und eines Stereowinkels ein zeitaufgelöstes erstes OCT-Bild mit erstem virtuellen Schatten und ein zeitaufgelöstes zweites OCT-Bild mit zweitem virtuellen Schatten zu ermitteln und das erste OCT-Bild und das zweite OCT-Bild auf dem Anzeigemittel stereoskopisch darzustellen. Der Stereowinkel ist dabei maßgeblich für den Tiefeneindruck bei der Bildvisualisierung auf dem Anzeigemittel und entspricht bei einer Stereokamera dem Winkel zwischen den optischen Achsen der einzelnen Kameras und hängt somit vom Abstand der Kameras zueinander als auch vom Arbeitsabstand der Kameras zum Objekt (Probe) ab. Bei der Erzeugung der stereoskopischen OCT-Bilder wird ein solcher Stereowinkel rechnerisch zugrunde gelegt, was eine variable Einstellung des Stereowinkels ermöglicht. Ein großer Stereowinkel entspricht in der Regel einer starken Tiefenwahrnehmung (wie bei der Wahrnehmung naher Objekte durch das menschliche Auge) und ein kleiner Stereowinkel in der Regel einer geringen Tiefenwahrnehmung (wie bei der Wahrnehmung ferner Objekte durch das menschliche Auge). Somit ermöglicht das System gemäß der vorliegenden Offenbarung vorteilhaft eine Darstellung der OCT-Bilder mit variablem Tiefeneindruck. Bevorzugt kann der Stereowinkel basierend auf einer Nutzereingabe ermittelt werden. Somit kann ein Nutzer, beispielsweise ein Operateur einen Stereowinkel vorteilhaft individuell anpassen, so dass durch die Berücksichtigung der Nutzereingabe beim Ermitteln des Stereowinkels vorteilhaft auch subjektiven Präferenzen Rechnung getragen werden kann.
In einer ferner bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist die Steuereinheit ferner dazu eingerichtet, den Stereowinkel anhand optischer Parameter des operationsmikroskopischen Systems zu ermitteln. Die optischen Parameter des operationsmikroskopischen Systems werden dabei in Form von Metadaten durch die Steuereinheit des Systems gemäß der vorliegenden Offenbarung erfasst beziehungsweise eingelesen. Somit ist die Steuereinheit vorteilhaft stets über variable sowie feste optische Parameter des operationsmikroskopischen Systems informiert. Die festen optischen Parameter charakterisieren dabei bevorzugt Komponenten des operationsmikroskopischen Systems, wie beispielsweise eingesetzte Linsen, Okulare oder dergleichen, und die variablen optischen Parameter charakterisieren dabei bevorzugt einstellbare Größen, wie beispielsweise ein Sichtfeld, eine Auflösung, eine Neigung der optischen Achse und dergleichen. Die Berücksichtigung der optischen Parameter des operationsmikroskopischen Systems ermöglicht vorteilhaft eine gleichzeitige Darstellung von OCT-Bildern und Videobilddaten mit optimaler Anpassung der Bilddaten aneinander sowie ebenfalls eine sequentielle Darstellung von OCT-Bildern und Videobilddaten mit optimalem Übergang.
In einer besonders bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung weist das operationsmikroskopische System eine Stereokamera mit einem entlang einer ersten optischen Achse angeordneten und zum Erfassen eines ersten Bildsignals des Sichtfelds ausgebildeten ersten Stereoobjektiv (in Kombination mit einem ersten Bildsensor) und einem entlang einer zweiten optischen Achse angeordneten und zum Erfassen eines zweiten Bildsignals des Sichtfelds ausgebildeten zweiten Stereoobjektiv (in Kombination mit einem zweiten Bildsensor) auf. Das operationsmikroskopische System ist also zum Erfassen von stereoskopischen zeitaufgelösten Bildsignalen ausgebildet. Die erste optische Achse und die zweite optische Achse des operationsmikroskopischen Systems schließen dabei einen Winkel miteinander ein, wobei dieser Winkel zwischen den optischen Achsen gemeinsam mit dem Arbeitsabstand zwischen der Probe und den Objektiven den Stereowinkel der stereoskopischen Bilderfassung im operationsmikroskopischem System bestimmt. Gemäß dieser Ausführungsform ist die Steuereinheit bevorzugt dazu ausgebildet, den der Ermittlung des ersten OCT-Bilds und des zweiten OCT-Bilds zugrunde gelegten Stereowinkel entsprechend dem Stereowinkel des operationsmikroskopischen Systems zu bestimmen. Ferner ist die Steuereinheit bevorzugt dazu ausgebildet, anhand des ersten Bildsignals erste Videobilddaten und anhand des zweiten Bildsignals zweite Videobilddaten zu ermitteln. Diese Ausführungsform ermöglicht somit vorteilhaft eine stereoskopische Darstellung sowohl der Videobilddaten als auch der OCT-Bilder mit korrespondierendem Stereowinkel. Dies ermöglicht vorteilhaft eine stereoskopische gleichzeitige Darstellung mit minimalen Abweichungen als auch eine stereoskopische sequentielle Darstellung mit optimalem Übergang zwischen den verschiedenen Bildmodi (Video und OCT-Bilddaten). Gemäß dieser Ausführungsform sind oder umfassen die optischen Parameter des operationsmikroskopischen Systems zumindest die Parameter des operationsmikroskopischen Systems, die einen Stereowinkel desselben beeinflussen.
In einer ferner bevorzugten Ausführungsform des Systems gemäß der vorliegenden Offenbarung ist die Steuereinheit dazu eingerichtet, eine Phase einer durchgeführten Operation zu ermitteln und die Art, Position und/oder Ausrichtung der virtuellen Lichtquelle anhand der Phase der durchgeführten Operation zu ermitteln. Hierzu ist die Steuereinheit bevorzugt mit einem Speicher verbunden, in dem ein trainierter Algorithmus des maschinellen Lernens, beispielsweise ein neurales Netzwerk (CNN) oder dergleichen abgelegt ist. Dieser Algorithmus wurde bevorzugt mittels einer Vielzahl von Videobilddaten und/oder OCT-Bildern beziehungsweise Bildsignalen und/oder OCT-Signalen trainiert, denen im Training eine korrespondierende Phase einer OP als Klassifikation zugeordnet worden ist. Demzufolge ist der trainierte Algorithmus in der Lage anhand von Videobilddaten und/oder OCT-Bildern beziehungsweise Bildsignalen und/oder OCT-Signalen selbständig eine Phase einer Operation als Klassifikation zu erkennen. Bevorzugt ist die Steuereinheit gemäß dieser Ausführungsform dazu ausgebildet, einen zu der ermittelten Phase der Operation korrespondierenden Art, Position und/oder Ausrichtung der virtuellen Lichtquelle auszuwählen. Die für verschiedene Phasen der Operation geeignet Arten, Positionen und/oder Ausrichtungen der virtuellen Lichtquelle sind bevorzugt in einem Look-up-Table (LUT) in einem Speicher hinterlegt oder werden ebenfalls mit einem Algorithmus des maschinellen Lernens ermittelt. Dieser kann beispielsweise trainiert werden, indem einer Vielzahl von Videobilddaten und/oder OCT-Bildern beziehungsweise Bildsignalen und/oder OCT-Signalen während des Trainings eine korrespondierende Phase einer OP und/oder ein korrespondierender Stereowinkel als eine oder mehrere Klassifikation zugeordnet worden ist.
Bei einer Kataraktoperation können die Operationsphasen beispielsweise umfassen: Ruhezustand, Inzision, Injektion des ophthalmischen viskochirurgischen Geräts (OVD), Kapsulorhexis, Hydrodissektion, Phakoemulsifikation, Spülung/Aspiration, Implantation der Intraokularlinse, Schließen/Befeuchten der Wunde, Nichtoperation. Bei einer refraktiven Operation können die Operationsphasen beispielsweise umfassen: Leerlauf, Andocken, Applanation, Anlegen des Auges/CG-Drehung, Linsenschnitt, Linsenseitenschnitt, Kappenschnitt, Kappenseitenschnitt, Freigeben des Auges, Übergang zum OPMI, Positionierung des OPMI, Eröffnung der Inzision, Festlegung der Ebenen, Abtrennung des Kappenbetts, Abtrennung des Linsenbetts, Entfernung und/oder Inspektion der Linsen, Abwischen, Spülen, Spaltlampe, Entfernung des Spekulums. Bei einem zahnärztlichen Eingriff können die chirurgischen Phasen beispielsweise umfassen: Zugang, Exstirpation, Debridement, Trocknung, Obturation, Restauration. Es ist zu beachten, dass alle oder nur einige dieser Phasen Teil der entsprechenden Operation sein können und dass auch weitere Operationsphasen vorhanden sein und/oder einige Phasen ausgelassen werden können.
Die Funktionalitäten der erfindungsgemäßen Steuereinheit können durch elektrische oder elektronische Bauteile oder Komponenten (Hardware), durch Firmware (ASIC) implementiert sein und/oder durch Ausführen eines geeigneten Programms (Software) verwirklicht werden. Bevorzugt werden die Funktionalitäten der erfindungsgemäßen Steuereinheit durch eine Kombination von Hardware, Firmware und/oder Software verwirklicht, beziehungsweise implementiert. Beispielsweise sind einzelne Komponenten der erfindungsgemäßen Steuereinheit zum Ausführen einzelner Funktionalitäten als separat integrierter Schaltkreis ausgebildet oder auf einem gemeinsamen integrierten Schaltkreis angeordnet.
Die einzelnen Funktionalitäten der erfindungsgemäßen Steuereinheit sind ferner bevorzugt als ein oder mehrere Prozesse ausgebildet, die auf einem oder mehreren Prozessoren in einem oder mehreren elektronischen Rechengeräten laufen und beim Ausführen von ein oder mehreren Computerprogrammen erzeugt werden. Die Steuereinheit ist dabei dazu ausgebildet, mit den anderen Komponenten, insbesondere der Nutzerschnittstelle, dem OCT-System und dem Anzeigemittel zusammenzuarbeiten, um die hierin beschriebenen Funktionalitäten des erfindungsgemäßen Systems zu verwirklichen. Dem Fachmann ist ferner ersichtlich, dass die Funktionalitäten von mehreren Computern (Datenverarbeitungsgeräten, Steuereinheiten, Steuergeräte) kombiniert oder in einem einzigen Gerät kombiniert sein können oder dass die Funktionalität von einem bestimmten Datenverarbeitungsgerät auf eine Vielzahl von Geräten verteilt vorliegen kann, um die Funktionalitäten der erfindungsgemäßen Steuereinheit zu realisieren. Dabei können die Geräte zentral oder dezentral an verschiedenen Orten angeordnet sein. Im Fall einer dezentralen Anordnung sind zwischen den Geräten geeignete Kommunikationsmittel eingerichtet, um Daten zwischen diesen Geräten zu übertragen, die für die Durchführung der jeweiligen Schritte oder für die Bereitstellung der jeweiligen Funktionen der einzelnen Geräte erforderlich sind.
In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Systems ist dieses in ein Operationsmikroskop integriert. Dabei weist das Operationsmikroskop bevorzugt ein OCT-System wie obenstehend beschrieben auf. Ferner bevorzugt weist das Operationsmikroskop eine Schnittstelle für eine Nutzereingabe und ein Anzeigemittel auf oder ist es mit diesen verbunden. Bevorzugt weist das Operationsmikroskop ferner ein operationsmikroskopisches System wie obenstehend beschrieben auf, wobei Bildsensor und Optik Teil einer Kamera, insbesondere einer Hauptbeobachterkamera oder einer Umfeldkamera des Operationsmikroskops, sind. Die Steuereinheit des Operationsmikroskops ist bevorzugt als Steuereinheit des erfindungsgemäßen Systems ausgebildet und ist insbesondere dazu ausgebildet, anhand von auf einer Speichereinheit des Operationsmikroskops gespeicherten Befehlen das erfindungsgemäße Verfahren wie nachfolgend beschrieben durchzuführen.
Unter einem Operationsmikroskop wird im Rahmen der vorliegenden Offenbarung im weitesten Sinne ein für den Einsatz während einer Operation geeignetes Mikroskop verstanden. Das Operationsmikroskop weist bevorzug eine Halterung auf, die eine Abbildung des Operationsgebiets unabhängig von Kopfbewegungen des Operateurs erlaubt. Ferner bevorzugt weist das Operationsmikroskop zumindest einen Einrichtung zum Aufteilen des Beobachtungsstrahlengangs und zumindest zwei Okulare auf. Alternativ handelt es sich bei dem Operationsmikroskop um ein reines „Digiskop“ ohne Okulare. Ebenfalls bevorzugt weist das Operationsmikroskop zumindest einen bildgebenden Sensor auf. Ferner bevorzugt weist das Operationsmikroskop eine Hauptbeobachterkamera und eine Umfeldkamera auf. Das Operationsmikroskop kann kinematische beziehungsweise robotische Hilfsmittel zum Durchführen operativer Eingriffe aufweisen. Alternativ kann ein Operationsmikroskop als medizintechnisches Mikroskop, medizinisch zugelassenes Mikroskop oder medizinisches Mikroskop bezeichnet werden.
Ein weiterer Aspekt der vorliegenden Offenbarung betrifft ein Verfahren zum Visualisieren von OCT-Signalen. Dieses weist den Verfahrensschritt des Empfangens eines zeitaufgelösten OCT-Signals von einem ausgewählten Sichtfeld einer Probe von einem OCT System (wie obenstehend beschrieben) auf. Dabei weist das OCT-Signal eine Vielzahl von Tupeln auf, die jeweils ein Volumenelement der Probe und eine zu dem Volumenelement korrespondierende Streuintensität aufweisen beziehungsweise repräsentieren. Das Verfahren weist ferner den Schritt des Ermittelns eines zeitaufgelösten OCT-Bilds mit zumindest einem objektspezifischen virtuellen Schatten auf, wobei der virtuelle Schatten durch virtuelles Bestrahlen zumindest eines Objekts des OCT-Bildes mittels zumindest einer virtuellen Lichtquelle ermittelt wird und wobei der objektspezifische virtuelle Schatten auf zumindest einer Fläche des OCT-Bildes ermittelt wird. Im Verfahren gemäß der vorliegenden Offenbarung erfolgt schließlich das Darstellen des zeitaufgelösten OCT-Bilds mit dem zumindest einen virtuellen Schatten auf dem Anzeigemittel. Das Verfahren gemäß vorliegender Offenbarung realisiert dieselben Vorteile wie das System gemäß vorliegender Offenbarung und diesbezüglich wird auf obige Ausführungen verwiesen.
In einer bevorzugten Durchführungsform des Verfahrens gemäß der vorliegenden Offenbarung weist dieses ferner den Schritt des Ermittelns des zumindest einen Objekts durch Segmentierung des OCT-Signals oder durch Segmentierung des OCT-Bildes auf, bevorzugt jeweils unter Verwendung (anhand) objektspezifischer Informationen des zumindest einen Objekts und/oder einer Nutzereingabe. Alternativ oder zusätzlich weist das Verfahren gemäß der vorliegenden Offenbarung ferner bevorzugt den Schritt des Ermittelns der zumindest einen Fläche durch Segmentierung des OCT-Signals oder durch Segmentierung des OCT-Bildes auf, bevorzugt jeweils unter Verwendung (anhand) flächenspezifischer Informationen der zumindest einen Fläche und/oder einer Nutzereingabe. Somit werden virtuelle Schatten semantisch segmentierter Objekte vorteilhaft auf semantisch segmentierten Flächen erzeugt.
Weitere bevorzugte Durchführungsformen des Verfahrens gemäß der vorliegenden Offenbarung korrespondieren zu weiteren bevorzugten Ausführungsformen des Systems gemäß der vorliegenden Offenbarung und realisieren dieselben Vorteile wie die Ausführungsformen.
Ein weiterer Aspekt der vorliegenden Offenbarung betrifft ein Computerprogramm, umfassend Befehle, die bei der Ausführung durch eine Steuereinheit wie obenstehend beschrieben, bevorzugt eines Operationsmikroskops wie obenstehend beschrieben, bewirken, dass das System oder Operationsmikroskop wie obenstehend beschrieben das erfindungsgemäße Verfahren wie obenstehend beschrieben ausführen. Das Computerprogramm umfasst bevorzugt Befehle, die bei der Ausführung durch eine Steuereinheit wie obenstehend beschrieben, bevorzugt eines Operationsmikroskops, bewirken, dass das System oder Operationsmikroskop wie obenstehend beschrieben, das erfindungsgemäße Verfahren gemäß einer der bevorzugten Durchführungsformen wie obenstehend beschrieben ausführen. Das erfindungsgemäße Computerprogramm ist dabei bevorzugt in einem flüchtigen Speicher, beispielsweise einem RAM-Element, oder in einem nicht-flüchtigen Speichermedium, wie beispielsweise einer CD-ROM, einem Flash-Speicher oder dergleichen, abgelegt.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen und den nachfolgend erläuterten Figuren. Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
Beschreibung der Figuren
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:

1 eine schematische Darstellung eines Systems zum Visualisieren von OCT-Signalen gemäß einer ersten Ausführungsform;
2 eine schematische Darstellung eines Systems zum Visualisieren von OCT-Signalen gemäß einer zweiten Ausführungsform;
3 eine schematische Darstellung der Visualisierung eines OCT-Bildes mit einem objektbezogenen virtuellen Schatten;
4 eine schematische Darstellung der Visualisierung eines OCT-Bildes mit zwei objektbezogenen virtuellen Schatten;
5 eine schematische Darstellung der Visualisierung eines OCT-Bildes mit (A) einem ersten objektbezogenen virtuellen Schatten und (B) einem zweiten objektbezogenen virtuellen Schatten;
6 eine schematische Darstellung der Visualisierung (A) eines Videobildes mit einem Schatten und (B) eines OCT-Bildes mit einem objektbezogenen virtuellen Schatten sowie eines Videobildes mit einem Schatten;
7 eine schematische Darstellung einer Probe und eines Anzeigemittels gemäß einer Ausführungsform;
8 eine Darstellung eines visualisierten OCT-Bildes mit einem objektbezogenen virtuellen Schatten; und
9 ein schematisches Ablaufdiagram eines Verfahrens gemäß einer Durchführungsform.

1 zeigt eine schematische Darstellung eines Systems 100 zum Erfassen und Visualisieren von OCT-Signalen 19 gemäß einer ersten Ausführungsform.
Das System 100 weist ein OCT-System 10 mit einer breitbandigen Lichtquelle 11, beispielsweise einer Superlumineszenzdiode, auf. Das Licht der Lichtquelle 11 wird in ein Interferometer aufweisend einen Strahlteiler 14 und einen beweglichen Spiegel 15, geleitet. Im Strahlteiler 14 wird das Licht in einen Probenstrahl 12 und in einen Referenzstrahl 13 geteilt. Der Probenstrahl 12 wird mittels eines Scanspiegels 16 über die Probe 65 gerastert, wobei zumindest ein Abschnitt eines gewählten Sichtfelds 66 der Probe 65 abgerastert wird. Der Referenzstrahl 13 wird auf den beweglichen Spiegel 15 gelenkt und von diesem zurück auf den Strahlteiler 14 reflektiert. Der Probenstrahl 12 interagiert mit der Probe 65, insbesondere dem Volumen der Probe 65 und wird von diesem zu dem Scanspiegel 16 zurückgestreut und von diesem auf den Strahlteiler 14 gelenkt. Dort werden der zurückgestreute Probenstrahl 12 und der reflektierte Referenzstrahl 13 zur Überlagerung gebracht, wobei ein Gangunterschied zwischen den überlagerten Strahlen 12, 13 durch den beweglichen Spiegel 15 eingestellt wird. Das so erzeugte Interferenzmuster 17 wird mittels eines Detektors 18, beispielsweise eines CCD-Detektors oder eines CMOS-Detektors, erfasst.
Das so erfasste zeitaufgelöste OCT-Signal 19 wird von dem Detektor 18 zur Steuereinheit 40 übermittelt. Die Steuereinheit 40 ist ferner mit einer Nutzerschnittstelle 50 zum Erfassen einer Nutzereingabe und mit einer Geräteschnittstelle 55 zum Empfangen eines Geräteparameters verbunden. Die Geräteschnittstelle 55 dient beispielsweise dem Empfangen eines Geräteparameters eines an die Geräteschnittstelle 55 angeschlossenen Geräts, beispielsweise eines operationsmikroskopischen Systems 20, eines anderen bildgebenden Systems oder eines medizintechnischen Instruments 70. Ferner kann der Geräteparameter von einem an die Geräteschnittstelle 55 angeschlossenen Trackingsystem (nicht dargestellt) stammen aber das medizintechnisches Instrument 70 charakterisieren, beispielsweise dessen Raumlage.
Die Steuereinheit 40 ermittelt zu dem erfassten zeitaufgelösten OCT-Signal 19 ein zeitaufgelöstes OCT-Bild 31 mit zumindest einem virtuellen Schatten 60 und übermittelt das zeitaufgelöste OCT-Bild 31 mit dem virtuellen Schatten 60 zur Darstellung an das Anzeigemittel 30. Zur Erläuterung bezüglich des virtuellen Schattens 60 wird auf die nachfolgende Beschreibung insbesondere der 3 bis 5 verwiesen.
2 zeigt eine schematische Darstellung eines Systems 100 zum Erfassen und Visualisieren von OCT-Signalen 19 gemäß einer zweiten Ausführungsform. Gleiche Komponenten sind mit gleichen Bezugszeichen wie in 1 bezeichnet und auf eine wiederholte Beschreibung dieser Komponenten wird daher verzichtet.
Das System 100 der 2 unterscheidet sich von dem der 1 dadurch, dass es ferner ein operationsmikroskopisches System 20 mit einer Kamera 21 aufweist. Die Kamera 21 umfasst einen Bildsensor 22 und eine Optik 23 und ist dazu ausgebildet, das Sichtfeld 66 der Probe 65 zu erfassen, so dass im Ergebnis ein zeitaufgelöstes Bildsignal 27 erfasst wird. Bei der Kamera 21 kann es sich um eine Monokamera oder um eine Stereokamera handeln. Die Beleuchtung der Probe 65 erfolgt mittels einer realen Lichtquelle 28. Die Steuereinheit 40 ermittelt zu dem erfassten zeitaufgelösten Bildsignal 27 korrespondierende Videobilddaten 32, wobei die Videobilddaten gegebenenfalls einen realen Schatten 64 enthalten. Ein zeitaufgelöstes OCT-Signal 17 wird in dem System 100 der 2 in gleicher Weise erfasst und daraus ein OCT-Bild 31 mit virtuellem Schatten 60 ermittelt, wie mit Bezug zu 1 bereits beschrieben. Die Videobilddaten 32 werden gemeinsam mit den OCT-Bildern 31 gleichzeitig oder sequentiell auf dem Anzeigemittel 30 dargestellt, wobei ein Wechsel zwischen den OCT-Bildern 31 und den Videobilddaten 32 beispielsweise anhand einer mittels der Nutzerschnittstelle 50 erfassten Nutzereingabe erfolgt. Zur Erläuterung bezüglich der Darstellung eines virtuellen Schattens 60 in dem mit den Videobilddaten 31 gleichzeitig dargestellten OCT-Bilds 31 wird auf die nachfolgende Beschreibung der 6 verwiesen. Das operationsmikroskopische System 20 weist ferner eine Einrichtung zum Aufteilen des Beobachtungsstrahlengangs 26 auf, der den vom Sichtfeld 66 der Probe 65 zu der Kamera 23 gesendeten Lichtstrahl aufteilt und einen Teilstrahl über ein Okular 25 dem Auge 24 eines Beobachters bereitstellt.
3 zeigt eine schematische Darstellung der Visualisierung eines OCT-Bildes 31 mit einem objektbezogenen virtuellen Schatten 60. Das OCT-Bild 31 ist wie beschrieben aus dem von dem Sichtfeld 66 der Probe 65 erfassten OCT-Signal 19 ermittelt, wobei sich während der Signalerfassung ein medizintechnisches Instrument 70 in der Nähe der Probe 65 befand. Das OCT-Bild 31 umfasst eine Abbildung einer Fläche 63 des Sichtfelds 66 der Probe 65, eine Abbildung des medizintechnischen Instruments 70 als erstem Objekt 611 und eine Abbildung einer anatomischen Struktur des Sichtfelds 66 der Probe 65 als zweitem Objekt 612. Das Licht der breitbandigen Lichtquelle 11 des OCT-Systems 10 wird mit dem Scanspiegel 16 derart auf die Probe 65 gelenkt, dass die Lichtstrahlen nahezu parallel zueinander und im rechten Winkel zur Probenoberfläche in dem Sichtfeld 66 auftreffen. Das medizintechnische Instrument 70 ist aus einem für die Strahlung der breitbandigen Lichtquelle 11 undurchlässigen Material gefertigt. Somit gelangt die Strahlung der breitbandigen Lichtquelle 11 nicht in einen Bereich unterhalb des medizintechnischen Instruments 70, so dass die Abbildung der Fläche 63 unterhalb des medizintechnischen Instruments 70 unvollständig ist. Dies ist in 3 durch einen dreiecksförmigen Ausschnitt in der Fläche 63 dargestellt, in dem kein zu der Fläche 63 korrespondierendes OCT-Signal erfasst wurde, sondern nur das zu dem medizintechnischen Instrument 70 korrespondierende Signal. Somit ist in diesem Bereich kein OCT-Bild 61 der Fläche 63 vorhanden. Dies stellt somit eine Abschattung durch das medizintechnische Instrument 70 dar. Aus dem Stand der Technik sind Verfahren bekannt, um anhand einer Zeitreihe von OCT-Bildern, in denen einige den fehlenden Abschnitt der Fläche 63 enthalten sind (beispielsweise da sie vor der Annäherung des medizintechnischen Instruments aufgenommen wurden), den fehlenden Teil der Fläche 63 in einem OCT-Bild durch Kombination von Bildinformationen verschiedener OCT-Bilder der Zeitreihe zu ersetzen.
Das OCT-Bild 31 weist ferner einen virtuellen Schatten 60 auf. Dieser wurde als Schatten des schattengebenden ersten Objekts 611 bei Beleuchtung durch die virtuelle Lichtquelle 62 und auf der Fläche 63 berechnet. Insbesondere wurde der virtuelle Schatten 60 durch Raytracing ermittelt, wobei beim Auftreffen eines von einer virtuellen Kamera (aus einer virtuellen Beobachtungsrichtung) kommenden Kamerastrahls in einem Punkt der Fläche 63 von diesem Punkt ein Schattenstrahl in Richtung der virtuellen Lichtquelle 62 ausgesandt wird und auf dem Punkt der Fläche 63 ein Schatten erzeugt wird, wenn der Schattenstrahl auf dem Weg zur virtuellen Lichtquelle 62 das schattengebende Objekt 611 kreuzt. Somit wird der virtuelle Schatten 60 objektspezifisch für das medizintechnische Instrument 70 erzeugt, da nur ein Schnittpunkt eines Schattenstrahls mit dem schattengebenden Objekt 611 zu einem Schatten auf der Fläche 63 führt. Insbesondere führt ein Schnittpunkt eines Schattenstrahls mit dem zweiten Objekt 612 nicht zu einem Schatten auf der Fläche 63, so dass die anatomische Struktur des zweiten Objekts 612 in dem OCT-Bild 31 keinen Schatten aufweist. Darüber hinaus erfolgt die Erzeugung des virtuellen Schattens 60 flächenspezifisch auf der Fläche 63, da nur von dieser beim Auftreffen eines Kamerastrahls ein Schattenstrahl ausgesendet wird. Schattenstrahlen sind in der 3 durch gestrichene Linien schematisch dargestellt.
4 zeigt eine schematische Darstellung der Visualisierung eines OCT-Bildes 31 mit zwei objektbezogenen virtuellen Schatten 601, 602. Das OCT-Bild 31 ist erneut aus dem von dem Sichtfeld 66 der Probe 65 erzeugten OCT-Signal 19 ermittelt, weist in diesem Beispiel jedoch eine erste Fläche 631 und einer unterhalb (subkutan) der ersten Fläche 631 angeordnete zweite Fläche 632 auf. 4 spiegelt somit die vorteilhaften Eigenschaften von OCT-Bildern 31 wider, welche die dreidimensionale und perspektivische Darstellung von Schnittbeziehungsweise Volumenbildern anatomischer Proben 65 ermöglichen. In dem OCT-Bild 31 der 4 weisen sowohl das medizintechnische Instrument 70 als erstes Objekt 611 als auch die anatomische Struktur der Probe 65 als zweites Objekt jeweils einen objektspezifischen virtuellen Schatten 60 auf. Dabei ist der erste virtuelle Schatten 601 des ersten Objekts 611 durch virtuelle Beleuchtung des ersten Objekts 611 durch die virtuelle Lichtquelle 62 und, abweichend von der 3, auf der subkutanen Fläche 632 erzeugt. Der zweite virtuelle Schatten 602 des zweiten Objekts 612 ist durch virtuelle Beleuchtung des zweiten Objekts 612 durch die virtuelle Lichtquelle 62 und auf der obenliegenden Fläche 631 erzeugt. Erneut wurden die virtuellen Schatten 60 mittels Raytracing erzeugt, wobei in diesem Beispiel beliebige Punkte beider Flächen 631 und 632 einen Schattenstrahl (gestrichen dargestellt) zur virtuellen Lichtquelle 62 aussenden, wenn sie von einem Kamerastrahl (nicht dargestellt) getroffen werden. Dabei wird jedoch auf einem Punkt der Fläche 631 nur dann ein virtueller Schatten 601 erzeugt, wenn der Schattenstrahl auf dem Weg zur virtuellen Lichtquelle 62 das erste Objekt 611 kreuzt und wird auf einem Punkt der Fläche 632 nur dann ein virtueller Schatten 602 erzeugt, wenn der Schattenstrahl auf dem Weg zur virtuellen Lichtquelle 62 das zweite Objekt 612 kreuzt. Die virtuellen Schatten 601, 602 sind somit jeweils objektspezifisch nur für bestimmte schattengebende Objekte 611, 612 sowie flächenspezifisch nur auf bestimmten schattenempfangenden Flächen 631, 632 erzeugt. Jeder der virtuellen Schatten 601, 602 ist somit einer Kombination aus Objekt und Fläche eindeutig zuordenbar.
Mittels der virtuellen Schatten 60 in den OCT-Bildern 31 sind diese durch einen Nutzer besser interpretierbar, insbesondere was die Relativlage von Objekten 61 und Flächen 63 in dem OCT-Bild 31 anbelangt. 5 zeigt dazu eine schematische Darstellung der Visualisierung eines OCT-Bildes mit (A) einem ersten objektbezogenen virtuellen Schatten und (B) einem zweiten objektbezogenen virtuellen Schatten. Dabei entspricht die Grundsituation in 5 der Situation in 3, es wird also ein virtueller Schatten 60 allein von dem medizintechnischen Instrument 70 als erstem Objekt 611 und nur auf der Fläche 63 erzeugt, ein virtueller Schatten des zweiten Objekts 612 wird hingegen nicht erzeugt. In der Abbildung von 5(A) befindet sich das medizintechnische Instrument 70 in einem ersten Abstand h₁ über der Fläche 63 und befindet sich die virtuelle Lichtquelle 62 an einer ersten Position. In der Abbildung von 5(B) befindet sich das medizintechnischen Instrument 70 in einem zweiten Abstand h₂ über der Fläche 63 und befindet sich die virtuelle Lichtquelle 62 an einer zweiten Position. Dabei ist der zweite Abstand h₂ kleiner als der erste Abstand h₁ und weist die zweite Position der virtuellen Lichtquelle 62 einen geringeren lotrechten Abstand zur Fläche 63 auf, als die erste Position der virtuellen Lichtquelle 62.
Somit ist der virtuelle Schatten 60 des ersten Objekts 611 in 5(A) kürzer als der virtuelle Schatten des ersten Objekts 611 in 5(B) und lassen sich relative Lageveränderungen des medizintechnischen Instruments 70 anhand des virtuellen Schattens 60 umso besser erkennen, desto näher das medizintechnische Instrument 70 an die Fläche 63 (beispielsweise eine Netzhaut in einem ophthalmologischen Eingriff) herangeführt wird. Beispielsweise kann ein Nutzer anhand des Abstands zwischen der Spitze des medizintechnischen Instruments 70 und der korrespondierenden Spitze des virtuellen Schattens 60 einen Abstand zwischen der Spitze des medizintechnischen Instruments 70 und der Fläche 63 ableiten. Liegt die Spitze des medizintechnischen Instruments 70 auf der Fläche 63 auf, so ist dieser Abstand null. Durch Verringerung des lotrechten Abstands von virtueller Lichtquelle 62 und Fläche 63 bei Annäherung von medizintechnischen Instrument 70 an die Fläche 63 skaliert der virtuelle Schatten 60 länger, was eine feinere Kontrolle des medizintechnischen Instruments 70 anhand des virtuellen Schattens 60 ermöglicht. Bevorzugt wird die virtuelle Lichtquelle 62 in dem Beispiel der 5 in dem OCT-Bild 31 dargestellt, so dass ein Nutzer eine Bewegung der virtuellen Lichtquelle 62 erkennen kann. Ebenfalls bevorzugt bleibt die Position der virtuellen Lichtquelle 62 beim Unterschreiten eines vorbestimmten Abstands von medizintechnischen Instrument 70 und Fläche 63 konstant, so dass jede Veränderung des virtuellen Schattens 60 allein durch die Bewegung des Instruments 70 verursacht ist.
6 betrifft die multimodale Darstellung von OCT-Bildern 31 und Videobilddaten 32 auf dem Anzeigemittel 30, wie bereits mit Bezug zu 2 erläutert. Dabei zeigt 6(A) eine schematische Darstellung der Visualisierung eines Videobildes 32 mit einem Schatten 64 und 6(B) eine schematische Darstellung der Visualisierung eines OCT-Bildes 31 mit einem objektbezogenen virtuellen Schatten 60 sowie eines Videobildes 32 mit einem Schatten 64.
Die 6(A) illustriert dabei beispielsweise eine erste Phase eines ophthalmologischen Eingriffs, in dem ein medizintechnisches Instrument 70 an eine Probe 65, beispielsweise an ein Auge eines Patienten herangeführt wird. Hierfür ist für den Operateur ein Videobild 32 ausreichend, da noch keine Eingriffe des Instruments 70 mit der Probe 65 erfolgen. Dieses Videobild 32 ist dabei auf den Pixeln des Anzeigemittels 30 dargestellt und enthält ein Abbild der Probe 65, des medizintechnischen Instruments 70 und eines realen Schattens 64. Der reale Schatten 64 wird dabei durch Beleuchtung des medizintechnischen Instruments 70 mittels der realen Lichtquelle 28 der 2 unterschiedslos auf allen ansonsten von der realen Lichtquelle 28 beschienenen Flächen der Probe 65 erzeugt. Die 6(b) illustriert eine zweite Phase des ophthalmologischen Eingriffs, der beispielsweise durch eine Nutzereingabe oder automatisch bei Unterschreiten eines vorbestimmten Abstands zwischen medizintechnischen Instrument 70 und Probe 65 initiiert wird. In der zweiten Phase wird ein OCT-Bild 31 eines definierten Bereichs (region of interest - ROI) der Probe 65 in Überlagerung mit den Videobilddaten 32 der restlichen Probe 65 auf den Pixeln 33 des Anzeigemittels 30 dargestellt. Das OCT Bild 32 weist dabei einen Frontabschnitt (schwarz gefüllt dargestellt) des medizintechnischen Instruments 70 auf, wohingegen der Rest (wie dargestellt) des medizintechnischen Instruments 70 in den Videobilddaten 32 zu sehen ist. Ferner ist in den Videobilddaten 32 weiterhin ein Abschnitt des realen Schattens 64 dargestellt und weist das OCT-Bild einen virtuellen Schatten 60 auf, der nahtlos in den realen Schatten 64 übergeht. Dabei ist der virtuelle Schatten 60 durch virtuelle Beleuchtung des Abbilds des medizintechnischen Instruments 70 in dem OCT-Bilds 31 mittels einer, an der Position der realen Lichtquelle 64 angeordneten virtuellen Lichtquelle 31 erzeugt. Somit wird eine Verwirrung des Nutzers durch abweichende Schattenverläufe verhindert und ein nahtloser Übergang zwischen den Darstellungsmodi von 6(A) und 6(B) gewährleistet.
7 zeigt eine schematische Darstellung einer Probe 65 und eines Anzeigemittels 30 gemäß einer Ausführungsform. Die Probe 65 weist dabei eine Vielzahl von Volumenelementen 651 und eine Vielzahl von Oberflächenelementen 652 auf, wobei bestimmte Volumenelemente 651 zu bestimmten Oberflächenelementen 652 korrespondieren. Eine beispielhafte Auswahl von Oberflächenelementen 652 ist schraffiert dargestellt und vier zu den schraffierten Oberflächenelementen 652 korrespondierende Volumenelemente 651 sind mit durchgezogenen Linien dargestellt, während die restlichen Volumenelemente 651 mit gestrichenen Linien dargestellt sind. Ferner verbinden doppelseitige Pfeile diese Volumenelemente 651 mit den zugehörigen Oberflächenelementen 652.
Mit dem OCT-System 10 des Systems 100 der 1 und 2 ist insbesondere das Volumen der Probe 65 erfassbar, indem von dieser gestreutes kurzwelliges Licht des Probenstrahls 12 über den Scanspiegel 16 mittels des Interferometers mit dem Referenzstrahl 17 überlagert wird. Das so erzeugte und mittels dem Detektor 18 als zeitaufgelöstes OCT-Signal 19 erfasste Interferenzmuster 17 weist eine Vielzahl von ersten Tupeln 191 auf, wobei sich eine Anzahl der ersten Tupel 191 beispielsweise aus einer Anzahl der mit dem Scanspiegel 16 abgerasterten Punkte auf der Probe 65 ergibt. Jedes der ersten Tupel 191 korrespondiert dabei zu einem der dargestellten Volumenelemente 651 und weist einen Wert einer Streuintensität s_i auf. Anhand einer Kalibrierung beziehungsweise Registrierung des OCT-Systems 10 relativ zu einem Koordinatensystem der Probe 65 (Patient) sind jedem der ersten Tupel 191 ferner drei Raumkoordinaten x_i, y_i, z_i zugeordnet. In dem dargestellten Beispiel weist ein erstes Tupel 191 die Raumkoordinaten x₁, y₁, z₁ und den Streuintensitätswert s₁ auf.
Mit dem operationsmikroskopischen System 20 des Systems 100 der 2 ist insbesondere die Oberfläche der Probe 65 erfassbar, indem von dieser reflektiertes beziehungsweise rückgestreutes langwelliges (sichtbares) Licht über die Optiken 23 auf den Bildsensor 22 der Kamera 21 zurückgeworfen wird. Die mittels des Bildsensors 22 erfassten Bildsignale 27 weisen dann jeweils eine Vielzahl von zweiten Tupeln 231 auf, wobei sich eine Anzahl der zweiten Tupel 231 aus einer Auflösung des Bildsensors 22 ergibt. Jedes der zweiten Tupel 231 korrespondiert dabei zu einem der dargestellten Oberflächenelemente 652 und weist einen Wert einer Graustufe g_i auf, der eine Intensität des auf den Bildsensor 22 zurückgeworfenen Lichts entspricht. Anhand einer Kalibrierung beziehungsweise Registrierung des Bildsensors 22 relativ zu einem Koordinatensystem der Probe 65 (Patient) sind jedem der zweiten Tupel 231 ferner zwei laterale Raumkoordinaten x_i, y_i zugeordnet. In dem dargestellten Beispiel weist ein zweites Tupel 231 die lateralen Raumkoordinaten x_1, y₁ und den Graustufenwert g₁ auf.
Das in 7 ferner dargestellte Anzeigemittel 30 weist eine Vielzahl von Pixeln 33 auf, insbesondere 42 Pixel mit 7 Pixeln in horizontaler Richtung und 6 Pixeln in vertikaler Richtung. In dem dargestellten Beispiel ergab sich aus der Auflösung des Bildsensors 22 eine Erfassung der Probenoberfläche durch die Bildsignale 27 in 21 Oberflächenelementen 652 mit 7 Oberflächenelementen 652 in horizontaler Richtung und 3 Oberflächenelementen 652 in vertikaler Richtung. Somit korrespondiert in den Videobilddaten 32 in horizontaler Richtung ein Pixel 33 zu einem Oberflächenelement 652 und korrespondieren in vertikaler Richtung zwei Pixel 33 zu einem Oberflächenelement 652. Zu schraffiert dargestellten Oberflächenelementen 652 korrespondierende Pixel 33 sind ebenfalls schraffiert dargestellt und die Zuordnung ist ferner durch Pfeile verdeutlicht. Wie ferner durch Pfeile dargestellt, wird durch die Steuereinheit 40 des Systems 100 auch das zugehörige OCT-Bild 31 der zu den Oberflächenelementen 652 korrespondierenden Volumenelementen 651 so erzeugt und in den jeweiligen Pixeln 33 dargestellt, dass Videobilddaten 32 von bestimmten Oberflächenelementen 652 auf bestimmten Pixeln 33 dargestellt werden und OCT-Bilder 31 von zu den Oberflächenelementen 652 korrespondierenden Volumenelementen 651 ebenfalls auf den bestimmten Pixeln 33 dargestellt werden. Mithin werden korrespondierende OCT-Bilder 31 und Videobilddaten 31 am selben Ort des Anzeigemittels 30 dargestellt und wird ein auf einem bestimmtes Volumenelement 651 (mit Bezugszeichen) berechneter virtueller Schatten auf dem korrespondierenden Pixel 331 dargestellt. Somit wird eine korrekte Zuordnung der virtuellen Schatten zu den korrespondierenden Pixeln 33 gewährleistet.
8 zeigt eine Darstellung eines visualisierten OCT-Bildes 31 mit einem objektbezogenen virtuellen Schatten 60, insbesondere einem objektbezogenen virtuellen Schatten 60 der Spitzen 61 einer chirurgischen Pinzette als schattengebendem Objekt 61 auf einer Netzhautlage 63. Dabei wurde die retinale Oberflächenschicht (ILM) 63 in der Echtzeit-Volumenberechnung mit einem traditionellen Bildverarbeitungsansatz (schwellwertbasiert) aus OCT-B-Scans segmentiert. Die Segmentierung der chirurgischen Pinzettenspitzen 61 erfolgt zunächst durch Segmentierung einer 2D-Draufsicht des Volumens, wobei für jeden A-Scan identifiziert wird, ob dieser ein Abbild der Pinzettenspitzen 61 enthält. Aufgrund der Abschwächung des OCT-Signals 19 an der Instrumentenoberfläche ist in den OCT-Bildern dieser A-Scans nur das Instrument 61 zu finden, weswegen die 3D-Position des Instruments 61 schwellwertbasiert in zu den identifizierten A-Scans zugehörigen Schnittbildern (B-Scans) ermittelt werden kann. Alternativ können die Positionen der Netzhautschicht 63 und des Instruments 61 auch direkt in den B-Scans mit Hilfe eines Algorithmus des maschinellen Lernens, beispielsweise einem neuronalen Netzwerk, ermittelt (segmentiert) werden.
9 zeigt ein schematisches Ablaufdiagram eines Verfahrens gemäß einer Durchführungsform. Das Verfahren weist einen ersten Schritt S100 des Empfangens eines zeitaufgelösten OCT-Signals 19 eines ausgewählten Sichtfelds 66 einer Probe 65 von einem OCT Systems 10 auf. Dabei weist das OCT-Signal 19 eine Vielzahl von Tupeln 191 auf, die jeweils ein Volumenelement 651 der Probe 65 und eine zu dem Volumenelement 651 korrespondierende Streuintensität repräsentieren. Das Verfahren weist ferner den zweiten Schritt S200 des Ermitteln S200 eines zeitaufgelösten OCT-Bilds 31 mit einem objektspezifischen virtuellen Schatten 60 durch virtuelles Bestrahlen zumindest eines Objekts 61 des OCT-Bildes 31 mittels einer virtuellen Lichtquelle 62 auf zumindest einer Fläche 63 des OCT-Bildes 31 auf. Schließlich erfolgt in einem dritten Schritt S300 das Darstellen des zeitaufgelösten OCT-Bilds 31 mit dem virtuellen Schatten 60 auf dem Anzeigemittel 30.

Claims

System (100) zum Visualisieren von OCT-Signalen, aufweisend: ein zur zeitaufgelösten Anzeige von Bilddaten (31) ausgebildetes Anzeigemittel (30); und eine Steuereinheit (40), die dazu eingerichtet ist, ein zeitaufgelöstes OCT-Signal (19) eines ausgewählten Sichtfelds (66) einer Probe (65) von einem OCT-System (10) zu empfangen; anhand des OCT-Signals (19) ein zeitaufgelöstes OCT-Bild (31) mit zumindest einem virtuellen Schatten (60) zu ermitteln, wobei anhand des OCT-Signals (19) oder des OCT-Bildes (31) zumindest ein interessierendes schattenerzeugendes Objekt (61) und zumindest eine interessierende schattenempfangende Fläche (63) ermittelt wird, wobei der zumindest eine virtuelle Schatten (50) durch virtuelles Bestrahlen des zumindest einen schattenerzeugenden Objekts (61) des OCT-Bildes (31) mittels einer virtuellen Lichtquelle (62) objektspezifisch auf der zumindest einen schattenempfangenden Fläche (63) des OCT-Bildes (31) erzeugt wird; und das zeitaufgelöste OCT-Bild (31) auf dem Anzeigemittel (30) darzustellen, wobei die Steuereinheit (40) ferner dazu eingerichtet ist: das zumindest eine interessierende schattenerzeugende Objekt (61) und/oder die zumindest eine interessierende schattenempfangende Fläche (63) durch zielgerichtete Segmentierung des OCT-Signals (19) oder des OCT-Bildes (31) zu ermitteln, oder. eine Vielzahl von Objekten (61) und/oder Flächen (63) in dem OCT-Signal (19) oder dem OCT-Bild (31) zu segmentieren und daraus das zumindest eine interessierende schattenerzeugende Objekt (61) und/oder die zumindest eine interessierende schattenempfangende Fläche (63) auszuwählen.
System (100) nach Anspruch 1, wobei die Steuereinheit (40) dazu eingerichtet ist, das zumindest eine schattenerzeugende Objekt (61) anhand objektspezifischer Informationen und/oder die zumindest eine schattenempfangende Fläche (63) anhand flächenspezifischer Informationen zu ermitteln.
System (100) nach Anspruch 1 oder 2, wobei das System ferner eine zum Erfassen einer Nutzereingabe ausgebildete Schnittstelle (50) aufweist wobei die Auswahl des zumindest einen interessierenden schattenerzeugenden Objekts (61) und/oder der zumindest einen interessierenden schattenempfangenden Fläche (63) anhand der Nutzereingabe erfolgt.
System (100) nach einem der vorangehenden Ansprüche, wobei die Steuereinheit (40) dazu eingerichtet ist, aus dem OCT-Signal (19) das OCT-Bild (31) mittels Volumen-Rendering, Ray-Tracing und/oder Ray-Marching als 3D Volumenbild zu ermitteln.
System (100) nach einem der vorangehenden Ansprüche, wobei die Steuereinheit (40) dazu eingerichtet ist, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle (62) zu variieren und/oder in dem zeitaufgelösten OCT-Bild (31) darzustellen.
System (100) nach Anspruch 5, wobei das System (100) ferner eine zum Erfassen einer Nutzereingabe ausgebildete Schnittstelle (50) aufweist und die Steuereinheit (40) dazu eingerichtet ist, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle (62) anhand der Nutzereingabe einzustellen und/oder wobei das System (100) ferner eine zum Erfassen eines Geräteparameters ausgebildete Geräteschnittstelle (55) aufweist und die Steuereinheit (40) dazu eingerichtet ist, die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle (62) anhand des Geräteparameters einzustellen.
System (100) nach Anspruch 5 oder 6, ferner aufweisend ein medizintechnisches Instrument (70), wobei die Steuereinheit (40) dazu eingerichtet ist, eine Position, einen Typ und/oder einen Zustand des medizintechnischen Instruments (70) zu ermitteln und die Position, Ausrichtung und/oder Art der virtuellen Lichtquelle (62) anhand der Position, des Typs und/oder des Zustands des medizintechnischen Instruments (70) zu ermitteln.
System (100) nach einem der vorangehenden Ansprüche, wobei die Steuereinheit (40) dazu eingerichtet ist, den virtuellen Schatten (60) mit einer Farbcodierung in dem zeitaufgelösten OCT-Bild (31) darzustellen.
System (100) nach einem der vorangehenden Ansprüche, wobei das OCT-Signal (19) eine Vielzahl von Tupeln (191) aufweist, die jeweils ein Volumenelement (651) der Probe (65) und eine Streuintensität repräsentieren, wobei das Anzeigemittel (30) eine Vielzahl von Pixeln (33) aufweist und wobei die Steuereinheit (40) dazu eingerichtet ist, OCT-Bilder (31) anhand der Tupel (191) und einer Auflösung des Anzeigemittels (30) so zu ermitteln, dass bestimmte Pixel (33) zu bestimmten Volumenelementen (651) korrespondieren und einen auf bestimmten Volumenelementen (651) ermittelten virtuellen Schatten (60) auf den korrespondierenden Pixeln (331) darzustellen.
System (100) nach einem der vorangehenden Ansprüche, ferner aufweisend: ein zum Erfassen eines zeitaufgelösten Bildsignals (23) des ausgewählten Sichtfelds (66) der Probe (65) ausgebildetes operationsmikroskopisches System (20) mit einer realen Lichtquelle (28), wobei die Steuereinheit (40) ferner dazu eingerichtet ist, anhand des erfassten zeitaufgelösten Bildsignals (23) korrespondierende Videobilddaten (32) zu ermitteln, die Videobilddaten (32) gleichzeitig oder sequentiell mit dem zeitaufgelösten OCT-Bild (31) auf dem Anzeigemittel (30) darzustellen und den virtuellen Schatten (60) mittels einer zu der realen Lichtquelle (28) korrespondierenden virtuellen Lichtquelle (62) zu erzeugen.
System (100) nach Anspruch 10, wobei die Steuereinheit (40) dazu eingerichtet ist, die Videobilddaten (32) und das zeitaufgelöste OCT-Bild (31) sequentiell mit gleicher Vergrößerung, gleicher Perspektive und/oder gleichem Stereowinkel α auf dem Anzeigemittel (30) darzustellen oder die Videobilddaten (32) mit einer ersten Transparenzstufe und das zeitaufgelöste OCT-Bild (31) mit einer zweiten Transparenzstufe gleichzeitig auf dem Anzeigemittel (30) darzustellen.
Verfahren zum Visualisieren von OCT-Signalen, aufweisend die Verfahrensschritte: Empfangen (S100) eines zeitaufgelösten OCT-Signals (19) eines ausgewählten Sichtfelds (66) einer Probe (65) von einem OCT Systems (10), wobei das OCT-Signal (19) eine Vielzahl von Tupeln (191) aufweist, die jeweils ein Volumenelement (651) der Probe (65) und eine zu dem Volumenelement (651) korrespondierende Streuintensität repräsentieren; Ermitteln (S200) eines zeitaufgelösten OCT-Bilds (31) mit zumindest einem objektspezifischen virtuellen Schatten (60), wobei anhand des OCT-Signals (19) oder des OCT-Bildes (31) zumindest ein interessierendes schattenerzeugendes Objekt (61) und zumindest eine interessierende schattenempfangende Fläche (63) ermittelt werden und wobei der zumindest eine objektspezifische virtuelle Schatten (60) durch virtuelles Bestrahlen des zumindest einen schattenerzeugenden Objekts (61) des OCT-Bildes (31) mittels einer virtuellen Lichtquelle (62) auf der zumindest einen schattenempfangenden Fläche (63) des OCT-Bildes (31) erzeugt wird; und Darstellen (S300) des zeitaufgelösten OCT-Bilds (31) auf dem Anzeigemittel (30), wobei das zumindest eine interessierende schattenerzeugende Objekt (61) und/oder die zumindest eine interessierende schattenempfangende Fläche (63) durch zielgerichtete Segmentierung des OCT-Signals (19) oder des OCT-Bildes (31) ermittelt werden, oder. wobei eine Vielzahl von Objekten (61) und/oder Flächen (63) in dem OCT-Signal (19) oder dem OCT-Bild (31) segmentiert und daraus das zumindest eine interessierende schattenerzeugende Objekt (61) und/oder die zumindest eine interessierende schattenempfangende Fläche (63) ausgewählt werden.
Verfahren nach Anspruch 12, ferner aufweisend die Verfahrensschritte: Ermitteln des zumindest einen schattenerzeugenden Objekts (61) durch Segmentierung des OCT-Signals (19) oder des OCT-Bildes (31) und bevorzugt anhand objektspezifischer Informationen und/oder einer Nutzereingabe; und/oder Ermitteln der zumindest einen schattenempfangenden Fläche (63) durch Segmentierung des OCT-Signals (19) oder des OCT-Bildes (31) und bevorzugt anhand flächenspezifischer Informationen und/oder einer Nutzereingabe.
Computerprogramm, umfassend Befehle, die bei der Ausführung durch eine Steuereinheit (40) eines Systems (100) gemäß einem der Ansprüche 1 bis 11 bewirken, dass das System (100) ein Verfahren gemäß einem der Ansprüche 12 und 13 ausführt.