-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine laparoskopische Bildanalyse und -verarbeitung. Insbesondere betrifft die vorliegende Erfindung eine Rechenvorrichtung zum Überblenden eines laparoskopisches Bildes und eines Ultraschallbildes, ein Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, ein Programmelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, und einen Trokar, der eine bildgebende Tiefenabtastungs-Bildgebungsvorrichtung umfasst.
-
HINTERGRUND DER ERFINDUNG
-
Die Verwendung von Ultraschall im Operationssaal durch Chirurgen nimmt zu, einschließlich der Indikationen und der Verwendung von Ultraschall in der Laparoskopie und Endoskopie. Bei der Bauchlaparoskopie wird die Bauchwand von den inneren Organen abgehoben, indem ein luftdichter Einschnitt erzeugt wird und Kohlendioxid bei niedrigem Druck eingeblasen wird. Ein langes starres Stablinsenobjektiv (Laparoskop) und eine Lichtschnur zur Beleuchtung werden dann eingefügt, um eine visuelle Untersuchung der Bauchorgane über angezeigte Bilder zu ermöglichen, die auf einem oder mehreren Monitorbildschirmen dargestellt sind, wodurch das Bedienungspersonal den Fortschritt der Operation überwachen kann. Mehrere Trokare, hohle Kunststoffröhrchen mit einem luftdichten Ventil, Trokare genannt, werden an strategischen Stellen platziert, um das leichte Einführen, Entfernen und Austauschen von chirurgischen laparoskopischen Instrumenten zu ermöglichen.
-
In gegenwärtigen Umgebungen werden Ultraschallbilddaten auf separaten Monitoren dargestellt. Von besonderer Bedeutung ist das Positionieren und Orientieren der laparoskopischen Ultraschallsonde in korrekter Weise zu der Stelle, um die es geht. Laparoskopische Instrumente befinden sich innerhalb eines Trokars und bewegen sich um einen Drehpunkt, was ihre räumlichen Freiheitsgrade begrenzt und sie unhandlich zu handhaben macht. Diese Schwierigkeit wird bei laparoskopischem Ultraschall dadurch verschlimmert, dass Bilddaten aus dem Laparoskop und Ultraschallbildern auf getrennten Monitoren ohne Angabe ihrer räumlichen Korrelation angezeigt werden. Eine korrekte Positionierung und Orientierung der Ultraschallsonde stellt daher selbst für erfahrene Laparoskopiker eine herausfordernde Aufgabe dar.
-
KURZFASSUNG DER ERFINDUNG
-
Es kann ein Bedarf bestehen, eine verbesserte Anzeige von Laparoskopiebildern bereitzustellen.
-
Die Aufgabe der vorliegenden Erfindung wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Weitere Ausführungsformen und Vorteile der Erfindung sind in den abhängigen Ansprüchen enthalten.
-
Die beschriebenen Ausführungsformen betreffen in ähnlicher Weise die Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, das Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, das Computerprogrammelement, das computerlesbare Medium und den Trokar einer Tiefenabtastungs-Bildgebungsvorrichtung. Synergistische Effekte können aus verschiedenen Kombinationen der Ausführungsformen entstehen, auch wenn sie nachstehend nicht im Detail beschrieben werden.
-
Technische Begriffe werden in ihrem allgemeinen Sinn verwendet. Wenn bestimmten Begriffen eine bestimmte Bedeutung gegeben wird, werden im Folgenden Definitionen von Begriffen in dem Zusammenhang gegeben, in dem die Begriffe verwendet werden.
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt. Die Rechenvorrichtung ist dafür ausgelegt, ein Laparoskopbild eines Laparoskops zu empfangen, und ist dafür ausgelegt, ein Ultraschallbild einer Ultraschallvorrichtung, insbesondere einer laparoskopischen Ultraschallvorrichtung, zu empfangen. Ferner ist die Rechenvorrichtung dafür ausgelegt, ein Tiefenbild einer Tiefenabtastungs-Bildgebungsvorrichtung zu empfangen, wobei das Tiefenbild Daten umfasst, die eine Oberfläche eines Objekts von Interesse definieren. Die Rechenvorrichtung ist dafür ausgelegt Tiefenandeutungsinformationen oder Tiefeninformationen aus dem empfangenen Tiefenbild zu extrahieren. Außerdem ist die Rechenvorrichtung dafür ausgelegt, die extrahierten Tiefenandeutungsinformationen oder Tiefeninformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes zu verwenden, um ein Überblendungsbild zu erzeugen.
-
Die Rechenvorrichtung der vorliegenden Erfindung kann Tiefenandeutungsinformationen aus dem empfangenen Tiefenbild extrahieren. Insbesondere können auf solche Weise Tiefeninformationen erzeugt werden, die Kenntnisse über eine Oberfläche des betreffenden Objekts, wie beispielsweise eine Organoberfläche innerhalb des Sichtfeldes der Ultraschall- und/oder Laparoskopievorrichtungen beinhalten. Solche Tiefenandeutungsinformationen können nützlich sein, um ein verbessertes überblendetes Bild zu erhalten.
-
Beispielsweise kann eine Überlagerung des Ultraschallbildes und des laparoskopischen Bildes im überblendeten Bild erzeugt werden, was für einen Anwender intuitiver ist. Mit anderen Worten kann dem Anwender ein überblendetes Bild angezeigt werden, das intuitiver ist, da das Bild eine oder mehrere Tiefenandeutungen aufweist oder verwendet, die aus der Position einer Oberfläche eines Objekts von Interesse, wie eines Organs im Sichtfeld, abgeleitet sind. Zum Beispiel können Daten in Bezug auf die Position einer Organoberfläche verwendet werden, um Tiefenandeutungen in Form von bestimmten visuellen Elementen zu erzeugen, die im überblendeten Bild visualisiert werden sollen, was ein überblendetes Bild zum Ergebnis hat, das für einen Anwender intuitiver ist.
-
Die Rechenvorrichtung kann die extrahierten Tiefenandeutungsinformationen dazu verwenden, das Ultraschallbild und/oder das laparoskopische Bild so anzupassen, dass ein überblendetes Bild erzeugt wird, das einen oder mehrere entsprechende Tiefenandeutungen, wie beispielsweise einen Schatten, und/oder eine Okklusion/Überdeckung umfasst.
-
In einer Ausführungsform hat das überblendete Bild die Perspektive des Laparoskopbildes und das Ultraschallbild wird über das Laparoskopbild gelegt.
-
Wie nachfolgend näher erläutert wird, können in dem überblendeten Bild, das von der Rechenvorrichtung erzeugt wird, unterschiedliche Ausführungsformen von Tiefenandeutungen, auch in Kombination, verwendet werden. Die Verwendung einer Tiefenabtastungs-Bildgebungsvorrichtung und ihres Tiefenbildes stellt Kenntnisse über die Oberfläche eines Objekts von Interesse, z. B. eines Organs bereit, so dass eine Überblendung, d. h. eine Überlagerung laparoskopischer und Ultraschallbilder oder Videostreams ein sehr intuitives überblendeten Bild zum Ergebnis haben kann, in dem der Ort auf der Oberfläche eines oder mehrere Organe im Sichtfeld berücksichtigt wird.
-
Mit anderen Worten kann die Rechenvorrichtung das Wissen über relative Abstände des Laparoskops, der laparoskopischen Ultraschallvorrichtung und eines Objekts von Interesse zueinander und zu der Tiefenabtastungsvorrichtung nutzen, um die räumliche Wahrnehmung des vom Anwender überblendeten Bildes zu verbessern. Dieses Wissen kann von der Rechenvorrichtung aus dem Tiefenbild extrahiert werden.
-
Aus dem Tiefenbild können von der Rechenvorrichtung unterschiedliche Tiefenandeutungsinformationen, d. h. Tiefenandeutungen, extrahiert werden, die von der Rechenvorrichtung für die oder während der Erzeugung des überblendeten Bildes verwendet werden können. Beispielsweise kann bzw. können ein realer Schatten und/oder ein virtueller Schatten von einer virtuellen Lichtquelle durch die Rechenvorrichtung berechnet werden und in dem überblendeten Bild verwendet werden, um die Wahrnehmung des Anwenders zu verbessern. Alternativ oder zusätzlich dazu kann eine Okklusion, d. h. eine realistische Überdeckung von Objekten im laparoskopischen Bild, als Ausführungsbeispiel einer Tiefenandeutung im Rahmen der vorliegenden Erfindung verwendet werden. Basierend auf den aus dem Tiefenbild extrahierten Tiefenandeutungsinformationen kann durch die Rechenvorrichtung bestimmt werden, ob sich weitere Objekte in der Szene befinden und welches Objekt einen größeren Abstand zum Laparoskop aufweist. Somit kann die Rechenvorrichtung berechnen, welches Objekt welche anderen Objekte überdecken soll, um einen realistischen visuellen Eindruck im überblendeten Bild bereitzustellen. Alternativ oder zusätzlich kann die Rechenvorrichtung auch ein überblendetes Bild mit Akkommodation, z. B. eine simulierte Schärfentiefe des überblendeten Bildes mit unterschiedlicher Schärfe für Objekte in unterschiedlichen Abständen erzeugen. Alternativ oder zusätzlich sind Konvergenz und binokulare Parallaxe Ausführungsformen von Tiefenandeutungen, die verwendet werden könnten, wenn Stereokameras in Kombination mit Stereoanzeigen angewendet werden. Alternativ oder zusätzlich ist eine Bewegungsparallaxe eine weitere Tiefenandeutung, die verwendet werden könnte. Wenn sich das Laparoskop bewegt, ändert sich die Parallaxe. Diese Bewegungsparallaxe kann in einer Ausführungsform der vorliegenden Erfindung auch in dem überblendeten Bild verwendet werden. Für den Fall, dass 3-dimensionaler Ultraschall verwendet wird und ein relativ dickes Objekt abgebildet wird, kann auch eine lineare Perspektive eine Tiefenandeutung sein, die von der Rechenvorrichtung verwendet werden kann.
-
In einer Ausführungsform wird das Ultraschallbild im überblendeten Bild in einem Transparenzmodus angezeigt, der die 3D-Wahrnehmung des Anwenders weiter verbessert. Die Rechenvorrichtung kann dafür ausgelegt sein, einen solchen Transparenzmodus des Ultraschallbildes zu berechnen.
-
Weiterhin soll im Zusammenhang mit der vorliegenden Erfindung der Begriff „Bild“ einzelne, individuelle Bilder, aber auch kontinuierliche Videostreams umfassen. Insbesondere können an der Rechenvorrichtung ein laparoskopischer Videostream und ein Ultraschall-Videostream für die Extraktion von Tiefenandeutungsinformationen und die anschließende Erzeugung eines überblendeten Bildes empfangen werden. Die Tiefenandeutungen kommen von der Tiefenabtastungsvorrichtung, die zusätzlich zum Laparoskop und der Ultraschallvorrichtung vorhanden ist. In gleicher Weise kann das überblendete Bild ein individuelles Bild sein oder kann eine Mehrzahl von Bildern sein, z. B. ein Videostream, der aus einer Mehrzahl von überblendeten Bildern besteht.
-
Darüber hinaus kann im Zusammenhang mit der vorliegenden Erfindung der Begriff „Tiefenabtastungs-Bildgebungsvorrichtung“ als intraabdominale Tiefenkamera verstanden werden, die dafür ausgelegt ist, mittels Bildgebung oder Abtastung die Oberfläche eines oder mehrerer Objekte von Interesse, insbesondere einer Organoberfläche eines inneren Organs, während einer Laparoskopie zu vermessen. In einem Beispiel kann die Tiefenabtastungs-Bildgebungsvorrichtung ferner dafür ausgelegt sein, die Position und Orientierung der beteiligten Instrumente, insbesondere des Laparoskops und der Ultraschallvorrichtung, zu bestimmen.
-
Dem Fachmann sind Tiefenabtastungs-Bildgebungsvorrichtungen bekannt. Beispielsweise kann die Tiefenabtastungs-Abbildungsvorrichtung ein Streifenlichtsystem umfassen, das einen Infrarot(IR)-Streifenlichtprojektor, eine IR-Kamera und eine normale Farbkamera umfasst. Zum Beispiel kann ein System mit Intel® RealSense-Technologie verwendet werden.
-
Somit wird beispielsweise ein projiziertes IR-Lichtmuster im IR-Bild verzerrt. Aus dieser Verzerrung kann ein Abstand zwischen der Kamera und einer Organoberfläche berechnet werden, woraus sich das Tiefenbild ergibt.
-
In einem anderen Beispiel kann die Tiefenabtastungs-Bildgebungsvorrichtung eine Flugzeit- bzw. Time-of-Flight (TOF)-Kamera aufweisen, wie sie beispielsweise in einem Microsoft® Kinect v2 Systems bereitgestellt wird. Somit wird beispielsweise die Zeit gemessen, die ein Lichtpuls benötigt, um sich vom Emitter zu einer Organoberfläche und zurück zum Bildsensor zu bewegen. Aus dieser gemessenen Flugzeit kann auch ein die Organoberfläche darstellendes Tiefenbild erstellt werden.
-
Unter einem Tiefenbild, das von einer solchen Vorrichtung erzeugt wird, ist ein Bild zu verstehen, das Informationen enthält, die den Abstand der Oberflächen von Objekten einer Szene zu einem Betrachtungspunkt enthält.
-
Die Rechenvorrichtung der vorliegenden Erfindung kann Teil eines Computers, wie eines Desktops oder Laptops sein oder kann Teil einer größeren Recheninstanz, wie eines Servers, sein. Die Rechenvorrichtung kann auch Teil eines medizinischen Bildgebungssystems sein. Die Rechenvorrichtung kann mit der Tiefenabtastungs-Bildgebungsvorrichtung verbunden sein, die sich beispielsweise in einem Trokar befindet, der in einen Patienten eingeführt wird.
-
Gemäß der weiter oben vorgestellten Rechenvorrichtung wird ein Verfahren zur Überblendung eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt. Das Verfahren umfasst die Schritte des Bereitstellens eines laparoskopischen Bildes eines Laparoskops; des Bereitstellens eines Ultraschallbildes einer Ultraschallvorrichtung, des Bereitstellens eines Tiefenbildes einer Tiefenabtastungs-Bildgebungsvorrichtung, des Extrahierens von Tiefenandeutungsinformationen aus dem Tiefenbild und der Verwendung der extrahierten Tiefenandeutungsinformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes, um ein überblendetes Bild zu erzeugen.
-
Weitere Ausführungsformen der Rechenvorrichtung und des Verfahrens werden nachstehend vorgestellt. Der Fachmann wird verstehen, dass jedes Mal, wenn eine Ausführungsform der Rechenvorrichtung im Detail erläutert wird, damit auch ein entsprechendes Verfahren offenbart wird.
-
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, eine Form und eine Lage eines Schattens im überblendeten Bild basierend auf den extrahierten Tiefenandeutungsinformationen zu bestimmen. Die Rechenvorrichtung ist ferner dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild so anzupassen, dass der Schatten im überblendeten Bild visualisiert wird.
-
Der in dieser Ausführungsform beschriebene Schatten kann sich aus einer realen Lichtquelle, wie z. B. der am Laparoskop positionierten Lichtquelle, ergeben, kann sich aber auch aus einer virtuellen Lichtquelle ergeben. Zum Beispiel ist in 7 eine Ausführungsform gezeigt, in der ein künstlicher Schatten 701 durch die Rechenvorrichtung berechnet wird und dem Anwender in dem überblendeten Bild 700 angezeigt wird. In beiden Fällen werden die Position und die Ausdehnung der Lichtquelle sowie die Position und die Orientierung des Laparoskops und die Position und die Orientierung der Ultraschallvorrichtung an der Rechenvorrichtung bereitgestellt. Basierend auf den in dem Tiefenbild enthaltenen Informationen kann die Rechenvorrichtung dann unter Verwendung der Tiefenandeutungen von realen und/oder künstlichen Schatten berechnen, wie die abgebildete Szene aus der Perspektive des Laparoskops aussieht. Gleiches gilt für andere Tiefenandeutungen wie z. B. Überdeckungen/Okklusionen. Diese Daten, d. h. die erwähnte Position und Orientierung des Laparoskops und der Ultraschallvorrichtung, können aus dem Tiefenbild der Tiefenabtastungsvorrichtung extrahiert werden, können aber auch beispielsweise durch Sensoren am Laparoskop und/oder an der Ultraschallvorrichtung bereitgestellt werden. Dies kann ein Tracking der Position und Orientierung dieser Vorrichtungen mit den Sensoren mit sich bringen. Die Tracking-Daten können dann an einer Recheneinheit der vorliegenden Erfindung bereitgestellt werden, die diese Daten verarbeitet, um das überblendete Bild zu erzeugen. Wenn die Positions- und Orientierungsdaten des Laparoskops und der Ultraschallvorrichtung durch die Tiefenabtastungsvorrichtung bereitgestellt werden sollen, ist das Sichtfeld dieser Bildgebungsvorrichtung ausreichend breit, um sowohl das Laparoskop als auch das Ultraschallinstrument aufzunehmen, wie beispielsweise in 2 dargestellt.
-
Gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung ist die Berechnungsvorrichtung dafür ausgelegt, eine Form und eine Position einer Überdeckung/Okklusion im überblendeten Bild auf der Grundlage der extrahierten Tiefenandeutungsinformationen zu bestimmen. Die Rechenvorrichtung ist ferner dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild derart anzupassen, dass die Überdeckung/Okklusion im überblendeten Bild visualisiert wird. Das Anzeigen solch einer realistischen Überdeckung/Okklusion im überblendeten Bild für den Anwender kann auch die 3-dimensionale Wahrnehmung des Anwenders verbessern, wenn das berechnete überblendete Bild während der Laparoskopie als Navigationsunterstützung angewendet wird. Basierend auf den Abständen von in dem Tiefenbild dargestellten Objekten zu der Tiefenabtastungsvorrichtung kann die Rechenvorrichtung berechnen, welches Objekt in dem überblendeten Bild welches andere Objekt überdecken muss, um dem Anwender einen realistischen Eindruck der Überlagerung zu geben. Basierend auf diesen Informationen kann die Rechenvorrichtung dann berechnen, wie die jeweilige Tiefenandeutung in dem erzeugten überblendeten Bild gezeigt werden muss. Ein Ausführungsbeispiel davon ist in 10 dargestellt.
-
Gemäß einem weiteren Ausführungsbeispiel visualisiert das Ultraschallbild einen Querschnitt eines Objekts von Interesse in einer Ultraschallebene. Ferner ist die Rechenvorrichtung dafür ausgelegt, eine Form und eine Position eines Loches im Objekt von Interesse im überblendeten Bild zu berechnen. Ebenso kann eine entsprechende Anpassung des Laparoskopbildes und/oder des Ultraschallbildes vorgesehen sein. Das Anzeigen solch eines Loches für den Anwender in dem überblendeten Bild kann auch die 3-dimensionale Wahrnehmung des Anwenders verbessern. Solch ein Loch kann verschiedene Formen haben, wie beispielsweise die rechteckige Form, wie beschrieben im Zusammenhang mit 8 und 9. Das Loch, das in dem überblendeten Bild gezeigt ist, kann sich von der Oberfläche des Objekts von Interesse in den inneren Teil des Objekts von Interesse erstrecken. Dadurch kann das Ultraschallbild, das über das laparoskopische Bild gelegt wird, vor einem Hintergrund gezeigt werden, der einen inneren Teil des Objekts von Interesse anzeigt. Da dieser innere Teil des Objekts von Interesse ebenfalls in der Querschnittsansicht dargestellt ist, die durch das Ultraschallbild bereitgestellt wird, wird ein überblendetes Bild mit Tiefenandeutung dargestellt.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dazu eingerichtet, das Objekt von Interesse entlang der Ultraschallebene virtuell zu schneiden und das Objekt von Interesse mit dem resultierenden Schnitt in dem überblendeten Bild darzustellen. Ausführungsbeispiele davon werden beschrieben im Zusammenhang mit 6 und 7. Der resultierende Schnitt kann eine äußere Oberfläche des Objekts von Interesse sowie einen inneren Teil des Objekts von Interesse zeigen. Eine Ausführungsform besteht somit darin, die Oberfläche des Objekts von Interesse, d. h. die Oberfläche eines Organs zu messen und virtuell entlang der Ultraschallebene zu schneiden. Dies eröffnet die Möglichkeit, den inneren Teil des Objekts von Interesse virtuell mit einer Farbe zu färben, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet. Dies kann die 3-dimensionale Wahrnehmung des Anwenders bei Verwendung des überblendeten Bildes weiter verbessern.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, Daten über eine Position und eine Ausdehnung einer virtuellen Lichtquelle zu empfangen. Beispielsweise können diese Daten von einem Anwender an der Rechenvorrichtung bereitgestellt werden. Die Rechenvorrichtung ist ferner dafür ausgelegt, eine Form und einen Ort eines virtuellen Schattens im überblendeten Bild basierend auf den extrahierten Tiefenandeutungsinformationen und basierend auf der Position und der Ausdehnung der virtuellen Lichtquelle zu bestimmen. Die Rechenvorrichtung ist dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild derart anzupassen, dass der künstliche Schatten im überblendeten Bild visualisiert wird. Diese Ausführungsform kann insbesondere mit der hierin weiter oben erläuterten Ausführungsform kombiniert werden, bei der das Objekt von Interesse virtuell entlang der Ultraschallebene geschnitten wird. Das Berechnen und Anzeigen eines solchen künstlichen Schattens im Bereich des Schnitts, z. B. des künstlichen Schattens 701, der in 7 gezeigt ist, kann die 3-dimensionale Wahrnehmung des Anwenders weiter verbessern.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, aus dem Tiefenbild die räumliche Position und die Orientierung des Laparoskops sowie die räumliche Position und die Orientierung des Ultraschallgeräts zu extrahieren. Außerdem ist die Rechenvorrichtung zum Transformieren der extrahierten räumlichen Position und der extrahierten Orientierung des Laparoskops und der extrahierten räumlichen Position und der extrahierten Orientierung der Ultraschallvorrichtung in ein gemeinsames Koordinatensystem ausgelegt. Die Hauptprinzipien der Aufeinanderpassung von Koordinatensystemen sind dem Fachmann allgemein bekannt. Die Rechenvorrichtung der vorliegenden Erfindung kann insbesondere zum Berechnen solcher Aufeinanderpassungen ausgelegt sein, wie aus dem Stand der Technik bekannt, z. B. aus IGSTK Image-Guided Surgery Toolkit-An open Source C++ Software Library, Herausgeber Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yaniv, Insight Software Consortium 2009, oder aus J. Yanof, C. Bauer, S. Renisch, J. Krücker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, herausgegeben von G. Spekowius, T. Wendler, Springer, 2006.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung zum Empfangen von Daten über eine Position einer am Kopf tragbaren Augmented-Reality-Vorrichtung ausgelegt. Die Rechenvorrichtung ist ferner zum Aufeinanderpassen der Position der am Kopf tragbaren Augmented-Reality-Vorrichtung und des gemeinsamen Koordinatensystems ausgelegt. Die Rechenvorrichtung ist auch zum Übertragen des überblendeten Bildes auf die am Kopf tragbare Augmented-Reality-Vorrichtung ausgelegt. Daher kann das überblendete Bild auch auf einer am Kopf tragbaren Augmented-Reality-Vorrichtung angezeigt werden, die vom Operationsteam getragen wird, wenn die Position dieser Vorrichtungen ebenfalls erfasst und auf das gemeinsame Koordinatensystem gepasst wird, wie vorstehend erwähnt. Eine weitere Option besteht darin, das überblendete Bild auf einer Vorrichtung wie einem Tablet-Computer anzuzeigen, der in dem Sichtfeld des Anwenders positioniert ist. In dem letzteren Fall werden sowohl die Augenpositionen und die Blickrichtung des Anwenders als auch der Ort und die Ausrichtung der Anzeigevorrichtung durch eine entsprechende Vorrichtung oder durch den Anwender bereitgestellt und werden durch die Recheneinheit auf das oben beschriebene gemeinsame Koordinatensystem gepasst.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Programmelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt.
-
Das Computerprogrammelement kann Teil eines Computerprogramms sein, es kann aber auch selbst ein ganzes Programm sein. Zum Beispiel kann das Computerprogrammelement verwendet werden, um ein bereits existierendes Computerprogramm zu aktualisieren, um zu diesem Aspekt der vorliegenden Erfindung zu gelangen.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein computerlesbares Medium vorgestellt, auf dem ein Computerprogrammelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gespeichert ist.
-
Das computerlesbare Medium kann als Speichermedium angesehen werden, wie zum Beispiel ein USB-Stick, eine CD, eine DVD, eine Datenspeichervorrichtung, eine Festplatte oder irgendein anderes Medium, auf dem ein Computerprogrammelement, wie oben beschrieben, gespeichert werden kann.
-
Nach einem weiteren Aspekt der vorliegenden Erfindung wird ein Trokar vorgestellt, der eine Tiefenabtastungs-Bildgebungsvorrichtung umfasst. Die Tiefenabtastungs-Bildgebungsvorrichtung kann an der Außenseite des Trokars angebracht sein, der in der Regel in den intra-abdominalen Arbeitsraum eingeführt wird. In einer anderen Ausführungsform umfasst der Trokar die Tiefenabtastungs-Abbildungsvorrichtung innerhalb seines Gehäuses. In einer Ausführungsform kann der Trokar zusammen mit der Rechenvorrichtung der vorliegenden Erfindung in einem System kombiniert werden. Der Aspekt der vorliegenden Erfindung, der sich auf den Trokar mit der Tiefenabtastungs-Abbildungsvorrichtung bezieht, kann explizit mit jeder anderen hierin erwähnten Ausführungsform der vorliegenden Erfindung kombiniert werden. Die Tiefenabtastungs-Abbildungsvorrichtung des Trokars kann mit Kabeln oder kabellos mit einer Rechenvorrichtung der vorliegenden Erfindung verbunden sein. Die Rechenvorrichtung kann dann das Verfahren der vorliegenden Erfindung, wie hierin beschrieben, ausführen.
-
Es kann als ein Aspekt der vorliegenden Erfindung angesehen werden, Tiefeninformationen zu verwenden, die aus einem Tiefenbild einer laparoskopischen Tiefenabtastungs-Bildgebungsvorrichtung gewonnen werden, um ein überblendetes Bild zu erzeugen, das aus einem Ultraschallbild und einem laparoskopischen Bild besteht. Dies kann die 3-dimensionale Wahrnehmung des überblendeten Bildes, das dem Anwender gezeigt wird, verbessern. Da der Ultraschall Informationen aus dem Inneren des Objekts von Interesse zeigt, während das Laparoskop die Oberfläche des Objekts von Interesse zeigt, kann ein bloßes Darüberlegen des Ultraschallbildes über das Laparoskopbild, wie dies im Stand der Technik geschieht, unnatürlich aussehen, da keine Tiefenandeutungen berücksichtigt werden. Im Gegensatz dazu ermöglicht die vorliegende Erfindung das Anzeigen des Ultraschallbildes, das im Raum korrekt ausgerichtet ist in Bezug auf das laparoskopische Bild mit korrekten Tiefenwerten.
-
Diese und andere Merkmale der Erfindung werden aus den nachstehend beschriebenen Ausführungsformen ersichtlich und unter Bezugnahme auf diese erläutert.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung werden nun unter Bezugnahme auf die folgenden Zeichnungen beschrieben. Für ähnliche oder identische Elemente, die in den folgenden Figuren gezeigt sind, werden gleiche Bezugszahlen verwendet.
- 1 zeigt schematisch ein Flussdiagramm eines Verfahrens zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gemäß einem Aspekt der vorliegenden Erfindung.
- 2 zeigt schematisch einen Aufbau mit einer Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes zusammen mit einem Laparoskop, einer Ultraschallvorrichtung und einer Tiefenabtastungsvorrichtung.
- 3 zeigt schematisch eine reale Sicht von einem Laparoskop aus.
- 4 zeigt schematisch ein überblendetes Bild eines laparoskopischen Bildes und eines Ultraschallbildes mit positionskorrekter Überlagerung ohne Transparenzmodus.
- 5 zeigt schematisch ein überblendetes Bild eines laparoskopischen Bildes mit einem Ultraschallbild mit einer transparenten Überlagerung, einem Transparenzmodus und einer korrekten Position des Ultraschallbildes.
- 6 zeigt schematisch ein überblendetes Bild mit einer virtuellen Schnittebene.
- 7 zeigt schematisch ein überblendetes Bild mit einer virtuellen Schnittebene und mit einem künstlichen Schatten.
- 8 zeigt schematisch ein überblendetes Bild mit einem Loch ohne Transparenzmodus und ohne künstlichen Schatten.
- 9 zeigt schematisch ein überblendetes Bild mit einem Loch mit Transparenzmodus und mit einem künstlichen Schatten.
- 10 zeigt schematisch ein überblendetes Bild mit einem Greifer als zusätzlichem Objekt in der Szene und einer Überlagerung zwischen dem Greifer und dem Ultraschallbild als Tiefenandeutungsinformation.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
1 zeigt schematisch ein Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gemäß einem Aspekt der vorliegenden Erfindung. In einem ersten Schritt S1 wird das laparoskopische Bild eines Laparoskops bereitgestellt. Das Bereitstellen eines Ultraschallbildes einer Ultraschallvorrichtung wird durch Schritt S2 dargestellt. Ein Tiefenbild einer Tiefenabtastungsvorrichtung wird in Schritt S3 bereitgestellt. Das Extrahieren der Tiefenandeutungsinformationen aus dem bereitgestellten Tiefenbild ist in 1 durch Schritt S4 gezeigt. Die extrahierten Tiefenandeutungsinformationen werden in Schritt S5 verwendet, um das laparoskopische Bild und das Ultraschallbild zu überblenden, um das überblendete Bild zu erzeugen. Dieses Verfahren kann durch eine Recheneinheit ausgeführt werden, wie sie hierin vorstehend und im Folgenden dargestellt ist. Mehrere unterschiedliche Verfahrensschritte können zu diesem Verfahren von 1 gemäß mehreren anderen Verfahrensausführungsformen der vorliegenden Erfindung hinzugefügt werden. Beispielsweise kann die Bestimmung einer Form und eines Ortes eines Schattens und/oder einer Okklusion, wie oben beschrieben, Teil einer Verfahrensausführungsform sein. Auch der Schritt des Anpassens des Ultraschallbildes und/oder des laparoskopischen Bildes sind mögliche weitere Verfahrensschritte. In einer weiteren Ausführungsform des Verfahrens ist ein virtuelles Schneiden des Objekts von Interesse entlang der Ultraschallebene und das Anzeigen des Objekts von Interesse mit dem resultierenden Schnitt im überblendeten Bild ein weiterer Verfahrensschritt. In einer anderen Ausführungsform ist der Schritt des virtuellen Anfärbens des inneren Teils des Objekts von Interesse mit einer Farbe, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet, ein zusätzlicher Verfahrensschritt.
-
Die zuvor beschriebenen Verfahrensausführungsformen können mit den Schritten des Extrahierens der räumlichen Position und der Orientierung des Laparoskops und der Ultraschallvorrichtung aus dem Tiefenbild kombiniert werden. Darüber hinaus kann die Transformation der extrahierten räumlichen Position und der extrahierten Orientierung des Laparoskops und der extrahierten räumlichen Position und der extrahierten Orientierung der Ultraschallvorrichtung in ein gemeinsames Koordinatensystem durch die Recheneinheit Teil einer ergänzten Ausführungsform des Verfahrens von 1 sein. Insbesondere kann eine solche Extraktion und Transformation durch die Rechenvorrichtung durchgeführt werden, indem die Echtzeit-Bildeinspeisung der Tiefenabtastungsvorrichtung verarbeitet wird. Das Verfahren von 1 kann ausgeführt werden, wenn die Rechenvorrichtung verwendet wird, die nachfolgend in Zusammenhang mit 2 beschrieben wird.
-
2 zeigt schematisch einen Aufbau 200, in dem eine Rechenvorrichtung 207 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung verwendet wird. 2 zeigt die Bauchdecke 201 ebenso wie das Laparoskop 202, die Ultraschallbildgebungsvorrichtung 203 und die Tiefenabtastungsvorrichtung 204. Das von der Ultraschallvorrichtung 203 erzeugte Ultraschallbild 205 ist ebenfalls in 2 gezeigt. Der Sichtwinkel 206 der Tiefenabtastungsvorrichtung 204 in dieser Ausführungsform ist breit genug, um sowohl das Laparoskop als auch das Ultraschallinstrument aufzunehmen. Daher umfasst das Tiefenbild, das durch die Vorrichtung 204 erzeugt wird, Daten über die räumliche Position und Orientierung des Laparoskops 202 und der Ultraschallvorrichtung 203. Die Rechenvorrichtung 207 kann somit zum Extrahieren der räumlichen Position jeder Vorrichtung und der Orientierung jeder Vorrichtung ausgelegt sein und kann ferner zum Transformieren der extrahierten Positionen und extrahierten Orientierungen in ein gemeinsames Koordinatensystem ausgelegt sein. Die Rechenvorrichtung 207 kann auch dafür ausgelegt sein, das überblendete Bild zur Anzeige 208 zu übertragen. In diesem und in jedem anderen Ausführungsbeispiel der vorliegenden Erfindung können Informationen darüber, wie die Perspektive des laparoskopischen Bildes relativ zur Perspektive des Ultraschallbildes und relativ zur Perspektive des Tiefenbildes ist, an der Rechenvorrichtung 207 bereitgestellt werden. Diese Informationen können beispielsweise aus dem Tiefenbild extrahiert werden, aber auch andere Mittel, wie Sensoren, die die Position und Orientierung des Laparoskops, der Ultraschallvorrichtung und/oder der Tiefenabtastungsvorrichtung nachverfolgen, können verwendet werden.
-
Die Rechenvorrichtung 207 kann für ein Warping des Ultraschallbildes ausgelegt sein, um es für eine Brennweite des Laparoskops und Bildverzerrungen passend zu machen. Der daraus resultierende technische Effekt ist eine Korrektur der optischen Abrasion oder optischer Fehler durch optische Elemente, die im Laparoskop verwendet werden.
-
3 zeigt schematisch ein reales Bild 300 eines Laparoskops, in dem eine laparoskopische Ultraschallvorrichtung 301 über der Oberfläche 302 eines Objekts von Interesse, z. B. eines Organs, dargestellt ist. Da eine Lichtquelle am Laparoskop befestigt ist, besteht auch ein Schatten 303. Zusätzlich zu 3 zeigt 4 schematisch ein überblendetes Bild 400 in der Perspektive des Laparoskops mit einem überblendeten Ultraschallbild 401. Dieses überblendete Bild 400 kann durch die Rechenvorrichtung gemäß der vorliegenden Erfindung erzeugt werden. Das Ultraschallbild 401 ist an der korrekten Position in Bezug auf die Oberfläche 302 des Objekts von Interesse und in Bezug auf die Ultraschallvorrichtung 301 gezeigt, da Daten aus dem Tiefenbild der Tiefenabtastungsvorrichtung verwendet werden, um diese Überlagerung durch die Rechenvorrichtung dieser Ausführungsform zu erzeugen. Nach einer Kalibrierung der Laparoskopkamera sind deren Kameraparameter bekannt. Dies ermöglicht die Berechnung der Projektion von Objekten mit bekannter Form in das Bild des Laparoskops. Nach einer Kalibrierung des Ultraschalls ist für jedes Pixel des Ultraschallbildes bekannt, von welcher Position im Raum relativ zum Ultraschallabtastkopf es kommt. Daher ist es möglich, die Projektion eines Pixels des Ultraschallbildes in das laparoskopische Bild zu berechnen. Dies ermöglicht die Überlagerung in der korrekten Position. Zusätzlich dazu kann die Rechenvorrichtung der vorliegenden Erfindung dann unterschiedliche Tiefenandeutungen berechnen, wie hierin beschrieben, z. B. die Tiefenandeutungen, wie sie verwendet werden in den Ausführungsformen von 5 bis 10, und das Bild von 4 entsprechend verbessern.
-
5 zeigt ein überblendetes Bild 500, das durch eine Rechenvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wurde. In dieser Ausführungsform wird das Ultraschallbild 501 im Transparenzmodus bereitgestellt, d. h. als transparente Überlagerung über dem laparoskopischen Bild, wodurch der Tiefeneffekt verstärkt wird. Dies kann die 3-dimensionale Wahrnehmung des Anwenders bei Verwendung dieses überblendeten Bildes weiter erhöhen. Somit versteht es sich, dass die Rechenvorrichtung der vorliegenden Erfindung für den Transparenzmodus die opaken ursprünglichen US-Bilddaten (siehe 4) so anpassen kann, dass sie mehr oder weniger transparent werden, mit einem Maximum bei vollständiger Transparenz, d. h. einem unsichtbaren US-Bild. Zusätzlich können dem Bild von 5 Tiefenandeutungen hinzugefügt werden, wie hierin vor und nachstehend beschrieben wurde.
-
Gemäß einem weiteren Ausführungsbeispiel zeigt 6 ein überblendetes Bild 600, das durch eine Ausführungsform der Rechenvorrichtung der vorliegenden Erfindung erzeugt wird. Das überblendete Bild 600 von 6 zeigt eine virtuelle Schnittebene, die durch die Rechenvorrichtung berechnet wird. Der Schnitt erstreckt sich von der Oberfläche 302 des Objekts von Interesse, wie mittels der Tiefenabtastungs-Abbildungsabweichung bestimmt, und wird durch die dunkle Oberfläche 601 visualisiert.
-
Die Rechenvorrichtung der entsprechenden Ausführungsform der vorliegenden Erfindung ist somit dafür ausgelegt, das Objekt von Interesse virtuell entlang der Ultraschallebene des US-Bildes 602 zu schneiden. Die Grenze zwischen der Objektoberfläche 302 und der virtuellen Schnittebene wird unter Verwendung des Tiefenbildes aus der Tiefenabtastungs-Abbildungsvorrichtung bestimmt.
-
Ferner ist die Rechenvorrichtung dafür ausgelegt, den inneren Teil des Objekts von Interesse virtuell mit einer Farbe zu färben, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet. Wie aus 6 zu ersehen ist, ist die Oberfläche 302 im Vergleich zum inneren Teil des Objekts von Interesse mit einer anderen Farbe gezeigt, die graphisch durch die dunkle Oberfläche 601 dargestellt ist. Durch Bereitstellen dieses virtuellen Schnitts und der Färbung des inneren Teils des Objekts von Interesse wird das Ultraschallbild 602 auf eine intuitivere Weise über das laparoskopische Bild gelegt.
-
In einem weiteren Ausführungsbeispiel wird von einer erfindungsgemäßen Rechenvorrichtung ein überblendetes Bild 700 erzeugt. In dieser Ausführungsform umfasst das überblendete Bild 700 zusätzlich zur Ausführungsform von 6 einen künstlichen Schatten 701 in dem Bereich, in dem sich der Schnitt befindet. Die Recheneinheit der Ausführungsform der vorliegenden Erfindung, die das überblendete Bild erzeugt, ist somit zum Bestimmen der Form und des Ortes des künstlichen Schattens 701 in dem überblendeten Bild 700, basierend auf den extrahierten Tiefenandeutungsinformationen und basierend auf der Position und der Ausdehnung einer künstlichen Lichtquelle, ausgelegt. Die Position und die Ausdehnung der künstlichen Lichtquelle können durch den Anwender bereitgestellt werden. Die Rechenvorrichtung passt dann das Ultraschallbild und/oder das laparoskopische Bild so an, dass der künstliche Schatten 701 in dem überblendeten Bild 700 visualisiert wird.
-
8 zeigt ein weiteres überblendetes Bild 800, das durch eine Rechenvorrichtung einer Ausführungsform der vorliegenden Erfindung erzeugt worden ist. Das überblendete Bild 800 zeigt ein Loch 801 im Objekt von Interesse. Die Rechenvorrichtung dieser Ausführungsform der vorliegenden Erfindung hat die Form und die Position des Loches 801 berechnet. Das Ultraschallbild 803 überdeckt das Loch 801. Das überblendete Bild 800 zeigt das Ultraschallbild 803 im Transparenzmodus nicht und umfasst keine künstlichen Schatten.
-
Der „Umfang“ des Loches wird durch die Rechenvorrichtung berechnet, die den Schnittpunkt eines am Ultraschall befestigten „Blocks“ mit der Oberfläche des Organs von Interesse berechnet, wie durch die Tiefenabtastungskamera gemessen. Jede Seite des Blocks kann unterschiedlich gefärbt sein, um eine realistische Schattenwirkung innerhalb des Loches bereitzustellen. Innerhalb des Umfangs des Loches werden alle Pixel des ursprünglichen Laparoskopbildes von der Rechenvorrichtung gelöscht.
-
9 zeigt schematisch ein weiteres überblendetes Bild 900, das durch eine Rechenvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erzeugt wird. Im überblendeten Bild 900 zeigt das Ultraschallbild 902 einen künstlichen Schatten 901 unterhalb der Ultraschallvorrichtung 301 und auf der rechten Seite 904 des Loches 905. Das Ultraschallbild 902 wird auch in einem Transparenzmodus bereitgestellt, so dass ein unterer Teil 903 des Ultraschallbildes noch im überblendeten Bild 900 gesehen werden kann. Dies ist sehr ähnlich zu 8. Innerhalb des Umfangs des Loches sind alle Pixel des ursprünglichen Laparoskopbildes transparent/von der Rechenvorrichtung gelöscht worden, während außerhalb des Umfangs des Loches das Laparoskopbild transparent gemacht worden ist, um so die Wände des Loches zu zeigen.
-
10 zeigt schematisch ein überblendetes Bild 1000, in dem ein Greifer 1001 als ein zusätzliches Objekt gezeigt ist. Basierend auf den Tiefeninformationen, die aus dem Tiefenbild extrahiert werden, berechnet die Rechenvorrichtung einer Ausführungsform der vorliegenden Erfindung, dass der Greifer 1001 einen im Vergleich zur Position des Ultraschallbildes 1002 kürzeren Abstand zum Laparoskop hat. Daher überdeckt der Greifer 1001 das Ultraschallbild 1002 derart, dass dem Anwender ein realistisches intuitives überblendetes Bild 1000 dargeboten werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Herausgeber Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yaniv, Insight Software Consortium 2009 [0032]
- J. Yanof, C. Bauer, S. Renisch, J. Krücker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, herausgegeben von G. Spekowius, T. Wendler, Springer, 2006 [0032]