DE102010009884A1

DE102010009884A1 - Verfahren und Einrichtung zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche eines Körperhohlraums

Info

Publication number: DE102010009884A1
Application number: DE102010009884A
Authority: DE
Inventors: Prof. Angelopoulou Elli; Dr. Juloski Aleksandar; Rainer Kuth; Philip Mewes
Original assignee: Friedrich Alexander Univeritaet Erlangen Nuernberg FAU; Siemens AG
Current assignee: Invandus De GmbH
Priority date: 2010-03-02
Filing date: 2010-03-02
Publication date: 2011-09-08
Also published as: WO2011107393A1

Abstract

Bei einem Verfahren und einer Einrichtung zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche (18) eines Körperhohlraumes (2) mit einem in den Körperhohlraum (2) eingeführten Endoskop (4), wird bei ruhendem Endoskop (4) mit zumindest drei voneinander beabstandet am oder im Endoskop (4) angeordneten Lichtquellen (14a, b, c) ein Gebiet der Innenoberfläche (18) zeitlich nacheinander aus unterschiedlichen Richtungen beleuchtet. Mit einer Kamera (16) wird jeweils ein Bild (Ba,b,c) des jeweils beleuchteten Gebiets aus derselben Kameraposition aufgenommen, so dass für eine Vielzahl von Objektpunkten (O1, O2) des Gebiets (G) zeitlich nacheinander für jeden dieser Objektpunkte (O1, O2) die in jedem der drei Bilder (Ba,b,c) diesen jeweils zugeordneten Bildpunkte (P1, P2) dieselben Bildkoordinaten aufweisen. Aus den Intensitäten der Bildpunkte (P1, P2) in den jeweiligen Bildern (Ba,b,c) wird Information über die dreidimensionale Struktur des Gebietes abgeleitet.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Einrichtung zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche eines Körperhohlraums eines Patienten mit einem Endoskop.
Zur optischen Untersuchung der Innenoberfläche eines Körperhohlraums, beispielsweise des Magen-Darm-Traktes eines Patienten, ist es grundsätzlich bekannt, über Körperöffnungen starre oder biegsame Endoskope einzuführen, die mechanisch durch die Hand des Chirurgen gesteuert werden und eine direkte Betrachtung des Körperhohlraumes ermöglichen.
Alternativ zu derartigen manuell gesteuerten Endoskopen ist es beispielsweise aus der DE 101 42 253 C1 bekannt, in den Körperhohlraum eine Endoskopkapsel einzuführen, die ohne feste Verbindung nach außen im Körperhohlraum frei manövrierbar ist, und die mit einer an einer ihrer Stirnseiten angeordneten Videokamera ein Bild der im Gesichtsfeld der Videokamera befindlichen Innenoberfläche des Körperhohlraums aufnimmt.
Durch die in den bekannten Endoskopen verwendete monokulare Optik ist die Raumwahrnehmung stark eingeschränkt, und beruht lediglich auf Erfahrungswerten, indem der Chirurg Helligkeit und Farbton im Bild aufgrund seines anatomischen Wissens interpretiert und daraus räumliche Informationen ableitet.
Eine 3D-Rekonstruktion des Körperhohlraums ist aber sowohl aus diagnostischer Sicht als auch zur Steuerung des Endoskops insbesondere dann erwünscht, wenn die Untersuchung mit einer frei im Körperhohlraum manövrierbaren Endoskopkapsel durchgeführt wird.
Eine stereoskopische Betrachtung wäre grundsätzlich möglich, wenn im Endoskop oder in der Endoskopkapsel zwei Videokameras verwendet werden könnten. Eine Endoskopieeinrichtung, bei der die Endoskopkapsel zwei Videokameras enthält, ist zwar aus der DE 103 23 316 B3 bekannt, diese sind jedoch an einander gegenüberliegenden Stirnseiten der Endoskopkapsel angeordnet. Auch bei dieser bekannten Endoskopkapsel ist somit trotz des Vorhandenseins zweier Videokameras eine binokulare Betrachtung nicht möglich, da sich deren Bildfelder nicht in einer Weise überlagern, dass eine stereoskopische Betrachtung vorliegt.
Eine stereoskopische Bilderzeugung mit zwei voneinander beabstandeten Videokameras, deren Bildfelder sich überlagern, ist aber aufgrund der geringen baulichen Abmessungen von Endoskopen nur eingeschränkt möglich.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche eines Körperhohlraums eines Patienten anzugeben, das auch bei beschränkten baulichen Verhältnissen mit einem in den Körperhohlraum eingeführten Endoskop durchgeführt werden kann. Außerdem liegt der Erfindung die Aufgabe zugrunde, eine Einrichtung zum Durchführen des Verfahrens anzugeben.
Hinsichtlich des Verfahrens wird die genannte Aufgabe gemäß der Erfindung gelöst mit den Merkmalen des Patentanspruches 1. Gemäß diesen Merkmalen wird bei ruhendem Endoskop mit zumindest drei voneinander beabstandet am oder im Endoskop angeordneten Lichtquellen ein Gebiet der Innenoberfläche zeitlich nacheinander aus unterschiedlichen Richtungen beleuchtet, und es wird mit einer Kamera jeweils ein Bild des jeweils beleuchteten Gebiets aus derselben Kameraposition aufgenommen, sodass für eine Vielzahl von Objektpunkten des Gebiets zeitlich nacheinander für jeden dieser Objektpunkte die in jedem der drei Bilder diesen jeweils zugeordneten Bildpunkte dieselben Bildkoordinaten aufweisen, aus deren Intensitäten in den jeweiligen Bildern Information über die dreidimensionale Struktur des Gebietes abgeleitet, d. h. eine Rekonstruktion der 3D-Struktur durchgeführt wird.
Derartige als „photometric stereo” bezeichnete photometrische Verfahren sind beispielsweise in R. J. Woodham, „Photometric method for determining surface orientation from multiple images", Opt. Eng., vol. 19, no. 1, S. 139–144, Jan. 1980 und R. J. Woodham „Gradient and curvature from the photometricstereo method, including localconfidence estimation", J. Optical Soc. Am. A, vol. 11, no. 11, S. 3050–3068, Nov. 1994 näher erläutert. Zur Analyse der lokalen Krümmung einer Fläche ist es außerdem beispielsweise aus E. Angelopoulou, L. B. Wolff, „Sign of Gaussian Curvature From Curve Orientation in Photometric Space", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 20, No. 10, S. 1056–1066, Oct. 1998, bekannt, die Verteilung der mit einem photometrischen Verfahren bestimmten Flächennormalen auf einer Gaußkugel zu untersuchen.
Bei diesen bekannten Verfahren werden aus den Pixel- oder Intensitätswerten der einzelnen Bildpunkte die Einheitsnormalen des zu jedem Bildpunkt gehörenden Objektpunktes auf der Oberfläche bestimmt. Voraussetzung hierfür ist, dass es sich bei der zu rekonstruierenden Innenoberfläche zumindest annäherungsweise um einen sogenannten Lambert-Strahler handelt, bei dem die reflektierte Intensität nur vom Winkel zur Oberflächennormalen abhängt, unter dem das Flächenelement von einer Lichtquelle beleuchtet wird. Die auf diese Weise für jeden Bild- bzw. Objektpunkt vorliegenden Einheitsnormalen werden auf eine sogenannte Gaußkugel übertragen. Die sich auf der Gaußkugel ergebende Punktwolke – jedem Objektpunkt ist ein Einheitsnormalenvektor und damit ein Punkt auf der Gaußkugel zugeordnet – ermöglicht dann eine Rekonstruktion der 3D-Gestalt der im Bild wiedergegebenen Innenoberfläche.
Eine Vereinfachung des rechnerischen Aufwandes wird erzielt, wenn die Lichtquellen in gleichem Abstand zueinander angeordnet werden.
In einer vorteilhaften Ausgestaltung wird als Endoskop eine ferngesteuert innerhalb des Körperhohlraumes frei manövrierbare Endoskopkapsel verwendet. Dadurch können auch weit von Körperöffnungen entfernte und schwer von außen zugängliche Körperhohlräume untersucht werden.
Hinsichtlich der Einrichtung wird die genannte Aufgabe gemäß der Erfindung gelöst mit den Merkmalen des Patentanspruches 1, die ebenso wie die Merkmale der diesem Patentanspruch untergeordneten Patentansprüche sinngemäß den in den jeweils zugeordneten Verfahrensansprüchen genannten Merkmalen entsprechen.
Zur weiteren Erläuterung der Erfindung wird auf die Figuren verwiesen. Es zeigen jeweils in schematischen Prinzipdarstellungen:
1 eine Einrichtung gemäß der Erfindung in Arbeitsposition,
2 eine Draufsicht auf die Stirnseite eines erfindungsgemäßen Endoskops.
Gemäß 1 umfasst die Einrichtung ein in einen Körperhohlraum 2, beispielsweise der Magen eines Patienten, eingeführtes Endoskop, im Beispiel eine Endoskopkapsel 4, die frei innerhalb des mit einem Fluid 6 gefüllten Körperhohlraumes 2 manovrierbar ist. Die Endoskopkapsel 4 umfasst hierzu einen in der Figur nur schematisch angedeuteten Stabmagneten 8. Die Steuerung der Bewegung und Ausrichtung der Endoskopkapsel 4 erfolgt berührungslos durch ein Magnetfeld, das von einem außerhalb des Patienten angeordneten Magnetsystem 10 erzeugt wird.
An einer Stirnseite 12 der Endoskopkapsel 4 sind drei Lichtquellen 14a, b, c sowie eine Kamera 16 angeordnet.
Die drei Lichtquellen 14a, b, c, sind voneinander beabstandet angeordnet, so dass sie einen Objektpunkt der Innenoberfläche 18 des Körperhohlraumes 2 aus unterschiedlichen Richtungen beleuchten. Die von der Kamera 16 aufgenommen Bilder werden über Funk an eine externe Steuer- und Auswerteeinrichtung 20 übermittelt, in der mit den vorstehend genannten Algorithmen eine 3D-Rekonstruktion der dreidimensionalen Struktur der Innenoberfläche 18 durchgeführt wird. Die Steuer- und Auswerteeinrichtung 20 steuert die Lichtquellen 14a, b, c zeitlich nacheinander an, so dass ein Gebiet G zeitlich nacheinander aus unterschiedlichen Richtungen beleuchtet wird und nacheinander mit der Kamera 16 drei Bilder B_a,b,c des jeweils beleuchteten Gebiets G erzeugt werden, die auf einem Monitor 22 wiedergegeben werden können. Die Endoskopkapsel 4 bleibt dabei während der Aufnahme der drei Bilder B_a,b,c in Ruhe, so dass die einem Objektpunkt O1, O2 in jedem der drei Bilder B_a,b,c jeweils zugeordneten Bildpunkte P1 bzw. P2 dieselben Bildkoordinaten aufweisen, deren Intensitäts- oder Pixelwerten I1_a,b,c bzw. I2_a,b,c sich jedoch in den jeweiligen Bildern B_a,b,c unterscheiden. Bei diffus reflektierenden Lambert-Oberflächen hängen die auf diese Weise 3D-Bildpunkt P_1,2 gemessenen Intensitätswerte I1_a,b,c bzw. I2_a,b,c nur vom jeweils lokalen Albedowert (die lokale Reflektivität) und dem Einstrahlungswinkel θ_a,b,c ab, mit denen der jeweilige Objektpunkt O1, O2, von den Lichtquellen 14a, b, c beleuchtet wird. Aus diesen drei Intensitätswerten I1_a,b,c bzw. I2_a,b,c können nun mit Hilfe der in den vorgenannten Publikationen genannten Algorithmen, die zu jedem Objektpunkt O1, O2 gehörenden Einheitsnormalenvektoren n_1,2 sowie der dem jeweiligen Objektpunkt O1, O2 zugehörige lokale Albedowert bestimmt werden. Aus der Kenntnis der Einheitsnormalen n_1,2 der in den Bildern B_a,b,c abgebildeten Innenoberfläche 18 lässt sich nunmehr eine Information über die räumliche Struktur der Innenoberfläche 18 ableiten und ein entsprechendes 3D-Bild erzeugen, das auf dem Monitor 22 wiedergegeben werden kann.
Gemäß 2 sind die Lichtquellen 14a, b, c an der Stirnseite der Endoskopkapsel 4 in gleichen Abständen zueinander an den Eckpunkten eines gleichschenkligen Dreiecks und damit in gleichen Abständen zu einer gemeinsamen, durch den Schwerpunkt des gleichseitigen Dreiecks gehenden optischen Achse 24 angeordnet.
Anstelle der Verwendung einer in den 1 und 2 dargestellten Endoskopkapsel ist es grundsätzlich auch möglich, die Erfindung bei konventionellen Endoskopen einzusetzen, die mechanisch von außen geführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10142253 C1 [0003]
DE 10323316 B3 [0006]

Zitierte Nicht-Patentliteratur

R. J. Woodham, „Photometric method for determining surface orientation from multiple images”, Opt. Eng., vol. 19, no. 1, S. 139–144, Jan. 1980 [0010]
R. J. Woodham „Gradient and curvature from the photometricstereo method, including localconfidence estimation”, J. Optical Soc. Am. A, vol. 11, no. 11, S. 3050–3068, Nov. 1994 [0010]
L. B. Wolff, „Sign of Gaussian Curvature From Curve Orientation in Photometric Space”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 20, No. 10, S. 1056–1066, Oct. 1998 [0010]

Claims

Verfahren zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche (18) eines Körperhohlraumes (2) mit einem in den Körperhohlraum (2) eingeführten Endoskop (4), bei dem bei ruhendem Endoskop (4) mit zumindest drei voneinander beabstandet am oder im Endoskop (4) angeordneten Lichtquellen (14a, b, c) ein Gebiet (G) der Innenoberfläche (18) zeitlich nacheinander aus unterschiedlichen Richtungen beleuchtet und mit einer Kamera (16) jeweils ein Bild (B_a,b,c) des jeweils beleuchteten Gebiets aus derselben Kameraposition aufgenommen wird, sodass für eine Vielzahl von Objektpunkten (O1, O2) des Gebiets (G) zeitlich nacheinander für jeden dieser Objektpunkte (O1, O2) die in jedem der drei Bilder (B_a,b,c) diesen jeweils zugeordneten Bildpunkte (P1, P2) dieselben Bildkoordinaten aufweisen, aus deren Intensitäten in den jeweiligen Bildern (B_a,b,c) Information über die dreidimensionale Struktur des Gebietes abgeteilt wird.
Verfahren nach Anspruch 1, bei dem die Lichtquellen in gleichem Abstand zueinander angeordnet werden.
Verfahren nach Anspruch 1 oder 2, bei dem als Endoskop eine ferngesteuert innerhalb des Körperhohlraumes frei manövrierbare Endoskopkapsel verwendet wird.
Einrichtung zum Erfassen von Information über die dreidimensionale Struktur der Innenoberfläche eines Körperhohlraumes mit einem in den Körperhohlraum einführbaren Endoskop, mit zumindest drei voneinander beabstandet angeordnete Lichtquellen zum zeitlich nacheinander erfolgenden Beleuchten eines Gebiet der Innenoberfläche aus unterschiedlichen Richtungen, und mit einer Kamera zum Aufnehmen von Bildern des jeweils beleuchteten Gebiets, sowie einer in einer Auswerteeinrichtung implementierten Software zum Rekonstruieren der dreidimensionalen Struktur des Gebietes aus den Intensitäten einer der zu einer Vielzahl von Objektpunkten gehörenden jeweils zumindest drei Bildpunkte.
Einrichtung nach Anspruch 4, bei dem die Lichtquellen in gleichem Abstand zueinander angeordnet sind.
Einrichtung nach Anspruch 4 oder 5, bei dem das Endoskop eine ferngesteuert innerhalb des Körperhohlraumes frei manövrierbare Endoskopkapsel ist.