DE112004000352B4

DE112004000352B4 - System und Verfahren zum Durchführen einer virtuellen Endoskopie

Info

Publication number: DE112004000352B4
Application number: DE112004000352T
Authority: DE
Inventors: Bernhard Geiger
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-03-12
Filing date: 2004-03-11
Publication date: 2013-09-12
Anticipated expiration: 2024-03-12
Also published as: US7304644B2; DE112004000352T5; CN1771517B; CN1771517A; JP2006519631A; US20040202990A1; WO2004081873A2; WO2004081873A3

Abstract

Verfahren zum Durchführen einer virtuellen Endoskopie mit folgenden Schritten: – Erhalten von dreidimensionalen (3D) Daten einer ein Lumen enthaltenden anatomischen Struktur; – Berechnen einer Abstandskarte unter Verwendung der dreidimensionalen (3D) Daten, welche die Abstände der Voxel des Lumens zu einem ersten Voxel des Lumens angibt; – Festlegen einer Position eines virtuellen Endoskops im Lumen; – Berechnen einer multiplanaren Rekonstruktion (MPR) orthogonal zum Lumen an der Endoskopposition; – Durchführen eines ersten Region Growing auf dem MPR-Bild an der Endoskopposition und Markieren der mit dem Region Growing verknüpften Pixel als Kandidaten für das 3D-Rendering; – Bestimmen des minimalen Abstandswerts und des maximalen Abstandswerts der markierten Pixel durch Nachschlagen der Abstandswerte der jeweils zugehörigen Voxel in der Abstandskarte; – Suchen von Pixeln der MPR, die zu dem Lumen gehören und die nach der ersten Bereichsanwachsung noch nicht markiert waren; ...

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung nimmt die Priorität der vorläufigen US-Anmeldung 60/454,105 vom 12. März 2003 in Anspruch, die hierin durch Bezugnahme beinhaltet ist.
Hintergrund der Erfindung
1. Technischer Bereich
Die vorliegende Erfindung betrifft das Durchführen einer virtuellen Endoskopie und spezieller das Durchführen einer virtuellen Endoskopie unter Verwendung einer multiplanaren Rekonstruktion (MPR) und dreidimensionalem (3D) Rendering einer virtuellen endoskopischen Abbildung.
2. Diskussion des Standes der Technik
Virtuelle Endoskopie (oder durch Computer berechnete Endoskopie) ist ein Verfahren einer Diagnose unter Verwendung der Computerverarbeitung dreidimensionaler (3D) Bilddatensätze wie Computertomographie (CT)- oder Magnetresonanzbildgebungs(MRI)-Scans, um simulierte Darstellungen patientenspezifischer Organe ähnlich denen, die durch übliche invasive Endoskopieverfahren erzeugt werden, herzustellen. Virtuelle Endoskopie wurde auf viele endoskopische Verfahren einschließlich Bronchoskopie, Darmspiegelung, Untersuchungen der Bauchspeicheldrüse, Kehlkopfspiegelungen und Otoskopie angewandt. Bei Verwendung der virtuellen Endoskopie können patientenspezifische anatomische Strukturen nicht-invasiv erhalten werden, wodurch die Schwierigkeiten bei der Durchführung, die mit üblichen invasiven Endoskopieverfahren einhergehen, reduziert werden.
In einem typischen virtuellen Endoskopieverfahren werden 3D-Bilder erzeugt, um Bilder zu simulieren, die beispielsweise von einem faseroptischen Endoskop kommen. Somit kann man beispielsweise durch das Lumen, etwa ein Kolon, fliegen und die Innenfläche des Kolons betrachten, um Oberflächenanomalien festzustellen. Dies wird erreicht, indem ein Betrachtungspunkt eines virtuellen Endoskops unter Verwendung einer Perspektivprojektion ausgewählt wird, was typischerweise unter einem stumpfen Winkel wie 110° stattfindet.
Obwohl die erhaltenen Bilder hilfreich sind, um die Innenfläche des Lumens zu betrachten, ist typischerweise Information auf der Außenoberfläche des Lumens nicht sichtbar. Somit ist es schwierig, die Wanddicke des Lumens oder Anomalien zu bestimmen, die auf der Außenoberfläche des Lumens vorhanden sein können. Außerdem können bei Verwendung einer Weitwinkel-Perspektivprojektion (z. B. 100 oder 110°) Merkmale wie Tumore, die hinter Falten und Kurven im Lumen versteckt sein können, nicht erkannt werden.
Aus dem Artikel „Interventional 3D-Angiography: Calibration, Reconstruction and Visualization System”, Proceedings of the Fourth IEEE Workshop on Applications of Computer Vision (WACV '98); 19.–21. Oct. 1998, Seiten 246–247 von Ali Bani-Hashemi et al. ist es bekannt, ein Lumen zu segmentieren und dieses Lumen in 3D zu rendern, während der Rest des Bildes in klassischer 2D-MPR-Ansicht verbleibt.
Aus dem Artikel „Automatic Segmentation of the colon for virtual colonoscopy”, Computerized Medical Imaging and Graphics, vol. 24 no. 1, 2000, Seiten 1–9 von C. L. Wyatt et al. ist es bekannt, eine automatische Segmentierung eines Lumens mittel eines Region Growing Schritts durchzuführen.
Problematisch dabei ist, dass bei den bekannten Vorgehensweisen unter Umständen das Lumen nicht vollständig segmentiert wird, und dass Informationen auf der Außenoberfläche des Lumens nicht sichtbar sind.
Die Aufgabe der Erfindung besteht somit darin, ein Verfahren und ein System zu dessen Durchführung bereitzustellen, das eine zuverlässigere und vollständigere Segmentierung des Lumens ermöglicht.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 5.
Weitere Merkmale und Vorteile der Erfindung werden aus der nachfolgenden Beschreibung, den Zeichnungen und den Ansprüchen deutlich.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm eines Systems zum Durchführen einer virtuellen Endoskopie gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung;
2 ist ein Ablaufdiagramm, das den Ablauf eines Verfahrens zum Durchführen einer virtuellen Endoskopie gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigt;
3 ist eine dreidimensionale (3D) Wiedergabe eines Lumens gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung;
4 ist ein Lumen, das in 3D gerendert wurde, das einen Abschnitt aufweist, der nicht in 3D gerendert wurde; und
5 ist der Abschnitt des Lumens aus 4, der nicht in 3D gerendert wurde, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung in 3D gerendert.
Detaillierte Beschreibung beispielhafter Ausführungsformen
1 ist ein Blockdiagramm eines Systems 10 zum Durchführen einer virtuellen Endoskopie gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Wie in 1 dargestellt weist das System 100 unter anderem eine Scanvorrichtung 105, einen Computer (PC) 110 und eine Bedienkonsole 115 auf, die beispielsweise über ein Ethernet-Netzwerk 120 verbunden sind. Die Scanvorrichtung 105 kann eine Magnetresonanzbildgebungs(MRI)-Vorrichtung, eine Computertomographie(CT)-Bildgebungsvorrichtung, eine Spiral-CT-Vorrichtung, eine Positronenemissionstomographie (PET)-, eine zweidimensionale (2D) oder dreidimensionale (3D) fluoroskopische Bildgebungsvorrichtung, eine 2D, 3D oder vierdimensionale (4D) Ultraschallbildgebungsvorrichtung oder ein Röntgengerät etc. sein.
Der PC 110, der ein tragbarer Computer oder Laptop sein kann, ein PTA etc., weist eine zentrale Prozessoreinheit (CPU) 125 und einen Speicher 130 auf, die mit einer Eingabevorrichtung 145 und einer Ausgabevorrichtung 150 verbunden sind. Der Speicher umfasst einen Direktzugriffsspeicher (RAM) 135 und einen Lesespeicher (ROM) 140. Der Speicher 130 kann auch eine Datenbank, ein Laufwerk für Disks oder Kassetten etc. oder eine Kombination hiervon aufweisen. Der Direktzugriffsspeicher 135 dient als Datenspeicher, der Daten speichert, die während der Ausführung eines Programms in der CPU 125 verwendet werden, und wird als Arbeitsbereich verwendet. Der Lesespeicher 140 dient als Programmspeicher zum Speichern eines Programms, das in der CPU ausgeführt wird. Die Eingabevorrichtung 145 wird durch eine Tastatur, Maus etc. gebildet, und die Ausgabevorrichtung 150 wird durch ein Flüssigkristalldisplay (LCD), ein Kathodenstrahlröhren(CRT)-Display, einen Drucker etc. gebildet.
Der Betrieb des Systems 100 wird von der Bedienkonsole 115 gesteuert, die eine Steuerung 160 aufweist, beispielsweise eine Tastatur, und ein Display 155, beispielsweise ein CRT-Display. Die Bedienkonsole 115 kommuniziert mit dem PC 110 und der Scanvorrichtung 105, so dass 2D-Bilddaten, die von der Scanvorrichtung 105 gesammelt werden, in 3D-Daten durch den PC 110 mittels Rendering umgewandelt werden und auf dem Display 155 angezeigt werden können. Es soll klar sein, dass der PC 110 betrieben werden kann und Informationen anzeigen kann, die von der Scanvorrichtung 105 geliefert werden, auch wenn keine Bedienkonsole 115 vorhanden ist.
2 ist ein Ablaufdiagramm, das den Ablauf eines Verfahrens zum Durchführen einer virtuellen Endoskopie gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigt. Wie in 2 dargestellt, werden 3D-Daten von einem Lumen (Schritt 205) erhalten. Dies wird erreicht durch Verwendung der Scanvorrichtung 105, in diesem Beispiel ein CT-Scanner, der von der Bedienkonsole 115 aus betrieben wird, um ein gewähltes Lumen zu scannen, wodurch eine Reihe von 2D-Bildern erzeugt wird, die mit dem Lumen verknüpft sind. Die 2D-Bilder des Lumens werden anschließend in ein gerendertes 3D-Bild umgewandelt oder transformiert. Es soll klar sein, dass das Lumen ein Kolon, eine Bauchspeicheldrüse, Bronchien, ein Kehlkopf, eine Luftröhre, eine Stirnhöhle, ein Ohrenkanal, ein Blutgefäß, eine Harnröhre, eine Harnblase oder jeder andere beliebige innere offene Raum oder Hohlraum eines rohrförmigen Organs sein kann.
Nachdem die 3D-Daten des Lumens erhalten wurden, wird eine Abstandskarte unter Verwendung der 3D-Daten des Lumens berechnet (Schritt 210). Die Abstandskarte wird berechnet, indem einem ersten Voxel (z. B. Keim- oder Saatvoxel) des Lumens ein anfänglicher Abstandswert von ”1” zugeordnet wird. Die an das erste Voxel angrenzenden Voxel werden untersucht, und wenn sie zu dem Lumen gehören und ihnen nicht zuvor ein Abstandswert zugeordnet wurde, wird ihnen ein Abstandswert von ”2” zugeordnet. Anschließend wird den Voxeln, die an die Voxel mit Abstandwert ”2” angrenzen, ein Abstandswert von ”3” zugeordnet, wenn sie zum Lumen gehören und ihnen nicht zuvor bereits ein Abstandswert zugeordnet wurde. Dieses Verfahren wird wiederholt, bis alle Voxel im Lumen bestimmte Abstandswerte erhalten haben. Während der Berechnung der Abstandskarte erhält somit ein Nachbar (z. B. ein angrenzendes Voxel) eines Voxels, das einen Abstandswert ”n” erhalten hat, einen Abstandswert von ”n + 1”, wenn es zum Lumen gehört und ihm noch kein Abstandswert zugeordnet wurde.
Wie weiter in 2 dargestellt ist, wird ein Endoskop (z. B. ein virtuelles Endoskop) an einer gewünschten Position im Lumen angeordnet (Schritt 215). Dies wird durchgeführt, indem ein Nutzer auf eine Stelle am Bildschirm klickt, die mit einem Bereich des Lumens verknüpft ist, dessen Analyse gewünscht ist, oder indem ein Durchflug durch das Lumen über einen vorprogrammierten ”Flugpfad” durchgeführt wird, um eine gewünschte Position für das Studium zu finden. Nach Schritt 215 wird eine multiplanare Rekonstruktion (MPR) orthogonal zum Lumen bei der Endoskopposition berechnet (Schritt 220). Unter Verwendung des MPR-Bilds des Lumens wird anschließend eine Bereichsanwachsung (bzw. ein Region Growing) an der Endoskopposition durchgeführt (Schritt 225). Ähnlich zum Verfahren des Berechnens einer Abstandskarte in Schritt 210 wird bei der Bereichsanwachsung ein Keimvoxel beispielsweise im Mittelpunkt der Endoskopposition ausgewählt und es wird ihm ein erster Wert zugeordnet. Die Nachbarvoxel werden anschließend gelesen und mit einem Grenzbereich verglichen, der durch Markierung eines Bereichs von Interesse im Lumen bestimmt werden kann, um zu bestimmen, ob solche Nachbarvoxel (z. B. angrenzende Voxel) in den Grenzbereich fallen. Wenn das Vogel oder die Voxel innerhalb des Grenzbereichs zu finden sind, wird ihm/ihnen ein zweiter Wert zugeordnet, und das Verfahren wird wiederholt, bis alle Voxel in dem Bereich von Interesse getestet wurden und/oder ihnen Werte zugeordnet wurden.
Die mit der Bereichsanwachsung verknüpften Daten werden anschließend als Kandidat für das 3D-Rendering markiert (Schritt 230). Diese Daten werden markiert, indem ihnen eine Kennung zugeordnet wird, die beispielsweise ein Wert sein kann, der sich von dem aller anderen Pixel- oder Voxelwerte in der MPR unterscheidet. An diesem Punkt kann der Nutzer fortfahren, ein 3D-Rendering der markierten Daten in Schritt 260 durchzuführen oder das MPR-Bild in Schritt 240 zu modifizieren (Schritt 235). Wenn der Nutzer zu Schritt 260 schreitet, werden die MPR-Daten mit einem 3D-Rendering der markierten Daten kombiniert, um ein vergrößertes Bild des Lumens zu liefern. Mit anderen Worten werden die markierten Pixel oder Voxel in der MPR durch eine gerenderte 3D-Wiedergabe des Lumens ersetzt.
Ein beispielhaftes Bild 300, das vom direkten Schreiten von Schritt 235 zu 260 geliefert wird, ist in 3 dargestellt. Wie in 3 gezeigt können Informationen außerhalb des Lumens (in diesem Beispiel ist das Lumen ein Kolon) beobachtet werden. Insbesondere sind Informationen außerhalb der Wand des Kolons sichtbar und unter Verwendung dieser Informationen kann die Dicke der Wand des Kolons bestimmt werden und Anomalien wie ein Polyp entdeckt werden. Zusätzlich werden die umgebenden MPR-Bildabschnitte nicht gerendert (z. B. nicht klare Bilder des Kolons), da sie nicht für das Rendering markiert wurden. Somit zeigt das Bild 300 lediglich den gewünschten Abschnitt des Lumens an, der zuvor in Schritt 215 durch den Nutzer ausgewählt wurde. Es soll klar sein, dass die Option des direkten Schreitens von Schritt 235 zu Schritt 260 dem Nutzer ermöglicht, schnell mit Abschnitten eines Lumens zu arbeiten, die keine Probleme wie Kurven oder beispielsweise haustrenartige Falten aufwerfen. Es soll außerdem klar sein, dass Schritt 235 weggelassen werden und die Abfolge in 2 direkt zu Schritt 240 voranschreiten kann.
Wenn der Nutzer jedoch das MPR-Bild weiter modifizieren oder verbessern möchte, werden minimale und maximale Abstände der markierten Daten der ersten Bereichsanwachsung aus der Abstandskarte berechnet (Schritt 240). Dies erfolgt durch Nachschlagen der Abstandswerte der markierten Daten (z. B. markierte Pixel oder Voxel) und Tabellarieren ihrer minimalen und maximalen Abstände aus ihren entsprechenden Positionen auf der Abstandskarte von Schritt 210. Sobald die Abstandswerte berechnet wurden, können zusätzliche Bereichsanwachsungen für Daten außerhalb des ersten markierten Bereichs durchgeführt werden, die ein Teil des gewünschten Lumens sein sollen. Ein Beispiel von Daten, die außerhalb eines markierten Bereichs liegen, ist in Bild 400 in 4 dargestellt.
Wie in 4 dargestellt weist das Bild 400 einen Abschnitt eines Lumens auf, der keinem 3D-Rendering unterzogen wurde (in diesem Beispiel ist das Lumen wiederum ein Kolon). Ein Pfeil zeigt diesen Abschnitt (d. h. einen Abschnitt des Lumens, der nach der ersten Bereichsanwachsung nicht markiert war). Um den durch den Pfeil gekennzeichneten Abschnitt zu rendern, wird eine weitere Bereichsanwachsung für Daten außerhalb der ersten Bereichsanwachsung durchgeführt (Schritt 245). Dies erfolgt durch Untersuchung aller Pixel oder Voxel der MPR, die zu dem Lumen gehören, die nach der ersten Bereichsanwachsung nicht markiert waren. Wenn solche Pixel oder Voxel gefunden werden und diese innerhalb enger Nachbarschaft zum berechneten minimalen und maximalen Abstand der markierten Daten von der ersten Bereichsanwachsung liegen, werden sie als Keimpunkt für nachfolgende Bereichsanwachsungen (z. B. zweite, dritte etc. Bereichsanwachsung) verwendet. Daraufhin werden die mit der Bereichsanwachsung verknüpften Daten als Kandidat für das 3D-Rendering markiert und ihnen wird eine Kennung zugeordnet (Schritt 250). Diese Abfolge (Schritte 245–255) wird sich selbst wiederholen, bis alle Bereichsanwachsungen auf der Basis des Abstands des Keimpixels zur ersten Bereichsanwachsung vervollständigt sind (Schritt 255).
Es soll klar sein, dass lediglich eine einzelne Bereichsanwachsung in dieser Abfolge (Schritte 245–255) stattfinden könnte, ohne dass ein Nutzer die Option haben könnte, nach der einzigen Bereichsanwachsung direkt zu Schritt 260 zu schreiten. Mit anderen Worten wird lediglich eine zweite Bereichsanwachsung während dieser Abfolge durchgeführt, aber keine dritte, vierte, etc.
Es sollte klar sein, dass ein Schwellwert auf der Basis des berechneten maximalen und minimalen Abstands (aus Schritt 240) gesetzt werden könnte, um der Bereich einzugrenzen, in dem zweite oder nachfolgende Bereichsanwachsungen durchgeführt werden sollen. Beispielsweise kann der Schwellwert einfach auf den berechneten minimalen und maximalen Abstand gesetzt werden (deshalb kann die zweit Bereichsanwachsung nicht über diese Punkte hinausreichen), Er kann auf die Hälfte des berechneten minimalen und maximalen Abstands gesetzt werden, oder er kann auf eine Grenze jenseits des berechneten maximalen und minimalen Abstands gesetzt werden.
In Schritt 260 wird ein 3D-Rendering mit den markierten Daten der ersten, zweiten, dritten etc. Bereichanwachsung unter Verwendung einer 3D-Rendering-Technik wie Strahlformung, Oberflächenrendering (z. B. schattiertes Oberflächenrendering), Volumenrendering etc. durchgeführt. Es soll klar sein, dass das 3D-Rendering unter Verwendung der CPU 125 aus 1 oder durch bestimmte Rendering-Hardware wie eine Graphikkarte, Volumenrendering-Karte etc. durchgeführt werden kann. Die daraus resultierende 3D-Wiedergabe des markierten MPR-Bilds wird in Bild 500 von 5 dargestellt. Wie durch das Bild 500 dargestellt ist der Abschnitt des Lumens aus 4, der durch den Pfeil gekennzeichnet ist, nun sichtbar, und dementsprechend sind. Informationen außerhalb der Wand des Kolons sichtbar und Informationen wie die Dicke der Wand des Kolons können bestimmt und Anomalien wie ein Polyp entdeckt werden. Nach dem Durchführen des 3D-Renderings in Schritt 260 kann ein Nutzer das Endoskop in eine andere Position im Lumen bewegen und den oben beschriebenen Prozess wiederholen (Schritt 265).
Es wird angemerkt, dass die vorliegende Erfindung in verschiedenen Formen von Hardware, Software, Firmware, Spezialzweckprozessoren oder einer Kombination hiervon implementiert sein kann. In einer Ausführungsform kann die vorliegende Erfindung in Software als ein Anwendungsprogramm implementiert sein, das auf einer Programmspeichervorrichtung verkörpert ist.
Das Anwendungsprogramm kann geladen werden auf und ausgeführt werden durch ein Gerät mit einer beliebigen geeigneten Architektur.

Claims

Verfahren zum Durchführen einer virtuellen Endoskopie mit folgenden Schritten: – Erhalten von dreidimensionalen (3D) Daten einer ein Lumen enthaltenden anatomischen Struktur; – Berechnen einer Abstandskarte unter Verwendung der dreidimensionalen (3D) Daten, welche die Abstände der Voxel des Lumens zu einem ersten Voxel des Lumens angibt; – Festlegen einer Position eines virtuellen Endoskops im Lumen; – Berechnen einer multiplanaren Rekonstruktion (MPR) orthogonal zum Lumen an der Endoskopposition; – Durchführen eines ersten Region Growing auf dem MPR-Bild an der Endoskopposition und Markieren der mit dem Region Growing verknüpften Pixel als Kandidaten für das 3D-Rendering; – Bestimmen des minimalen Abstandswerts und des maximalen Abstandswerts der markierten Pixel durch Nachschlagen der Abstandswerte der jeweils zugehörigen Voxel in der Abstandskarte; – Suchen von Pixeln der MPR, die zu dem Lumen gehören und die nach der ersten Bereichsanwachsung noch nicht markiert waren; – wenn ein solches Pixel gefunden wird und der Abstandswert des zugehörigen Voxels gemäß der Abstandskarte innerhalb eines auf der Basis des bestimmten minimalen und maximalen Abstandswerts festgelegten Toleranzbereichs liegt, Durchführen eines weiteren Region Growing auf der MPR ausgehend von diesem Pixel als Keimpunkt und Markieren der mit dem weiteren Region Growing verknüpften Pixel; – Durchführen eines 3D-Renderings ausgehend von den markierten Pixeln, die zu dem ersten Region Growing und dem weiteren Region Growing gehören, und Ersetzen der markierten Pixel in der MPR durch die 3D-gerenderte Wiedergabe des Lumens.
Verfahren nach Anspruch 1, wobei die 3D-Daten mittels Computertomographie (CT), Spiral-CT, Röntgen, Positronenemissionstomographie, fluoroskopischer, Ultraschall- oder Magnetresonanz(MR)-Bildgebungstechniken erhalten werden.
Verfahren nach Anspruch 1, wobei das Lumen ein Kolon, eine Bauchspeicheldrüse, Bronchien, ein Kehlkopf, eine Luftröhre, eine Stirnhöhle, ein Ohrenkanal, ein Blutgefäß, eine Harnröhre oder eine Harnblase ist.
Verfahren nach Anspruch 1, wobei das 3D-Rendering der Daten, die zu dem ersten Region Growing und dem weiteren Region Growing zugehörig sind, unter Verwendung von Strahlformung, Oberflächenrendering oder Volumenrendering als 3D-Rendering-Technik durchgeführt wird.
System zum Durchführen einer virtuellen Endoskopie mit einer Speichervorrichtung zum Speichern eines Programms; einem Prozessor in Verbindung mit der Speichervorrichtung, wobei der Prozessor mit dem Programm zusammenwirkt, um das Verfahren nach einem der Ansprüche 1 bis 4 auszuführen.