DE102006003126A1 - Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten - Google Patents

Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten Download PDF

Info

Publication number
DE102006003126A1
DE102006003126A1 DE102006003126A DE102006003126A DE102006003126A1 DE 102006003126 A1 DE102006003126 A1 DE 102006003126A1 DE 102006003126 A DE102006003126 A DE 102006003126A DE 102006003126 A DE102006003126 A DE 102006003126A DE 102006003126 A1 DE102006003126 A1 DE 102006003126A1
Authority
DE
Germany
Prior art keywords
dimensional
lines
data set
edges
fluoroscopic images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102006003126A
Other languages
English (en)
Inventor
Matthias Dr. John
Marcus Dr. Pfister
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102006003126A priority Critical patent/DE102006003126A1/de
Priority to CNA2007100021741A priority patent/CN101006933A/zh
Priority to US11/656,789 priority patent/US20070238959A1/en
Publication of DE102006003126A1 publication Critical patent/DE102006003126A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit. Es wird ein dreidimensionaler Bilddatensatz des Objektes erstellt und mit aufgenommenen zweidimensionalen Durchleuchtungsbildern des Objektes registriert. Zur Visualisierung werden die Kanten des Objektes aus dem dreidimensionalen Datensatz extrahiert und mit den zweidimensionalen Durchleuchtungsbildern mit den Kanten des Objektes visuell überlagert.

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit. Das Verfahren und die Vorrichtung sind besonders geeignet für die Visualisierung von dreidimensionalen Objekten bei medizinischen Eingriffen.
  • Während einer medizinischen Intervention zum Beispiel am Kopf oder Herz werden zur Navigation von medizinischen Instrumenten mithilfe von fluoroskopischer Durchleuchtung Echtzeitbilder gewonnen. Verglichen mit dreidimensionalen angiographischen Bildern zeigen diese Durchleuchtungsbilder zwar keine räumlichen, d.h. dreidimensionalen Details, sie sind jedoch in Echtzeit verfügbar und minimieren die Strahlenbelastung für Patient und Arzt.
  • Um die zweidimensionalen Durchleuchtungsbilder mit räumlichen Informationen zu ergänzen, werden die zweidimensionalen Durchleuchtungsbilder mit prä-operativ aufgenommenen dreidimensionalen Bildern registriert und überlagert. Die prä-operativ aufgenommenen dreidimensionalen Bilder können durch die klassischen medizinischen Bildgebungsverfahren wie zum Beispiel Computertomographieverfahren (CT), dreidimensionale Angiographieverfahren, dreidimensionale Ultraschallverfahren, Positronen-Emissions-Tomographieverfahre (PET) oder Magnetresonanztomographieverfahren (MRT) erstellt werden.
  • Die Registrierung und Überlagerung der zweidimensionalen Durchleuchtungsbilder mit den vorab aufgenommenen dreidimensionalen Bildern erlaubt dem Arzt nun eine bessere Orientierung im Volumen.
  • Die Registrierung und Überlagerung der zweidimensionalen und dreidimensionalen Bilder besteht nun aus zwei Schritten.
  • Zunächst muss bestimmt werden, in welcher Richtung ein dreidimensionales Volumen projiziert werden muss, damit es mit dem zweidimensionalen Bild in Deckung gebracht werden kann. Zum Beispiel kann eine Transformationsmatrix bestimmt werden, mit der ein Objekt aus dem Koordinatensystem des dreidimensionalen Bildes in das zweidimensionale Durchleuchtungsbild übertragen werden kann. Dadurch werden die Lage und die Orientierung des dreidimensionalen Bildes so angepasst, dass dessen Projektion mit dem zweidimensionalen Durchleuchtungsbild in Deckung gebracht wird. Derartige Bildregistrierungsverfahren sind im Stand der Technik bekannt und zum Beispiel beschrieben im Artikel von J. Weese, T.M. Buzug, G.P. Penny, P. Desmedt: „2D/3D Registration and Motion Tracking for Surgical Interventions", Philips Journal of Research 51 (1998), Seiten 299 bis 316.
  • Der zweite Schritt ist die Visualisierung der registrierten Bilder, d.h. die gemeinsame Darstellung des zweidimensionalen Bildes und des projizierten dreidimensionalen Bildes. Hierfür sind u.a. zwei Standardverfahren bekannt:
    Ein erstes Verfahren wird als „Overlay" bezeichnet, bei dem die beiden Bilder übereinander gelegt werden, wie dies in 5 gezeigt ist. Der Anteil, den jedes der beiden Einzelbilder am fusionierten Gesamtbild haben soll, lässt sich justieren, was in Fachkreisen als Überblenden oder „Blending" bezeichnet wird.
  • Ein zweites, weniger gebräuchliches Verfahren wird als "Linked cursor" bezeichnet, bei dem die Bilder in separaten Fenstern dargestellt werden, wobei beide Fenster einen gemeinsamen Cursor haben. Bewegungen zum Beispiel eines Cursors oder einer Katheterspitze werden gleichzeitig in beide Fenster übertragen.
  • Das erste Verfahren hat den Vorteil, dass räumlich zusammengehörige Bildinformationen aus verschiedenen Bildern auch visuell an gleicher Position dargestellt werden. Der Nachteil ist, dass gewisse niederkontrastige Objekte im zweidimensionalen Bild oder auch Katheterspitzen oder Stents beim Überblenden durch die hochkontrastige dreidimensionale Aufnahme überdeckt werden.
  • Das zweite Verfahren hat dieses Problem nicht, allerdings muss der Arzt mit zwei separaten Fenstern arbeiten, wodurch der Eingriff unübersichtlicher wird und ggf. eine höhere Aufmerksamkeit erfordert. Weiterhin ist eine exakte Zuordnung räumlich zusammengehöriger Bildinformationen und -positionen schwerer möglich, da diese visuell getrennt sind.
  • Die US 6,317,621 B1 beschreibt ein Beispiel eines Verfahrens zum Visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit. Dieses Verfahren erstellt zunächst einen dreidimensionalen Bilddatensatz des Objektes, zum Beispiel aus zumindest 2 zweidimensionalen Projektionsbildern, die durch ein C-Bogen-Röntgengerät gewonnen wurden. Dann werden zweidimensionale Durchleuchtungsbilder des Objektes aufgenommen und mit dem dreidimensionalen Bilddatensatz registriert. Die Visualisierung erfolgt durch „Volume Rendering", wobei künstliche Licht- und Schattenwirkungen berechnet werden, wodurch ein dreidimensionaler Eindruck generiert wird. Die Visualisierung kann auch durch MIP (Maximum Intensity Projection) erfolgen, was aber kaum eine Darstellung von überlappenden Strukturen erlaubt.
  • Ein ähnliches Verfahren ist aus der US 6,351,513 B1 bekannt.
    •
  • Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit vorzusehen, bei denen die Objekte in einem einzigen Fenster visualisierbar sind und auch niederkontrastige Bildbereiche gut sichtbar sind.
  • Die Aufgabe wird durch das Verfahren mit den Merkmalen von Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen von Anspruch 10 gelöst. Bevorzugte Ausführungsformen der Erfindung sind in den jeweiligen abhängigen Ansprüchen angegeben.
  • In vorteilhafter Weise werden bei dem erfindungsgemäßen Verfahren und bei der erfindungsgemäßen Vorrichtung die zwei- und dreidimensionalen Bilder wie beim Overlay-Verfahren gemeinsam in einem Fenster dargestellt und vorzugsweise justierbar überblendet. Allerdings wird nicht das komplette Volumen überblendet, sondern nur aus dem Objekt extrahierte Linien. Die Linien definieren zum Beispiel den Umriss des Objektes. Besondere bevorzugt entsprechen die Linien den Kanten des Objekts, können u.a. aber auch Knicke, Falten und Löcher definieren. Ferner können die Linien auch mittels komplexeren Verfahren extrahiert werden, so dass sie z.B. bei einer Röhrenstruktur des Objekts dessen Mittellinie wiedergeben. Dies kann durch einen Filter geschehen, der die 2. Ableitung der Graustufen des Bildes und damit den "Grat" des Bildes erfasst. Alternativ oder zusätzlich zu den Linien können auch Punkte extrahiert werden, die z.B. Eckpunkte oder andere Landmarken des Objekts definieren.
  • Die Extrahierung und Einblendung der Linien kann grundsätzlich auf zwei verschiedene Weisen geschehen:
    Gemäß einer ersten Ausführungsform wird der dreidimensionale Bilddatensatz erst (perspektivisch richtig) auf die Bildebene des zweidimensionalen Durchleuchtungsbildes projiziert. Aus dem projizierten Volumen werden dann die Linien extrahiert und mit dem Durchleuchtungsbild überlagert. Dieses Verfahren eignet sich zur Extraktion von Umrisslinien, räumliche Information des Objekts wie Kanten geht aber unter Umständen bei der Projektion verloren.
  • Gemäß einer zweiten Ausführungsform werden aus dem dreidimensionalen Bilddatensatz durch einen geeigneten Filter Linien extrahiert, die dann auf die Bildebene des Durchleuchtungsbildes projiziert und mit diesem überlagert werden. Bei diesem Verfahren kann z.B. ein Filter verwendet werden, der ein Gitternetzmodell des Objekts generiert und aus diesem Modell z.B. Kanten oder andere Linien extrahiert.
  • Vorzugsweise weist der Schritt des Extrahierens von Linien des Objektes bei beiden Ausführungsformen einen Schritt zum binären Kodieren des dreidimensionalen Datensatzes oder des projizierten Volumens auf. In vorteilhafter Weise lassen sich die Randpixel des binären Volumens in einfacher Weise als die Kanten des Objektes identifizieren.
  • Ferner kann der Schritt zum Extrahieren von Linien des Objektes aus dem dreidimensionalen Datensatz einen Schritt zum binären Kodieren des Volumens des Objektes und einen Schritt zum Projizieren des kodierten Volumens auf die Bildebene des zweidimensionalen Durchleuchtungsbildes aufweisen, wobei die Randpixel des projizierten binären Volumens die Kanten des Objektes definieren.
  • Alternativ kann auch ein standardisierter Filter verwendet werden, wie zum Beispiel die bekannten Prewitt-, Sobel- oder Canny-Filter.
  • Der dreidimensionale Bilddatensatz des Objektes kann vorzugsweise durch ein fluoroskopisches Durchleuchtungsverfahren, ein Computertomographieverfahren (CT), ein dreidimensionales Angiographieverfahren, ein dreidimensionales Ultraschallverfahren, ein Positronen-Emissions-Tomographieverfahren (PET) oder ein Magnetresonanztomographieverfahren (MRT) erstellt werden. Falls das fluoroskopische Durchleuchtungsverfahren gewählt wird, bei dem zum Beispiel aus mehreren zweidimensionalen Bildern ein dreidimensionales Volumen rekonstruiert wird, dann kann zum Beispiel ein C-Bogen-Röntgengerät verwendet werden, das auch für den späteren medizinischen Eingriff verwendet wird. Dadurch wird das Registrieren der zweidimensionalen Bilder mit dem dreidimensionalen Bilddatensatz vereinfacht.
  • Vorzugsweise ist ein Schritt zum justierbaren Überblenden der Linien des Objektes auf die zweidimensionalen Durchleuchtungsbilder vorgesehen, um die Visualisierung zu optimieren. Das Überblenden selbst kann sehr leicht mit Hilfe eines Joysticks implementiert und gesteuert werden, was auch in einem OP leicht zu handhaben ist.
    •
  • Mit Bezug auf die beiliegenden Zeichnungen werden nunmehr bevorzugte Ausführungsformen der Erfindung beschrieben.
  • In den Zeichnungen zeigen:
  • 1 eine Ansicht eines dreidimensionalen Bildes eines Herzens, das mittels MRT erstellt wurde;
  • 2 eine Ansicht eines zweidimensionalen Durchleuchtungsbildes des Herzens;
  • 3 eine Ansicht einer erfindungsgemäßen Überlagerung des zweidimensionalen Durchleuchtungsbildes mit den Kanten des dreidimensionalen Bildes des Herzens;
  • 4 eine schematische Darstellung eines Röntgengerätes mit einer Vorrichtung gemäß der vorliegenden Erfindung; und
  • 5 eine Ansicht einer Überlagerung des zweidimensionalen Durchleuchtungsbildes mit dem dreidimensionalen Bild gemäß dem Stand der Technik.
  • Im Folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
  • Bei dem Verfahren gemäß dem Ausführungsbeispiel wird zunächst ein dreidimensionaler Bilddatensatzes des Objektes erstellt, wobei das Objekt in diesem Fall ein Herz ist, welches visualisiert werden soll. Die 1 zeigt eine Ansicht eines dreidimensionalen Bildes des Herzens, welche mittels eines Magnetresonanztomographieverfahrens (MRT) erstellt wurde. Alternativ kann das dreidimensionale Bild auch durch ein beliebiges Verfahren aufgenommen sein, welches eine ausreichend kontrastierte Darstellung der Gefäße bzw. der interessierenden Struktur erlaubt, zum Beispiel 3D-Angiographie oder 3D-Ultraschall. Soll der dreidimensionale Bilddatensatz noch andere Strukturen als Gefäße darstellen, können die hierfür jeweils geeigneten Bildgebungsverfahren verwendet werden, zum Beispiel die Röntgencomputertomographie (CT) oder PET (Positronen-Emissions-Tomographieverfahren). Es können auch mehrere zweidimensionale Bilder mittels eines fluoroskopischen Durchleuchtungsverfahrens aufgenommen werden, aus denen dann ein dreidimensionaler Bilddatensatz rekonstruiert wird.
  • Die Akquirierung der dreidimensionalen Bilder erfolgt üblicherweise vor dem eigentlichen medizinischen Eingriff, beispielsweise am Vortag. Falls zum Erstellen des dreidimensionalen Bilddatensatzes das fluoroskopische Durchleuchtungsverfahren gewählt wird, bei dem zum Beispiel aus mehreren zweidimensionalen Bildern ein dreidimensionales Volumen rekonstruiert wird, dann kann zum Beispiel ein C-Bogen-Röntgengerät verwendet werden, das auch für den späteren medizinischen Eingriff verwendet wird. Dadurch wird außerdem das Registrieren der zweidimensionalen Bilder mit dem dreidimensionalen Bilddatensatz vereinfacht.
  • Der dreidimensionale Bilddatensatz wird auf einem Datenträger gespeichert.
  • Während des späteren medizinischen Eingriffs werden dann zweidimensionale Durchleuchtungsbilder des Herzens aufgenommen, wie es in der 2 gezeigt ist. Bei dem gegenwärtigen Ausführungsbeispiel wird das zweidimensionale Durchleuchtungsbild des Herzens mittels fluoroskopischer Röntgen-Durchleuchtung in Echtzeit aufgenommen, d.h. es werden zum Beispiel bis zu 15 Aufnahmen pro Sekunde gemacht. Dieses zweidimensionale Durchleuchtungsbild weist keine klaren Tie feninformationen auf und zeigt daher keine räumlichen Details.
  • Alsdann wird der dreidimensionale Bilddatensatz mit den zweidimensionalen Durchleuchtungsbildern registriert, sofern dies noch nicht zeitgleich bei der Erstellung des dreidimensionalen Bilddatensatz geschehen ist. Zum Beispiel kann eine Transformationsmatrix bestimmt werden, mit der das Objekt aus dem Koordinatensystem des dreidimensionalen Bildes in das zweidimensionale Durchleuchtungsbild übertragen wird. Die Lage und die Orientierung des dreidimensionalen Bildes werden so angepasst, dass dessen Projektion mit dem zweidimensionalen Durchleuchtungsbild in Deckung gebracht wird.
  • Im Gegensatz zu der 2 zeigt die 1 eine Ansicht mit Tiefeninformationen und räumlichen Details. Andererseits hat das dreidimensionale Bild gemäß der 1 einen wesentlich stärkeren Kontrast als das zweidimensionale Durchleuchtungsbild gemäß der 2. Würden beide Ansichten überlagert werden, dann werden die niederkontrastigen Objekte des zweidimensionalen Durchleuchtungsbild durch die hochkontrastigen Objekte des MRT-Bildes überdeckt und nahezu unsichtbar.
  • Daher wird bei der vorliegenden Erfindung nicht das gesamte Volumen des dreidimensionalen Bildes überlagert, sondern nur dessen äußere Umrisslinien. Diese Linien werden im Folgenden mit "Kanten" bezeichnet, wobei auch andere Arten von Linien, z.B. Mittellinien von Gefäßen etc. verwendet werden können. Die Kanten des Objektes werden aus dem dreidimensionalen Datensatz extrahiert und mit den zweidimensionalen Durchleuchtungsbildern visuell überlagert, wie dies in der 3 dargestellt ist.
  • Das Extrahieren der Kanten des Objektes aus dem dreidimensionalen Datensatz kann durch verschiedene Verfahren implementiert werden, wobei die Kanten den Umriss des Objektes definieren und außerdem u. a. Knicke, Falten und Löcher umfassen können.
  • Das Extrahieren der Kanten des Objektes aus dem dreidimensionalen Datensatz kann vorzugsweise einen Schritt zum Projizieren des Volumens des Objektes auf die Bildebene des zweidimensionalen Durchleuchtungsbildes und einen Schritt zum binären Kodieren des projizierten Volumens aufweisen. In vorteilhafter Weise lassen sich die Randpixel des binären Volumens in einfacher Weise durch die Kanten des Objektes definieren. Alternativ kann der Schritt zum Extrahieren der Kanten des Objektes aus dem dreidimensionalen Datensatz einen Schritt zum binären Kodieren des Volumens des Objektes und einen Schritt zum Projizieren des kodierten Volumens auf die Bildebene des zweidimensionalen Durchleuchtungsbildes aufweisen, wobei die Randpixel des projizierten binären Volumens die Kanten des Objektes definieren.
  • Alternativ kann auch ein standardisierter Filter verwendet werden, um die äußeren Kanten des Objektes zu extrahieren.
  • Sollen zum Beispiel harte Farbübergänge des Bildes hervorgehoben werden, während weiche Übergänge abgeschwächt werden, kann ein Ableitungsfilter oder ein Laplacefilter verwendet werden.
  • Daneben können auch nichtlineare Filter verwendet werden, wie zum Beispiel ein Varianzfilter, ein Extremalspannenfilter, ein Roberts-Cross-Filter, ein Kirsch-Filter oder ein Gradientenfilter.
  • Als der Gradientenfilter kann ein Prewitt-Filter, ein Sobel-Filter oder ein Canny-Filter implementiert werden.
  • Alternativ kann ein Verfahren verwendet werden, das dreidimensionale geometrische Gittermodelle wie zum Beispiel Dreiecksnetze verwendet. Es werden die Kanten in das zweidimensionale Bild projiziert, von deren angrenzenden Flächen eine zur Kamera zeigt und eine von der Kamera weg zeigt.
  • In der 4 ist ein Beispiel für eine Röntgen-Anlage 14 mit einem angeschlossenen Gerät gezeigt, mit dem die fluoroskopischen Durchleuchtungsbilder erstellt werden. Bei dem Röntgengerät 14 handelt es sich im gezeigten Beispiel um ein C-Bogengerät mit einem C-Bogen 18, an dessen Armen eine Röntgenröhre 16 und ein Röntgendetektor 20 angebracht sind. Hierbei kann es sich beispielsweise um das Gerät Axiom Artis dFC der Siemens AG, Medical Solutions, Erlangen, Deutschland, handeln. In das Sichtfeld der Röntgen-Anlage ist der Patient 24 gebettet. Mit 22 ist ein Objekt innerhalb des Patienten 24 bezeichnet, welches das Ziel des Eingriffs sein soll, z.B. die Leber, das Herz oder das Gehirn. An die Röntgenanlage angeschlossen ist ein Rechner 25, welcher im gezeigten Beispiel sowohl die Röntgenanlage steuert, als auch die Bildverarbeitung übernimmt. Diese beiden Funktionen können jedoch auch getrennt realisiert sein. Im gezeigten Beispiel wird durch ein Steuerungsmodul 26 die C-Bogenbewegung und Aufnahme von intra-operativen Röntgenbildern gesteuert.
  • In einem Speicher 28 ist der prä-operative aufgenommene dreidimensionale Bilddatensatz gespeichert.
  • In einem Rechenmodul 30 wird der dreidimensionale Bilddatensatz mit den in Echtzeit aufgenommenen, zweidimensionalen Durchleuchtungsbildern registriert.
  • Im Rechenmodul 30 werden auch die Kanten des dreidimensionalen Objektes extrahiert und mit dem zweidimensionalen Durchleuchtungsbild überlagert. Das so fusionierte Bild wird an einem Bildschirm 32 angezeigt.
  • Der Benutzer kann sehr leicht mit Hilfe eines Joysticks oder einer Maus 34 die Kanten des dreidimensionalen Objektes auf das zweidimensionale Durchleuchtungsbild überblenden, was auch in einem OP leicht zu handhaben ist.
  • Die vorliegende Erfindung ist nicht auf die dargestellten Ausführungsformen beschränkt, sondern es sind Änderungen ebenfalls vom Umfang der Erfindung umfasst, der durch die beigefügten Ansprüche definiert ist.

Claims (13)

  1. Verfahren zum visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit, mit folgenden Schritten: a) Verwenden eines dreidimensionalen Bilddatensatzes des Objektes; b) Aufnehmen von zweidimensionalen Durchleuchtungsbildern des Objektes; c) Registrieren des dreidimensionalen Bilddatensatzes mit den zweidimensionalen Durchleuchtungsbildern, gekennzeichnet durch d) Extrahieren von Linien, insbesondere Kanten, des Objektes aus dem dreidimensionalen Datensatz; und e) visuelles Überlagern der zweidimensionalen Durchleuchtungsbilder mit den Linien des Objektes.
  2. Verfahren gemäß Anspruch 1, wobei der Schritt zum Extrahieren der Linien des Objektes aus dem dreidimensionalen Datensatz folgende Schritte aufweist: d1) Projizieren des Volumens des Objektes auf die Bildebene des zweidimensionalen Durchleuchtungsbildes; und d2) Filtern des projizierten Volumens, wobei Linien des Objektes extrahiert werden.
  3. Verfahren gemäß Anspruch 1, wobei der Schritt zum Extrahieren der Linien des Objektes aus dem dreidimensionalen Datensatz folgende Schritte aufweist: d3) Filtern des dreidimensionalen Datensatzes, wobei Linien und insbesondere Kanten des Objekts extrahiert werden, d4) Projizieren der extrahierten Linien des Objektes auf die Bildebene des zweidimensionalen Durchleuchtungsbildes.
  4. Verfahren gemäß einem der vorherigen Ansprüche, wobei das Filtern binäres Kodieren beinhaltet, wobei die Randpixel einer binären Fläche oder eines binären Volumens die Linien des Objektes definieren.
  5. Verfahren gemäß einem der Ansprüche 3 oder 4, wobei der Schritt zum Extrahieren von Kanten des Objektes aus dem dreidimensionalen Datensatz folgende Schritte aufweist: d5) Binäres Kodieren des Volumens des Objektes; und d6) Projizieren des kodierten Volumens auf die Bildebene des zweidimensionalen Durchleuchtungsbildes, wobei die Randpixel des projizierten binären Volumens die Kanten des Objektes definieren.
  6. Verfahren gemäß einem der vorherigen Ansprüche, wobei der dreidimensionale Bilddatensatz des Objektes durch ein fluoroskopisches Durchleuchtungsverfahren, ein Computertomographieverfahren (CT), ein dreidimensionales Angiographieverfahren, ein dreidimensionales Ultraschallverfahren, ein Positronen-Emissions-Tomographieverfahren (PET) oder ein Magnetresonanztomographieverfahren (MRT) erstellt wird.
  7. Verfahren gemäß einem der vorherigen Ansprüche, wobei die zweidimensionalen Durchleuchtungsbilder des Objektes mittels fluoroskopischer Durchleuchtung in Echtzeit aufgenommen werden.
  8. Verfahren gemäß einem der vorherigen Ansprüche, wobei die Linien des Objekts Kanten, Umrisslinien und/oder Mittellinien des Objekts definieren.
  9. Verfahren gemäß einem der vorherigen Ansprüche, wobei der Schritt zum visuellen Überlagern einen Schritt zum justierbaren Überblenden der Kanten des Objektes auf die zweidimensionalen Durchleuchtungsbilder aufweist.
  10. Vorrichtung zum Visualisieren von dreidimensionalen Objekten insbesondere in Echtzeit, mit: – einer Einrichtung zum Bearbeiten eines dreidimensionalen Bilddatensatzes des Objektes; – einer Einrichtung (14) zum Aufnehmen von zweidimensionalen Durchleuchtungsbildern des Objektes; – einer Einrichtung (25) zum Registrieren des dreidimensionalen Bilddatensatzes mit den zweidimensionalen Durchleuchtungsbildern, gekennzeichnet durch – eine Einrichtung (25), die Linien, insbesondere Kanten, des Objektes aus dem dreidimensionalen Datensatz extrahiert; und – eine Einrichtung (25, 32, 34), die die Linien des Objektes mit den zweidimensionalen Durchleuchtungsbildern visuell überlagert.
  11. Vorrichtung gemäß Anspruch 10, mit – einem Datenspeicher (28) zum Speichern des dreidimensionalen Bilddatensatzes des Objektes; – einem Röntgengerät (14) zum Aufnehmen der zweidimensionalen Durchleuchtungsbilder des Objekts (22), insbesondere von Fluoroskopiebildern; und – einem Bildschirm (32) zum überlagerten Darstellen der zweidimensionalen Durchleuchtungsbilder und der Kanten des Objektes.
  12. Vorrichtung gemäß Anspruch 10 oder 11, wobei die Einrichtung (25), die die Linien des Objektes aus dem dreidimensionalen Datensatz extrahiert, einen Filter aufweist.
  13. Vorrichtung gemäß einem der Ansprüche 10–12, des Weiteren mit einer Einrichtung (25, 32, 34) zum justierbaren Überblenden der Kanten des Objektes auf die zweidimensionalen Durchleuchtungsbilder.
DE102006003126A 2006-01-23 2006-01-23 Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten Withdrawn DE102006003126A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102006003126A DE102006003126A1 (de) 2006-01-23 2006-01-23 Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
CNA2007100021741A CN101006933A (zh) 2006-01-23 2007-01-12 用于显示三维对象的方法和设备
US11/656,789 US20070238959A1 (en) 2006-01-23 2007-01-23 Method and device for visualizing 3D objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006003126A DE102006003126A1 (de) 2006-01-23 2006-01-23 Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten

Publications (1)

Publication Number Publication Date
DE102006003126A1 true DE102006003126A1 (de) 2007-08-02

Family

ID=38268068

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006003126A Withdrawn DE102006003126A1 (de) 2006-01-23 2006-01-23 Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten

Country Status (3)

Country Link
US (1) US20070238959A1 (de)
CN (1) CN101006933A (de)
DE (1) DE102006003126A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047270A1 (en) * 2006-10-17 2008-04-24 Koninklijke Philips Electronics N.V. Visualization of 3d images in combination with 2d projection images
DE102007051479A1 (de) 2007-10-29 2009-05-07 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Bilddaten mehrerer Bilddatensätze während einer medizinischen Intervention
DE102008018023A1 (de) 2008-04-09 2009-10-15 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Visualisieren einer überlagerten Darstellung von Durchleuchtungsbildern
DE102008033021A1 (de) 2008-07-14 2010-01-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bilddarstellung eines interessierenden Untersuchungsbereichs im Rahmen einer medizinischen Untersuchung oder Behandlung
DE102008036498A1 (de) 2008-08-05 2010-02-11 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Überlagerung mindestens eines Durchleuchtungsbildes mit wenigstens einem dreidimensionalen Bilddatensatz

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838744B2 (en) 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
CN102467756B (zh) 2010-10-29 2015-11-25 国际商业机器公司 用于三维场景的透视方法及装置
US8942455B2 (en) * 2011-08-30 2015-01-27 Siemens Aktiengesellschaft 2D/3D image registration method
DE102012204063B4 (de) * 2012-03-15 2021-02-18 Siemens Healthcare Gmbh Generierung von Visualisierungs-Befehlsdaten
US9044254B2 (en) * 2012-08-07 2015-06-02 Covidien Lp Microwave ablation catheter and method of utilizing the same
GB2510842A (en) * 2013-02-14 2014-08-20 Siemens Medical Solutions A method for fusion of data sets
CN104224175B (zh) * 2013-09-27 2017-02-08 复旦大学附属华山医院 一种融合二维磁共振波谱和三维磁共振导航影像的方法
US9613452B2 (en) * 2015-03-09 2017-04-04 Siemens Healthcare Gmbh Method and system for volume rendering based 3D image filtering and real-time cinematic rendering
CN107510466B (zh) * 2016-06-15 2022-04-12 中慧医学成像有限公司 一种三维成像方法和***
CN107784038B (zh) * 2016-08-31 2021-03-19 法法汽车(中国)有限公司 一种传感器数据的标注方法
KR102228919B1 (ko) * 2017-03-30 2021-03-18 스노우 주식회사 이미지에 동적 효과를 적용하는 방법 및 장치
JP7298835B2 (ja) * 2017-12-20 2023-06-27 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法、およびプログラム
US20210015452A1 (en) * 2018-03-29 2021-01-21 Terumo Kabushiki Kaisha Image processing device and image display method
DE102019203192A1 (de) * 2019-03-08 2020-09-10 Siemens Healthcare Gmbh Erzeugung eines digitalen Zwillings für medizinische Untersuchungen
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317621B1 (en) * 1999-04-30 2001-11-13 Siemens Aktiengesellschaft Method and device for catheter navigation in three-dimensional vascular tree exposures

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4742552A (en) * 1983-09-27 1988-05-03 The Boeing Company Vector image processing system
US4574357A (en) * 1984-02-21 1986-03-04 Pitney Bowes Inc. Real time character thinning system
US20010056230A1 (en) * 1999-11-30 2001-12-27 Barak Jacob H. Computer-aided apparatus and method for preoperatively assessing anatomical fit of a cardiac assist device within a chest cavity
WO2001045411A1 (fr) * 1999-12-17 2001-06-21 Yotaro Murase Systeme et technique de transmission d'un produit audio/visuel par un serveur/client
US6351513B1 (en) * 2000-06-30 2002-02-26 Siemens Corporate Research, Inc. Fluoroscopy based 3-D neural navigation based on co-registration of other modalities with 3-D angiography reconstruction data
US7128266B2 (en) * 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
US7221783B2 (en) * 2001-12-31 2007-05-22 Gyros Patent Ab Method and arrangement for reducing noise
US7596253B2 (en) * 2005-10-31 2009-09-29 Carestream Health, Inc. Method and apparatus for detection of caries

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317621B1 (en) * 1999-04-30 2001-11-13 Siemens Aktiengesellschaft Method and device for catheter navigation in three-dimensional vascular tree exposures

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LAVALLEE, St., SZELISKI, R.: "Recovering the Posi- tion and Orientation of Free-Form Objects from Image Contours Using 3D Distance Maps", IEEE Trans. on Pattern and Machine Intelligence, Vol. 17, No. 4, April 1995, pp. 378-390
LAVALLEE, St., SZELISKI, R.: "Recovering the Position and Orientation of Free-Form Objects from Image Contours Using 3D Distance Maps", IEEE Trans. on Pattern and Machine Intelligence, Vol. 17, No. 4, April 1995, pp. 378-390 *
WHEELER, Mark D.: Automatic Modeling and Localiza- tion for Object Recognition, Carnegie Mellon Uni- verity, Pittsburgh 1996, Auszug: Header-Seiten + S.en 1-128, http://reports-archive.adm.cs.cmu.edu/ anon/1996/CMU-CS-96-188.pdf
WHEELER, Mark D.: Automatic Modeling and Localization for Object Recognition, Carnegie Mellon Univerity, Pittsburgh 1996, Auszug: Header-Seiten + S.en 1-128, http://reports-archive.adm.cs.cmu.edu/ anon/1996/CMU-CS-96-188.pdf *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047270A1 (en) * 2006-10-17 2008-04-24 Koninklijke Philips Electronics N.V. Visualization of 3d images in combination with 2d projection images
US7991105B2 (en) 2006-10-17 2011-08-02 Koninklijke Philips Electronics N.V. Visualization of 3D images in combination with 2D projection images
DE102007051479A1 (de) 2007-10-29 2009-05-07 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Bilddaten mehrerer Bilddatensätze während einer medizinischen Intervention
DE102008018023A1 (de) 2008-04-09 2009-10-15 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Visualisieren einer überlagerten Darstellung von Durchleuchtungsbildern
US8081812B2 (en) 2008-04-09 2011-12-20 Siemens Aktiengesellschaft Method and facility for visualizing an overlaid presentation of X-ray images
DE102008033021A1 (de) 2008-07-14 2010-01-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bilddarstellung eines interessierenden Untersuchungsbereichs im Rahmen einer medizinischen Untersuchung oder Behandlung
DE102008036498A1 (de) 2008-08-05 2010-02-11 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Überlagerung mindestens eines Durchleuchtungsbildes mit wenigstens einem dreidimensionalen Bilddatensatz

Also Published As

Publication number Publication date
CN101006933A (zh) 2007-08-01
US20070238959A1 (en) 2007-10-11

Similar Documents

Publication Publication Date Title
DE102006003126A1 (de) Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
DE102005030646B4 (de) Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
DE19963440C2 (de) Verfahren und System zur Visualisierung eines Gegenstandes
DE102005059209B4 (de) Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen
DE102009040430B4 (de) Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
DE602004002939T2 (de) Methode zur dreidimensionalen modellierung von rohrförmigen strukturen
DE10015815A1 (de) System und Verfahren zur Erzeugung eines Bilddatensatzes
DE102006046735A1 (de) Vorrichtung zur Fusion eines 2D-Durchleuchtungsbildes mit einem Bild aus einem 3D-Bilddatensatz
DE10136160A1 (de) Verfahren und Vorrichtung zur Registrierung zweier 3D-Bilddatensätze
DE10333543A1 (de) Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
DE102004056783A1 (de) Verfahren und Vorrichtung zum Segmentieren von Strukturen in einer CT-Angiographie
DE102008037424A1 (de) Verbessertes System und Verfahren für auf Volumen basierende Registrierung
DE102011080905A1 (de) Verfahren und Vorrichtung zur Visualisierung der Registrierungsqualität medizinischer Bilddatensätze
DE102005027678A1 (de) Verfahren und Vorrichtung zur Markierung von dreidimensionalen Strukturen auf zweidimensionalen Projektionsbildern
DE102005045602A1 (de) Verfahren zum Unterstützen eines interventionellen medizinischen Eingriffs
DE102008045276B4 (de) Verfahren zur Ansteuerung einer medizintechnischen Anlage, medizintechnische Anlage und Computerprogramm
DE10338145B4 (de) Verfahren zur Darstellung von 3D Bilddaten
DE102013211239A1 (de) Verfahren zur Bildunterstützung und Vorrichtung
EP3598948B1 (de) Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
DE102006056679B4 (de) Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten, insbesondere in Echtzeit
DE102007051479B4 (de) Verfahren und Vorrichtung zur Darstellung von Bilddaten mehrerer Bilddatensätze während einer medizinischen Intervention
DE102006058906A1 (de) Verfahren zur Darstellung von tomographischen Aufnahmen und Tomographiesystem oder Tomographiesystemverbund zur Duchführung dieses Verfahrens
DE10210644B4 (de) Verfahren zum Erstellen einer Sequenz
DE10015824C2 (de) System und Verfahren zur Erzeugung eines Bilddatensatzes
DE102005022541A1 (de) Verfahren und Gerät zur Darstellung von Strukturen auf einem 2D-Durchleuchtungsbild

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8139 Disposal/non-payment of the annual fee