WO2006095221A2 - Imaging method - Google Patents

Imaging method Download PDF

Info

Publication number
WO2006095221A2
WO2006095221A2 PCT/IB2005/054329 IB2005054329W WO2006095221A2 WO 2006095221 A2 WO2006095221 A2 WO 2006095221A2 IB 2005054329 W IB2005054329 W IB 2005054329W WO 2006095221 A2 WO2006095221 A2 WO 2006095221A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
coordinates
sensor coordinates
measured
Prior art date
Application number
PCT/IB2005/054329
Other languages
German (de)
French (fr)
Other versions
WO2006095221A3 (en
Inventor
Jörn BORGERT
Jochen KRÜCKER
Original Assignee
Philips Intellectual Property & Standards Gmbh
Koninklijke Philips Electronics N. V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Intellectual Property & Standards Gmbh, Koninklijke Philips Electronics N. V. filed Critical Philips Intellectual Property & Standards Gmbh
Publication of WO2006095221A2 publication Critical patent/WO2006095221A2/en
Publication of WO2006095221A3 publication Critical patent/WO2006095221A3/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Definitions

  • the invention relates to an imaging method, preferably for medical purposes, to an arrangement for carrying out such a method and to a computer program suitable for this arrangement.
  • imaging techniques are used, for example, in interventional procedures, surgical or diagnostic
  • Instruments such as needles, catheters, etc.
  • Instruments are displayed in a positionally correct manner in an image of the patient taken before or during the procedure. This makes it possible to bring the instrument past vital organs or vessels in the target area.
  • one or more position sensors are attached to the instrument, which continuously monitor their position
  • Sensor coordinates d. H. forward their position to a suitable evaluation unit. After the sensor coordinates have been transformed into image coordinates, a stored image of the instrument can be displayed in the correct position in the image taken by the patient.
  • CT computed tomography
  • the arterial blood vessels may have been visualized with a contrast agent, while a second CT image taken at a later time highlights the venous blood vessels.
  • CT computed tomography
  • different and complementary image information results in different modalities (imaging systems), for example when combining a CT image and an ultrasound image, because these modalities can represent different structures in the human body in different ways. Combining such images with each other results in a combination image that contains more image information than each of the individual images that compose it. It would be conceivable, even in such a case, when recording the
  • Object of the present invention is to provide an imaging method, which is recorded from two at different times
  • Pictures of an examination subject with different image information can then be a combination image with sufficient image quality can be created when the object between the recording of the two images moves or deformed.
  • This object is achieved according to the invention by an imaging method comprising the steps of: a) generating a first image (I ref ) of an examination object provided with position sensors, b) generating a second image (I 1 ) of the position sensor
  • registering one of the images on the other image by comparing the images is meant an image based registration process in which one image is iteratively transformed (ie deformed) until the resulting image optimally matches the other image is determined by evaluating the geometrically corresponding regions of the images with a suitably chosen similarity measure
  • the similarity measure can be, for example, the correlation coefficient, the mutual information, or the absolute sum of the squared voxel differences, then the transformation parameters are varied. in which the highest similarity measure results, it is assumed that the best match is given.
  • Imaging methods of this type are known per se -. B. from DE-A 19920872 or from the publication of CR. Meyer et al. 1997, Apr. 1 (3): 195-206, although they are the most suitable ones, they are: "Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations".
  • the registration takes place using the sensor coordinates measured by the position sensors, whereby the registration is considerably accelerated.
  • the sensor coordinates which are measured during the generation of the other image of the examination subject, represent the positions into which the points of the examination subject in which the position sensors are located are transformed by the registration.
  • all voxels of the one image would generally be transformed to a new position until an optimal similarity with the other image is achieved.
  • the search for transformations with optimum similarity is substantially restricted, which considerably speeds up the registration process. It is then also possible to use in interventional examinations, in which it depends on a quick presentation of the examination subject in a combination image.
  • a two-stage registration method results, in which in the first stage the one image is transformed purely geometrically according to the change in the sensor coordinates, resulting in an intermediate image.
  • This intermediate image is a much better approximation to the other image than the image from which it was derived.
  • This intermediate image is then the subject of an image-based registration process in the second stage, with which it is registered on the other image.
  • the spatial change in the intermediate image in the region of the sensor coordinates is limited - preferably no change of the intermediate image takes place at the positions of the sensors.
  • the intermediate image may also be changed in the area of the sensors - but only slightly compared to the rest of the image. - Since the differences between the intermediate image and the other image are smaller than the differences between the one image and the other, the search for the transformation is optimal match, easier and less risk of incorrect resolution of the registration problem. In addition, the registration process will be further accelerated.
  • a further registration is (automatically) initialized with a further image, namely, if it results from the change of the measured sensor coordinates that the examination object has moved or deformed.
  • the position sensors have a double function.
  • they initialize the creation of another image and a further registration and on the other hand, the registration process is considerably simplified and accelerated.
  • the further image is the last previously generated image or (if the images are not automatically generated in the intended temporal sequence) an image whose generation is initiated after the detection of a change in the measured sensor coordinates.
  • the embodiment according to claim 4 relates to the application of the method according to the invention in an interventional procedure.
  • the medical instrument used in the interventional procedure is also superimposed on the combination image.
  • the embodiment according to claim 5 assumes that in the method (two) different imaging systems (modalities) are used. For example, in an interventional procedure, this can be a
  • Computed tomography and an ultrasound imager that provide complementary image information, so that the combination image has a higher information content than each of the two images of which it is composed.
  • the invention may be useful even if only a single modality is used. For example, in a first CT scan (recorded before an interventional procedure) a contrast agent can be used to visualize a tumor that is no longer visible in the CT image acquired during the subsequent intervention without a contrast agent.
  • the use of the sensor coordinates when registering one image to the other assumes that the position of the image coordinate system with respect to the sensor coordinate system is known, so that the measured sensor coordinates can be converted into the image coordinates by a simple coordinate transformation (or vice versa).
  • the relationship between sensor coordinates and image coordinates can also be determined in other ways, eg. B. by measuring the spatial coordinates of the image acquisition device and the sensors. If the spatial coordinates of the image acquisition device are known, the situation of the imaging system also results in the position of the image coordinates of the image generated therewith in relation to the spatial coordinates.
  • Claim 7 specifies an arrangement for carrying out the method according to the invention, and claim 8 relates to a computer program for an image processing unit belonging to this arrangement.
  • Fig. 2 is a symbolized by blocks schematic representation of this
  • FIG. 3 shows the flow of this method in a block diagram
  • FIG 4 shows the images generated or processed by an image processing unit.
  • FIG. 1 shows a medical workstation with which the method according to the invention can be carried out as part of an interventional procedure.
  • a 10 X-ray computed tomography
  • a patient 1 is located.
  • the patient can be moved from the treatment position shown in the drawing with the table top 11 in a defined image pickup position.
  • the length of the distance between the image acquisition position and the treatment position is adjustable and is registered by the system.
  • an ultrasound device 20 is provided with an ultrasound imager 21, which generates a plurality of ultrasound images during the treatment. These are three-dimensional - as is the image supplied by the computer tomograph.
  • the ultrasound images and the CT images taken by the ultrasound device 20 are combined in a workstation 30, and the resulting combination image is displayed on a monitor.
  • the interventional treatment is performed with a surgical instrument, e.g. A needle 60 which is to be inserted into a tumor of the patient for radiofrequency ablation.
  • a system 50, 54 is provided which allows electromagnetic tracking of the needle 60, the ultrasound imager 21 and the patient 1.
  • the system comprises a number of patient-mounted position sensors 51, a position sensor 52 attached to the needle 60, and two position sensors 53 arranged at right angles to each other and attached to the ultrasound imager 21.
  • the sensors are formed by coils a few mm in length exposed to a magnetic field periodically changes and its direction is changed in a defined way. This is generated by a magnetic field generator 54 arranged in a defined position relative to the computer tomograph 10.
  • the signals generated in the coils or the position sensors are supplied to a registration unit 50, which is connected to the workstation 30.
  • the signal provided by a coil depends on the position of the coil in space (or with respect to the magnetic field generator 54) and also changes upon pivoting of the coil about an axis perpendicular to the coil axis. On a pivoting or rotation of the coil about its longitudinal axis, the signal does not respond. From the coil signal can thus u. a. derive the position of the coil in space (ie the sensor coordinates).
  • the two coils 53 arranged perpendicular to one another on the ultrasound imager 21 thus determine the location coordinates and the orientation in all three spatial directions.
  • Position detection systems of this type are known and z. B. under the name Aurora of the company Northern Digital Inc. (in Waterloo, Canada) available. However, other than such a position measuring system may be used
  • Position measuring systems are used, for example, optical systems with light-emitting diodes whose position is measured by distributed in space light receivers.
  • An interventional procedure is initiated by providing the patient 1 with a number of position sensors 51.
  • the table top 11 is then moved back from the treatment position to the receiving position and after creating a three-dimensional CT image back to the treatment position.
  • Fig. 4b shows - by way of example and schematically - the resulting CT image. It can be seen in comparison to Fig. 4a, which represents the relevant area for treatment completely that only some of the anatomical structures are well represented, including a tumor 41, while other structures, eg. B. the blood vessels are shown only insufficient.
  • the three-dimensional image generated in the treatment position with the aid of the ultrasound image generator which is shown schematically in FIG. 4c, represents the blood vessels and other anatomical structures-but not the tumor 41-with sufficient quality. It will then be explained in the following generates a combination image containing image information from both the CT image and the ultrasound image. The surgeon can then use the image to plan where and under which
  • Fig. 2 shows in the form of blocks schematically the interaction of the components according to Fig. 1, wherein these are designated in both images with the same reference numerals.
  • the ensemble is attached to the patient
  • Position sensors 51 denotes.
  • the sensor signals are detected by the unit 50 and converted into digital sensor coordinates, which are further processed by the control and image processing unit 30 formed by the workstation.
  • This unit is also the images of the imaging system 10 and 20, which can be displayed after further processing to a combination image on a monitor 40.
  • the respective ultrasound images in conjunction with the needle 60 can also be displayed on the monitor.
  • the unit 30 is divided into two modules.
  • the module 31 calculates, as will be explained, analytical the rigid transformation between the sensor coordinates at the time of the CT image acquisition and the image coordinates associated with the sensor positions.
  • the module 35 in turn is divided into two submodules 32 and 33.
  • the sub-module 32 continuously analyzes the sensor coordinates and, in the case of changes, calculates an elastic transformation that transforms the sensor coordinates when the CT image is acquired to the current sensor coordinates. This transformation is applied to the CT image.
  • Submodule 33 performs image-based registration between the intermediate image resulting from the transformation in submodule 32 and the ultrasound image.
  • a three-dimensional CT image Iref (u, v, w) is generated by means of the computer tomograph 10.
  • the coordinates of the sensors S re f (x, y, z) are determined (block 102).
  • the image coordinates of the sensors S ref (u, v, w) are determined by segmentation of the CT image I ref (u, v, w).
  • the attached to the patient sensors (electric coils) are indeed displayed in the CT image.
  • a rigid transformation T re f is determined by which the spatial coordinates of the sensors S re f (x, y, z) are converted into their image coordinates S re f (u, v, w).
  • the prerequisite for this transformation is that the sensor coordinates can be segmented in the image. If this is not possible or not desired, the location coordinates of the computer tomograph 10 can be determined instead.
  • the image coordinates of the CT image I ref (u, v, w) generated with the computer tomograph can then be assigned to these images, so that registration between spatial and image coordinates becomes possible in this way.
  • the sub-module 32 analyzes the sensor coordinates continuously measured by the sensors. If these coordinates deviate from coordinates S ref (x, y, z) measured when taking the CT image, there is movement or deformation of the patient registered in block 105. This initializes a registration of the CT image I re f (u, v, w) with another image.
  • the initialization results in the step 106 acquiring a (further) three-dimensional image by the ultrasound device 20, if it has not already been generated (namely, ultrasound images can also be generated without the initialization at regular time intervals).
  • the picture coordinates deviate of the ultrasound image from the image coordinates u, v, w of the CT image;
  • the image coordinates of the ultrasound image can be converted into spatial coordinates x, y, z.
  • the image coordinates of the ultrasound image can be converted into the image coordinates u, v, w of the CT image Iref (u, v, w).
  • the sensor coordinates S 1 (x, y, z) measured simultaneously with the acquisition of the correspondingly transformed ultrasound image I 1 (u, v, w) are stored (block 107).
  • the position of the interventional instrument, ie the needle 60, when taking the ultrasound image is also measured and stored with the sensor 52 (block 108).
  • the CT image I re f (u, v, w) is shown in Fig. 4b, while the ultrasound image I 1 (u, v, w) is shown in Fig. 4c. If one were to superimpose the two images directly, this would result in the image shown in Fig. 4d, which at best is blurred due to the movement or deformation, but usually confusing and therefore less useful than the CT image or the ultrasound image.
  • step 109 the sensor coordinates S ref (x, y, z) are registered during generation of the CT image with the sensor coordinates S 1 (x, y, z) during generation of the ultrasound image, ie an elastic transformation T 1 , which converts the sensor coordinates S re f (x, y, z) into the sensor coordinates S 1 (x, y, z).
  • step 110 the determined transformation T 1 is applied to the CT image Iref (u, v, w) and, in addition, the transformation T re f determined in step 104.
  • the result of this twofold transformation is an intermediate image I z (u, v, w), which in the positions of the sensors corresponds to the ultrasound image I 1 (u, v, w) and which only approximates this image at all positions between the sensors is.
  • this transformed image I z is much better in agreement with the image I 1 than the CT image I ref .
  • step 111 an image-based registration of the intermediate image I z (u, v, w) then takes place on the ultrasound image I 1 (u, v, w) with the aid of the submodule 33.
  • the coordinates of the pixels of the intermediate image changed iteratively.
  • the coordinates of the sensors are considered as fixed points whose position is not or - because of any measurement inaccuracies - may be changed only limited. The registration is allowed thus allow only such transformations, which practically does not change the positions of the sensors in the intermediate image I z .
  • the image I e resulting from the image-based registration has such a deformation with respect to the reference image I re f that it optimally matches the image I 1 .
  • Image I e is then combined with image I 1 (step 112) by superimposing the images semi-transparently, ie by summing the images voxel for voxels with adjustable weight. Illustrated and largely to the "ideal" according to Fig. 4a corresponding composite image I c to cover the mutually corresponding anatomical structures, so that it has no motion artefacts in the thus formed and shown in Fig. 4e.
  • the composite image I c is also the (virtual When the needle advances, the needle changes its position in the combination image.
  • the further monitored sensor coordinates deviate significantly from the sensor coordinates measured during the acquisition of the ultrasound image, a movement or deformation of the patient, eg. By breathing, which is detected and registered in step 105, and registration of the CT image Iref (u, v, w) is initiated with another ultrasound image (the last one) - and, if necessary, the generation of this ultrasound image .
  • the sensor coordinates measured and stored during the recording of the further ultrasound image are used for the registration of the CT image I re f with this further image in the steps 109-112 that have been carried out again.

Abstract

The invention relates to a preferably medical imaging method, whereby two images of an object under investigation with differing image content are combined together. The object under investigation is provided with position sensors measuring the sensor coordinates thereof, so that even with a movement of the object under investigation a correct composite image is generated from said combination. Before combining both images one of the images is recorded over the other image by means of a comparison of the images using the sensor coordinates measured by the position sensors.

Description

Bildgebendes VerfahrenImaging process
Die Erfindung bezieht sich auf ein bildgebendes Verfahren, vorzugsweise für medizinische Zwecke, auf eine Anordnung zur Durchführung eines solchen Verfahrens und auf ein für diese Anordnung geeignetes Computerprogramm. Solche bildgebenden Verfahren werden beispielsweise bei interventionellen Prozeduren eingesetzt, um chirurgische oder diagnostischeThe invention relates to an imaging method, preferably for medical purposes, to an arrangement for carrying out such a method and to a computer program suitable for this arrangement. Such imaging techniques are used, for example, in interventional procedures, surgical or diagnostic
Instrumente (beispielsweise Nadeln, Katheter usw.) positionsgerecht in ein vor oder während der Prozedur aufgenommenes Bild des Patienten einzublenden. Damit gelingt es, das Instrument an lebenswichtigen Organen oder Gefäßen vorbei in den Zielbereich zu bringen. Damit man das Instrument in das Bild einblenden kann, sind an dem Instrument ein oder mehrere Positionssensoren angebracht, die fortlaufend ihreInstruments (such as needles, catheters, etc.) are displayed in a positionally correct manner in an image of the patient taken before or during the procedure. This makes it possible to bring the instrument past vital organs or vessels in the target area. In order to be able to fade in the instrument into the image, one or more position sensors are attached to the instrument, which continuously monitor their position
Sensorkoordinaten, d. h. ihre Position, an eine geeignete Auswerteeinheit weiterleiten. Nachdem die Sensorkoordinaten in Bildkoordinaten transformiert worden sind, kann ein gespeichertes Bild des Instrumentes positionsgerecht in das vom Patienten aufgenommene Bild eingeblendet werden.Sensor coordinates, d. H. forward their position to a suitable evaluation unit. After the sensor coordinates have been transformed into image coordinates, a stored image of the instrument can be displayed in the correct position in the image taken by the patient.
Wenn der Patient sich während des Eingriffs bewegt oder sich durch Atmung verformt, verliert die vorher ermittelte Transformation zwischen den Sensorkoordinaten und den Bildkoordinaten ihre Gültigkeit, so daß das Instrument nicht mehr positionsgerecht in das Bild des Patienten eingeblendet werden würde. Um dieses zu vermeiden, ist es aus der US-PS 6,246,898 bekannt, auch an dem Patienten Positionssensoren anzubringen und die von ihnen gemessenen Sensorkoordinaten fortlaufend zu überwachen. Bewegt sich nun der Patient, kann eine Transformation berechnet werden, die die Sensorkoordinaten bei Aufnahme des Bildes des Patienten in die nach der Bewegung bzw. Verformung resultierenden Sensorkoordinaten überführt. Bei Anwendung der resultierenden Transformation auf das aufgenommene Bild des Patienten ergibt sich ein verformtes Bild, in dem sich das Instrument nahezu positionsgerecht darstellen lässt.If the patient moves during the procedure or deforms by breathing, the previously determined transformation between the sensor coordinates and the image coordinates loses its validity, so that the instrument would no longer be displayed correctly in the image of the patient. In order to avoid this, it is known from US Pat. No. 6,246,898 to also apply position sensors to the patient and to continuously monitor the sensor coordinates measured by them. If the patient now moves, a transformation can be calculated that converts the sensor coordinates into the sensor coordinates resulting from the movement or deformation when the patient's image is taken. Applying the resulting transformation to the captured image of the Patients have a deformed image in which the instrument can be displayed in almost the correct position.
Häufig reicht die in einem einzelnen Bild enthaltene Information über den Patienten aber nicht aus, und man möchte die Bildinformation aus zwei verschiedenen Bildern des Patienten miteinander kombinieren. Beispielsweise können in einem ersten CT-BiId (CT=Computertomograph) die arteriellen Blutgefäße mit einem Kontrastmittel sichtbar gemacht worden sein, während ein zweites, zu einem späteren Zeitpunkt aufgenommenes CT-BiId die venösen Blutgefäße hervorhebt. Erst recht ergeben sich unterschiedliche und komplementäre Bildinformationen bei verschiedenen Modalitäten (Bildgebungssystemen), beispielsweise wenn man ein CT- BiId und ein Ultraschallbild kombiniert, weil diese Modalitäten verschiedene Strukturen im menschlichen Körper unterschiedlich gut darstellen können. Kombiniert man daher solche Bilder miteinander, entsteht ein Kombinationsbild, das mehr Bildinformationen enthält als jedes der Einzelbilder, aus denen es sich zusammensetzt. Es wäre nun denkbar, auch in einem solchen Fall bei der Aufnahme derFrequently, however, the information about the patient contained in a single image is insufficient, and one would like to combine the image information from two different images of the patient. For example, in a first CT scan (CT = computed tomography), the arterial blood vessels may have been visualized with a contrast agent, while a second CT image taken at a later time highlights the venous blood vessels. Even more so, different and complementary image information results in different modalities (imaging systems), for example when combining a CT image and an ultrasound image, because these modalities can represent different structures in the human body in different ways. Combining such images with each other results in a combination image that contains more image information than each of the individual images that compose it. It would be conceivable, even in such a case, when recording the
Einzelbilder Positionssensoren zu verwenden und vor der Überlagerung der beiden Bilder auf das eine Bild eine mathematische Transformation anzuwenden, die die Sensorkoordinaten bei Aufnahme dieses Bildes in die Sensorkoordinaten bei Aufnahme des anderen Bildes überführt. Wenn die Anzahl der Freiheitsgrade, mit der sich das objekteigene Koordinatensystem verschiebt bzw. verformt, wenn sich das Objekt bewegt bzw. verformt, begrenzt wäre, würde eine solche Transformation ausreichen. In der Praxis ist die Veränderung durch Bewegung oder Verformung des Objektes jedoch nicht linear und hat eine unbegrenzte Anzahl von Freiheitsgraden. In diesem Fall kann durch eine begrenzte Anzahl von Positionssensoren die Veränderung eines Bildes nur näherungsweise erfasst werden, so daß das Kombinationsbild auch in diesem Fall verwirrende Artefakte enthalten würde.Use single-frame position sensors and apply a mathematical transformation prior to superimposing the two images on the one image, transforming the sensor coordinates into the sensor coordinates when the other image is captured when that image is captured. If the number of degrees of freedom with which the object's own coordinate system shifts or deforms as the object moves or deforms would be limited, such a transformation would suffice. In practice, however, the change due to movement or deformation of the object is not linear and has an unlimited number of degrees of freedom. In this case, the change of an image can only be approximately detected by a limited number of position sensors, so that the combination image in this case would also contain confusing artifacts.
Aufgabe der vorliegenden Erfindung ist es, ein bildgebendes Verfahren zu schaffen, mit dem sich aus zwei zu verschiedenen Zeitpunkten aufgenommenenObject of the present invention is to provide an imaging method, which is recorded from two at different times
Bildern eines Untersuchungsobjektes mit verschiedener Bildinformation auch dann ein Kombinationsbild mit hinreichender Bildqualität erstellt werden kann, wenn sich das Objekt zwischen der Aufnahme der beiden Bilder bewegt bzw. verformt. Diese Aufgabe wird erfindungsgemäß gelöst durch ein bildgebendes Verfahren mit den Schritten: a) Erzeugen eines ersten Bildes (Iref) eines mit Positionssensoren versehenen Untersuchungsobjektes, b) Erzeugen eines zweiten Bildes (I1) des mit Positionssensoren versehenenPictures of an examination subject with different image information can then be a combination image with sufficient image quality can be created when the object between the recording of the two images moves or deformed. This object is achieved according to the invention by an imaging method comprising the steps of: a) generating a first image (I ref ) of an examination object provided with position sensors, b) generating a second image (I 1 ) of the position sensor
Untersuchungsobjektes, c) Registrieren des einen der beiden Bilder auf das andere Bild durchObject to be examined, c) Registering one of the two images on the other image
Vergleich der Bilder und unter Verwendung der von den Positionssensoren gemessenen Sensorkoordinaten, d) Kombinieren des registrierten Bildes mit dem anderen Bild undComparing the images and using the sensor coordinates measured by the position sensors, d) combining the registered image with the other image and
Wiedergabe des Kombinationsbildes.Playback of the combination picture.
Mit „Registrieren des einen der Bilder auf das andere Bild durch Vergleich der Bilder" wird ein bildbasiertes Registrierverfahren bezeichnet, bei dem das eine Bild iterativ transformiert (d. h. verformt) wird, bis das resultierende Bild optimal mit dem anderen Bild übereinstimmt. Der Grad der Übereinstimmung wird ermittelt, indem die geometrisch korrespondierenden Bereiche der Bilder mit einem geeignet gewählten Ähnlichkeitsmaß bewertet werden. Das Ähnlichkeitsmaß kann z.B. der Korrelationskoeffizient, die Mutual Information, oder die absolute Summe der quadrierten Voxel-Differenzen sein. Danach werden die Transformationsparameter variiert. Bei derjenigen Transformation, bei der sich das höchste Ähnlichkeitsmaß ergibt, geht man davon aus, daß die beste Übereinstimmung gegeben ist.By "registering one of the images on the other image by comparing the images" is meant an image based registration process in which one image is iteratively transformed (ie deformed) until the resulting image optimally matches the other image is determined by evaluating the geometrically corresponding regions of the images with a suitably chosen similarity measure The similarity measure can be, for example, the correlation coefficient, the mutual information, or the absolute sum of the squared voxel differences, then the transformation parameters are varied. in which the highest similarity measure results, it is assumed that the best match is given.
Bildgebende Verfahren dieser Art sind an sich bekannt - z. B. aus der DE-A 19920872 oder aus der Veröffentlichung von CR. Meyer et al. „Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations", Med Image Anal. 1997 Apr; 1(3): 195-206. Sie sind zwar am besten geeignet, zwei Bilder aufeinander zu registrieren, jedoch erfordern die Berechnungen - insbesondere bei dreidimensionalen Bildern - außerordentlich viel Zeit, so daß eine Durchführung in Echtzeit auf absehbare Zeit nicht möglich ist. Deshalb sind diese Verfahren bisher nicht für interventionelle Prozeduren eingesetzt worden, bei denen in der Regel eine zügige Durchführung wichtig ist. Die Bewertungsfunktion, die ein Maß für die Übereinstimmung der beiden Bilder bei den verschiedenen Iterationen darstellt, weist lokale Maxima auf, so daß sich Fehler bei der Registrierung ergeben können, wenn man die Zahl der möglichen Iterationen einschränkt.Imaging methods of this type are known per se -. B. from DE-A 19920872 or from the publication of CR. Meyer et al. 1997, Apr. 1 (3): 195-206, although they are the most suitable ones, they are: "Demonstration of accuracy and clinical versatility of mutual information for automatic multimodality image fusion using affine and thin-plate spline warped geometric deformations". however, the calculations - especially in the case of three-dimensional images - require an extraordinary amount of time, so that they can not be performed in real time in the foreseeable future, which is why these procedures have not been used for interventional procedures, which are usually important is the evaluation function, which is a measure of the coincidence of the two images in the various iterations local maxima, so that registration errors can occur if you limit the number of possible iterations.
Erfindungsgemäß erfolgt das Registrieren aber unter Verwendung der von den Positionssensoren gemessenen Sensorkoordinaten, wodurch die Registrierung wesentlich beschleunigt wird. Die Sensorkoordinaten, die bei der Erzeugung des anderen Bildes des Untersuchungsobjektes gemessen werden, stellen die Positionen dar, in die die Punkte des Untersuchungsobjektes, an denen sich die Positionssensoren befinden, durch die Registrierung transformiert werden. Ohne diese Festlegung würde im Registrierverfahren im allgemeinen alle Voxel des einen Bildes auf eine neue Position transformiert, bis eine optimale Ähnlichkeit mit dem anderen Bild erreicht ist. Dadurch, daß die Transformation im Bereich der mit den Positionssensoren verbundenen Voxel aber entsprechend der in dem anderen Bild gemessenen Sensorkoordinaten vorgegeben wird, wird die Suche nach Transformationen mit optimaler Ähnlichkeit wesentlich eingeschränkt, wodurch das Registrierverfahren wesentlich beschleunigt wird. Es ist dann auch ein Einsatz bei interventionellen Untersuchungen möglich, bei denen es auf eine schnelle Darstellung des Untersuchungsobjektes in einem Kombinationsbild ankommt.According to the invention, however, the registration takes place using the sensor coordinates measured by the position sensors, whereby the registration is considerably accelerated. The sensor coordinates, which are measured during the generation of the other image of the examination subject, represent the positions into which the points of the examination subject in which the position sensors are located are transformed by the registration. Without this definition, in the registration process, all voxels of the one image would generally be transformed to a new position until an optimal similarity with the other image is achieved. By predefining the transformation in the range of the voxels connected to the position sensors in accordance with the sensor coordinates measured in the other image, the search for transformations with optimum similarity is substantially restricted, which considerably speeds up the registration process. It is then also possible to use in interventional examinations, in which it depends on a quick presentation of the examination subject in a combination image.
Grundsätzlich wäre es möglich, die bildbasierte Registrierung des einen Bildes auf das andere Bild direkt vorzunehmen. Bei der in Anspruch 2 angegebenen Ausgestaltung der Erfindung ergibt sich ein zweistufiges Registrierverfahren, bei dem in der ersten Stufe das eine Bild rein geometrisch entsprechend der Veränderung der Sensorkoordinaten transformiert wird, woraus ein Zwischenbild resultiert. Dieses Zwischenbild ist eine deutlich bessere Annäherung an das andere Bild als das Bild, aus dem es abgeleitet worden ist. Dieses Zwischenbild ist dann in der zweiten Stufe Gegenstand eines bildbasierten Registrierverfahrens, mit dem es auf das andere Bild registriert wird. Bei dem bildbasierten Registrierverfahren ist die räumliche Veränderung im Zwischenbild im Bereich der Sensorkoordinaten beschränkt - vorzugsweise findet keinerlei Veränderung des Zwischenbildes an den Positionen der Sensoren statt. Da die Positionen der Sensoren aber nur mit endlicher Genauigkeit ermittelbar sind, darf das Zwischenbild auch im Bereich der Sensoren verändert werden - allerdings nur geringfügig im Vergleich zum übrigen Bild. - Da die Unterschiede zwischen dem Zwischenbild und dem anderen Bild geringer sind als die Unterschiede zwischen dem einen und dem anderen Bild, ist die Suche nach der Transformation, die eine optimale Übereinstimmung ergibt, leichter und die Gefahr einer inkorrekten Lösung des Registrierproblems geringer. Außerdem wird das Registrierverfahren noch weiter beschleunigt.In principle, it would be possible to make the image-based registration of one image directly on the other image. In the embodiment of the invention specified in claim 2, a two-stage registration method results, in which in the first stage the one image is transformed purely geometrically according to the change in the sensor coordinates, resulting in an intermediate image. This intermediate image is a much better approximation to the other image than the image from which it was derived. This intermediate image is then the subject of an image-based registration process in the second stage, with which it is registered on the other image. In the image-based registration method, the spatial change in the intermediate image in the region of the sensor coordinates is limited - preferably no change of the intermediate image takes place at the positions of the sensors. Since the positions of the sensors can only be determined with finite accuracy, the intermediate image may also be changed in the area of the sensors - but only slightly compared to the rest of the image. - Since the differences between the intermediate image and the other image are smaller than the differences between the one image and the other, the search for the transformation is optimal match, easier and less risk of incorrect resolution of the registration problem. In addition, the registration process will be further accelerated.
Bei der Ausgestaltung nach Anspruch 3 wird (automatisch) eine weitere Registrierung mit einem weiteren Bild initialisiert, und zwar dann, wenn sich aus der Veränderung der gemessenen Sensorkoordinaten ergibt, daß das Untersuchungsobjekt sich bewegt bzw. verformt hat. In diesem Fall haben also die Positionssensoren eine Doppelfunktion. Einerseits initialisieren sie die Erzeugung eines weiteren Bildes und eine weitere Registrierung und andererseits wird durch sie das Registrierverfahren wesentlich vereinfacht und beschleunigt. Das weitere Bild ist dabei das letzte zuvor erzeugt Bild oder (falls die Bilder nicht in vorgesehener zeitlicher Folge automatisch erzeugt werden) ein Bild, dessen Erzeugung nach der Feststellung einer Veränderung der gemessenen Sensorkoordinaten eingeleitet wird.In the embodiment according to claim 3, a further registration is (automatically) initialized with a further image, namely, if it results from the change of the measured sensor coordinates that the examination object has moved or deformed. In this case, the position sensors have a double function. On the one hand, they initialize the creation of another image and a further registration and on the other hand, the registration process is considerably simplified and accelerated. The further image is the last previously generated image or (if the images are not automatically generated in the intended temporal sequence) an image whose generation is initiated after the detection of a change in the measured sensor coordinates.
Die Ausgestaltung nach Anspruch 4 betrifft die Anwendung des erfindungsgemäßen Verfahrens in einer interventionellen Prozedur. Hierbei wird auch noch das bei der interventionellen Prozedur benutzte medizinische Instrument in das Kombinationsbild eingeblendet.The embodiment according to claim 4 relates to the application of the method according to the invention in an interventional procedure. In this case, the medical instrument used in the interventional procedure is also superimposed on the combination image.
Die Ausgestaltung nach Anspruch 5 geht davon aus, daß bei dem Verfahren (zwei) unterschiedliche bildgebende Systeme (Modalitäten) benutzt werden. Bei einer interventionellen Prozedur können das beispielsweise einThe embodiment according to claim 5 assumes that in the method (two) different imaging systems (modalities) are used. For example, in an interventional procedure, this can be a
Computertomograph und ein Ultraschall-Bilderzeuger sein, die komplementäre Bildinformationen liefern, so daß das Kombinationsbild einen höheren Informationsgehalt hat als jedes der beiden Bilder, aus denen es sich zusammensetzt. Jedoch kann die Erfindung auch dann von Nutzen sein, wenn nur eine einzige Modalität benutzt wird. Beispielsweise kann in einem ersten (vor einer interventionellen Prozedur aufgenommenen) CT-BiId mit Hilfe eines Kontrastmittels ein Tumor dargestellt sein, der in den im Verlauf der anschließenden Intervention ohne ein Kontrastmittel aufgenommenen CT-BiId nicht mehr sichtbar ist.Computed tomography and an ultrasound imager that provide complementary image information, so that the combination image has a higher information content than each of the two images of which it is composed. However, the invention may be useful even if only a single modality is used. For example, in a first CT scan (recorded before an interventional procedure) a contrast agent can be used to visualize a tumor that is no longer visible in the CT image acquired during the subsequent intervention without a contrast agent.
Die Verwendung der Sensorkoordinaten beim Registrieren des einen Bildes auf das andere setzt voraus, daß die Lage des Bildkoordinatensystems in Bezug auf das Sensorkoordinatensystem bekannt ist, so daß die gemessenen Sensorkoordinaten durch eine einfache Koordinatentransformation in die Bildkoordinaten überführt werden können (oder umgekehrt). Dies ist auf einfache Weise durch die Ausgestaltung nach Anspruch 6 möglich, bei der die erforderliche Transformation aus den gemessenen Sensorkoordinaten und den sich aus dem Segmentierungsverfahren ergebenen Bildkoordinaten der Sensoren abgeleitet werden kann. Die Beziehung zwischen Sensorkoordinaten und Bildkoordinaten lässt sich aber auch auf andere Weise ermitteln, z. B. indem man die Raumkoordinaten des Bilderfassungsgerätes und der Sensoren mißt. Wenn die Raumkoordinaten des Bilderfassungsgerätes bekannt sind, ergibt sich aus den Gegebenheiten des bildgebenden Systems auch die Lage der Bildkoordinaten des damit erzeugten Bildes in Bezug auf die Raumkoordinaten. Anspruch 7 gibt eine Anordnung zur Durchführung des erfindungsgemäßen Verfahrens an, und Anspruch 8 betrifft ein Computerprogramm für eine zu dieser Anordnung gehörende Bildverarbeitungseinheit.The use of the sensor coordinates when registering one image to the other assumes that the position of the image coordinate system with respect to the sensor coordinate system is known, so that the measured sensor coordinates can be converted into the image coordinates by a simple coordinate transformation (or vice versa). This is easy Mode by the embodiment according to claim 6 possible, in which the required transformation of the measured sensor coordinates and resulting from the segmentation image coordinates of the sensors can be derived. The relationship between sensor coordinates and image coordinates can also be determined in other ways, eg. B. by measuring the spatial coordinates of the image acquisition device and the sensors. If the spatial coordinates of the image acquisition device are known, the situation of the imaging system also results in the position of the image coordinates of the image generated therewith in relation to the spatial coordinates. Claim 7 specifies an arrangement for carrying out the method according to the invention, and claim 8 relates to a computer program for an image processing unit belonging to this arrangement.
Die Erfindung wird nachfolgend anhand der Zeichnungen näher dargestellt. Es zeigenThe invention will be illustrated in more detail with reference to the drawings. Show it
Fig. 1 eine Anordnung zur Durchführung des Verfahrens,1 shows an arrangement for carrying out the method,
Fig. 2 eine durch Blöcke symbolisierte schematische Darstellung dieserFig. 2 is a symbolized by blocks schematic representation of this
Anordnung, Fig. 3 den Ablauf dieses Verfahrens in einem Blockdiagramm undArrangement, Fig. 3 shows the flow of this method in a block diagram and
Fig. 4 die von einer Bildverarbeitungseinheit erzeugten bzw. verarbeiteten Bilder.4 shows the images generated or processed by an image processing unit.
Fig. 1 zeigt einen medizinischen Arbeitsplatz, mit dem das erfindungsgemäße Verfahren im Rahmen einer interventionellen Prozedur durchgeführt werden kann. Mit 10 ist dabei ein (Röntgen-) Computertomograph bezeichnet, der einen Patientenlagerungstisch 12 umfasst, auf dessen in Längsrichtung verschiebbarer Tischplatte 11 sich ein Patient 1 befindet. Der Patient kann von der in der Zeichnung dargestellten Behandlungsposition mit der Tischplatte 11 in eine definierte Bildaufnahmeposition verschoben werden. Die Länge der Strecke zwischen Bildaufnahmeposition und Behandlungsposition ist einstellbar und wird vom System registriert. Außerdem ist ein Ultraschallgerät 20 mit einem Ultraschallbildgeber 21 vorgesehen, der während der Behandlung mehrere Ultraschallbilder erzeugt. Diese sind dreidimensional - ebenso wie das vom Computertomographen gelieferte Bild. Die vom Ultraschallgerät 20 aufgenommen Ultraschallbilder und die CT-Bilder werden in einer Workstation 30 miteinander kombiniert, und das resultierende Kombinationsbild wird auf einem Monitor wiedergegeben.1 shows a medical workstation with which the method according to the invention can be carried out as part of an interventional procedure. With a 10 (X-ray) computed tomography is referred to, which includes a patient table 12, on the longitudinally displaceable table top 11, a patient 1 is located. The patient can be moved from the treatment position shown in the drawing with the table top 11 in a defined image pickup position. The length of the distance between the image acquisition position and the treatment position is adjustable and is registered by the system. In addition, an ultrasound device 20 is provided with an ultrasound imager 21, which generates a plurality of ultrasound images during the treatment. These are three-dimensional - as is the image supplied by the computer tomograph. The ultrasound images and the CT images taken by the ultrasound device 20 are combined in a workstation 30, and the resulting combination image is displayed on a monitor.
Die interventionelle Behandlung wird mit einem chirurgischen Instrument durchgeführt, z. B. einer Nadel 60, die zu Zwecken der Hochfrequenzablation in einen Tumor des Patienten eingeführt werden soll. Außerdem ist ein System 50, 54 vorgesehen, das ein elektromagnetisches Orten (engl.: tracking) der Nadel 60, des Ultraschallbilderzeugers 21 und des Patienten 1 erlaubt. Das System umfasst eine Anzahl am Patienten befestigter Positionssensoren 51, einen an der Nadel 60 befestigten Positionssensor 52 und zwei rechtwinklig zueinander angeordnete und am Ultraschallbilderzeuger 21 befestigte Positionssensoren 53. Die Sensoren werden durch Spulen von einigen mm Länge gebildet, die einem Magnetfeld ausgesetzt sind, das sich zeitlich periodisch verändert und dessen Richtung in definierter Weise geändert wird. Dieses wird von einem in definierter Position bezüglich des Computertomographen 10 angeordneten Magnetfelderzeuger 54 erzeugt. Die in den Spulen bzw. den Positionssensoren erzeugten Signale werden einer Registriereinheit 50 zugeführt, die mit der Workstation 30 verbunden ist. Das von einer Spule gelieferte Signal hängt von der Position der Spule im Raum (bzw. in Bezug auf den Magnetfelderzeuger 54) ab und ändert sich außerdem bei einer Schwenkung der Spule um eine zur Spulenachse senkrechte Achse. Auf eine Schwenkung bzw. Drehung der Spule um ihre Längsachse spricht das Signal nicht an. Aus dem Spulensignal lässt sich somit u. a. die Lage der Spule im Raum (d. h. die Sensorkoordinaten) ableiten. Die beiden senkrecht zueinander am Ultraschallbildgeber 21 angeordneten Spulen 53 legen somit die Ortskoordinaten und die Orientierung in allen drei Raumrichtungen fest.The interventional treatment is performed with a surgical instrument, e.g. A needle 60 which is to be inserted into a tumor of the patient for radiofrequency ablation. In addition, a system 50, 54 is provided which allows electromagnetic tracking of the needle 60, the ultrasound imager 21 and the patient 1. The system comprises a number of patient-mounted position sensors 51, a position sensor 52 attached to the needle 60, and two position sensors 53 arranged at right angles to each other and attached to the ultrasound imager 21. The sensors are formed by coils a few mm in length exposed to a magnetic field periodically changes and its direction is changed in a defined way. This is generated by a magnetic field generator 54 arranged in a defined position relative to the computer tomograph 10. The signals generated in the coils or the position sensors are supplied to a registration unit 50, which is connected to the workstation 30. The signal provided by a coil depends on the position of the coil in space (or with respect to the magnetic field generator 54) and also changes upon pivoting of the coil about an axis perpendicular to the coil axis. On a pivoting or rotation of the coil about its longitudinal axis, the signal does not respond. From the coil signal can thus u. a. derive the position of the coil in space (ie the sensor coordinates). The two coils 53 arranged perpendicular to one another on the ultrasound imager 21 thus determine the location coordinates and the orientation in all three spatial directions.
Positionserfassungssysteme dieser Art sind bekannt und z. B. unter der Bezeichnung Aurora der Firma Northern Digital Inc. (in Waterloo, Kanada) erhältlich. Anstelle eines solchen Positionsmeßsystems können jedoch auch anderePosition detection systems of this type are known and z. B. under the name Aurora of the company Northern Digital Inc. (in Waterloo, Canada) available. However, other than such a position measuring system may be used
Positionsmeßsysteme eingesetzt werden, beispielsweise optische Systeme mit Licht emittierenden Dioden, deren Lage von im Raum verteilten Lichtempfängern gemessen wird. Eine interventionelle Prozedur wird dadurch eingeleitet, daß der Patient 1 mit einer Anzahl von Positionssensoren 51 versehen wird. Die Tischplatte 11 wird dann von der Behandlungsposition in die Aufnahmeposition und nach Erstellung eines dreidimensionalen CT-Bildes wieder in die Behandlungsposition zurückgefahren. Fig. 4b zeigt - beispielhaft und schematisch - das resultierende CT-BiId. Man erkennt im Vergleich zu Fig. 4a, die den für die Behandlung relevanten Bereich komplett darstellt, daß nur einige der anatomischen Strukturen gut dargestellt werden, darunter ein Tumor 41, während andere Strukturen, z. B. die Blutgefäße nur ungenügend dargestellt werden. Das in der Behandlungsposition mit Hilfe des Ultraschallbildgebers erzeugte dreidimensionale Bild hingegen, das in Fig. 4c schematisch dargestellt ist, stellt die Blutgefäße und andere anatomische Strukturen -jedoch nicht den Tumor 41 - mit ausreichender Qualität dar. Es wird dann - in noch zu erläuternder Weise - ein Kombinationsbild erzeugt, das Bildinformation sowohl aus dem CT-BiId als auch aus dem Ultraschallbild enthält. Der Chirurg kann dann anhand des Bildes planen, wo und unter welchemPosition measuring systems are used, for example, optical systems with light-emitting diodes whose position is measured by distributed in space light receivers. An interventional procedure is initiated by providing the patient 1 with a number of position sensors 51. The table top 11 is then moved back from the treatment position to the receiving position and after creating a three-dimensional CT image back to the treatment position. Fig. 4b shows - by way of example and schematically - the resulting CT image. It can be seen in comparison to Fig. 4a, which represents the relevant area for treatment completely that only some of the anatomical structures are well represented, including a tumor 41, while other structures, eg. B. the blood vessels are shown only insufficient. On the other hand, the three-dimensional image generated in the treatment position with the aid of the ultrasound image generator, which is shown schematically in FIG. 4c, represents the blood vessels and other anatomical structures-but not the tumor 41-with sufficient quality. It will then be explained in the following generates a combination image containing image information from both the CT image and the ultrasound image. The surgeon can then use the image to plan where and under which
Winkel er die Nadel 60 am besten in den Patienten einführen kann, ohne lebenswichtige Gefäße oder Organe zu verletzen. Er führt dann die Nadel 60 entsprechend seiner Planung in den Patienten ein und stellt auch diese in dem Kombinationsbild dar. Zumindest dann, wenn der Patient sich bewegt oder verformt hat, wird ein weiteres dreidimensionales Ultraschallbild erzeugt, aus dem in Verbindung mit dem CT-BiId ein weiteres CT-BiId erzeugt wird, wenn sich ergibt, daß die Nadelspitze sich dem Tumor nähert.Angle he can best insert the needle 60 in the patient without injuring vital vessels or organs. He then inserts the needle 60 according to his planning into the patient and also represents this in the combination image. At least when the patient has moved or deformed, a further three-dimensional ultrasound image is generated, from which in conjunction with the CT image another CT scan is produced when the needle tip is approaching the tumor.
Fig. 2 zeigt in Form von Blöcken schematisch das Zusammenwirken der Komponenten nach Fig. 1, wobei diese in beiden Bildern mit denselben Bezugszeichen bezeichnet sind. Mit 55 ist dabei das Ensemble der am Patienten befestigtenFig. 2 shows in the form of blocks schematically the interaction of the components according to Fig. 1, wherein these are designated in both images with the same reference numerals. At 55, the ensemble is attached to the patient
Positionssensoren 51 bezeichnet. Die Sensorsignale werden von der Einheit 50 erfasst und in digitale Sensorkoordinaten umgesetzt, die von der durch die Workstation gebildeten Kontroll- und Bildverarbeitungseinheit 30 weiterverarbeitet werden. Dieser Einheit werden auch die Bilder der bildgebenden System 10 und 20 zugeführt, die nach Weiterverarbeitung zu einem Kombinationsbild auf einem Monitor 40 dargestellt werden können. Auf dem Monitor können aber auch zusätzlich beispielsweise die jeweiligen Ultraschallbilder in Verbindung mit der Nadel 60 dargestellt werden. Die Einheit 30 ist in zwei Module untergliedert. Das Modul 31 berechnet auf noch zu erläuternde Weise analytische die rigide Transformation zwischen den Sensorkoordinaten zur Zeit der Erfassung des CT-Bilds und den Bildkoordinaten, die den Sensorpositionen zugeordnet sind. Das Modul 35 seinerseits ist in zwei Submodule 32 und 33 unterteilt. Das Submodul 32 analysiert kontinuierlich die Sensorkoordinaten und berechnet bei Veränderungen eine elastische Transformation, die die Sensorkoordinaten bei Aufnahme des CT-Bilds auf die aktuellen Sensorkoordinaten transformiert. Diese Transformation wird auf das CT-BiId angewendet. Das Submodul 33 führt eine bildbasierte Registrierung zwischen dem im Submodul 32 durch die Transformation entstehenden Zwischenbild und dem Ultraschallbild durch.Position sensors 51 denotes. The sensor signals are detected by the unit 50 and converted into digital sensor coordinates, which are further processed by the control and image processing unit 30 formed by the workstation. This unit is also the images of the imaging system 10 and 20, which can be displayed after further processing to a combination image on a monitor 40. In addition, for example, the respective ultrasound images in conjunction with the needle 60 can also be displayed on the monitor. The unit 30 is divided into two modules. The module 31 calculates, as will be explained, analytical the rigid transformation between the sensor coordinates at the time of the CT image acquisition and the image coordinates associated with the sensor positions. The module 35 in turn is divided into two submodules 32 and 33. The sub-module 32 continuously analyzes the sensor coordinates and, in the case of changes, calculates an elastic transformation that transforms the sensor coordinates when the CT image is acquired to the current sensor coordinates. This transformation is applied to the CT image. Submodule 33 performs image-based registration between the intermediate image resulting from the transformation in submodule 32 and the ultrasound image.
Das Verfahren wird nachfolgend anhand der Fig. 3 näher erläutert. Im Schritt 101 wird mittels des Computertomographen 10 ein dreidimensionales CT-BiId Iref (u,v,w). Gleichzeitig werden die Koordinaten der Sensoren Sref (x,y,z) ermittelt (Block 102). Im Schritt 103 werden die Bildkoordinaten der Sensoren Sref (u,v,w) durch Segmentierung des CT-Bildes Iref (u,v,w) ermittelt. Die am Patienten befestigten Sensoren (elektrische Spulen) werden ja in dem CT-BiId dargestellt. Im Schritt 104 wird eine starre (rigide) Transformation Tref ermittelt, durch die die Ortskoordinaten der Sensoren Sref (x,y,z) in ihre Bildkoordinaten Sref (u,v,w) überführt werden.The method will be explained in more detail with reference to FIG. 3. In step 101, a three-dimensional CT image Iref (u, v, w) is generated by means of the computer tomograph 10. At the same time, the coordinates of the sensors S re f (x, y, z) are determined (block 102). In step 103, the image coordinates of the sensors S ref (u, v, w) are determined by segmentation of the CT image I ref (u, v, w). The attached to the patient sensors (electric coils) are indeed displayed in the CT image. In step 104, a rigid transformation T re f is determined by which the spatial coordinates of the sensors S re f (x, y, z) are converted into their image coordinates S re f (u, v, w).
Voraussetzung für diese Transformation ist, daß die Sensorkoordinaten im Bild segmentiert werden können. Wenn dies nicht möglich oder nicht erwünscht ist, können statt dessen auch die Ortskoordinaten des Computertomographen 10 ermittelt werden. Diesen lassen sich dann die Bildkoordinaten des mit dem Computertomographen erzeugten CT-Bildes Iref (u,v,w) zuordnen, so daß auf diese Weise eine Registrierung zwischen Orts- und Bildkoordinaten möglich wird. Das Submodul 32 analysiert die von den Sensoren kontinuierlich gemessenen Sensorkoordinaten. Wenn diese Koordinaten von bei der Aufnahme des CT-Bildes gemessenen Koordinaten Sref (x,y,z) abweichen, liegt eine Bewegung oder eine Verformung des Patienten vor, die im Block 105 registriert wird. Damit wird eine Registrierung des CT-Bildes Iref (u,v,w) mit einem weiteren Bild initialisiert. Die Initialisierung führt im Schritt 106 zur Aufnahme eines (weiteren) dreidimensionalen Bildes durch das Ultraschallgerät 20, falls es nicht bereits erzeugt worden ist (Ultraschallbilder können nämlich auch ohne die Initialisierung in regelmäßigen zeitlichen Abständen erzeugt werden). Zwar weichen die Bildkoordinaten des Ultraschallbildes von den Bildkoordinaten u,v,w des CT-Bildes ab; da jedoch die räumliche Lage des Ultraschallbildgebers 21 mit den Positionssensoren 53 gemessen wird, lassen sich die Bildkoordinaten des Ultraschallbildes in Raumkoordinaten x,y,z überführen. Damit können mit Hilfe der im Schritt 104 ermittelten Transformation die Bildkoordinaten des Ultraschallbildes in die Bildkoordinaten u,v,w des CT-Bildes Iref (u,v,w) überführt werden.The prerequisite for this transformation is that the sensor coordinates can be segmented in the image. If this is not possible or not desired, the location coordinates of the computer tomograph 10 can be determined instead. The image coordinates of the CT image I ref (u, v, w) generated with the computer tomograph can then be assigned to these images, so that registration between spatial and image coordinates becomes possible in this way. The sub-module 32 analyzes the sensor coordinates continuously measured by the sensors. If these coordinates deviate from coordinates S ref (x, y, z) measured when taking the CT image, there is movement or deformation of the patient registered in block 105. This initializes a registration of the CT image I re f (u, v, w) with another image. The initialization results in the step 106 acquiring a (further) three-dimensional image by the ultrasound device 20, if it has not already been generated (namely, ultrasound images can also be generated without the initialization at regular time intervals). Although the picture coordinates deviate of the ultrasound image from the image coordinates u, v, w of the CT image; However, since the spatial position of the ultrasound imager 21 is measured with the position sensors 53, the image coordinates of the ultrasound image can be converted into spatial coordinates x, y, z. Thus, with the aid of the transformation determined in step 104, the image coordinates of the ultrasound image can be converted into the image coordinates u, v, w of the CT image Iref (u, v, w).
Die gleichzeitig mit der Aufnahme des entsprechend transformierten Ultraschallbildes I1 (u,v,w) gemessen Sensorkoordinaten S1 (x,y,z) werden gespeichert (Block 107). Auch die Lage des interventionellen Instruments, d. h. der Nadel 60, bei der Aufnahme des Ultraschallbildes wird mit dem Sensor 52 gemessen und gespeichert (Block 108).The sensor coordinates S 1 (x, y, z) measured simultaneously with the acquisition of the correspondingly transformed ultrasound image I 1 (u, v, w) are stored (block 107). The position of the interventional instrument, ie the needle 60, when taking the ultrasound image is also measured and stored with the sensor 52 (block 108).
Das CT-BiId Iref (u,v,w) ist in Fig. 4b dargestellt, während das Ultraschallbild I1 (u,v,w) in Fig. 4c dargestellt ist. Wenn man die beiden Bilder unmittelbar überlagern würde, ergäbe sich das in Fig. 4d dargestellte Bild, das aufgrund der Bewegung bzw. Verformung im besten Falle unscharf, meist aber verwirrend und daher weniger nützlich ist als das CT-BiId oder das Ultraschallbild. Es werden daher im Schritt 109 die Sensorkoordinaten Sref (x,y,z) bei der Erzeugung der des CT-Bildes mit den Sensorkoordinaten S1 (x,y,z) bei der Erzeugung des Ultraschallbildes registriert, d. h. es wird eine elastische Transformation T1 ermittelt, die die Sensorkoordinaten Sref (x,y,z) in die Sensorkoordinaten S1 (x,y,z) überführt.The CT image I re f (u, v, w) is shown in Fig. 4b, while the ultrasound image I 1 (u, v, w) is shown in Fig. 4c. If one were to superimpose the two images directly, this would result in the image shown in Fig. 4d, which at best is blurred due to the movement or deformation, but usually confusing and therefore less useful than the CT image or the ultrasound image. Therefore, in step 109, the sensor coordinates S ref (x, y, z) are registered during generation of the CT image with the sensor coordinates S 1 (x, y, z) during generation of the ultrasound image, ie an elastic transformation T 1 , which converts the sensor coordinates S re f (x, y, z) into the sensor coordinates S 1 (x, y, z).
Im Schritt 110 wird die ermittelte Transformation T1 auf das CT-BiId Iref (u,v,w) angewandt und zusätzlich die im Schritt 104 ermittelte Transformation Tref. Das Ergebnis dieser zweifachen Transformation ist ein Zwischenbild Iz (u,v,w), das in den Positionen der Sensoren dem Ultraschallbild I1 (u,v,w) entspricht und das an allen Positionen zwischen den Sensoren nur eine Annäherung an dieses Bild ist. Dieses transformierte Bild Iz stimmt aber wesentlich besser mit dem Bild I1 überein als das CT-BiId Iref.In step 110, the determined transformation T 1 is applied to the CT image Iref (u, v, w) and, in addition, the transformation T re f determined in step 104. The result of this twofold transformation is an intermediate image I z (u, v, w), which in the positions of the sensors corresponds to the ultrasound image I 1 (u, v, w) and which only approximates this image at all positions between the sensors is. However, this transformed image I z is much better in agreement with the image I 1 than the CT image I ref .
Im Schritt 111 erfolgt dann eine bildbasierte Registrierung des Zwischenbildes Iz (u,v,w) auf das Ultraschallbild I1 (u,v,w) mit Hilfe des Submoduls 33. Bei der dafür durchgeführten iterativen Berechnung werden wie üblich die Koordinaten der Bildpunkte des Zwischenbildes iterativ verändert. Die Koordinaten der Sensoren werden dabei jedoch als Fixpunkte betrachtet, deren Lage nicht oder - wegen etwaiger Messungenauigkeiten - nur begrenzt verändert werden darf. Die Registrierung darf somit nur solche Transformationen zulassen, welche die Positionen der Sensoren im Zwischenbild Iz praktisch nicht verändert.In step 111, an image-based registration of the intermediate image I z (u, v, w) then takes place on the ultrasound image I 1 (u, v, w) with the aid of the submodule 33. In the iterative calculation carried out for this, as usual, the coordinates of the pixels of the intermediate image changed iteratively. However, the coordinates of the sensors are considered as fixed points whose position is not or - because of any measurement inaccuracies - may be changed only limited. The registration is allowed thus allow only such transformations, which practically does not change the positions of the sensors in the intermediate image I z .
Dies kann beispielsweise dadurch erreicht werden, daß die zu bestimmende elastische Registrierungstransformation als „thin-plate-spline" (TPS) beschrieben wird. Bei diesem aus der Veröffentlichung von Meyer et al. In Med Image Anal. 1997 Apr;l(3):195-206 bekannten Verfahren werden feste Kontrollpunkte an den Positionen der Sensoren und eine beliebige Anzahl mobiler Kontrollpunkte zwischen diesen Positionen vorgegeben. Der Optimierungsalgorithmus verändert nur die mobilen Kontrollpunkte, berechnet aber die TPS-Transformation, basierend auf allen (mobilen und festen) Kontrollpunkten. Im Übrigen folgt die Änderung der Kontrollpunkte und die Optimierung der Ähnlichkeit dem bekannten Verfahren.This can be achieved, for example, by describing the elastic registration transformation to be determined as "thin-plate-spline" (TPS), as described in the publication by Meyer et al., In Med Image Anal., 1997 Apr. 1 (3): 195-206 known methods specify fixed control points at the positions of the sensors and any number of mobile control points between these positions The optimization algorithm modifies only the mobile control points, but calculates the TPS transformation based on all (mobile and fixed) control points Incidentally, the change of the control points and the optimization of the similarity follow the known method.
Das aus der bildbasierten Registrierung hervorgehende Bild Ie weist gegenüber dem Referenzbild Iref, eine solche Verformung auf, daß es optimal mit dem Bild I1 übereinstimmt. Das Bild Ie wird dann mit dem Bild I1 kombiniert (Schritt 112), indem man die Bilder z.B. halbtransparent überlagert, d.h. indem man die Bilder Voxel für Voxel mit einstellbarem Gewicht summiert. In dem so gebildeten und in Fig. 4e dargestellten und weitgehend dem „Idealbild" nach Fig. 4a entsprechenden Kombinationsbild Ic decken sich die einander entsprechenden anatomischen Strukturen, so daß es keine Bewegungsartefakte aufweist. In das Kombinationsbild Ic wird auch noch die (virtuelle) Darstellung der Nadel eingeblendet. Beim weiteren Vorschieben der Nadel verändert diese ihre Lage in dem Kombinationsbild.The image I e resulting from the image-based registration has such a deformation with respect to the reference image I re f that it optimally matches the image I 1 . Image I e is then combined with image I 1 (step 112) by superimposing the images semi-transparently, ie by summing the images voxel for voxels with adjustable weight. Illustrated and largely to the "ideal" according to Fig. 4a corresponding composite image I c to cover the mutually corresponding anatomical structures, so that it has no motion artefacts in the thus formed and shown in Fig. 4e. In the composite image I c is also the (virtual When the needle advances, the needle changes its position in the combination image.
Wenn die weiterhin überwachten Sensorkoordinaten deutlich von den bei der Aufnahme des Ultraschallbildes gemessenen Sensorkoordinaten abweichen, liegt eine Bewegung oder Verformung des Patienten, z. B. durch eine Atmung vor, die im Schritt 105 detektiert und registriert wird, und es wird eine Registrierung des CT-Bildes Iref (u,v,w) mit einem weiteren Ultraschallbild (dem jeweils letzten) initialisiert - und erforderlichenfalls die Erzeugung dieses Ultraschallbildes. Die bei der Aufnahme des weiteren Ultraschallbildes gemessenen und gespeicherten Sensorkoordinaten werden für die Registrierung des CT-Bildes Iref mit diesem weiteren Bild in den erneut durchgeführten Schritten 109-112 herangezogen. If the further monitored sensor coordinates deviate significantly from the sensor coordinates measured during the acquisition of the ultrasound image, a movement or deformation of the patient, eg. By breathing, which is detected and registered in step 105, and registration of the CT image Iref (u, v, w) is initiated with another ultrasound image (the last one) - and, if necessary, the generation of this ultrasound image , The sensor coordinates measured and stored during the recording of the further ultrasound image are used for the registration of the CT image I re f with this further image in the steps 109-112 that have been carried out again.

Claims

PATENTANSPRÜCHE: CLAIMS:
1. Bildgebendes Verfahren mit den Schritten: e) Erzeugen eines ersten Bildes (Iref) eines mit Positionssensoren (51) versehenen Untersuchungsobjektes, f) Erzeugen eines zweiten Bildes (I1) des mit Positionssensoren (51) versehenen Untersuchungsobjektes, g) Registrieren des einen der beiden Bilder auf das andere Bild durch Vergleich der Bilder und unter Verwendung der von den Positionssensoren (51) gemessenen Sensorkoordinaten (S(x,y,z)), h) Kombinieren des registrierten Bildes (Ie) mit dem anderen Bild und Wiedergabe des Kombinationsbildes (Ic).1. Imaging method comprising the steps of: e) generating a first image (I ref ) of an examination object provided with position sensors (51), f) generating a second image (I 1 ) of the examination object provided with position sensors (51), g) registering the one of the two images on the other image by comparing the images and using the sensor coordinates (S (x, y, z)) measured by the position sensors (51), h) combining the registered image (I e ) with the other image and Playback of the combination picture (I c ).
2. Verfahren nach Anspruch 1, wobei das Registrieren folgende Schritte umfaßt: a) Ermitteln einer Transformation (T1), durch die die bei der Erzeugung des einen Bildes (Iref) gemessenen Sensorkoordinaten (Sref (x,y,z)) in die bei der Erzeugung des anderen Bildes (I1) gemessenen Sensorkoordinaten (S1 (x,y,z)) überführt werden, b) Anwendung dieser Transformation auf das eine Bild (Iref) zur Erzeugung eines Zwischenbildes (Iz), c) Bildbasiertes Registrieren des Zwischenbildes (Iz) auf das andere Bild (I1), wobei die Veränderung im Zwischenbild im Bereich der Sensorkoordinaten beschränkt wird.2. The method according to claim 1, wherein the registering comprises the following steps: a) determining a transformation (T 1 ) by which the sensor coordinates (S re f (x, y, z) measured in the generation of the one image (I re f) are determined )) in the measured when the other image (I 1) generating sensor coordinate (S 1 (x, y, z)) are transferred,) application b of this transformation on an image (I re f) for generating an intermediate image (I z ), c) image-based registering of the intermediate image (I z ) on the other image (I 1 ), wherein the change in the intermediate image in the region of the sensor coordinates is limited.
3. Verfahren nach Anspruch 1, wobei die Sensorkoordinaten überwacht werden und wobei bei einer Veränderung der Sensorkoordinaten eine erneute Registrierung mit einem weiteren Bild initialisiert wird, wobei die bei dessen3. The method of claim 1, wherein the sensor coordinates are monitored and wherein a change in the sensor coordinates re-registration is initialized with a further image, wherein the at
Erzeugung gemessenen Sensorkoordinaten in die Registrierung eingebunden werden und das aus dieser Registrierung hervorgehende Bild zur Erzeugung eines weiteren Kombinationsbildes herangezogen wird.Generation of measured sensor coordinates are integrated into the registration and the image resulting from this registration is used to produce a further combination image.
4. Verfahren nach Anspruch 1, wobei in Verbindung mit einer interventionellen Prozedur die räumliche Lage medizinischer Instrumente (60) mittels daran befestigter, weiterer Positionssensoren (52) gemessen und in dem Kombinationsbild (Ic ) dargestellt wird.The method of claim 1, wherein in conjunction with an interventional procedure, the spatial location of medical instruments (60) is measured by means of further position sensors (52) attached thereto and displayed in the combination image (I c ).
5. Verfahren nach Anspruch 1, wobei unterschiedliche bildgebende Systeme (10,20) zur Erzeugung der Bilder des Untersuchungsobjektes vorgesehen sind.5. The method of claim 1, wherein different imaging systems (10,20) are provided for generating the images of the examination subject.
6. Verfahren nach Anspruch 1, wobei durch ein Segmentierungsverfahren die Bildkoordinaten der mit dem Untersuchungsobjekt verbundenen Sensoren (51) in wenigstens einem der Bilder ermittelt werden und eine Transformation (Tref) bestimmt wird, welche die von den Sensoren gemessenen Sensorkoordinaten (Sref (x,y,z)) in die Bildkoordinaten dieser Sensoren überführt.6. The method as claimed in claim 1, wherein the image coordinates of the sensors (51) connected to the examination object are determined in at least one of the images by a segmentation method, and a transformation (T re f) is determined which determines the sensor coordinates (S ref (x, y, z)) in the image coordinates of these sensors.
7. Anordnung zur Durchführung eines Verfahrens nach Anspruch 1 mit a) mindestens einem Bilderzeugungssystem (10, 20) zum Erzeugen wenigstens zweier Bilder (Iref, L) eines Untersuchungsobjektes (1), b) einer Einrichtung zur Erfassung der von mit dem Untersuchungsobjekt verbundenen Positionssensoren (51) gemessenen Sensorkoordinaten, c) einer Bildverarbeitungseinheit (30) mit Mitteln (31, 32, 33) zum Registrieren des einen der beiden Bilder (Iref) auf das andere Bild (I1) durch Vergleich der Bilder und unter Verwendung der von den Positionssensoren (51) gemessenen7. Arrangement for carrying out a method according to claim 1 with a) at least one image generation system (10, 20) for generating at least two images (I re f, L) of an examination object (1), b) a device for detecting the with the examination object c) an image processing unit (30) having means (31, 32, 33) for registering the one of the two images (I ref ) on the other image (I 1 ) by comparing the images and using that measured by the position sensors (51)
Sensorkoordinaten und mit Mitteln (33) zum Kombinieren des registrierten (Ie) Bildes mit dem anderen Bild (I1) d) und einer Bildwiedergabeeinheit zur Wiedergabe des Kombinationsbildes (Ic).Sensor coordinates and means (33) for combining the registered (I e ) image with the other image (I 1 ) d) and an image display unit for reproducing the combination image (I c ).
8. Computerprogramm oder Computerprogrammprodukt für eine programmierbare Bildverarbeitungseinheit nach Anspruch 7 zur Verarbeitung zweier Bilder eines Untersuchungsobjektes und von Sensorkoordinaten, die von im oder am Objekt angeordneten Positionssensoren geliefert werden mit den Schritten: a) Registrieren des einen der beiden Bilder auf das andere Bild durch Vergleich der Bilder und unter Verwendung der von den Positionssensoren gemessenen Sensorkoordinaten, b) Kombinieren des registrierten Bildes mit dem anderen Bild und Wiedergabe des Kombinationsbildes. A computer program or computer program product for a programmable image processing unit according to claim 7 for processing two Images of an object to be inspected and sensor coordinates provided by position sensors located in or on the object comprising the steps of: a) registering one of the two images on the other image by comparing the images and using the sensor coordinates measured by the position sensors; b) combining of the registered image with the other image and reproduction of the combination image.
PCT/IB2005/054329 2005-03-11 2005-12-20 Imaging method WO2006095221A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US66064805P 2005-03-11 2005-03-11
US60/660,648 2005-03-11

Publications (2)

Publication Number Publication Date
WO2006095221A2 true WO2006095221A2 (en) 2006-09-14
WO2006095221A3 WO2006095221A3 (en) 2007-03-22

Family

ID=36676729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2005/054329 WO2006095221A2 (en) 2005-03-11 2005-12-20 Imaging method

Country Status (1)

Country Link
WO (1) WO2006095221A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065600A2 (en) * 2006-11-27 2008-06-05 Koninklijke Philips Electronics, N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
EP2192855A2 (en) * 2007-07-09 2010-06-09 Superdimension, Ltd. Patent breathing modeling

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035871A1 (en) * 2000-03-30 2001-11-01 Johannes Bieger System and method for generating an image
WO2004047024A1 (en) * 2002-11-19 2004-06-03 Universität Zu Lübeck Image registration method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035871A1 (en) * 2000-03-30 2001-11-01 Johannes Bieger System and method for generating an image
WO2004047024A1 (en) * 2002-11-19 2004-06-03 Universität Zu Lübeck Image registration method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FISCHER B ET AL: "INTENSITY-BASED IMAGE REGISTRATION WITH A GUARANTEED ONE-TO-ONE POINT MATCH" METHODS OF INFORMATION IN MEDICINE, Bd. 43, Nr. 4, 2004, Seiten 327-330, XP009056104 ISSN: 0026-1270 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008065600A2 (en) * 2006-11-27 2008-06-05 Koninklijke Philips Electronics, N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
WO2008065600A3 (en) * 2006-11-27 2009-11-26 Koninklijke Philips Electronics, N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
RU2468436C2 (en) * 2006-11-27 2012-11-27 Конинклейке Филипс Электроникс, Н.В. System and method to combine ultrasonic images in real time with previously received medical images
US8731264B2 (en) 2006-11-27 2014-05-20 Koninklijke Philips N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
EP2192855A2 (en) * 2007-07-09 2010-06-09 Superdimension, Ltd. Patent breathing modeling
EP2192855A4 (en) * 2007-07-09 2013-08-07 Superdimension Ltd Patent breathing modeling
US10292619B2 (en) 2007-07-09 2019-05-21 Covidien Lp Patient breathing modeling
US11089974B2 (en) 2007-07-09 2021-08-17 Covidien Lp Monitoring the location of a probe during patient breathing

Also Published As

Publication number Publication date
WO2006095221A3 (en) 2007-03-22

Similar Documents

Publication Publication Date Title
EP2082687B1 (en) Overlaid presentation of exposures
DE10322739B4 (en) Method for markerless navigation in preoperative 3D images using an intraoperatively obtained 3D C-arm image
DE102015208929B3 (en) Method for 2D-3D registration, computing device and computer program
DE19963440C2 (en) Method and system for visualizing an object
DE102005030646B4 (en) A method of contour visualization of at least one region of interest in 2D fluoroscopic images
EP0652726B1 (en) Process for imaging the interior of bodies
DE102016202512B3 (en) Method for 2D-3D registration, computing device and computer program
DE102004020587B4 (en) Method and apparatus for visually assisting a catheter electrophysiology application with 2D fluoroscopic images
DE102005029242B4 (en) Method for recording and evaluating image data of an examination object and associated device
DE10323008A1 (en) Automatic fusion of 2D fluoroscopic C-frame X-ray images with preoperative 3D images using navigation markers, by use of a projection matrix based on a 2D fluoroscopy image and a defined reference navigation system
DE102005036322A1 (en) Intraoperative registration method for intraoperative image data sets, involves spatial calibration of optical three-dimensional sensor system with intraoperative imaging modality
EP1321101A2 (en) Method for aiding orientation in the vasculature
DE10136160A1 (en) Method and device for registering two 3D image data sets
DE102004030836A1 (en) Process for the image representation of a medical instrument, in particular a catheter, introduced into a region of examination of a patient that moves rhythmically or arrhythmically
DE102005059804A1 (en) Navigation of inserted medical instrument in a patient, e.g. a catheter, uses initial three dimensional image of the target zone to give a number of two-dimensional images for comparison with fluoroscopic images taken during the operation
DE10322738A1 (en) Markerless automatic 2D C scan and preoperative 3D image fusion procedure for medical instrument use uses image based registration matrix generation
DE102004004620A1 (en) Medical x-ray imaging method for recording an examination area for use in medical navigational procedures, whereby a spatial position of an examination area is recorded just prior to each shot and images then spatially compensated
DE10333543A1 (en) A method for the coupled presentation of intraoperative as well as interactive and iteratively re-registered preoperative images in medical imaging
DE102008037424A1 (en) Improved system and method for volume based registration
DE10210650A1 (en) Three-dimensional image display system for examination of patient involves ultrasonic scanning head connected to computer with picture blending circuits to construct three-dimensional image
DE10240727A1 (en) Imaging system and method for optimizing an x-ray image
DE102007009764A1 (en) Catheter application supporting method for treating cardiac arrhythmia, involves determining position of patient during recording of image and/or during recording of electro-anatomical mapping
DE102016203857A1 (en) Method for acquiring and processing image data of an examination object
DE102006012945A1 (en) A method of virtual layer positioning in a 3D volume data set and medical imaging system
DE102011120937B4 (en) Arrangement and method for registering tissue displacements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWW Wipo information: withdrawn in national office

Country of ref document: RU

122 Ep: pct application non-entry in european phase

Ref document number: 05850887

Country of ref document: EP

Kind code of ref document: A2

WWW Wipo information: withdrawn in national office

Ref document number: 5850887

Country of ref document: EP