WO2011026958A1 - Konzept zur überlagerung eines intraoperativen livebildes eines operationsgebiets mit einem preoperativen bild des operationsgebiets - Google Patents

Konzept zur überlagerung eines intraoperativen livebildes eines operationsgebiets mit einem preoperativen bild des operationsgebiets Download PDF

Info

Publication number
WO2011026958A1
WO2011026958A1 PCT/EP2010/063000 EP2010063000W WO2011026958A1 WO 2011026958 A1 WO2011026958 A1 WO 2011026958A1 EP 2010063000 W EP2010063000 W EP 2010063000W WO 2011026958 A1 WO2011026958 A1 WO 2011026958A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
points
area
characteristic points
preoperative
Prior art date
Application number
PCT/EP2010/063000
Other languages
English (en)
French (fr)
Inventor
Thomas Wittenberg
Sven Friedl
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to EP10752557A priority Critical patent/EP2461759A1/de
Publication of WO2011026958A1 publication Critical patent/WO2011026958A1/de
Priority to US13/412,976 priority patent/US20120188352A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body

Definitions

  • the present invention is concerned with a concept for superposing an intraoperative live image of an operating area with a preoperative image of the surgical area, as can be used, for example, to support intraoperative navigation in surgery.
  • Coronary Artery Bypass Grafting is a common surgical procedure in cardiac surgery in developed countries, bypassing severely narrowed or completely occluded coronary arteries in order to restore adequate blood supply to the heart muscle. As with most interventions, preoperative planning is important and routinely done. Various imaging techniques are used to prepare for such an intervention and to assist a surgeon in locating the surgical site of interest.
  • coronary angiography is a suitable diagnostic procedure for coronary bypass operations.
  • Angiography is the description of blood vessels using diagnostic imaging techniques, such as X-rays or magnetic resonance imaging (MRI).
  • MRI magnetic resonance imaging
  • a contrast agent ie a substance which enhances a contrast in the image or is particularly well visible in a selected examination method, is injected into a blood vessel.
  • the vessel interior filled with the contrast agent then becomes visible.
  • Non-invasive tests can not yet present the extent or distribution of anatomical heart disease with sufficient accuracy.
  • Cardiac CT cardiac CT
  • Cardiac CT is an emerging and growing field, but not yet widespread.
  • angiographic images ie angiograms
  • stenoses ie constriction of blood vessels or other hollow organs
  • potential positions of anastomoses ie, connections between two anatomical structures, such as blood vessels.
  • preoperative aids such as preoperative image data
  • planning data at the point of care (PoC) or surgical area, such as surgery.
  • PoC point of care
  • live images of the operating area A live image refers to a directly or in real time recorded and transmitted image. A captured with a camera or an endoscope live image is thus forwarded directly to a display device (eg monitor).
  • Preoperatively obtained angiographic image data are used to plan an intervention. These image data are accessible at the operating table, but only in the form of external screens or printouts. However, the transfer of transferring regions of interest from the preoperative image to an up-to-date view of the surgical site is required by the physician.
  • a cardiologist is responsible for a cardiac catheter and an interpretation of the planning data, whereas a cardiac surgeon sets the actual bypass, makes it clear that this can lead to complications.
  • MIS Minimally Invasive Surgery
  • the view of the operating area is limited and the preoperative image data are usually obtained with different location and shape parameters than the live images.
  • Coronary vessels are usually visible in angiograms, whereas they are hidden under a layer of fat on the heart surface during surgery.
  • the visibility of anatomical structures is clearly limited, which makes orientation on the heart surface, for example, a challenge.
  • Navigation systems for intraoperative support of the physician are established in the market. These are essentially based on easily recognizable markers or electromagnetic methods for determining position.
  • markers in the form of metallic or similar objects are attached to the patient and / or the surgical instruments, which are identifiable and traceable in the preoperative, mostly radiologically obtained image and by optical tracking or tracking systems even during the intervention.
  • Another approach is the use of an electromagnetic field to determine by induction a current position of the surgical instrument.
  • a superimposed view of the pre-perative image data is thereby made possible by adaptation of the same on the basis of the thus determined position data of the surgical instrument.
  • Common to all previous approaches is that they are based on the use of additional (e- lektro-) mechanical aids. This results in an interference with the patient, which is not possible or undesirable in different situations.
  • the attachment of markers to the patient may have medical or diagnostic side effects.
  • the object of the present invention is to provide an improved concept for assisting intraoperative navigation. This object is achieved by a device having the features of patent claim 1 and a method according to claim 14.
  • the core idea of the present invention is an intraoperative, ie obtained during a surgical intervention, live image of an operating area with a preoperatively acquired image of the operating area, such. B. the heart, bring in the best possible in accordance with each other.
  • the two images to be registered ie intraoperative live image and preoperative image, typically differ from each other because they were taken from different positions (ie from different perspectives), at different times and / or with different sensors.
  • the intraoperative live image is defined as a reference image. By interactively setting characteristic points or landmarks, an operator can mark specific pixels or image areas of the surgical area in the live image.
  • the surgeon can define points corresponding to the characteristic points of the live image in order to define corresponding points or regions of the surgical area in the pre-operative image. Based on the characteristic points in the live image and the corresponding points in the preoperative image then a transformation is performed, which adapts the preoperative image as possible to the live image. After the transformation, the respective regions of interest of the live image and the corresponding or corresponding regions of the preoperatively obtained image are then superimposed. By superimposed visualization, the surgeon, more or less in accordance with a virtual reality, can be provided with an extended view in the form of an image of the operating area combined from a live and preoperative image.
  • Embodiments of the present invention provide a device for superimposing an intraoperative first live image of an operating area with a preoperative second image of the operating area to achieve the above object.
  • a device according to the invention comprises a device for receiving and providing the intraoperative live image of the surgical field and means for providing the preoperative image of the surgical field. Further, means are provided for defining characteristic points in the intra-operative first live image and a first image derived therefrom and for defining points corresponding to the characteristic points in the preoperative image, such that the characteristic and the corresponding points in the first and mark the second image corresponding to each other pixels.
  • a means for transforming transforms the first and / or the second image so that the characteristic points of the first image and the corresponding points of the second image after the transformation at least approximately come to lie on each other.
  • the apparatus also includes means for visualizing the second preoperative image superimposed with the first image or the surgical field.
  • a superimposed visualization of the two images can provide an operator with an "extended" view of the surgical field, which, according to one exemplary embodiment, is achieved either by overlaying image data of the first and second image after the transformation on a display device, such as a monitor, or, according to another embodiment, directly by projection of the transformed preoperative image onto the surgical area or situs.
  • the marked characteristic points (landmarks) in temporally successive live images can be followed by a suitable method.
  • methods of motion tracking in particular point tracking, can be used so that the movements and thus also the characteristic points or landmarks can be tracked over time.
  • the image registration or transformation and the resulting overlay are adjusted for each new live image according to the new positions of the characteristic points or the new landmarks.
  • the inventive concept allows in complex situations an extension of the view of an operating area by superimposition and projection of adaptively adapted preoperatively acquired images to an intraoperative live image, without additionally using the patient or surgical instruments attached tools. That is, it dispenses with additional technical aids that interfere with a patient.
  • By tracking the positions of the marked characteristic points or the Landmarks can be a meaningful visualization also be guaranteed on moving organs.
  • a device according to the invention can thus be used for expanded visualization in intraoperative navigation by interactive registration of preoperative image data and intraoperative live images.
  • FIG. 1 shows a schematic representation of a device for superposing a first image with a second image according to an embodiment of the present invention
  • FIG. 2 shows a cardiosurgical surgical theater
  • FIG. 3 interactively marked characteristic points in an intra-operative live image and corresponding points in a preoperative image
  • FIG. 4 shows a composite image superimposed on a first and a transformed second image
  • FIG. 5 is an illustration of a tracing of characteristic points in successive frames of an intra-operative live image up to a restriction of the view of the operating area by the intervention;
  • FIG. 6 shows a schematic illustration of a solution path according to an exemplary embodiment of the present invention
  • FIG. 7 shows a flow diagram of a method for superimposing an intraoperative
  • Live image with a preoperative image of the operating area according to an embodiment of the present invention.
  • the device 100 comprises a device 110 for recording and providing the first image 1 12, ie the intraoperative live image, and a device 120 for providing the second image 1 14, ie the preoperatively obtained image.
  • Means 130 for defining characteristic points 131-1, 132-1, 133-1, 134-1 and 135-1 in the first image 12 and defining points corresponding to the characteristic points 131-1 to 135-1 131-2, 132-2, 133-2, 134-2 and 135-2 is also provided.
  • the first image 112 and the second image 114 typically show the operation area 105 from different perspectives, respectively.
  • the characteristic points 131-1 to 135-1 and the corresponding points 131-2 to 135-2 mark mutually corresponding pixels or positions in the intraoperative live image 112 and the preoperative image 114 of the surgical area.
  • the device 100 further comprises a device 140 for transforming the first and / or second image 1 12, 1 14, so that the characteristic points 131-1 to 135-1 of the first image 1 12 and the corresponding points 131-2 to 135 -2 of the second image 1 14 after the transformation come to lie approximately at least approximately to each other.
  • a device 150 visualizes, after the transformation, the second image 1 14 overlaid with the first image 12 or the operating region 105, so that an overlaid visualization provides an extended or combined view 145 on the operating region.
  • the means 1 10 for receiving and providing the first image 1 12 comprises a camera or an endoscope and a display device for temporally recording the operation area 105 from a first perspective by means of the camera or the endoscope, and the resulting image resulting live image 1 12 on the display device.
  • a monitor 210 is available, which represents a live image of the intervention or the surgical area.
  • a camera 215 may be used above a surgical table, with the monitor 210 preferably mounted near a surgeon 220 site of action.
  • a monitor view of the operating region 105 is typically present anyway.
  • the displayed live image 1 12 of the operation area 105 can be improved by means of an advanced visualization of corresponding preoperatively accumulated image data 1 14.
  • preoperative images such as angiograms and cardiac CTs
  • the means 120 for providing the second, preoperative image of the operating area therefore according to embodiments of the present invention comprises a digital memory to store the preoperative second image 1 14 and retrieve from the digital memory.
  • the second, preoperative image 1 14 of the surgical area 105 is, for example, an angiography or cardio-CT scan of the surgical area 105 obtained before the operation, ie, before the live image 112, where the first and second image 1 12, 1 14 are respectively different perspectives can be recorded.
  • the surgeon 220 or assistant 230 identifies and marks a plurality of visible and distinct characteristic points 131-1, 132-1, ... in which intraoperative live image 1 12 of the operating area 105, which may be, for example, the heart surface.
  • a plurality of matching or corresponding points 131 -2, 132-2,... In the preoperative image 14 are identified and marked.
  • the characteristic points 131-1, 132-1,... And the corresponding points 131 -2, 132-2,... Mean in both images mutually corresponding positions or regions of the operating area 105.
  • This relationship is shown in FIG shown. 3 shows on the left an intraoperative live image 112 of a heart whose heart wall is coated with a layer of fat so that coronary vessels are not visible.
  • the drawn thin, dashed lines mean only contour lines of the heart wall.
  • an angiogram 14 of the heart is shown, in which coronary vessels (thick lines) are clearly visible.
  • characteristic points 131-1 to 136-1 are defined, which mean certain positions of the heart, ie the operation area 105.
  • the device 130 may comprise an electronic input device, such as a keyboard, a trackball, a computer mouse, a light pen or a touch-sensitive display.
  • Corresponding points or landmarks 131-2 to 136-2 corresponding to the same positions of the heart are correspondingly defined in the angiogram 1 14 to the characteristic points or landmarks 131-1 to 136-1 defined in the first image 12 Points 131-1 to 136-1.
  • This definition of characteristic points 131-1 to 136-1 in the live image 112 and corresponding points 131-2 to 136-2 in the preoperative image 14 should preferably be carried out interactively by an experienced surgeon or assistant, in each case by corresponding image positions of the image marked characteristic points and the corresponding points and these logically linked together.
  • the definition of the characteristic Points 131-1 to 136-1 in the live image 112 and the corresponding points 131-2 to 136-2 in the preoperative image 1 14 are also carried out fully automated, for example, by powerful and adapted to the image data pattern or position detection method the corresponding image positions of the characteristic points and the corresponding points are automatically, i. e. without human influence, identified, marked and logically linked together.
  • the defined characteristic points 131 -1 to 136-1 and points 131-2 to 136-2 corresponding thereto correspond to corresponding locations or positions in the operation area 105 and thus form a basis for a transformation between both views or images 1 12, 1 14. Since the images 112, 114 to be registered have typically been taken from different positions, at different times and / or with different sensors, the image must be adapted to each other accordingly.
  • Image registration is a process for matching two or more images of the same scene or at least similar scenes in the best possible way.
  • image registration is used to image an image of a modality (eg, angiography) onto an image of a second modality (live image or video) and accordingly transform at least one of the two images 1 12, 114 to produce the two in To bring agreement with each other.
  • modality eg, angiography
  • live image or video live image or video
  • landmark-based image registration may be used for registration of images derived from different modalities, where image intensity information is difficult or impossible to use.
  • an interactively marked set of landmarks 131-1 through 136-1 and 131-2 through 136-2 corresponding to one another is used to define a transformation, for example, the preoperative second image 14 to the intraoperative live video image 112 maps, or vice versa.
  • affine mappings or transformations or alternatively rigid transformations restricted to rotation and translation may be used.
  • an affine transformation is an image that preserves collinearities and parallel-link spacing between two vector spaces, where preserving collinearity means that images of points that lie on a line, ie collinear, are again on a straight line. Likewise, images of parallel lines are parallel again. Affine transformations are known to produce better matches between two images than rigid transformations. to lead that. However, rigid transformations can be performed faster and with less characteristic and corresponding points 131 -1, ... and 131 -2, ....
  • the means 140 for transforming is adapted to image the second image 14 of the operation region 105 from a second perspective by means of an affine image transformation on the first image 12 of the operation region in its first perspective, or vice versa.
  • the means 140 for transforming is configured to form the second image 1 14 based on the characteristic 131-1, 132-1, ... and corresponding points 131-2, 132-2, Image transformation on the first image 112, or vice versa.
  • the transformed or adapted preoperative image 1 14 can be projected onto the intraoperative live image 1 12 or directly onto the open operation area 105, respectively, according to an embodiment receive.
  • a corresponding projector may be provided above the operating area 105.
  • the alpha channel or ⁇ channel is an additional channel which stores in raster graphics in addition to the color information transparency (transparency) of each pixel (pixels) Background is referred to as alpha blending, which allows for partial transparency and a kind of altered reality view, as shown in FIG.
  • FIG. 4 shows a superimposed or combined image or a combined image 145 of the live image 1 12 shown in FIG. 3 and the perspectivized image 1 14 transformed in perspective. That is to say, the transformed second image 1 14 is shown in FIG 4 superimposed correctly in perspective on the first image 1 12, so that a doctor or surgeon 220 can recognize, for example, coronary vessels 420 running under an adipose tissue 410, as a result of which more successful operations become possible.
  • a scene presented in the live video image 112 will never be quite constant. For example, the heartbeat, camera movement and surgical procedure itself permanently change the view or the image onto the operating area 105. Therefore, the characteristic and correspondingly selected by the surgeon can be selected interactively.
  • Points 131-1 to 136-1 or 131-2 to 136-2 should be invalid after a short period of time (eg within seconds). Constant re-selection of characteristic points and corresponding points would not be an efficient procedure. Rather, the image of the two images 1 12, 1 14 should be adapted to each other on the respective image scene and stabilized against movements for a sufficient period of time.
  • the characteristic points 131-1, 132-1,... Defined in the first image 12 are traced over the time from single image to single image of a live video of the operating region 105, which means that they are automatically identified in successive frames or frames. That is, according to an exemplary embodiment of the present invention, the device 110 is configured to provide the first image 112 in order to provide a plurality of images sequentially of the operation area 105, wherein tracking means is provided for determining the position of the defined characteristic points in the temporally successive frames, the means for transforming being arranged to perform a transformation for each of the plurality of frames based thereon.
  • Template matching refers to a comparison of a prototype of a pattern with a raster image to be examined, which is present in the form of a raster or screen. For each position in the raster image, a correlation between the prototype and the corresponding image area is determined. The assignment or rejection of the pattern depends on the correlation, ie the quality of the comparison. In principle, a window or template in a first frame of the live image sequence is selected for this purpose. Corresponding positions in subsequent frames are found based on a similarity assumption.
  • the window or template is partially pushed over a single image or a frame to be examined, whereby a measure of conformity is calculated.
  • an image section to be examined can be limited. Assuming that an offset of a characteristic point 131 -1, 132-1, ... between two consecutive frames is not too large, only a limited region around the original position of the characteristic pixel 131-1, 132-1, ... be considered.
  • a window or template may be temporally adjusted to a displayed scene, thereby allowing small, slow changes in the appearance of the landmark window.
  • the landmarks 131-1 through 136-1 may be tracked during their motion as long as a change between successive frames is not too relevant or the view of the operation area 105 is obscured (see Fig. 5).
  • the partial image in Fig. 5 at the top left shows newly identified characteristic points 131 -1 to 136-1 in a first frame of a live image or video of an operation area 105.
  • the positions of the characteristic points 131-1 to 136-1 become in subsequent frames tracked by a tracking algorithm (see partial image top right and partial image bottom left) until a view of the surgical area 105 is limited by the surgical procedure itself (see drawing at the bottom right).
  • the tracked characteristic points 131-1 through 136-1 are used to adapt the mapping of the preoperative image 14 to the current operational scene according to a current frame.
  • preoperative images 1 14 This allows a continuous superimposition of preoperative images 1 14 on a live image 1 12 for sufficiently long periods of time.
  • a match size is below a threshold so that the tracking and matching of the first and second frames 1 12, 14 1 stops one another.
  • 12 characteristic pixels 131-1, 132-1,... As well as corresponding pixels 131-2, 132-2,... are newly defined in the preoperative image 14, so that an overlay of the images after the transformation can again be represented by means of a combination image 145.
  • FIG. 6 shows an overview of the inventive concept.
  • An up-to-date view of the operating area 105 is recorded, for example, with the aid of a camera 215, so that an intra-operative live image 112 is created.
  • the camera 215 may be mounted in open surgery, for example, over an operating table, for example in an operating room lamp.
  • an optical channel of an endoscope allows generation of the live image 1 12.
  • the current live image 1 12 can be made available to an operator 220 on a monitor 210 that is directly accessible to him.
  • he can load preoperatively acquired image data 1 14 and also display it by means of the monitor 210.
  • the operator 220 can mark landmarks of interest in the current view 12 of the operation area 105.
  • the preoperative image data 114 can be suitably transformed (140) such that after transformation and superimposition the respective interesting and associated regions of the images are superimposed.
  • the overlaid visualization (145) can provide the surgeon 220 with an improved or extended view of the projection area or operating area 105. This can be done either by overlaying the image data on the monitor 210 or directly by projecting the transformed preoperative image data onto the site. In this case, the transformed preoperative image is projected directly onto the site by means of a projector.
  • the corresponding landmarks are tracked with a suitable tracking method (610).
  • a suitable tracking method for this purpose, methods of motion tracking, in particular the point tracking are used.
  • the movements and thus the landmarks can be tracked over time.
  • the transformation and the resulting overlay are adjusted for each new single-lens image 112 according to the new landmark positions.
  • the first image 12, ie the intraoperative live image is made available. Furthermore, in a second step 720, the second image 114, ie the preoperative image of the operative area, is provided.
  • characteristic points 131-1, 132-1, ... in the first image 1 12 and points 131-2, 132-2,... Corresponding thereto are defined in the second image 114, so that the characteristic points and the corresponding points in the first and second image mark corresponding positions of the operation area 105.
  • the first and / or the second image is transformed so that the characteristic points 131-1, 132-1,... Of the first image 112 and the corresponding points 131-2, 132-2,. ..
  • a step 750 of overlaying the second image with the first image or the operation area follows to obtain the overlaid view 145 of the operation area 105.
  • the second image 1114 can be transformed for this purpose and then the first image 112 and the transformed second image 114 can be superimposed in order to produce a complex image. Bound or superimposed image 145 to receive, which is displayed in a step 760, for example via a monitor or projector. Alternatively, the live image 1 12 could be transformed, but this will generally be more expensive.
  • aspects have been described herein in the context of a device for superposing an intraoperative live image with a preoperative image, it will be understood that these aspects also constitute a description of the corresponding method for superimposing a preoperative image on an intraoperative live image such that a block or a device of a device is also to be understood as a corresponding method step or as a feature of a method step.
  • aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • embodiments of the present invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium such as a floppy disk of a DVD, a Blu-ray disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or flash memory, a hard disk or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed.
  • the digital storage medium can be computer readable.
  • some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the inventive methods when the computer program product runs on a computer.
  • the program code may for example also be stored on a machine-readable carrier.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

Offenbart wird eine Vorrichtung (100) zur Überlagerung eines intraoperativen ersten Livebildes (112) eines Operationsgebiets (105) mit einem preoperativen zweiten Bild (114) des Operationsgebiets (105), mit einer Einrichtung (110) zum Aufnehmen und Bereitstellen des ersten Bildes (112), einer Einrichtung (120) zum Bereitstellen des zweiten Bildes (114), einer Einrichtung (130) zum Definieren von charakteristischen Punkten (131-1;...; 136-1) in dem ersten Bild (112) und zum Definieren von zu den charakteristischen Punkten korrespondierenden Punkten (131-2;...; 136-2) in dem zweiten Bild (114), so dass die charakteristischen Punkte und die dazu korrespondierenden Punkte in dem ersten und zweiten Bild zueinander korrespondierende Positionen des Operationsgebiets (105) markieren, einer Einrichtung (140) zum Transformieren des ersten und/oder zweiten Bildes, so dass die charakteristischen Punkte (131-1;...; 136-1) des ersten Bildes (112) und die dazu korrespondierenden Punkte (131-2;...; 136-2) des zweiten Bildes (114) aufeinander zu liegen kommen, und einer Einrichtung (150) zum, nach dem Transformieren, Überlagern des zweiten Bildes mit dem ersten Bild oder dem Operationsgebiet, um einer überlagerte Ansicht (145) des Operationsgebiets (105) zu erhalten.

Description

Konzept zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets mit einem preoperativen Bild des Operationsgebiets Beschreibung
Die vorliegende Erfindung befasst sich mit einem Konzept zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets mit einem preoperativen Bild des Operati- onsgebiets, wie es beispielsweise zur Unterstützung einer intraoperativen Navigation in der Chirurgie eingesetzt werden können.
Aortokoronare Bypassoperationen (CABG = Coronary Artery Bypass Grafting) sind in Industrieländern gängige operative Eingriffe im Rahmen der Herzchirurgie, wobei stark verengte oder komplett verschlossene Herzkranzgefäße überbrückt werden, um eine ausreichende Blutversorgung des Herzmuskels wiederherzustellen. Wie bei den meisten Eingriffen, ist dabei eine preoperative Planung wichtig und wird routinemäßig durchgeführt. Es werden Verschiedene bildgebende Verfahren benutzt, um einen derartigen Eingriff vorzubereiten, und um einen Chirurgen bei der Lokalisierung des ihn interessierenden Opera- tionsgebiets zu unterstützen.
Aus chirurgischer Sicht stellt eine ordnungsgemäß durchgeführte Angiographie (coronary angiography) ein geeignetes Diagnoseverfahren bei koronaren Bypassoperationen dar. Angiographie nennt man die Darstellung von Blutgefäßen mittels diagnostischer Bildge- bungsverfahren, beispielsweise Röntgen oder Magnetresonanztomografie (MRT). Hierzu wird ein Kontrastmittel, d.h. ein Stoff, der einen Bildkontrast verstärkt bzw. in einer gewählten Untersuchungsmethode besonders gut sichtbar ist, in ein Blutgefäß injiziert. Auf dem Bild bzw. dem Angiogramm der aufgenommenen Körperregion zeichnet sich dann der mit dem Kontrastmittel gefüllte Gefäßinnenraum ab. Nicht-invasive Tests können der- zeit noch nicht das Ausmaß oder die Verteilung einer anatomischen Herzkrankheit mit ausreichender Genauigkeit darstellen. Herzcomputertomographie (cardiac CT) ist ein aufkommendes und wachsendes Feld, jedoch noch nicht weit verbreitet. Bei Bypassoperationen werden typischerweise angiographische Bilder, d.h. Angiogramme, verwendet, um Stenosen, d.h. Verengung von Blutgefäßen oder anderen Hohlorganen, und potentielle Po- sitionen von Anastomosen, d. h. Verbindungen zwischen zwei anatomischen Strukturen, wie beispielsweise Blutgefäßen, zu detektieren. Neben der effektiven Planung des Eingriffs fehlt eine Verbindung von der guten Verfügbarkeit preoperativer Hilfsmittel, wie preoperativen Bilddaten, zu Planungsdaten am Eingriffspunkt (PoC = Point of Care) bzw. Operationsgebiet, wie z. B. Livebildern vom Operationsgebiet. Ein Livebild bezeichnet dabei ein direkt bzw. in Echtzeit aufgezeichnetes und übertragenes Bild. Ein mit einer Kamera oder einem Endoskop erfasstes Livebild wird also unmittelbar an ein Anzeigegerät (z.B. Monitor) weitergeleitet.
Preoperativ gewonnene angiographische Bilddaten werden zur Planung eines Eingriffs bzw. einer Intervention verwendet. Diese Bilddaten sind zwar am Operationstisch zugänglich, doch nur in Form von externen Bildschirmen oder Ausdrucken. Die Transferleistung, interessierende Regionen vom preoperativen Bild auf eine aktuelle Sicht auf das Operationsgebiet zu übertragen, wird jedoch vom Arzt gefordert. Die Tatsache, dass ein Cardiolo- ge für einen Herzkatheter und eine Interpretation der Planungsdaten verantwortlicht ist, wohingegen ein Herzchirurg den eigentlichen Bypass legt, macht klar, dass es hier zu Komplikationen kommen kann. Obwohl diese Vorgehens weise in manchen Fällen ideal und die derzeitige Praxis ausreichend ist, existieren komplexere und schwierigere Szenarien, insbesondere in der minimal-invasiven Chirurgie (MIS = Minimally Invasive Surge- ry), in denen dies eine echte Herausforderung sein kann, insbesondere für junge und unerfahrene Chirurgen. Der Blick auf das Operationsgebiet ist eingeschränkt und die preoperativen Bilddaten werden meist mit anderen Lage- und Formparametern gewonnen als die Livebilder. Herzkranzgefäße (coronary vessels) sind in Angiogrammen zumeist sichtbar, wohingegen sie während einer Operation unter einer Fettschicht auf der Herzoberfläche versteckt sind. In dem wachsenden Gebiet der minimal-invasiven Chirurgie ist die Sichtbarkeit von anatomischen Strukturen deutlich eingeschränkt, weshalb eine Orientierung beispielsweise auf der Herzoberfläche eine Herausforderung darstellt.
Navigationssysteme zur intraoperativen Unterstützung des Arztes sind am Markt etabliert. Diese basieren im Wesentlichen auf leicht erkennbaren Markern oder elektromagnetischen Verfahren zur Positionsbestimmung. Hierbei werden am Patienten und/oder am Operati- onsbesteck Marker in Form von metallischen oder ähnlichen Objekten befestigt, welche im preoperativen, meist radiologisch gewonnenen Bild und durch optische Verfolgungs- bzw. Trackingsysteme auch während der Intervention identifizierbar und verfolgbar sind. Ein anderer Ansatz ist der Einsatz eines elektromagnetischen Feldes, um durch Induktion eine aktuelle Position des Operationsbestecks zu ermitteln. Eine überlagerte Ansicht der preo- perativen Bilddaten wird hierbei durch Anpassung derselben anhand der so ermittelten Lagedaten des Operationsbestecks ermöglicht. Gemeinsam ist allen bisherigen Ansätzen, dass sie auf den Einsatz von zusätzlichen (e- lektro-)mechanischen Hilfsmitteln basieren. Hierbei kommt es zu einer Interferenz mit dem Patienten, was in verschiedenen Situationen nicht möglich oder unerwünscht ist. Insbesondere kann das Anbringen von Markern am Patienten medizinische oder auch diagnostische Nebenwirkungen haben.
Somit besteht die Aufgabe der vorliegenden Erfindung darin, ein verbessertes Konzept zur Unterstützung der intraoperativen Navigation bereitzustellen. Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 sowie ein Verfahren gemäß Patentanspruch 14 gelöst.
Der Kerngedanke der vorliegenden Erfindung besteht darin, ein intraoperatives, d. h. während eines chirurgischen Eingriffs gewonnenes, Livebild eines Operationsgebiets mit ei- nem preoperativ gewonnenen Bild des Operationsgebiets, wie z. B. dem Herzen, bestmöglich in Übereinstimmung miteinander zu bringen. Die beiden zu registrierenden Bilder, d.h., intraoperatives Livebild und preoperatives Bild, unterscheiden sich typischerweise voneinander, weil sie von unterschiedlichen Positionen (d. h. aus unterschiedlichen Perspektiven), zu unterschiedlichen Zeitpunkten und/oder mit unterschiedlichen Sensoren aufgenommen wurden. Gemäß einem Ausführungsbeispiel wird das intraoperative Livebild als Referenzbild festgelegt. Durch interaktives Setzen von charakteristischen Punkten bzw. Landmarken kann ein Operateur bestimmte Bildpunkte bzw. Bildbereiche des Operationsgebiets in dem Livebild markieren. Des Weiteren kann der Operateur in dem preope- rativen Bild zu den charakteristischen Punkten des Livebildes korrespondierende Punkte definieren, um korrespondierende Punkte bzw. Bereiche des Operationsgebiets in dem pre- operativen Bild festzulegen. Anhand der charakteristischen Punkte in dem Livebild und den dazu korrespondierenden Punkten in dem preoperativen Bild wird dann eine Transformation durchgeführt, die das preoperative Bild bestmöglich an das Livebild anpasst. Nach der Transformation liegen dann jeweils die interessierenden Regionen des Livebilds und die zugehörigen bzw. korrespondierenden Regionen des preoperativ gewonnenen Bilds übereinander. Durch eine überlagerte Visualisierung kann dem Operateur, quasi entsprechend einer virtuellen Realität, eine erweiterte Sicht in Form eines aus Live- und preoperativen Bild kombinierten Bildes des Operationsgebiets bereitgestellt werden. Ausführungsbeispiele der vorliegenden Erfindung stellen zur Lösung der obigen Aufgabe eine Vorrichtung bereit zur Überlagerung eines intraoperativen ersten Livebildes eines Operationsgebiets mit einem preoperativen zweiten Bild des Operationsgebiets. Eine erfindungsgemäße Vorrichtung umfasst eine Einrichtung zum Aufnehmen und Bereitstellen des intraoperativen Livebildes des Operationsgebiets und eine Einrichtung zum Bereitstellen des preoperativen Bildes des Operationsgebiets. Ferner ist eine Einrichtung vorgesehen zum Definieren von charakteristischen Punkten in dem intraoperativen ersten Livebild bzw. einem daraus abgeleiteten ersten Bild und zum Definieren von zu den charakteristi- sehen Punkten korrespondierenden Punkten in dem preoperativen Bild, so dass die charakteristischen und die korrespondierenden Punkte in dem ersten und zweiten Bild zueinander korrespondierende Bildpunkte markieren. Eine Einrichtung zum Transformieren transformiert das erste und/oder das zweite Bild, so dass die charakteristischen Punkte des ersten Bildes und die korrespondierenden Punkte des zweiten Bildes nach der Transformation zumindest näherungsweise aufeinander zu liegen kommen. Die Vorrichtung umfasst außerdem eine Einrichtung zum Visualisieren des zweiten preoperativen Bildes überlagert mit dem ersten Bild oder dem Operationsgebiet.
Wie oben bereits beschrieben wurde, kann eine überlagerte Visualisierung der beiden Bil- der einem Operateur eine„erweiterte" Sicht auf das Operationsgebiet liefern. Dies geschieht gemäß einem Ausführungsbeispiel entweder durch eine Überlagerung von Bilddaten des ersten und zweiten Bildes nach der Transformation auf einem Anzeigegerät, wie beispielsweise einem Monitor, oder, gemäß einem anderen Ausführungsbeispiel, unmittelbar durch eine Projektion des transformierten preoperativen Bildes auf das Operationsge- biet bzw. den Situs.
Da intraoperativ die Sicht auf den Situs oder der Situs selbst nicht konstant bleibt und oft physiologisch bewegt ist, können gemäß Ausführungsbeispielen die markierten charakteristischen Punkte (Landmarken) in zeitlich aufeinanderfolgenden Livebildern mit einem geeigneten Verfahren verfolgt werden. Hierzu können Verfahren der Bewegungsverfolgung, insbesondere der Punktverfolgung, zum Einsatz kommen, so dass die Bewegungen und somit auch die charakteristischen Punkte bzw. Landmarken über die Zeit verfolgt werden können. Die Bildregistrierung bzw. Transformation und die daraus resultierende Überlagerung werden für jedes neue Livebild entsprechend der neuen Positionen der charakte- ristischen Punkte bzw. der neuen Landmarken angepasst.
Das erfindungsgemäße Konzept ermöglicht in komplexen Situationen eine Erweiterung der Sicht auf ein Operationsgebiet durch Überlagerung und Projektion von adaptiv angepassten preoperativ gewonnenen Aufnahmen an ein intraoperatives Livebild, ohne zusätzlich am Patienten oder am Operationsbesteck angebrachte Hilfsmittel zu verwenden. D.h., es wird auf zusätzliche technische Hilfsmittel verzichtet, welche mit einem Patienten interferieren. Durch eine Verfolgung der Positionen der markierten charakteristischen Punkte bzw. der Landmarken kann eine sinnvolle Visualisierung auch an bewegten Organen gewährleistet werden.
Gemäß einem Ausführungsbeispiel kann eine erfindungsgemäße Vorrichtung also zur er- weiterten Visualisierung bei der intraoperativen Navigation durch interaktive Registrierung preoperativer Bilddaten und intraoperativer Livebilder verwendet werden.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Fig.en näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer Vorrichtung zur Überlagerung eines ersten Bildes mit einem zweiten Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; Fig. 2 einen herzchirurgischen Operationsschauplatz;
Fig. 3 interaktiv markierte charakteristische Punkte in einem intraoperativen Livebild und dazu korrespondierende Punkte in einem preoperativen Bild; Fig. 4 ein aus einem erstem und transformiertem zweitem Bild überlagertes Kombinationsbild;
Fig. 5 eine Darstellung einer Nachverfolgung von charakteristischen Punkten in aufeinanderfolgenden Frames eines intraoperativen Livebilds bis zu einer Einschränkung der Sicht auf das Operationsgebiet durch den Eingriff;
Fig. 6 eine schematische Darstellung eines Lösungswegs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und Fig. 7 ein Flussdiagram eines Verfahrens zur Überlagerung eines intraoperativen
Livebildes mit einem preoperativen Bild des Operationsgebiets gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Fig. 1 zeigt schematisch eine Vorrichtung 100 zur Überlagerung eines intraoperativen ersten Livebildes 112 eines Operationsgebiets 105 mit einem preoperativen zweiten Bild 1 14 des Operationsgebiets. Die Vorrichtung 100 umfasst eine Einrichtung 110 zum Aufnehmen und Bereitstellen des ersten Bildes 1 12, d. h. des intraoperativen Livebildes, sowie eine Einrichtung 120 zum Bereitstellen des zweiten Bildes 1 14, d. h. des preoperativ gewonnenen Bildes. Eine Einrichtung 130 zum Definieren von charakteristischen Punkten 131-1 , 132-1, 133-1 , 134-1 und 135-1 in dem ersten Bild 1 12 und zum Definieren von zu den charakteristischen Punkten 131 -1 bis 135-1 korrespondierenden Punkten 131-2, 132-2, 133-2, 134-2 und 135-2 ist ebenso vorgesehen. Das erste Bild 1 12 und das zweite Bild 114 zeigen das Operationsgebiet 105 typischerweise jeweils aus unterschiedlichen Perspektiven. Die charakteristischen Punkte 131-1 bis 135-1 und die dazu korrespondierenden Punkte 131-2 bis 135-2 markie- ren zueinander korrespondierende Bildpunkte bzw. Positionen in dem intraoperativen Livebild 1 12 und dem preoperativen Bild 1 14 des Operationsgebiets. Die Vorrichtung 100 umfasst ferner eine Einrichtung 140 zum Transformieren des ersten und/oder zweiten Bildes 1 12, 1 14, so dass die charakteristischen Punkte 131-1 bis 135-1 des ersten Bildes 1 12 und die dazu korrespondierenden Punkte 131-2 bis 135-2 des zweiten Bildes 1 14 nach der Transformation zumindest näherungsweise aufeinander zu liegen kommen. Eine Einrichtung 150 visualisiert, nach der Transformation, das zweite Bild 1 14 überlagert mit dem ersten Bild 1 12 oder dem Operationsgebiet 105, so dass durch die überlagerte Visualisierung eine erweiterte bzw. kombinierte Sicht 145 auf das Operationsgebiet bereitgestellt wird.
Gemäß manchen Ausführungsbeispielen der vorliegenden Erfindung umfasst die Einrichtung 1 10 zum Aufnehmen und Bereitstellen des ersten Bildes 1 12 eine Kamera oder ein Endoskop und ein Anzeigegerät, um das Operationsgebiet 105 mittels der Kamera oder des Endoskops zeitlich aktuell aus einer ersten Perspektive zu erfassen und das daraus resultie- rende Livebild 1 12 auf dem Anzeigegerät darzustellen. Diese Situation ist in Fig. 2 gezeigt. Gemäß Ausführungsbeispielen ist also ein Monitor 210 verfügbar, der ein Livebild des Eingriffs bzw. des Operationsgebiets darstellt. Bei offenen Eingriffen kann dazu eine Kamera 215 oberhalb eines Operationstisches verwendet werden, wobei der Monitor 210 vorzugsweise nahe einem Wirkungsort eines Chirurgen 220 angebracht ist. Bei minimal- invasiven Eingriffen ist eine Monitoransicht des Operationsgebiets 105 typischerweise sowieso vorhanden.
Gemäß der vorliegenden Erfindung kann das angezeigte Livebild 1 12 des Operationsgebiets 105 mittels einer fortschrittlichen Visualisierung korrespondierender preoperativ ge- sammelter Bilddaten 1 14 verbessert werden. Heutzutage sind preoperative Bilder, wie z.B. Angiogramme und Kardio-Computertomogramme (cardic CT), in digitaler Form verfügbar und können auf einem Anzeigegerät, wie beispielsweise dem Monitor 210 durch Abrufen der preoperativen Bilddaten 1 14 aus einem digitalen Speichermedium dargestellt werden. Die Einrichtung 120 zum Bereitstellen des zweiten, preoperativen Bildes des Operationsgebiets umfasst also gemäß Ausfuhrungsbeispielen der vorliegenden Erfindung einen digitalen Speicher, um das preoperative zweite Bild 1 14 zu speichern und aus dem digitalen Speicher abzurufen. Dabei ist das zweite, preoperative Bild 1 14 des Operationsgebiets 105 beispielsweise eine vor der Operation, d.h. zeitlich vor dem Livebild 1 12, gewonnene Angiographie- oder Kardio-Computertomographieaufnahme des Operationsgebiets 105, wobei das erste und zweite Bild 1 12, 1 14 aus jeweils unterschiedlichen Perspektiven aufgezeichnet sein können. Als Voraussetzung für eine Bildregistrierung bezüglich des ersten und zweiten Bildes 1 12, 1 14, identifiziert und markiert der Chirurg bzw. Operateur 220 oder ein Assistent 230 mehrere sichtbare und voneinander verschiedene charakteristische Punkte 131-1, 132-1 , ... in dem intraoperativen Livebild 1 12 des Operationsgebiets 105, welches beispielsweise die Herzoberfläche sein kann. Ebenso werden dazu mehrere passende bzw. korrespondierende Punkte 131 -2, 132-2, ... in dem preoperativen Bild 1 14 identifiziert und markiert. Die charakteristische Punkte 131-1 , 132-1, ... und die dazu korrespondierende Punkte 131 -2, 132- 2, ... bedeuten in beiden Bildern zueinander korrespondierende Positionen oder Bereiche des Operationsgebiets 105. Dieser Zusammenhang ist in Fig. 3 gezeigt. Fig. 3 zeigt links ein intraoperatives Livebild 112 eines Herzens, dessen Herzwand mit einer Fettschicht überzogen ist, so dass Herzkranzgefäße nicht sichtbar sind. Die eingezeichneten dünnen, gestrichelten Linien bedeuten dabei lediglich Konturlinien der Herzwand. In Fig. 3, rechts, ist ein Angiogramm 1 14 des Herzens gezeigt, in welchem Herzkranzgefäße (dicke Linien) gut sichtbar sind. Mittels der Einrichtung 130 werden in dem intraoperativen Livebild 1 12 charakteristische Punkte 131-1 bis 136-1 definiert, die bestimmte Positionen des Herzens, d. h. des Operationsgebiets 105, bedeuten. Dazu kann die Einrichtung 130 ein elektronisches Eingabegerät, wie beispielsweise eine Tastatur, einen Trackball, eine Computermaus, einen Lightpen oder ein berührungssensitives Display umfassen. Dazu korrespondierend werden in dem Angiogramm 1 14 zu den in dem ersten Bild 1 12 definierten charakteristischen Punkten bzw. Landmarken 131-1 bis 136-1 korrespondierende Punkte bzw. Landmarken 131-2 bis 136-2 definiert, die denselben Positionen des Herzens entsprechen wie die Punkte 131-1 bis 136-1. Diese Definition von charakteristischen Punkten 131-1 bis 136-1 im Livebild 1 12 und dazu korrespondierenden Punkten 131-2 bis 136-2 im preoperativem Bild 1 14 sollte vorzugsweise interaktiv von einem erfahrenen Operateur oder Assistenten durchgeführt werden, indem er jeweils entsprechende Bildpositionen der charakteristischen Punkte und der korrespondierenden Punkte markiert und diese logisch miteinander verknüpft. Alternativ kann gemäß manchen Ausführungsbeispielen die Definition der charakteristischen Punkte 131-1 bis 136-1 im Livebild 112 und der dazu korrespondierenden Punkte 131-2 bis 136-2 im preoperativem Bild 1 14 auch voll automatisiert durchgeführt werden, indem beispielsweise durch leistungsstarke und auf die Bilddaten angepasste Muster- bzw. Positi- onserkennungsverfahren die entsprechenden Bildpositionen der charakteristischen Punkte und der korrespondierenden Punkte automatisch, d .h. ohne menschlichen Einfluss, identifiziert, markiert und logisch miteinander verknüpft werden. Die definierten charakteristischen Punkte 131 -1 bis 136-1 und dazu korrespondierenden Punkte 131-2 bis 136-2 bedeuten korrespondierende Orte bzw. Positionen in dem Operationsgebiet 105 und bilden somit eine Basis für eine Transformation zwischen beiden Ansichten bzw. Bildern 1 12, 1 14. Da die zu registrierenden Bilder 112, 114 typischerweise von unterschiedlichen Positionen, zu unterschiedlichen Zeitpunkten und/oder mit unterschiedlichen Sensoren aufgenommen wurden, muss die Abbildung aufeinander entsprechend angepasst werden.
Unter Bildregistrierung versteht man einen Prozess, um zwei oder mehrere Bilder dersel- ben Szene oder zumindest ähnlicher Szenen, bestmöglich in Übereinstimmung miteinander zu bringen. Gemäß der vorliegenden Erfindung wird eine Bildregistrierung dazu verwendet, um ein Bild einer Modalität (z.B. Angiographie) auf ein Bild einer zweiten Modalität (Livebild bzw. Video) abzubilden und demgemäß zumindest eines der beiden Bilder 1 12, 114 zu transformieren, um die beiden in Übereinstimmung miteinander zu bringen. Dabei bezeichnet„Modalität" als Oberbegriff verschiedene Gerätegruppen, die in der Medizin zur Bildgebung genutzt werden. Diese Modalitäten werden in DICOM-Systemen (Digital Imaging and Communications in Medicine) eindeutig zugeordnet und sind z. B. Magnetresonanztomographie (MR), Computertomographie (CT), Ultraschall (US), „klassisches" Röntgen (CR) und Nuklearmedizin (NM). Für eine Registrierung von von unterschiedli- chen Modalitäten stammenden Bildern, bei der Bildintensitätsinformationen nur schwer oder unmöglich zu verwenden sind, kann beispielsweise eine Landmarken-basierte Bildregistrierung eingesetzt werden. Dementsprechend wird gemäß Ausführungsbeispielen ein interaktiv markierter Satz von zueinander korrespondierenden Landmarken 131-1 bis 136- 1 und 131-2 bis 136-2 verwendet, um eine Transformation zu definieren, die beispielswei- se das preoperative zweite Bild 1 14 auf das intraoperative Livevideobild 112 abbildet, oder umgekehrt. Abhängig von der gewünschten Genauigkeit können affine Abbildungen bzw. Transformationen oder alternativ rigide Transformationen, die auf Rotation und Translation beschränkt sind, verwendet werden. Eine affine Transformation ist eine Abbildung, die zwischen zwei Vektorräumen Kollinearitäten und Abstandsverhältnisse paralleler Strecken bewahrt, wobei Bewahrung von Kollinearität bedeutet, dass Bilder von Punkten, die auf einer Geraden liegen, d.h. kollinear sind, wieder auf einer Geraden liegen. Ebenso sind Bilder paralleler Geraden wieder parallel. Affine Transformationen sind bekannt dafür, gegenüber rigiden Transformationen zu besseren Übereinstimmungen zwischen zwei Bil- dem zu führen. Allerdings können rigide Transformationen schneller und mit weniger charakteristischen und korrespondierenden Punkten 131 -1 , ... und 131 -2, ... durchgeführt werden. Demnach ist die Einrichtung 140 zum Transformieren gemäß manchen Ausführungsbeispielen angepasst, um das zweite Bild 1 14 des Operationsgebiets 105 aus einer zweiten Perspektive mittels einer affinen Bildtransformation auf das erste Bild 1 12 des Operationsgebiets in dessen erste Perspektive abzubilden, oder umgekehrt. Gemäß anderen Ausführungsbeispielen ist die Einrichtung 140 zum Transformieren ausgebildet, um das zweite Bild 1 14 basierend auf den charakteristischen 131-1, 132-1, ... und dazu korrespondierenden Punkten 131-2, 132-2, ... mittels einer rigiden Bildtransformation auf das erste Bild 112 abzubilden, oder umgekehrt.
Nach der Transformation und der Abbildung der Bilder 1 12, 1 14 aufeinander kann gemäß einem Ausführungsbeispiel das transformierte bzw. angepasste preoperative Bild 1 14 auf das intraoperative Livebild 1 12 bzw. direkt auf das offene Operationsgebiet 105 projiziert werden, um die kombinierte Ansicht 145 zu erhalten. Für eine direkte Projektion auf den Situs kann beispielsweise ein entsprechender Projektor oberhalb des Operationsgebiets 105 vorgesehen sein. Auch ist eine spezielle„Virtual-Reality"-Brille für den Operateur 220 denkbar, in der die beiden Bilder überlagert angezeigt werden. Eine überlagert Anzeige der beiden Bilder auf dem Monitor 210 ist natürlich ebenso möglich. Um Erkennbarkeit eines derart überlagerten Bildes 145 zu gewährleisten, kann gemäß Ausführungsbeispielen das Konzept eines Alphakanals eingesetzt werden. Der Alphakanal oder α-Kanal ist ein zusätzlicher Kanal, der in Rastergrafiken zusätzlich zu den Farbinformationen eine Transparenz (Durchsichtigkeit) der einzelnen Pixel (Bildpunkte) speichert. Die Darstellung eines Bildes mit Alphakanal auf einem Hintergrund wird als Alpha Blending bezeichnet, welches eine teilweise Transparenz und eine Art veränderte Realitätsansicht ermöglicht, wie es in Fig. 4 dargestellt ist.
Fig. 4 zeigt eine überlagerte bzw. kombinierte Ansicht bzw. ein überlagertes bzw. kombiniertes Bild 145 des in Fig. 3 dargestellten Livebildes 1 12 und des perspektivisch trans- formierten preoperativen Bildes 1 14. D.h., das transformierte zweite Bild 1 14 ist gemäß Fig. 4 dem ersten Bild 1 12 perspektivisch richtig überlagert, so dass ein Arzt bzw. Operateur 220 beispielsweise unter einem Fettgewebe 410 verlaufende Herzkranzgefäße 420 erkennen kann, wodurch erfolgreichere Operationen möglich werden. Typischerweise wird eine in dem Livevideobild 1 12 dargestellte Szenerie nie ganz konstant sein. Beispielsweise verändern Herzschlag, Kamerabewegung und chirurgischer Eingriff selbst permanent eine Sicht bzw. das Bild auf das Operationsgebiet 105. Deshalb können die interaktiv vom Operateur ausgewählten charakteristischen und dazu korrespon- dieren Punkte 131-1 bis 136-1 bzw. 131-2 bis 136-2 nach einer kurzen Zeitdauer (z.B. innerhalb von Sekunden) ungültig sein. Ständiges Wiederauswählen von charakteristischen Punkten und dazu korrespondierenden Punkten wäre keine effiziente Vorgehensweise. Vielmehr sollte die Abbildung der beiden Bilder 1 12, 1 14 aufeinander auf die jeweilige Bildszene angepasst werden und gegenüber Bewegungen für eine ausreichende Zeitdauer stabilisiert werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung werden die in dem ersten Bild 1 12 definierten charakteristischen Punkte 131-1, 132-1 , ... über die Zeit von Einzel- bild zu Einzelbild eines Live- Videos des Operationsgebiets 105 verfolgt, was bedeutet, dass sie in aufeinanderfolgenden Einzelbildern bzw. Frames automatisch identifiziert werden. D. h., gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Einrichtung 1 10 zum Bereitstellen des ersten Bildes 112 ausgebildet, um von dem Operationsgebiet 105 zeitlich aufeinanderfolgend mehrere Bilder bereitzustellen, wobei eine Verfol- gungseinrichtung vorgesehen ist, um die Position der definierten charakteristischen Punkte in dem zeitlich aufeinanderfolgenden Einzelbildern zu verfolgen, wobei die Einrichtung zum Transformieren ausgelegt ist, um basierend darauf eine Transformation für jedes der mehreren Einzelbilder durchzuführen. Ein robuster und schneller Ansatz zur Verfolgung der Bildpunkte in aufeinanderfolgenden Einzelbildern ist das sogenannte Template-Matching, wobei Ähnlichkeiten einer Bildregion um eine Landmarke bzw. einen definierten charakteristischen Punkt 131-1 , 132-1 , ... ausgenutzt werden. Unter Template Matching versteht man einen Vergleich eines in Fernster- bzw. Rasterform vorliegenden Prototypen eines Musters mit einem zu untersuchenden Rasterbild. Für jede Position im Rasterbild wird eine Korrelation zwischen dem Prototyp und dem korrespondierenden Bildbereich ermittelt. Die Zuweisung oder Zurückweisung des Musters hängt von der Korrelation ab, d.h. von der Qualität des Vergleichs. Prinzipiell wird dazu ein Fenster bzw. Template in einem ersten Frame der Livebildsequenz ausgewählt. Korrespondierende Positionen in darauffolgenden Frames werden basierend auf einer Ähnlichkeitsannahme gefunden. Dazu wird das Fenster bzw. Template teilweise über ein zu untersuchendes Einzelbild bzw. einen Frame geschoben, wobei ein Übereinstimmungsmaß berechnet wird. Um eine Rechenzeit zu verkürzen, kann ein zu untersuchender Bildausschnitt begrenzt werden. Unter der Annahme, dass ein Versatz eines charakteristischen Punkts 131 -1 , 132-1 , ... zwischen zwei aufeinanderfolgenden Einzelbildern nicht zu groß ist, braucht lediglich eine begrenzte Region um die ursprüngliche Position des charakteristischen Bildpunktes 131-1, 132-1 , ... berücksichtigt werden. Gemäß dem Ansatz, der in Friscriholz, R.,„Beiträge zur automatischen dreidimensionalen Bewegungsanalyse", Sha- ker Verlag, Aachen, 1998, und Frischholz, R. W., Spinnler, K. P.,„A Class Algorithm for Real -Time Subpixel Registration, In Proceedings of Euroopto Conference, Munich, 1993, pages 50-56, vorgeschlagen wurde, kann ein Fenster bzw. Template zu einer dargestellten Szenerie zeitlich angepasst werden, wodurch kleine, langsame Änderungen eines Erscheinungsbildes des Landmarkenfensters erlaubt werden.
Die Landmarken 131-1 bis 136-1 können während ihrer Bewegung verfolgt werden, solange eine Änderung zwischen aufeinanderfolgenden Einzelbildern nicht zu relevant ist oder die Sicht auf das Operationsgebiet 105 verdeckt wird (siehe Fig. 5). Das Teilbild in Fig. 5 links oben zeigt neu identifizierte charakteristische Punkte 131 -1 bis 136-1 in einem ersten Frame eines Livebildes bzw. -videos eines Operationsgebiets 105. Die Positionen der charakteristischen Punkte 131-1 bis 136-1 werden in darauffolgenden Frames durch einen Tracking- Algorithmus nachverfolgt (siehe Teilbild rechts oben und Teilbild links unten), bis eine Sicht auf das Operationsgebiet 105 durch den chirurgischen Eingriff selbst eingeschränkt wird (siehe Teilbild rechts unten). Die nachverfolgten charakteristischen Punkte 131-1 bis 136-1 werden benutzt, um die Abbildung des preoperativen Bildes 1 14 auf die jeweils aktuelle Operationsszene gemäß eines aktuellen Einzelbildes anzupassen. Dies ermöglicht eine fortlaufende Überlagerung von preoperativen Bildern 1 14 auf ein Livebild 1 12 für ausreichend lange Zeitspannen. Für nicht- verfolgbare Änderungen zwischen aufeinanderfolgenden Frames bzw. Einzelbilder liegt ein Übereinstimmungsmaß unterhalb eines Schwellwerts, so dass die Nachverfolgung und die Anpassung des ersten und zweiten Bildes 1 12, 1 14 aufeinander aufhört. In diesem Fall werden in dem Livebild 1 12 charakteristische Bildpunkte 131-1 , 132-1 , ... sowie dazu korrespondierende Bildpunkte 131-2, 132-2, ... in dem preoperativen Bild 1 14 neu definiert, so dass eine Überlagerung der Bilder nach der Transformation wieder mittels eines Kombinationsbildes 145 dargestellt wer- den kann.
Zur Zusammenfassung zeigt Fig. 6 eine Übersicht des erfindungsgemäßen Konzepts.
Eine aktuelle Sicht auf das Operationsgebiet 105 wird beispielsweise mit Hilfe einer Ka- mera 215 aufgezeichnet, so dass ein intraoperatives Livebild 112 entsteht. Die Kamera 215 kann bei offenen Eingriffen beispielsweise über einem Operationstisch, z.B. in einer OP- Lampe, angebracht sein. Im Falle von minimal-invasiven Eingriffen ermöglicht ein optischer Kanal eines Endoskops Erzeugung des Livebilds 1 12. Das aktuelle Livebild 1 12 kann einem Operateur 220 auf einem ihm direkt zugänglichen Monitor 210 zur Verfügung gestellt werden. Zusätzlich kann er preoperativ gewonnene Bilddaten 1 14 laden und ebenfalls mittels des Monitors 210 anzeigen lassen. Durch interaktives Setzen charakteristischer Punkte 131-1 bis 136-1 kann der Operateur 220 interessierende Landmarken in der aktuellen Ansicht 1 12 des Operationsgebiets 105 markieren. Zu diesen Landmarken 131 -1 , 132- 1 , ... kann er korrespondierende Punkte 131-2, 132-2, ... in den preoperativen Bilddaten 1 14 definieren. Anhand dieser Korrespondenzen zwischen den Punkten 131-1 , 132-1 , ... und 131-2, 132-2, ... können die preoperativen Bilddaten 1 14 so geeignet transformiert werden (140), dass nach Transformation und Überlagerung die jeweils interessanten und zugehörigen Regionen der Bilder übereinanderliegen. Durch die überlagerte Visualisierung (145) kann dem Operateur 220 eine verbesserte bzw. erweiterte Sicht auf das Projektionsgebiet bzw. Operationsgebiet 105 bereitgestellt werden. Dies kann entweder durch eine Überlagerung der Bilddaten auf dem Monitor 210 oder unmittelbar durch eine Projektion der transformierten preoperativen Bilddaten auf den Situs geschehen. Hierbei wird das transformierte preoperative Bild mittels eines Projektors direkt auf den Situs projiziert.
Da intraoperativ die Sicht auf oder der Situs selbst nicht konstant bleibt und dieser oft physiologisch bewegt ist, werden die korrespondierenden Landmarken mit einem geeigneten Tracking- Verfahren verfolgt (610). Hierzu kommen Verfahren der Bewegungsverfolgung, insbesondere der Punktverfolgung zum Einsatz. Hiermit können die Bewegungen und somit auch die Landmarken über die Zeit verfolgt werden. Die Transformation und die daraus resultierende Überlagerung werden für jedes neue Einzellivebild 112 entsprechend der neuen Landmarkenpositionen angepasst. Anhand von Fig. 7 wird nun noch ein Verfahren zur Überlagerung eines intraoperativen Livebildes 1 12 eines Operationsgebiets 105 mit einem preoperativen Bild 1 14 des Operationsgebiets beschrieben.
In einem ersten Schritt 710 wird das erste Bild 1 12, d.h. das intraoperative Livebild, be- reitgestellt. Ferner wird in einem zweiten Schritt 720 das zweite Bild 1 14, d.h. das preoperative Bild des operativen Gebiets, bereitgestellt. In einem darauffolgenden Schritt 730 werden charakteristische Punkte 131-1 , 132-1, ... in dem ersten Bild 1 12 und dazu korrespondierende Punkte 131-2, 132-2, ... in dem zweiten Bild 114 definiert, so dass die charakteristischen Punkte und die dazu korrespondierenden Punkte in dem ersten und zweiten Bild einander korrespondierende Positionen des Operationsgebiets 105 markieren. In einem nächsten Schritt 740 wird das erste und/oder das zweite Bild transformiert, so dass die charakteristischen Punkte 131-1, 132-1 , ... des ersten Bildes 112 und die dazu korrespondierenden Punkte 131-2, 132-2, ... des zweiten Bildes 114 im Wesentlichen aufeinander zu liegen kommen. Nach dem Transformieren 740 folgt ein Schritt 750 des Überlagerns des zweiten Bildes mit dem ersten Bild oder dem Operationsgebiet, um die überlagerte Ansicht 145 des Operationsgebiets 105 zu erhalten. Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann dazu das zweite Bild 1 14 transformiert und danach das erste Bild 1 12 und das transformierte zweite Bild 114 überlagert werden, um ein kom- biniertes bzw. überlagertes Bild 145 zu erhalten, welches in einem Schritt 760 beispielsweise über einen Monitor- oder Projektor angezeigt wird. Alternativ könnte auch das Livebild 1 12 transformiert werden, was aber im Allgemeinen aufwendiger sein wird. Obwohl vorliegend manche Aspekte im Zusammenhang mit einer Vorrichtung zur Überlagerung eines intraoperativen Livebilds mit einem preoperativen Bild beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens zum Überlagern eines intraoperativen Livebilds mit einem preoperativen Bild darstellen, so dass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschritts zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechendes Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der vorliegenden Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk einer DVD, einer Blu-Ray-Disk, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines Flash-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren ausgeführt wird. Derzeit kann das digitale Speichermedium Computer-lesbar sein. Mansche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computer- Programmprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Computer-Programmprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem Maschinen-lesbaren Träger gespeichert sein.

Claims

Patentansprüche
Vorrichtung (100) zur Überlagerung eines intraoperativen ersten Livebildes (1 12) eines Operationsgebiets (105) mit einem preoperativen zweiten Bild (1 14) des Operationsgebiets (105), mit folgenden Merkmalen: einer Einrichtung (1 10) zum Aufnehmen und Bereitstellen des ersten Bildes (1 12); einer Einrichtung (120) zum Bereitstellen des zweiten Bildes (1 14); einer Einrichtung (130) zum Definieren von charakteristischen Punkten (131-1 ; ...; 136-1) in dem ersten Bild (1 12) und zum Definieren von zu den charakteristischen Punkten korrespondierenden Punkten (131-2; ...; 136-2) in dem zweiten Bild (1 14), so dass die charakteristischen Punkte und die dazu korrespondierenden Punkte in dem ersten und zweiten Bild zueinander korrespondierende Positionen des Operationsgebiets (105) markieren; einer Einrichtung (140) zum Transformieren des ersten und/oder zweiten Bildes, so dass die charakteristischen Punkte (131 -1 ; ...; 136-1) des ersten Bildes (1 12) und die dazu korrespondierenden Punkte (131-2; ...; 136-2) des zweiten Bildes (1 14) aufeinander zu liegen kommen; und einer Einrichtung (150) zum, nach dem Transformieren, Überlagern des zweiten Bildes mit dem ersten Bild oder dem Operationsgebiet, um einer überlagerte Ansicht (145) des Operationsgebiets (105) zu erhalten.
Vorrichtung gemäß Anspruch 1, wobei die Einrichtung (1 10) zum Bereitstellen des ersten Bildes (1 12) eine Kamera (215) oder ein Endoskop und ein Anzeigegerät (210) aufweist, um das Operationsgebiet (105) mittels der Kamera (215) oder des Endoskops zeitlich aktuell aus einer ersten Perspektive zu erfassen und das daraus resultierende erste Bild (1 12) auf dem Anzeigegerät (210) darzustellen.
Vorrichtung gemäß einem der Ansprüche 1 oder 2, wobei die Einrichtung (120) zum Bereitstellen des zweiten Bildes (1 14) einen digitalen Speicher umfasst, um das zweite Bild (1 14) zu speichern und aus dem digitalen Speicher abzurufen.
Vorrichtung gemäß Anspruch 3, wobei das zweite Bild (114) eine zeitlich vor dem ersten Bild (1 12) gewonnenes Angiogramm oder Kardio-Computertomogramm des Operationsgebiets (105) ist.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Einrichtung (130) zum Definieren der charakteristischen (131-1 ; 136-1) und der dazu korrespondierenden Punke (131-2; ...; 136-2) ein elektronisches Eingabegerät aufweist, um die charakteristischen Punkte (131-1 ; ...; 136-1) in dem ersten Bild (1 12) und die korrespondierenden Punkte (131-2; ...; 136-2) in dem zweiten Bild (1 14) jeweils zu markieren.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Einrichtung (140) zum Transformieren angepasst ist, um das zweite Bild (1 14) des Operationsgebiets (105) aus einer zweiten Perspektive mittels einer affinen oder rigiden Bildtransformation auf das erste Bild (1 12) des Operationsgebiets (105) in eine erste Perspektive abzubilden, oder umgekehrt.
Vorrichtung gemäß Anspruch 6, wobei die Einrichtung (150) zum Überlagern ausgebildet ist, das transformierte zweite Bild direkt auf das Operationsgebiet (105) zu projizieren, um die überlagerte Ansicht (145) zu erhalten.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Einrichtung (150) zum Überlagern ausgebildet ist, um nach der Transformation das zweite Bild mit dem ersten Bild oder dem Operationsgebiet mittels einer Alpha Blending Technik zu überlagern, um ein kombiniertes Bild entsprechend der überlagerten Ansicht (145) zu erhalten.
Vorrichtung gemäß Anspruch 8, die ausgebildet ist, um das kombinierte Bild auf einem Anzeigegerät (210) anzuzeigen.
Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Einrichtung (1 10) zum Bereitstellen des ersten Bildes (112) ausgebildet ist, um von dem Operationsgebiet (105) zeitlich aufeinanderfolgend mehrere Einzelbilder (1 12) bereitzustellen, wobei eine Verfolgungseinrichtung vorgesehen ist, um die Positionen der definierten charakteristischen Punkte (131-1 ; ...; 136-1) in den zeitlich aufeinanderfolgenden Bildern zu verfolgen, und wobei die Einrichtung (140) zum Transformieren ausgelegt ist, um basierend darauf eine Transformation für jedes der mehreren Einzelbilder durchzuführen.
1 1. Vorrichtung gemäß Anspruch 10, wobei die Verfolgungseinrichtung ausgebildet ist, um die definierten charakteristischen Punkte (131-1 ; 136-1) mittels eines Template-Matching- Verfahrens zu verfolgen.
12. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das Operationsgebiet (105) ein chirurgisches Operationsgebiet ist.
13. Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (100) für eine interaktive Registrierung preoperativer Bilddaten und intraoperativer Live-Bilder ausgelegt ist.
14. Verfahren (700) zur Überlagerung eines intraoperativen ersten Livebildes (1 12) eines Operationsgebiets (105) mit einem preoperativen zweiten Bild (1 14) des Operationsgebiets (105), mit folgenden Schritten:
Aufnehmen und Bereitstellen (710) des ersten Bildes (112);
Bereitstellen (720) des zweiten Bildes (114);
Definieren (730) von charakteristischen Punkten (131 -1 ; ...; 136-1) in dem ersten Bild (1 12) und zum Definieren von zu den charakteristischen Punkten korrespondierenden Punkten (131-2; ...; 136-2) in dem zweiten Bild (1 14), so dass die charakteristischen Punkte und die dazu korrespondierenden Punkte in dem ersten und zweiten Bild zueinander korrespondierende Positionen des Operationsgebiets (105) markieren;
Transformieren (740) des ersten und/oder zweiten Bildes, so dass die charakteristischen Punkte (131 -1 ; ...; 136-1) des ersten Bildes (1 12) und die dazu korrespondierenden Punkte (131 -2; ...; 136-2) des zweiten Bildes (1 14) aufeinander zu liegen kommen; und
Überlagern (750), nach dem Transformieren, des zweiten Bildes mit dem ersten Bild oder dem Operationsgebiet, um einer überlagerte Ansicht (145) des Operationsgebiets (105) zu erhalten. Computer-Programm zur Durchführung des Verfahrens gemäß Anspruch 1 , das Computer-Programm auf einem Computer oder Mikxocontroller abläuft.
PCT/EP2010/063000 2009-09-07 2010-09-04 Konzept zur überlagerung eines intraoperativen livebildes eines operationsgebiets mit einem preoperativen bild des operationsgebiets WO2011026958A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10752557A EP2461759A1 (de) 2009-09-07 2010-09-04 Konzept zur überlagerung eines intraoperativen livebildes eines operationsgebiets mit einem preoperativen bild des operationsgebiets
US13/412,976 US20120188352A1 (en) 2009-09-07 2012-03-06 Concept of superimposing an intraoperative live image of an operating field with a preoperative image of the operating field

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009040430A DE102009040430B4 (de) 2009-09-07 2009-09-07 Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
DE102009040430.9 2009-09-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/412,976 Continuation US20120188352A1 (en) 2009-09-07 2012-03-06 Concept of superimposing an intraoperative live image of an operating field with a preoperative image of the operating field

Publications (1)

Publication Number Publication Date
WO2011026958A1 true WO2011026958A1 (de) 2011-03-10

Family

ID=43243083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/063000 WO2011026958A1 (de) 2009-09-07 2010-09-04 Konzept zur überlagerung eines intraoperativen livebildes eines operationsgebiets mit einem preoperativen bild des operationsgebiets

Country Status (4)

Country Link
US (1) US20120188352A1 (de)
EP (1) EP2461759A1 (de)
DE (1) DE102009040430B4 (de)
WO (1) WO2011026958A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068106A1 (de) * 2012-11-05 2014-05-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung
CN114187335A (zh) * 2021-11-09 2022-03-15 北京东软医疗设备有限公司 多视图医学图像的配准方法、装置及设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641808B2 (en) * 2010-10-28 2017-05-02 Fiagon Gmbh Navigating attachment for optical devices in medicine, and method
US9510771B1 (en) 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
DE102011120937B4 (de) * 2011-12-14 2019-03-14 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Registrierung von Gewebeverschiebungen
US11278182B2 (en) * 2012-06-28 2022-03-22 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
DE102013222230A1 (de) 2013-10-31 2015-04-30 Fiagon Gmbh Chirurgisches Instrument
NL2012416B1 (en) * 2014-03-12 2015-11-26 Stichting Katholieke Univ Anatomical Image Projection System.
US9799114B2 (en) 2014-11-27 2017-10-24 Synaptive Medical (Barbados) Inc. Method, system and apparatus for quantitative surgical image registration
KR20180058656A (ko) * 2015-03-01 2018-06-01 아리스 엠디, 인코포레이티드 현실-증강된 형태학적 방법
JPWO2017013986A1 (ja) * 2015-07-17 2018-06-14 シャープ株式会社 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム
CN105534536A (zh) * 2015-11-20 2016-05-04 江门市宏乔新材料科技有限公司江海区分公司 一种体表成像投影***
EP3424021A4 (de) 2016-03-01 2020-03-25 Aris MD, Inc. Systeme und verfahren zur darstellung immersiver umgebungen
US11705238B2 (en) * 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
EP3719749A1 (de) 2019-04-03 2020-10-07 Fiagon AG Medical Technologies Registrierungsverfahren und -einrichtung
DE102019212103A1 (de) * 2019-08-13 2021-02-18 Siemens Healthcare Gmbh Surrogatmarker basierend auf medizinischen Bilddaten
IT202000007252A1 (it) * 2020-04-06 2021-10-06 Artiness S R L Metodo di tracciamento di un dispositivo medico in tempo reale a partire da immagini ecocardiografiche per la supervisione olografica remota
CN116057519A (zh) 2020-09-08 2023-05-02 美敦力公司 用于增强临床图像管理的成像发现实用程序
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5772593A (en) * 1995-07-12 1998-06-30 Fuji Photo Film Co., Ltd. Surgical operation aiding system
US5795294A (en) * 1994-05-21 1998-08-18 Carl-Zeiss-Stiftung Procedure for the correlation of different coordinate systems in computer-supported, stereotactic surgery
US20030220555A1 (en) * 2002-03-11 2003-11-27 Benno Heigl Method and apparatus for image presentation of a medical instrument introduced into an examination region of a patent
US20040263535A1 (en) * 2003-04-25 2004-12-30 Rainer Birkenbach Visualization device and method for combined patient and object image data
US20050148853A1 (en) * 2003-12-17 2005-07-07 Thomas Redel Method for supporting navigation of a medical instrument, in particular of a catheter
WO2005120193A2 (en) * 2004-06-03 2005-12-22 Wilk Ultrasound Of Canada, Inc. Medical method and associated apparatus utilizable in accessing internal organs through skin surface
WO2007115825A1 (en) * 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
WO2007128377A1 (en) * 2006-05-04 2007-11-15 Nassir Navab Virtual penetrating mirror device for visualizing virtual objects in endoscopic applications
WO2008107905A2 (en) * 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037596A1 (en) * 1996-04-10 1997-10-16 Endoscopic Technologies, Inc. Surgical retractor and stabilizing device
US6856830B2 (en) * 2001-07-19 2005-02-15 Bin He Method and apparatus of three dimension electrocardiographic imaging
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
US20060293557A1 (en) * 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
JP3932303B2 (ja) * 2005-05-13 2007-06-20 独立行政法人放射線医学総合研究所 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置
US20080267480A1 (en) * 2005-12-19 2008-10-30 Koninklijke Philips Electronics N. V. Iterative Image Reconstruction of a Moving Object From Projection Data
CN101341516A (zh) * 2005-12-20 2009-01-07 皇家飞利浦电子股份有限公司 用于图像数据运动补偿的方法
US20080161687A1 (en) * 2006-12-29 2008-07-03 Suri Jasjit S Repeat biopsy system
US8542900B2 (en) * 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
US8700130B2 (en) * 2007-03-08 2014-04-15 Sync-Rx, Ltd. Stepwise advancement of a medical tool
US8010177B2 (en) * 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5795294A (en) * 1994-05-21 1998-08-18 Carl-Zeiss-Stiftung Procedure for the correlation of different coordinate systems in computer-supported, stereotactic surgery
US5772593A (en) * 1995-07-12 1998-06-30 Fuji Photo Film Co., Ltd. Surgical operation aiding system
US20030220555A1 (en) * 2002-03-11 2003-11-27 Benno Heigl Method and apparatus for image presentation of a medical instrument introduced into an examination region of a patent
US20040263535A1 (en) * 2003-04-25 2004-12-30 Rainer Birkenbach Visualization device and method for combined patient and object image data
US20050148853A1 (en) * 2003-12-17 2005-07-07 Thomas Redel Method for supporting navigation of a medical instrument, in particular of a catheter
WO2005120193A2 (en) * 2004-06-03 2005-12-22 Wilk Ultrasound Of Canada, Inc. Medical method and associated apparatus utilizable in accessing internal organs through skin surface
WO2007115825A1 (en) * 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
WO2007128377A1 (en) * 2006-05-04 2007-11-15 Nassir Navab Virtual penetrating mirror device for visualizing virtual objects in endoscopic applications
WO2008107905A2 (en) * 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRISCHHOLZ, R. W.; SPINNLER, K. P.: "A Class Algorithm for Real-Time Subpixel Registration", PROCEEDINGS OF EUROOPTO CONFERENCE, 1993, pages 50 - 56
FRISCHHOLZ, R.: "Beiträge zur automatischen dreidimensionalen Bewegungsanalyse", 1998, SHAKER VERLAG

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068106A1 (de) * 2012-11-05 2014-05-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung
CN114187335A (zh) * 2021-11-09 2022-03-15 北京东软医疗设备有限公司 多视图医学图像的配准方法、装置及设备

Also Published As

Publication number Publication date
DE102009040430B4 (de) 2013-03-07
EP2461759A1 (de) 2012-06-13
US20120188352A1 (en) 2012-07-26
DE102009040430A1 (de) 2011-03-17

Similar Documents

Publication Publication Date Title
DE102009040430B4 (de) Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
DE102005030646B4 (de) Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
DE102005023167B4 (de) Verfahren und Vorrichtung zur Registrierung von 2D-Projektionsbildern relativ zu einem 3D-Bilddatensatz
DE10322739B4 (de) Verfahren zur markerlosen Navigation in präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-C-Bogen-Bildes
DE102011079561B4 (de) Verfahren und Röntgengerät zum zeitlich aktuellen Darstellen eines bewegten Abschnitts eines Körpers, Computerprogramm und Datenträger
DE10333543A1 (de) Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
DE10210646A1 (de) Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
DE102016203857B4 (de) Verfahren zur Erfassung und Verarbeitung von Bilddaten eines Untersuchungsobjekts
DE10015826A1 (de) System und Verfahren zur Erzeugung eines Bildes
DE10323008A1 (de) Verfahren zur automatischen Fusion von 2D-Fluoro-C-Bogen-Bildern mit präoperativen 3D-Bildern unter einmaliger Verwendung von Navigationsmarken
DE102004004620A1 (de) Verfahren zur Registrierung und Überlagerung von Bilddaten bei Serienaufnahmen in der medizinischen Bildgebung
DE10210647A1 (de) Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
DE10210650A1 (de) Verfahren zur dreidimensionalen Darstellung eines Untersuchungsbereichs eines Patienten in Form eines 3D-Rekonstruktionsbilds
WO2005027765A1 (de) Verfahren und vorrichtung zur visuellen unterstützung einer elektrophysiologischen katheteranwendung im herzen
EP1121900A2 (de) Verfahren zur Positionsbestimmung eines medizinischen Instruments
DE102006003126A1 (de) Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
DE102005027678A1 (de) Verfahren und Vorrichtung zur Markierung von dreidimensionalen Strukturen auf zweidimensionalen Projektionsbildern
DE102006026752A1 (de) Verfahren zur Registrierung von funktionellen MR-Bilddaten mit Röntgendurchleuchtung
EP1348394B1 (de) Planungs- bzw. Navigationsunterstützung durch generische und erfasste Patientendaten mit zweidimensionaler Anpassung
DE102019201227A1 (de) Bildgebendes Gerät und Verfahren zum Erzeugen eines bewegungskompensierten Bildes oder Videos, Computerprogrammprodukt und computerlesbares Speichermedium
DE102008045276A1 (de) Verfahren zur Ansteuerung einer medizintechnischen Anlage
EP1464285B1 (de) Perspektivische Registrierung und Visualisierung interner Körperbereiche
DE102007051479B4 (de) Verfahren und Vorrichtung zur Darstellung von Bilddaten mehrerer Bilddatensätze während einer medizinischen Intervention
DE102012200686A1 (de) Verfahren und Vorrichtung zur Positionierung einer Röntgenvorrichtung
DE102009024652A1 (de) Hochauflösende, dreidimensionale medizinische Bildgebung mit dynamischen Echtzeitinformationen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10752557

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2010752557

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE