EP4057928A1 - Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument - Google Patents

Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument

Info

Publication number
EP4057928A1
EP4057928A1 EP20807687.7A EP20807687A EP4057928A1 EP 4057928 A1 EP4057928 A1 EP 4057928A1 EP 20807687 A EP20807687 A EP 20807687A EP 4057928 A1 EP4057928 A1 EP 4057928A1
Authority
EP
European Patent Office
Prior art keywords
image data
marker
medical instrument
puncture
puncture point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20807687.7A
Other languages
English (en)
French (fr)
Inventor
Timo KRÜGER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atlas Medical Technologies GmbH
Original Assignee
Atlas Medical Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atlas Medical Technologies GmbH filed Critical Atlas Medical Technologies GmbH
Publication of EP4057928A1 publication Critical patent/EP4057928A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3945—Active visible markers, e.g. light emitting diodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3995—Multi-modality markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers

Definitions

  • the invention relates to a method for reproducing a puncture point for a medical instrument.
  • the invention also relates to a medical system for reproducing a puncture point for a medical instrument.
  • Punctures are performed regularly in diagnostics or therapeutically.
  • a puncture refers to a targeted insertion of a medical instrument, in particular a needle, for example a hollow needle or a probe, into the human body.
  • the medical instrument is stabbed into the human body and guided to a target location inside the human body in order to apply energy there, extract fluids or tissue or to inject medication.
  • the target location comprises sensitive body tissue, for example nerve or organ tissue, or if there is sensitive body tissue in the vicinity of the target location
  • a puncture under visual control typically includes that the position and orientation of the medical instrument inside the human body are recorded with the aid of imaging methods such as computed tomography (CT), magnetic resonance tomography (MRT) or sonography.
  • CT computed tomography
  • MRT magnetic resonance tomography
  • sonography a puncture under visual control can be supplemented by the use of a positioning device with which the puncture point and puncture angle for the medical instrument can be reproduced, in particular marked.
  • EP 1 887 960 B1 for example, a positioning device for positioning instruments within an examination room is described, with which an access area and a relative orientation of an instrument for reaching a target area lying in the trajectory of the directed electromagnetic radiation can be marked by means of directed electromagnetic radiation.
  • the invention is based on the object of providing an improved method for reproducing a puncture point for a medical instrument. Another object of the invention is to provide an improved system for reproducing a puncture point for a medical instrument.
  • the object is achieved by a method for reproducing a puncture point for a medical instrument, which has the following steps: providing at least one marker on a surface of an object, the
  • Marker has the property of being detectable both fluoroscopically and optically
  • a fluoroscopic and / or tomographic recording and fluoroscopic and / or tomographic image data are to be understood as meaning recordings and the image data obtained with them that are made with imaging modalities such as X-ray devices (eg C-arms), X-ray tomographs (Computer tomographs), magnetic resonance tomographs, sonography devices or the like can be created.
  • Imaging modalities such as X-ray devices (eg C-arms), X-ray tomographs (Computer tomographs), magnetic resonance tomographs, sonography devices or the like can be created.
  • Images recorded with a computer tomograph are both fluoroscopic and tomographic recordings, while the term fluoroscopy is typically not used for magnetic resonance tomography.
  • tomography image data is also used for fluoroscopy image data which, in the narrower sense, are not tomography image data but originate, for example, from an imaging modality such as a C-arm. Accordingly, in the following, tomographic recordings are taken to mean all recordings that originate from an imaging modality, including fluoroscopic recordings, e.g. of a C-arm.
  • Display means displaying at least the puncture point and, if known, also the puncture angle and / or a puncture depth in a view of the object to be punctured. In the view of the object, the position of the puncture point is marked by its reproduction on the surface of the object.
  • the view of the object can be a direct, real view of the object and the display of the ice piercing point can be, for example, a marker projected onto the real surface.
  • the view of the object to be punctured can also be a real-time image reproduction of the object on a monitor or virtual reality (VR) glasses in which the ice piercing point is reproduced in real time.
  • the view of the object can also be a real-time image reproduction of the object on a transparent optical display on which the puncture point is reproduced in real time as augmented reality (AR) with correct perspective.
  • AR augmented reality
  • the medical instrument is in particular a cannulated medical instrument, for example a hollow needle.
  • the medical instrument can also be a needle-shaped probe, such as is used, for example, for interstitial thermotherapy.
  • the puncture point is located on the real surface of the object that is to be punctured, and in particular denotes the point at which the medical instrument is punctured into the object for a puncture.
  • the stitch angle and / or puncture depth can be reproduced in real time in the view of the object.
  • the puncture angle denotes that angle in relation to the surface at which the medical instrument is inserted into the object for a puncture.
  • the puncture depth describes the distance that the medical instrument inserted into the puncture point at the puncture angle has to cover in order to reach a target location inside a human body.
  • X-ray source and X-ray detector of an X-ray device can be used to generate tomography image data. So that a tomographic recording of the at least one marker arranged on the surface of the object can be reconstructed together with the object from the tomography image data, the object is positioned between the x-ray source and the x-ray detector so that x-rays emitted by the x-ray source penetrate the object and are dependent are attenuated to different degrees by the internal structure of the object before they are detected by the X-ray detector.
  • the tomographic recording reconstructed from the tomographic image data can be a two-dimensional or a three-dimensional tomographic recording.
  • the puncture point can be determined manually or by machine, for example based on software.
  • the puncture point is preferably set in such a way that the path that the medical instrument has to cover inside the object in order to reach the destination is as short as possible.
  • the puncture point is preferably set in such a way that sensitive tissue is not damaged during a puncture.
  • the coordinate of the defined puncture point for the medical instrument on the surface of the object is preferably determined computationally by a computing unit in the coordinate system of the tomography image data. Since the tomographic recording reconstructed from the tomography image data shows the object, and in particular the defined puncture point, together with the marker, the coordinate of the defined puncture point can be determined relative to the at least one marker. This means that the spatial relationship, i.e. the respective relative positions, between the puncture point and marker is defined in the coordinate system of the tomography image data. knows.
  • a tomographic recording does not show the complete object, but in particular that part of the object in which the target location for the medical instrument is located.
  • the marker is in particular provided in such a way, ie the marker is arranged such that it is visible together with the target location in a reconstructed tomographic image.
  • the visual image data can be generated with a camera. From the visual image data generated, a standing visual image of the surface together with the arranged marker or, as preferred in the method according to the invention, moving visual images of the surface together with the arranged marker can be reconstructed. Since the spatial relationship between the puncture point and marker can be determined in the coordinate system of the tomography image data and is then known, and the position and orientation of the marker in the coordinate system of the visual image data can be determined, it is particularly important using the position of the puncture point relative to the at least a marker possible to transform the coordinate of the puncture point in the coordinate system of the tomography image data into the coordinate system of the visual image data. The coordinate of the puncture point and also the spatial relationship to the marker are then known in the coordinate system of the visual image data.
  • the transformation of the coordinate of the puncture point in the coordinate system of the tomography image data into the coordinate system of the visual image data is possible in particular because the position of the marker is known both in the coordinate system of the tomography image data and in the coordinate system of the visual image data and can thus be used as a reference for transformations of coordinates from one coordinate system and into the other coordinate system.
  • the position of the puncture point in the coordinate system of the visual image data can be used to reproduce the puncture point in real time in the view of the object.
  • the reproduction of the puncture point is preferably adapted in real time to a changing view of the object, that is to say with the correct perspective.
  • the view of the object can be a be a real view or a reconstructed view.
  • a real view can be an immediate, direct view of the real surface or an indirect one through a transparent medium, for example a transparent optical display.
  • a reconstructed view can be a still vision image reconstructed from the visual image data.
  • a reconstructed view of the object can also include a real-time image reproduction reconstructed from the visual image data, ie moving visual images of the surface.
  • Visual image data from which moving visual images can be reconstructed can be generated by means of video technology, for example by means of a video camera.
  • a video camera can be designed to generate three-dimensional visual image data from which three-dimensional moving visual images can be reconstructed.
  • the method according to the invention enables an exact reproduction of the puncture point on the surface in a view of the object, so that a user can puncture the object in a targeted and controlled manner.
  • the method has the advantage that no, or at least only a few, x-ray images of the object need to be recorded during a puncture of the object. Under certain circumstances, it may be sufficient to simply record an X-ray image for planning before the puncture in order to determine the puncture point. In particular, if the angle of the puncture and the puncture depth are also reproduced in the view of the object, it is generally not necessary to take an X-ray image after the puncture for control purposes in order to check whether the medical instrument has actually reached the target location. Overall, the method according to the invention can significantly reduce the radiation exposure for an object, in particular for a patient, depending on the application.
  • the method according to the invention has the further advantage that, apart from an X-ray device that is already present, no further bulky devices are required that take up additional space in an operating room. All that is required to carry out the method according to the invention is a marker, a camera and a computing unit with appropriate software.
  • a doctor who is supported by the method according to the invention in puncturing an object reliably and precisely is not hindered by further bulky devices or restricted in his movement.
  • An operating theater also does not have to be rebuilt or changed, for example no devices have to be screwed into an operating theater wall or ceiling so that the method according to the invention can be carried out.
  • the method according to the invention can also be implemented without a laser which is used to mark the puncture point by means of a laser beam. Displaying the puncture point in the view of the object without the laser has the advantage that a doctor does not have to be careful that he is blocking the laser beam and that the marking of the puncture point by the laser beam is no longer visible.
  • the visual image data are preferably generated as three-dimensional visual image data.
  • Three-dimensional visual image data can be generated e.g. with a light field camera, a stereo camera, a triangulation system or a time-of-flight (TOF) camera. From the three-dimensional visual image data, three-dimensional visual images can be generated in which, in addition to the puncture point, in particular the puncture angle for the medical instrument can also be reproduced with the correct perspective.
  • the method has the following steps:
  • the puncture point, puncture angle and puncture depth are preferably reproduced together in the view of the object in real time and with correct perspective. A doctor can then see at a glance where on the surface, at what angle and how deep the object is to be punctured.
  • the visual image data are continuously generated and at least the puncture point determined in the coordinate system of fluoroscopy and / or tomography image data is transformed into the coordinate system of the respectively most recently generated visual image data.
  • the reproduction of at least the puncture point is preferably displayed for the medical instrument in the view of the object in real time.
  • Moving visual images can be reconstructed as real-time image reproduction from the visual image data that is continuously generated. Since the visual image data are continuously generated, a relative movement of the object can be recorded and the puncture point, puncture angle and / or puncture depth can be reproduced in real time in the view of the object with the correct perspective.
  • the coordinate of the puncture point in the coordinate system of the tomography image data and the puncture angle and / or the puncture depth can be transformed into the coordinate system of the visual image data generated last and then reproduced in real time.
  • a visual image of the surface in which the puncture point for the medical instrument is reproduced can be reconstructed from the visual image data generated.
  • a visual image can be a two- or three-dimensional still vision image or, as preferred, a two- or three-dimensional visual image of moving visual images.
  • the visual image can be displayed on a monitor.
  • the stitch angle and / or puncture depth for the medical instrument can be reproduced in the visual image.
  • the puncture point for the medical instrument can also be reproduced in an indirect view of the object on a transparent optical display.
  • the view of the real surface is visible through the transparent optical display, the reproduction of the puncture point on the transparent display taking place in the correct perspective in relation to the view of the real surface.
  • the optical display can be attached to a frame similar to spectacle lenses, which can be put on by a user so that the optical display is in front of the user's eyes.
  • the user can then view the real object through the transparent optical display, i.e. indirectly see the real image of the surface.
  • the puncture point for the medical instrument can be reproduced in real time with the correct perspective in relation to the view of the real surface. are given so that a user sees the puncture point on the surface of the object in the indirect view of the object.
  • puncture angles and / or puncture depth for the medical instrument can be displayed on the transparent optical display.
  • a camera with which visual image data is continuously generated is preferably attached to a frame with an optical display.
  • the puncture point, the puncture angle and / or the puncture depth can then be reproduced in real time in the indirect view of the object in such a way that the puncture point, the puncture angle and / or the puncture depth are shown in the correct perspective in relation to the view of the real surface.
  • the puncture point for the medical instrument can be reproduced as an optical marking on the real surface of the object.
  • the puncture point can be reproduced directly on the real surface of the object, in particular projected onto it, by means of a laser beam or by means of a crosshair generated by a video projector as an optical marking.
  • the laser and / or video projector are then preferably auto-calibrated with a camera used to generate visual image data.
  • the stitch angle and / or the puncture depth can also be displayed as an optical marker.
  • the puncture point and the puncture angle and / or the puncture depth are reproduced in real time in the view of the object in the form of a digital representation of a virtual tool.
  • the virtual tool can be reproduced in real time with the correct perspective on a transparent optical display or on a monitor in real-time image reproduction of the object.
  • the method can have the following steps:
  • a method in which it is signaled that the detected position and orientation of the medical instrument corresponds to the position and orientation of the reproduced virtual tool has the advantage that a user receives feedback as to whether the medical instrument is so oriented relative to the surface, that the object can be pierced along the specified path.
  • the fact that the detected position and orientation of the medical instrument corresponds to the position and orientation of the reproduced virtual tool can be signaled, for example, optically, e.g. in the view of the object, or acoustically.
  • the method can include calculating a trajectory between the recorded position and orientation of the medical instrument and the position and orientation of the reproducing virtual tool becomes.
  • the calculated trajectory can be used to reproduce a virtual directional display in real time in the view of the object.
  • the direction indicator preferably shows the direction in which the medical instrument must be moved in order to bring the position and orientation of the medical instrument into agreement with the position and orientation of the virtual tool reproduced in the view of the object.
  • a user can be supported by the virtual direction display in bringing the position and orientation of the medical instrument into agreement with the position and orientation of the reproduced virtual tool.
  • the method in which the puncture point and the puncture angle and / or the puncture depth can be reproduced in the form of a digital representation of a virtual tool, the method preferably has the step: Alignment of the digital representation of the reproduced virtual tool in real time relative to the at least one marker in relation to a recording axis along which the visual image data are generated.
  • Aligning the digital representation of the reproduced virtual tool in real time relative to the at least one marker in relation to a recording axis along which the visual image data is generated enables the virtual tool to be reproduced in real time with correct perspective in the view of the object.
  • a relative movement of the object or a relative change in the perspective of the surface in the view of the object can be taken into account by aligning the digital representation of the reproduced virtual tool in real time with respect to the receiving axis, so that the puncture point, angle and / or puncture depth are always displayed in the correct perspective.
  • a user and the object can then move relative to one another and the user can trust that the puncture point, puncture angle and / or puncture depth are correctly reproduced in the view at all times.
  • the medical system has a marker, an imaging modality, in particular an X-ray device or a computer tomograph, a camera, a computing unit and a display unit.
  • the marker is designed in such a way that it can be detected fluoroscopically and / or tomographically as well as optically.
  • the imaging modality in particular the x-ray device, is designed to generate fluoroscopic and / or tomography image data and generally includes an x-ray source and an x-ray detector.
  • the x-ray device can be, for example, a computed tomography (CT) device or a C-arm device.
  • CT computed tomography
  • the imaging modality can also be, for example, a sonography device or a magnetic resonance tomograph.
  • the camera is designed to generate visual image data and can be, for example, a light field camera, a stereo camera, a triangulation system, or a TOF camera.
  • the camera is preferably designed in such a way that it can continuously generate image data, and in particular three-dimensional data.
  • a scanner can also be provided and the visual image data can be generated in a light section method.
  • the computing unit is designed for
  • the display unit is designed to display the puncture point for the medical instrument in real time in a real or reconstructed view of the object.
  • the medical system according to the invention is designed in particular in such a way that the method according to the invention for reproducing a puncture point for a medical instrument can be carried out with it.
  • the camera and x-ray device are each operatively connected to the computing unit, so that the computing unit can access and process visual image data generated by the camera and tomography image data generated by the x-ray device. Furthermore, in particular the computing unit is operatively connected to the display unit for visualizing the puncture point for the medical instrument in real time in the view of the object of the object. Preferred embodiments of the medical system according to the invention for reproducing a puncture point for a medical instrument are described below.
  • the computing unit can be designed as an electronic data processing system or as part of an electronic data processing system and has in particular a CPU (Central Processing Unit), a working memory and a computer-readable storage medium with permanently stored computer programs.
  • a CPU Central Processing Unit
  • working memory e.g., a hard disk drive
  • computer-readable storage medium e.g., a hard disk drive
  • the computing unit and / or the x-ray device can be designed to reconstruct a tomographic recording from the tomographic image data.
  • the arithmetic unit and / or a separate data processing system can be designed to reconstruct a visual image from visual image data generated by the camera.
  • the reproduction unit can be an optical display that is operatively connected to the arithmetic unit and on which the puncture point for the medical instrument can be visualized by means of the arithmetic unit.
  • the optical display can in particular be part of an augmented reality (AR) system.
  • AR augmented reality
  • the optical display can be part of glasses to which the camera is attached.
  • the optical display can be transparent, so that the real surface can be viewed indirectly through the optical display and at the same time the puncture point can be reproduced in the indirect view.
  • the reproduction unit can be a monitor that is actively connected to the computing unit, for example a computer monitor or a monitor of a virtual reality (VR) system, for example VR glasses.
  • a reconstructed view of the object can be reproduced on the monitor, for example as a real-time image reproduction of the object together with at least the puncture point, with correct perspective.
  • VR virtual reality
  • the display unit can also be a video projector which is auto-calibrated with the camera and is designed to display the puncture point for the medical instrument on the real surface of the object as an optical marking.
  • the video projector is preferably auto-calibrated with the camera and designed to project a crosshair onto the real surface of the object, the center representing the position of the puncture point.
  • a puncture point can also be reproduced at the same time in an indirect view of the object and projected onto the real surface as an optical marking. Due to the redundancy, the puncture point can under certain circumstances be reproduced with a comparatively higher degree of reliability.
  • the at least one marker can be pliable and flexible and can be formed, for example, from adhesive tape, which can be adhered to the real surface of the object.
  • a regular or an irregular pattern can be stuck to the surface with the adhesive tape in order to form the marker.
  • the marker can also be formed from a double-sided adhesive film or double-sided adhesive paper with a pre-cut pattern.
  • the adhesive film can be glued to the real surface and then the carrier film removed so that only the pre-cut pattern remains on the surface and forms the marker.
  • the marker is provided on a carrier paper or a carrier film, the marker itself can also consist of several, not directly connected components, the relative position of which is nevertheless predetermined by the carrier film or the carrier paper. If the carrier film or the carrier paper is peeled off the marker in the application case after the marker has been applied to a body surface, the components of the marker maintain their relative position accordingly.
  • the marker can also be rigid and, for example, in the form of a solid block that can be glued to the surface of the body when used.
  • the adhesive tape or the adhesive film preferably has a metal such as titanium or stainless steel or alternatively a substance such as BaSOx, and in particular barium sulfate (BaS04), so that the adhesive tape or the adhesive film can be recorded tomographically, in particular fluoroscopically.
  • a metal such as titanium or stainless steel or alternatively a substance such as BaSOx, and in particular barium sulfate (BaS04), so that the adhesive tape or the adhesive film can be recorded tomographically, in particular fluoroscopically.
  • the at least one marker can also have at least one tomographically and in particular fluoroscopically detectable element and / or at least one optically detectable element.
  • the tomographically detectable element can be formed from a metal and configured in such a way that it can be identified in a tomographic or fluoroscopic recording as a tomographically or fluoroscopically detectable element.
  • metal balls that can be identified in a fluoroscopic and / or tomographic image can be arranged distributed over the area of the marker.
  • the optically detectable element can be a light-emitting diode which is designed to emit electromagnetic radiation in a defined wavelength range. In particular, several light-emitting diodes can be arranged distributed over the area of the marker.
  • the defined wavelength range preferably includes infrared radiation.
  • the camera then preferably has an infrared sensor for detecting infrared radiation emitted by the light-emitting diode.
  • the tomographically detectable elements and optically detectable elements preferably have a known spatial relationship to one another. It It is also possible to use elements that can be recorded both tomographically and optically. For example, metal balls can also be used as optically detectable elements.
  • the medical system can also comprise a robot arm which is designed to hold the medical instrument and to perform a puncture with it.
  • the robot arm is preferably designed to perform a puncture in a software-controlled manner according to the determined puncture point, puncture angle and puncture depth.
  • the invention also relates to a computer program which is designed to determine a puncture point for a medical instrument on a surface of an object relative to a marker in the coordinate system of generated tomography image data and the coordinate of the puncture point in the coordinate system of the tomography image data in transform the coordinate system of generated visual image data using a relative position of the puncture point to the marker.
  • the invention also relates to a computer-readable storage medium on which the computer program according to the invention is permanently stored.
  • the computer-readable storage medium is preferably an element of the computing unit and the stored computer program can preferably be loaded into a main memory and processed and executed by processors.
  • FIG. 1 shows a flow chart of a method for reproducing a puncture point for a medical instrument.
  • At least one marker is made available on a surface of an object.
  • the marker has the property of being detectable both tomographically, in particular fluoroscopically, and optically.
  • the marker can be formed, for example, from adhesive tape which is adhered to the surface in a regular or an irregular pattern in order to form the marker. So that the marker can be recorded tomographically, it preferably has barium sulfate, distributed over the surface of the adhesive tape or in selected areas, which is visible in a fluoroscopic image of the marker.
  • the marker can also be provided on the surface of the object by adhering double-sided adhesive film with a pre-cut pattern to the surface.
  • the carrier film of the double-sided adhesive film can be peeled off in such a way that only the adhesive film remains in the pre-cut pattern on the surface in order to form the marker.
  • the marker is then formed from a predefined adhesive film pattern.
  • a movement of the object can, for example, be determined on the basis of a detected deformation of the predefined pattern.
  • the marker can also be formed from a carrier material on which fluoroscopically and optically detectable elements are arranged.
  • the fluoroscopically detectable elements can be, for example, metal balls and the optically detectable elements light-emitting diodes.
  • the fluoroscopically and optically detectable elements are preferably arranged in a known spatial relationship to one another.
  • tomography image data are generated from which a fluoroscopic image of the at least one marker arranged on the surface of the object can be reconstructed together with the object.
  • the tomography image data can be generated, for example, with an X-ray device which has an X-ray source and an X-ray detector.
  • the object is located between the X-ray source and the X-ray detector so that the X-rays emitted by the X-ray source penetrate the marker and at least that part of the object in which a target location to be punctured is located and then detected by the X-ray detector become.
  • the puncture point for the medical instrument on the surface of the object is provided relative to the at least one on the surface Markers determined in the coordinate system of the tomography image data.
  • the puncture point for the medical instrument can initially be established in a fluoroscopic recording reconstructed from the tomography image data, for example implemented by a doctor or by software.
  • the coordinate of the stipulated puncture point in the coordinate system of the tomography image data can then be determined computationally by a computing unit. Since the position of the marker in the coordinate system of the tomography image data is known, the spatial relationship between the marker and the puncture point can be determined in the coordinate system of the tomography image data. In particular, the position of the puncture point relative to the marker in the coordinate system of the tomography image data is then known.
  • the puncture angle and / or puncture depth can also be determined for the medical instrument relative to the at least one marker in the coordinate system of the tomography image data. In the coordinate system of the tomography image data, it is then known where, at what angle and how deep the medical instrument is to be inserted into the object for a puncture.
  • step S4 visual image data are generated from which a visual image of the at least one marker arranged on the surface of the object can be reconstructed together with the object.
  • the visual image data are generated with a camera which is preferably designed to generate the visual image data continuously and as three-dimensional visual image data.
  • step S5 the coordinate of the puncture point in the coordinate system of the tomography image data is transformed into the coordinate system of the visual image data using the relative position of the relative position to the at least one marker. If the puncture angle and / or puncture depth were also determined in the coordinate system of the tomography image data, the puncture angle using the relative orientation of the puncture angle to the at least one marker and / or the puncture depth using the relative distance of the puncture depth to the at least one marker are also entered into the The coordinate system of the visual image data transformed.
  • step S6 the puncture point for the medical instrument and - if determined - also the puncture angle and / or the puncture depth are reproduced in a view of the object.
  • the puncture point, puncture angle and puncture depth for the medical instrument are preferably reproduced together in the view of the object.
  • the view of the object can be a real view or a reconstructed view.
  • a real view can be a direct view of the real surface or an indirect view of the real surface, for example through a transparent optical display.
  • the puncture point for the medical instrument can be reproduced, for example, by means of an optical marking.
  • the puncture point for the medical instrument can be reproduced in such a way that it is reproduced in real time with the correct perspective in relation to the surface.
  • the stitch angle and puncture depth can also be reproduced in real time with correct perspective in relation to the surface. It is conceivable that the puncture point, puncture angle and puncture depth are reproduced in the form of a digital representation of a virtual tool in real time in the indirect view of the object.
  • a reconstructed view of the object can be a light image reconstructed from generated visual image data, in particular a real-time image recording of the object.
  • the reconstructed view of the object can be reproduced, for example, on a monitor, for example a computer monitor or the monitor of VR glasses.
  • the puncture point, puncture angle and puncture depth can be reproduced, for example in the form of a digital representation of a virtual tool.
  • puncture point is shown in a single view. It is also possible that the puncture point, puncture angle and puncture depth are shown together in one view. It is also possible that the puncture point, puncture angle and puncture depth are shown in one view and only the puncture point is shown in an additional view. In this case, the puncture point is shown in two different views, i.e. redundantly.
  • the puncture point, puncture angle and puncture depth can be reproduced in the form of a digital representation of a virtual tool in an indirect view of the object and, in addition, the puncture point can be reproduced in a direct view by means of an optical marking. A user can then choose between the two views, for example.
  • An optical marking can also be integrated into an indirect view of the object.
  • FIG. 2 shows a schematic illustration of a medical system 200 for reproducing a puncture point for a medical instrument (not shown).
  • the medical system 200 comprises an x-ray device 204, a camera 206, a computing unit 208, a marker 210 and two display units 214a, 214b.
  • the medical system 200 is particularly suitable for carrying out the method described with reference to FIG. 1 with it.
  • the marker 210 can be arranged on an object 216 to be punctured (not part of the medical system 200), for example a patient.
  • the marker 210 is then preferably arranged on the object 116 in such a way that it follows a movement of the object, so that there is no relative movement between the object 216 and the marker 210.
  • the marker 210 is preferably applied to the object 216 in an adhesive manner.
  • the marker 210 can be formed, for example, by an adhesive tape which is stuck to the surface of the object 216 in a regular or an irregular pattern.
  • the marker 210 is designed in such a way that it can be recorded both tomographically, in particular fluoroscopically, and optically. So that the marker 210 can be detected optically, it is preferably designed in a color and / or shape that ensures a visible contrast to the surface of the object 210 in a visual image recording. So that the marker 210 is also visible in a tomographic recording, it can have barium sulfate as a contrast agent in defined areas, for example.
  • the x-ray device 204 can be, for example, a computed tomography (CT) device and comprises an x-ray source and an x-ray detector (not shown).
  • CT computed tomography
  • the object 216 is arranged between the X-ray source and the X-ray detector of the X-ray device 204, so that a tomographic recording of the marker 210 together with the object 216 can be reconstructed from the generated tomography image data.
  • a reconstructed tomographic recording can initially be used to plan a puncture of the object 216, for example to establish a puncture point on the surface of the object 210.
  • the computing unit 208 can determine the coordinate of the puncture point in the coordinate system of the tomography image data 218 relative to the position of the marker 210.
  • the computing unit 208 is also designed to determine the stitch angle and the puncture depth for the medical instrument in the coordinate system of the tomography image data 218.
  • the arithmetic unit accesses the from the X-ray device 204 generates tomography image data and processes them.
  • the processing unit 208 is also operatively connected to the camera 206 in order to access visual image data generated by the camera and to process them further.
  • the computing unit 208 is designed to enter the coordinate of the puncture point determined in the coordinate system of the tomography image data, as well as the puncture angle and the puncture depth To transform coordinate system 222 of the visual image data generated by the camera 206.
  • the computing unit 208 is designed to use the position of the puncture point relative to the at least one marker for the transformation of the coordinate of the puncture point.
  • the relative position of the puncture point to the at least one marker 210 can be used to transform the coordinate of the puncture point, since the position of the marker 210 is known both in the coordinate system of the tomography image data 218 and in the coordinate system of the visual image data 222.
  • the position of the marker 210 can thus be used as a reference for the transformation of the coordinate of the puncture point from the coordinate system of the tomography image data 218 into the coordinate system of the visual image data 222.
  • the computing unit 208 is also operatively connected to the display unit 214a and is designed to display the puncture point 202a for the medical instrument in real time and in a correct perspective in a view 220 of the surface.
  • the medical system 200 has two display units 214a, 214b.
  • the medical system 200 can also have only one of the two display units 214a, 214b or an alternative display unit.
  • the display unit 214b is a video projector which is auto-calibrated with the camera 206 and is designed to display the puncture point 202b as an optical marking.
  • the reproduction unit 214a is a transparent optical display which, together with the camera 206, can be attached to a frame, for example a spectacle frame.
  • the view 220 on the transparent optical display 214a is an indirect view of the real surface of the object 216 in which the puncture point 202a is reproduced.
  • the puncture point 202a can be reproduced in real time and in the correct perspective. will be given.
  • the medical system 200 can also have a monitor on which the puncture point is reproduced in a reconstructed view of the object.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Surgical Instruments (AREA)

Abstract

Die Erfindung betrifft ein Verfahren sowie ein medizinisches System (200) zum Wiedergeben eines Einstichpunktes (202a, 202b) für ein medizinisches Instrument. Das Verfahren weist die Schritte auf: • - Bereitstellen wenigstens eines Markers (210) auf einer Oberfläche eines Objekts (216), wobei der Marker (210) die Eigenschaft hat sowohl tomographisch, insbesondere fluoroskopisch als auch optisch erfassbar zu sein, • - Erzeugen von Tomographie-Bilddaten aus denen eine fluoroskopische Aufnahme von dem wenigstens einen auf der Oberfläche des Objekts (216) angeordneten Marker (210) zusammen mit dem Objekt (216) rekonstruiert werden kann, • - Bestimmen des Einstichpunktes (202a, 202b) für das medizinische Instrument auf der Oberfläche des Objekts (216) relativ zu dem wenigstens einen Marker (210) in dem Koordinatensystem der Tomographie-Bilddaten (218), • - Erzeugen von Sichtbilddaten aus denen ein Sichtbild des wenigstens einen auf der Oberfläche des Objekts (216) angeordneten Markers (210) zusammen mit dem Objekt (216) rekonstruiert werden kann, • - Transformieren der Koordinate des Einstichpunktes in dem Koordinatensystem der Tomographie-Bilddaten (218) in das Koordinatensystem der Sichtbilddaten (222) unter Verwendung der Relativposition des Einstichpunktes (202a, 202b) zu dem wenigstens einen Marker (210), und • - Wiedergeben des Einstichpunktes (202a, 202b) für das medizinische Instrument in Echtzeit in einer Ansicht des Objekts (216).

Description

Verfahren und System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument
Die Erfindung betrifft ein Verfahren zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument. Ferner betrifft die Erfindung ein medizinisches System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument.
In der Diagnostik oder auch therapeutisch werden regelmäßig Punktionen vorgenommen. Eine Punktion bezeichnet ein gezieltes Einstechen eines medizinischen Instruments, insbesondere einer Nadel, z.B. Hohlnadel oder einer Sonde, in den menschlichen Körper. Das medizinische Instrument wird dabei in den menschlichen Körper eingestochen und zu einem Zielort im Inneren des menschlichen Körpers geführt um dort z.B. Energie zu applizieren, Flüssigkeiten oder Gewebe zu entnehmen oder um Medikamente zu injizieren. Insbesondere, wenn der Zielort sensibles Körpergewebe, beispielsweise Nerven- oder Organgewebe, umfasst oder sich sensibles Körpergewebe in der Nähe des Zielorts befindet, wird eine Punktion regelmäßig unter Sichtkontrolle durchgeführt. Eine Punktion unter Sichtkontrolle umfasst typischerweise, dass Position und Orientierung des medizinischen Instruments im Inneren des menschlichen Körpers mit Hilfe von bildgebenden Verfahren wie Computertomographie (CT), Magnetresonanztomographie (MRT) oder Sonographie erfasst werden. Insbesondere eine Punktion unter Sichtkontrolle kann durch die Verwendung einer Positioniervorrichtung ergänzt werden, mit welcher Einstichpunkt und Stichwinkel für das medizinische Instrument wiedergegeben, insbesondre markiert, werden können.
In EP 1 887 960 B1 ist beispielsweise eine Positioniervorrichtung zum Positionieren von Instrumenten innerhalb eines Untersuchungsraumes beschrieben, mit der mittels gerichteter elektromagnetischer Strahlung ein Zugangsbereich und eine relative Ausrichtung eines Instrumentes zur Erreichung eines in der Trajektorie der gerichteten elektromagnetischen Strahlung liegenden Zielbereichs markiert werden können.
Der Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument bereitzustellen. Ferner liegt der Erfindung die Aufgabe zugrunde ein verbessertes System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument bereitzustellen.
Hinsichtlich des Verfahrens wird die Aufgabe durch ein Verfahren zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument gelöst, welches die Schritte aufweist: - Bereitstellen wenigstens eines Markers auf einer Oberfläche eines Objekts, wobei der
Marker die Eigenschaft hat sowohl fluoroskopisch als auch optisch erfassbarzu sein,
- Erzeugen von Fluoroskopie- und/oder Tomographie-Bilddaten aus denen eine fluorosko- pische und/oder tomographische Aufnahme von dem wenigstens einen auf der Oberfläche des Objekts angeordneten Marker zusammen mit dem Objekt rekonstruiert werden kann, - Bestimmen des Einstichpunktes für das medizinische Instrument auf der Oberfläche des
Objekts relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluoroskopie- und/oder Tomographie-Bilddaten,
- Erzeugen von Sichtbilddaten aus denen ein Sichtbild des wenigstens einen auf der Oberfläche des Objekts angeordneten Markers zusammen mit dem Objekt rekonstruiert werden kann,
- Transformieren der Koordinate des Einstichpunktes in dem Koordinatensystem der Fluoroskopie- und/oder Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten unter Verwendung der Relativposition des Einstich punktes zu dem wenigstens einen Marker, und - Wiedergeben des Einstichpunktes für das medizinische Instrument in Echtzeit in einer Ansicht des Objekts.
Unter einer fluoroskopischen und/oder tomographischen Aufnahme und Fluoroskopie- und/oder Tomographie-Bilddaten sollen im Rahmen dieser Beschreibung solche Aufnah- men und die damit gewonnenen Bilddaten verstanden werden, die mit bildgegeben Modalitäten wie Röntgengeräten (z.B. C-Bogen), Röntgen-Tomographen (Computer-Tomographen), Magnet-Resonanz-Tomographen, Sonographie Geräten oder der gleichen erstellt werden. Mit einem Computer-Tomographen aufgenommene Bilder sind dabei sowohl flu- oroskopische als auch tomographische Aufnahmen, während für die Magnet-Resonanz- Tomographie typischerweise nicht der Begriff Fluoroskopie verwendet wird.
Für die Zwecke der hier beschriebenen Erfindung wird der Begriff "Tomographie-Bilddaten" auch fürFluoroskopie-Bilddaten verwendet, die im engeren Sinne keine Tomographie-Bild- daten sind, sondern zum Beispiel von einer bildgebenden Modalität wie einem C-Bogen stammen. Mit tomographischen Aufnahmen sind dementsprechend im Folgenden alle Auf- nahmen gemeint, die von einer bildgebenden Modalität stammen, also auch fluoroskopi- sche Aufnahmen z.B. eines C-Bogens.
„Widergeben“ bezeichnet ein Anzeigen wenigstens des Einstichpunktes und falls bekannt auch des Stichwinkels und/oder einer Punktionstiefe in einer Ansicht des zu punktierenden Objekts. In der Ansicht des Objekts wird die Position des Einstichpunktes durch dessen Wiedergabe auf der Oberfläche des Objekts markiert.
Die Ansicht des Objekts kann eine direkte, reale Ansicht des Objekts und die Wedergabe des Eistechpunktes z.B. ein auf die reale Oberfläche projizierter Marker sein. Alternativ kann die Ansicht des zu punktierenden Objekts aber auch eine Echtzeitbildwiedergabe des Objekts auf einem Monitor oder einer virtuellen Realität ( virtual reality, VR)-Brille sein, in der der Eistechpunkt in Echtzeit wiedergegeben ist. Die Ansicht des Objekts kann auch eine Echtzeitbildwiedergabe des Objekts auf einem transparenten optischen Display sein, auf dem der Einstichpunkt als erweiterte Realität (augmented reality, AR) perspektiv-richtig in Echtzeit wiedergeben ist.
Das medizinische Instrument ist insbesondere ein kanüliertes medizinisches Instrument, beispielsweise eine Hohlnadel. Alternativ kann das medizinische Instrument aber auch eine nadelförmige Sonde sein, wie sie z.B. für eine interstitielle Thermotherapie eingesetzt wird. Der Einstichpunkt befindet sich auf der realen Oberfläche des Objekts, das punktiert werden soll, und bezeichnet insbesondere diejenige Stelle, an der das medizinische Instrument für eine Punktion in das Objekt eingestochen wird. Zusätzlich können Stichwinkel und/oder Punktionstiefe in der Ansicht des Objekts in Echtzeit wiedergegeben werden. Der Stich- Winkel bezeichnet denjenigen Winkel in Bezug auf die Oberfläche, unter dem das medizinische Instrument für eine Punktion in das Objekt eingestochen wird. Die Punktionstiefe bezeichnet die Distanz, die das in den Einstichpunkt unter dem Stichwinkel eingestochene medizinische Instrumente zurücklegen muss, um einen Zielort im Inneren eines menschlichen Körpers zu erreichen. Zum Erzeugen von Tomographie-Bilddaten können Röntgenquelle und Röntgendetektor eines Röntgengeräts verwendet werden. Damit aus den Tomographie-Bilddaten eine tomographische Aufnahme von dem wenigstens einen auf der Oberfläche des Objekts angeordneten Marker zusammen mit dem Objekt rekonstruiert werden kann, wird das Objekt zwischen Röntgenquelle und Röntgendetektor positioniert, so dass von der Röntgenquelle emittierte Röntgenstrahlen das Objekt durchdringen und dabei abhängig von der inneren Struktur des Objekts unterschiedlich stark abgeschwächt werden bevor sie der Röntgendetektor detektiert. Die von den Tomographie-Bilddaten rekonstruierte tomographische Aufnahme kann eine zweidimensionale oder eine dreidimensionale tomographische Aufnahme sein. In der tomographischen Aufnahme kann der Einstichpunkt manuell oder maschinell, z.B. software-basiert, festgelegt werden. Der Einstichpunkt wird vorzugsweise derart festgelegt, dass der Weg, den das medizinische Instrument im Inneren des Objekts zurücklegen muss um den Zielort zu erreichen möglichst kurz ist. Der Einstichpunkt wird vorzugsweise derart festgelegt, dass sensibles Gewebe während einer Punktion nicht beschädigt wird.
Die Koordinate des festgelegten Einstichpunktes für das medizinische Instrument auf der Oberfläche des Objekts wird bevorzugt rechnerisch durch eine Recheneinheit in dem Koordinatensystem der Tomographie-Bilddaten bestimmt. Da die von den Tomographie- Bilddaten rekonstruierte tomographische Aufnahme das Objekt, und insbesondere den festgelegten Einstichpunkt, zusammen mit dem Marker zeigt, kann die Koordinate des festgelegten Einstichpunktes relativ zu dem wenigstens einen Marker bestimmt werden. Das heißt, die räumliche Beziehung, also die jeweiligen Relativpositionen, zwischen Einstichpunkt und Marker ist in dem Koordinatensystem der Tomographie-Bilddaten be- kannt. Typischerweise zeigt eine tomographische Aufnahme nicht das vollständige Objekt, sondern insbesondere denjenigen Teilbereich des Objekts, in dem sich der Zielort für das medizinische Instrument befindet. Der Marker wird insbesondere derart bereitgestellt, d.h. der Marker ist so angeordnet, dass dieser zusammen mit dem Zielort in einer rekonstruierten tomographischen Aufnahme sichtbar ist.
Die Sichtbilddaten können mit einer Kamera erzeugt werden. Aus den erzeugten Sichtbilddaten kann ein Steh-Sichtbild der Oberfläche zusammen mit dem angeordneten Marker oder, wie in dem erfindungsgemäßen Verfahren bevorzugt, bewegte Sichtbilder der Oberfläche zusammen mit dem angeordneten Marker rekonstruiert werden. Da die räumliche Beziehung zwischen Einstichpunkt und Marker in dem Koordinatensystem der Tomographie-Bilddaten bestimmt werden kann und dann bekannt ist, und Position und Orientierung des Markers in dem Koordinatensystem der Sichtbilddaten bestimmt werden können, ist es insbesondere unter Verwendung der Relativposition des Einstichpunktes zu dem wenigstens einen Marker möglich, die Koordinate des Einstichpunktes in dem Koordinatensystem der Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten zu transformieren. Die Koordinate des Einstichpunktes und auch die räumliche Beziehung zu dem Marker sind dann in dem Koordinatensystem der Sichtbilddaten bekannt.
Die Transformation der Koordinate des Einstichpunktes in dem Koordinatensystem derTo- mographie-Bilddaten in das Koordinatensystem der Sichtbilddaten ist insbesondere des- halb möglich, da die Position des Markers sowohl in dem Koordinatensystem der Tomo- graphie-Bilddaten als auch in dem Koordinatensystem der Sichtbilddaten bekannt ist und somit als Referenz für Transformationen von Koordinaten von dem einen Koordinatensystem und in das jeweils andere Koordinatensystem verwendet werden kann. Insbesondere die Position des Einstichpunktes in dem Koordinatensystem der Sichtbilddaten kann dazu verwendet werden, den Einstechpunkt in Echtzeit in der Ansicht des Objekts wiederzugeben.
Anhand der Wiedergabe des Einstichpunktes in Echtzeit in der Ansicht des Objekts kann ein Nutzer das Objekt zuverlässig und genau punktieren. Eine Wiedergabe in Echtzeit meint insbesondere, dass eine mögliche Verzögerung der Wiedergabe von dem mensch- liehen Auge nicht aufgelöst werden kann, also von einem Nutzer unbemerkt bleibt. Vorzugsweise wird die Wiedergabe des Einstichpunktes in Echtzeit an eine sich ändernde Ansicht des Objekts, d.h. perspektiv-richtig, angepasst. Die Ansicht des Objekts kann eine reale Ansicht oder eine rekonstruierte Ansicht sein. Eine reale Ansicht kann eine unmittelbare, direkte Ansicht der realen Oberfläche sein oder eine mittelbare durch ein transparentes Medium, z.B. ein transparentes optisches Display. Eine rekonstruierte Ansicht kann ein aus den Sichtbilddaten rekonstruiertes Steh-Sichtbild sein. Eine rekonstruierte Ansicht des Objekts kann auch eine aus den Sichtbilddaten rekonstruierte Echtzeitbildwiedergabe, d.h. bewegte Sichtbilder der Oberfläche umfassen. Sichtbilddaten aus denen bewegte Sichtbilder rekonstruiert werden können, können mittels Videotechnik erzeugt werden, beispielsweise mittels einer Videokamera. Eine Videokamera kann ausgebildet sein, dreidimensionale Sichtbilddaten zu erzeugen, aus denen dreidimensionale bewegte Sichtbilder rekon- struiert werden können.
Das erfindungsgemäße Verfahren ermöglicht eine genaue Wiedergabe des Einstechpunktes auf der Oberfläche in einer Ansicht des Objekts, so dass ein Nutzer ein Objekt das Objekt gezielt und kontrolliert punktieren kann. Das Verfahren hat den Vorteil, dass während einer Punktion des Objekts keine oder zumindest nur wenige Röntgenbilder von dem Objekt aufgenommen werden brauchen. Unter Umständen kann es ausreichen lediglich vor der Punktion ein Röntgenbild zur Planung aufzunehmen, um den Einstichpunkt festzulegen. Insbesondere wenn auch Stichwinkel und Punktionstiefe in der Ansicht des Objekts wiedergegeben werden, ist es in der Regel nicht notwendig nach der Punktion ein Röntgenbild zur Kontrolle aufzunehmen, um zu kontrollieren, ob das medizinische Instrument den Zielort tatsächlich erreicht hat. Insgesamt kann durch das erfindungsgemäße Verfahren die Strahlenbelastung für ein Objekt, insbesondere für einen Patienten, je nach Anwendungsfall deutlich reduziert werden.
Das erfindungsgemäße Verfahren hat den weiteren Vorteil, dass außer einem ohnehin vorhandenen Röntgengerät keine weiteren sperrigen Geräte benötigt werden, die in einem Operationssaal zusätzlich Platz wegnehmen. Zum Durchführen des erfindungsgemäßen Verfahrens werden lediglich ein Marker, eine Kamera und eine Recheneinheit mit entsprechender Software benötigt. Ein Arzt, der durch das erfindungsgemäße Verfahren darin unterstützt wird ein Objekt zuverlässig und exakt zu punktieren, wird nicht durch weitere sperrige Geräte behindert oder in seiner Bewegung eingeschränkt. Ein Operationssaal muss auch nicht umgebaut oder verändert werden, z.B. müssen keine Geräte in einer Operationssaalwand oder -decke verschraubt werden, damit das erfindungsgemäße Verfahren durchgeführt werden kann. Das erfindungsgemäße Verfahren kann auch ohne einen Laser realisiert werden, der dazu verwendet wird, mittels eines Laserstrahls den Einstichpunkt zu markieren. Ein Wiedergeben des Einstichpunktes in der Ansicht des Objekts ohne Laser hat den Vorteil, dass ein Arzt nicht darauf achten muss, dass er den Laserstrahl blockiert und dadurch die Markie- rung des Einstichpunkts durch den Laserstrahl nicht mehr sichtbar ist.
Im Folgenden werden bevorzugte Ausführungsvarianten des erfindungsgemäßen Verfahrens zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument beschrieben.
Vorzugsweise werden die Sichtbilddaten als dreidimensionale Sichtbilddaten erzeugt. Drei- dimensionale Sichtbilddaten können z.B. mit einer Lichtfeldkamera, einer Stereokamera, einem Triangulationssystem oder einer time-of-flight (TOF)-Kameras erzeugt werden. Aus den dreidimensionalen Sichtbilddaten können dreidimensionale Sichtbilder erzeugt werden, in denen zusätzlich zu dem Einstichpunkt insbesondere auch der Stichwinkel für das medizinische Instrument perspektiv-richtig wiedergegeben werden kann. In bevorzugten Ausführungsvarianten des erfindungsgemäßen Verfahrens weist das Verfahren die Schritte auf:
- Bestimmen eines Stichwinkels und/oder einer Punktionstiefe für das medizinische Instrument relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluoroskopie und/oder Tomographie-Bilddaten, - Transformieren des in dem Koordinatensystem der Fluoroskopie und/oder Tomographie-
Bilddaten bestimmten Stichwinkels und/oder der Punktionstiefe in das Koordinatensystem der Sichtbilddaten unter Verwendung einer Relativorientierung des Stichwinkels und/oder unter Verwendung eines Relativabstands der Punktionstiefe zu dem wenigstens einen Marker, und - Wiedergeben des Stichwinkels und/oder der Punktionstiefe für das medizinische Instrument in Echtzeit in der Ansicht des Objekts.
Vorzugsweise werden Einstichpunkt, Stichwinkel und Punktionstiefe gemeinsam in der Ansicht des Objekts in Echtzeit und perspektiv-richtig wiedergegeben. Ein Arzt kann dann auf einen Blick erfassen, wo auf der Oberfläche, unter welchem Winkel und wie tief das Objekt punktiert werden soll. In dem erfindungsgemäßen Verfahren ist es bevorzugt, dass die Sichtbilddaten laufend erzeugt werden und wenigstens der in dem Koordinatensystem der Fluoroskopie und/oder Tomographie-Bilddaten bestimmte Einstichpunkt in das Koordinatensystem der jeweils zuletzt erzeugten Sichtbilddaten transformiert wird. Die Wiedergabe wenigstens des Einstich- punktes wird vorzugsweise für das medizinische Instrument in der Ansicht des Objekts in Echtzeit dargestellt.
Von den laufend erzeugten Sichtbilddaten können bewegte Sichtbilder als Echtzeitbildwiedergabe rekonstruiert werden. Indem die Sichtbilddaten laufend erzeugt werden, kann eine Relativbewegung des Objekts erfasst und Einstichpunkt, Stichwinkel und/oder Punktions- tiefe in Echtzeit in der Ansicht des Objekts perspektiv-richtig wiedergegebene werden.
Insbesondere kann die Koordinate des Einstichpunktes in dem Koordinatensystem derTo- mographie-Bilddaten sowie der Stichwinkel und/oder die Punktionstiefe in das Koordinatensystem der zuletzt erzeugten Sichtbilddaten transformiert und dann in Echtzeit wiedergegeben werden. Aus den erzeugten Sichtbilddaten kann ein Sichtbild der Oberfläche rekonstruiert werden in dem der Einstichpunkt für das medizinische Instrument wiedergegeben ist. Ein Sichtbild kann ein zwei- oder dreidimensionales Steh-Sichtbild oder, wie bevorzugt, ein zwei- oder dreidimensionales Sichtbild bewegter Sichtbilder sein. Das Sichtbild kann auf einem Monitor angezeigt werden. Zusätzlich können in dem Sichtbild Stichwinkel und/oder Punktions- tiefe für das medizinische Instrument wiedergegeben werden.
Der Einstichpunkt für das medizinische Instrument kann auch in einer mittelbaren Ansicht des Objekts auf einem transparenten optischen Display wiedergegeben werden. Durch das transparente optische Display ist die Ansicht der realen Oberfläche sichtbar, wobei die Wiedergabe des Einstichpunktes auf dem transparenten Display perspektiv-richtig in Be- zug auf die Ansicht der realen Oberfläche erfolgt.
Das optische Display kann ähnlich wie Brillengläser an einem Gestell befestigt sein, welches von einem Nutzer aufgesetzt werden kann, so dass sich das optische Display vor den Augen des Nutzers befindet. Der Nutzer kann dann das reale Objekt durch das transparente optische Display betrachten, also mittelbar das reale Abbild der Oberfläche sehen. Auf dem transparenten optischen Display kann der Einstichpunkt für das medizinische Instrument perspektiv-richtig in Bezug auf die Ansicht der realen Oberfläche in Echtzeit wie- dergegeben werden, so dass ein Nutzer in der mittelbaren Ansicht des Objekts den Einstichpunkt auf der Oberfläche des Objekts sieht. Zusätzlich zu dem Einstichwinkel können auf dem transparenten optischen Display Stichwinkel und/oder Punktionstiefe für das medizinische Instrument wiedergegeben werden. An einem Gestell mit optischem Display ist vorzugsweise eine Kamera befestigt, mit der laufend Sichtbilddaten erzeugt werden. Der Einstichpunkt, der Stichwinkels und/oder die Punktionstiefe können dann in Echtzeit in der mittelbaren Ansicht des Objekts so wiedergegeben werden, dass der Einstichpunkt, der Stichwinkel und/oder die Punktionstiefe perspektiv-richtig in Bezug auf die Ansicht der realen Oberfläche dargestellt sind. Zusätzlich oder alternativ kann der Einstichpunkt für das medizinische Instrument auf der realen Oberfläche des Objekts als optische Markierung wiedergegeben werden. Beispielsweise kann der Einstichpunkt mittels eines Laserstrahls oder mittels eines von einem Videoprojektor erzeugten Fadenkreuzes als optische Markierung unmittelbar auf der realen Oberfläche des Objekts wiedergegeben insbesondere auf diese projiziert werden. Laser und/oder Videoprojektor sind dann vorzugsweise mit einer zum Erzeugen von Sichtbilddaten verwendeten Kamera autokalibriert. Zusätzlich kann auch der Stichwinkel und/oder die Punktionstiefe als optische Markierung wiedergegeben werden.
In manchen Ausführungsvarianten werden der Einstichpunkt und der Stichwinkel und/oder die Punktionstiefe in Form einer digitalen Repräsentation eines virtuellen Werkzeugs in Echtzeit in der Ansicht des Objekts wiedergegeben. Insbesondere kann das virtuelle Werkzeug in Echtzeit perspektiv-richtig auf einem transparenten optischen Display oder auf einem Monitor in einer Echtzeitbildwiedergabe des Objekts wiedergegeben werden.
Insbesondere in solchen Ausführungsvarianten des erfindungsgemäßen Verfahrens, in denen der Einstichpunkt und der Stichwinkel und/oder die Punktionstiefe in Form einer digi- talen Repräsentation eines virtuellen Werkzeugs wiedergegeben werden, kann das Verfahren die Schritte aufweisen:
- optisches Erfassen von Position und Orientierung des medizinischen Instruments relativ zu dem wenigstens einen Marker in dem Koordinatensystem der erzeugten Sichtbilddaten,
- Ermitteln ob die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs übereinstimmt, und falls dies der Fall ist: - Signalisieren, dass die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs übereinstimmt.
Ein Verfahren, in welchem signalisiert wird, dass die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs übereinstimmt, hat den Vorteil, dass ein Nutzer Rückmeldung bekommt, ob das medizinische Instrument so relativ zu er Oberfläche ausgerichtet ist, dass entlang des vorgegebenen Pfades in das Objekt eingestochen werden kann. Dass die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs übereinstimmt kann beispielsweise optisch z.B. in der Ansicht des Objekts oder akustisch signalisiert werden.
Falls die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs nicht übereinstimmt, kann das Verfahren umfassen, dass eine Trajektorie zwischen der erfassten Position und Orien- tierung des medizinischen Instruments und der Position und Orientierung des wiedergebenden virtuellen Werkzeugs berechnet wird.
Beispielsweise kann die berechnete Trajektorie dazu verwendet werden in Echtzeit in der Ansicht des Objekts eine virtuelle Richtungsanzeige wiederzugeben. Die Richtungsanzeige zeigt vorzugsweise diejenige Richtung an, in die das medizinische Instrument bewegt werden muss, um die Position und Orientierung des medizinischen Instruments in Übereinstimmung mit der Position und Orientierung des in der Ansicht des Objekts wiedergegebenen virtuellen Werkzeugs zu bringen.
Ein Nutzer kann durch die virtuelle Richtungsanzeige darin unterstützt werden, Position und Orientierung des medizinischen Instruments in Übereinstimmung mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs zu bringen.
In Ausführungsvarianten des erfindungsgemäßen Verfahrens, in denen der Einstichpunkt und der Stichwinkel und/oder die Punktionstiefe in Form einer digitalen Repräsentation eines virtuellen Werkzeugs wiedergegeben werden können, weist das Verfahren bevorzugt den Schritt auf: - Ausrichten der digitalen Repräsentation des wiedergegebenen virtuellen Werkzeugs in Echtzeit relativ zu dem wenigstens einen Marker in Bezug auf eine Aufnahmeachse entlang welcher die Sichtbilddaten erzeugt werden.
Ein Ausrichten der digitalen Repräsentation des wiedergegebenen virtuellen Werkzeugs in Echtzeit relativ zu dem wenigstens einen Marker in Bezug auf eine Aufnahmeachse entlang welcher die Sichtbilddaten erzeugt werden ermöglichet es, dass virtuelle Werkzeug perspektiv-richtig in Echtzeit in der Ansicht des Objekts wiederzugeben.
Eine Relativbewegung des Objekts oder eine relative Änderung der Perspektive auf die Oberfläche in der Ansicht des Objekts kann durch ein Ausrichten der digitalen Repräsen- tation des wiedergegebenen virtuellen Werkzeugs in Echtzeit in Bezug auf die Aufnahmeachse berücksichtigt werden, so dass Einstichpunkt, Stichwinkel und/oder Punktionstiefe in der Ansicht stets perspektiv-richtig wiedergegeben werden. Ein Nutzer und das Objekt können sich dann relativ zueinander bewegen und der Nutzer darauf vertrauen, dass Einstichpunkt, Stichwinkel und/oder Punktionstiefe in der Ansicht zu jeder Zeit korrekt wieder- gegeben werden.
Hinsichtlich des medizinischen Systems wird die eingangs genannte Aufgabe durch ein medizinisches System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument gelöst. Das medizinische System weist einen Marker, eine bildgebende Modalität, insbesondere ein Röntgengerät oder ein Computertomograph, eine Kamera, eine Rechen- einheit und eine Wiedergabeeinheit auf.
Der Marker ist der derart ausgebildet, dass er sowohl fluoroskopisch und/oder tomographisch als auch optisch erfasst werden kann. Die bildgebende Modalität, insbesondere das Röntgengerät ist zum Erzeugen von Fluoroskopie- oder/und Tomographie-Bilddaten ausgebildet und umfasst in der Regel eine Röntgenquelle und einen Röntgendetektor. Das Röntgengerät kann beispielsweise ein Computertomographie (CT)-Gerät oder ein C-Bo- gen-Gerät sein. Die bildgebende Modalität kann aber beispielsweise auch ein Sonographie-Gerät oderein Magnet-Resonanz-Tomograph sein. Die Kamera ist zum Erzeugen von Sichtbilddaten ausgebildet und kann beispielsweise eine Lichtfeldkamera, eine Stereokamera, ein Triangulationssystem, odereine TOF-Kamera sein. Die Kamera ist vorzugsweise so ausgebildet, dass mit dieser laufend Bilddaten und insbesondere dreidimensionale erzeugt werden können. Anstelle einer Kamera kann auch ein Scanner vorgesehen sein und die Sichtbilddaten können in einem Lichtschnittverfahren erzeugt werden. Die Recheneinheit ist ausgebildet zum
- Bestimmen des Einstichpunktes für das medizinische Instrument auf der Oberfläche des Objekts relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluorosko- pie und/oder Tomographie-Bilddaten, und - Transformieren der Koordinate des Einstichpunktes in dem Koordinatensystem der Fluo- roskopie und/oder Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten unter Verwendung der Relativposition des Einstichpunktes zu dem wenigstens einen Marker.
Die Wiedergabeeinheit ist ausgebildet zum Wiedergeben des Einstichpunktes für das me- dizinische Instrument in Echtzeit in einer realen oder rekonstruierten Ansicht des Objekts.
Das erfindungsgemäße medizinische System ist insbesondere so ausgebildet, dass mit diesem das erfindungsgemäße Verfahren zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument durchgeführt werden kann.
Kamera und Röntgengerät sind jeweils mit der Recheneinheit wirkverbunden, so dass die Recheneinheit aufvon der Kamera erzeugte Sichtbilddaten und auf von dem Röntgengerät erzeugte Tomographie-Bilddaten zugreifen und diese verarbeiten kann. Weiterhin ist insbesondere die Recheneinheit mit der Wiedergabeeinheit wirkverbunden zum Visualisieren des Einstichpunktes für das medizinische Instrument in Echtzeit in der Ansicht des Objekts des Objekts. Im Folgenden werden bevorzugte Ausführungsformen des erfindungsgemäßen medizinischen Systems zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument beschrieben.
Die Recheneinheit kann als elektronische Datenverarbeitungsanlage oder als Bestandteil einer elektronischen Datenverarbeitungsanlage ausgebildet sein und weist insbesondere eine CPU ( Central Processing Unit), einen Arbeitsspeicher und ein computerlesbares- Speichermedium mit dauerhaft gespeicherten Computerprogrammen auf.
Die Recheneinheit und/oder das Röntgengerät können zum Rekonstruieren einertomogra- phischen Aufnahme aus den Tomographie-Bilddaten ausgebildet sein. Die Recheneinheit und/oder eine separate Datenverarbeitungsanlage können zum Rekonstruieren eines Sichtbildes aus von der Kamera erzeugten Sichtbilddaten ausgebildet sein.
Die Wiedergabeeinheit kann ein mit der Recheneinheit wirkverbundenes optisches Display sein, auf dem der Einstichpunkt für das medizinische Instrument mittels der Recheneinheit visualisiert werden kann. Das optische Display kann insbesondere Teil eines erweiterte Realität (augmented reality, AR)-Systems sein. Beispielsweise kann das optische Display Bestandteil einer Brille sein, an der auch die Kamera befestigt ist. Das optische Display kann transparent sein, so dass die reale Oberfläche mittelbar durch das optische Display betrachtet und gleichzeitig der Einstichpunkt in der mittelbaren Ansicht wiedergegeben werden kann.
Die Wiedergabeeinheit kann ein mit der Recheneinheit wirkverbundener Monitor sein, beispielsweise ein Computermonitor oder ein Monitor eines virtuellen Realität (virtual reality, VR)-Systems sein, beispielsweise einer VR-Brille. Auf dem Monitor kann eine rekonstruierte Ansicht des Objekts zum Beispiel als Echtzeitbildwiedergabe des Objekts zusammen mit wenigstens dem Einstichpunkt perspektiv-richtig wiedergegeben werden.
Die Wiedergabeeinheit kann auch ein Videoprojektor sein, der mit der Kamera autokalibriert und ausgebildet ist, den Einstichpunkt für das medizinische Instrument auf der realen Oberfläche des Objekts als optische Markierung wiederzugeben. Der Videoprojektor ist vorzugsweise mit der Kamera autokalibriert und ausgebildet, ein Fadenkreuz auf die reale Oberfläche des Objekts zu projizieren des Zentrum die Position des Einstichpunktes repräsentiert. Ein Einstichpunkt kann auch gleichzeitig in einer mittelbaren Ansicht des Objekts und projiziert auf die reale Oberfläche als optische Markierung wiedergegeben werden. Durch die Redundanz kann der Einstichpunkt unter Umständen mit einer vergleichsweise höheren Verlässlichkeit wiedergegeben werden. Der wenigstens eine Marker kann biegeweich und flexibel und z.B. von Klebeband gebildet sein, welches haftend auf die reale Oberfläche des Objekts aufgebracht werden kann. Zum Durchführen des erfindungsgemäßen Verfahrens kann mit dem Klebeband ein regelmäßiges oder ein unregelmäßiges Muster auf die Oberfläche geklebt werden, um so den Marker zu bilden. Der Marker kann auch von einer doppelseitigen Klebefolie oder doppelseitig haftendem Papier mit vorgestanztem Muster gebildet sein. Die Klebefolie kann auf die reale Oberfläche aufgeklebt und dann die Trägerfolie entfernt werden, so dass nur noch das vorgestanzte Muster auf der Oberfläche verbleibt und den Marker bildet. Wenn der Marker auf einem Trägerpapier oder einer Trägerfolie bereitgestellt wird, kann der Marker selbst auch aus mehreren, nicht unmittelbar zusammenhängenden Bestandteilen bestehen, deren relative Lage zueinander gleichwohl durch die Trägerfolie oder das Trägerpapier vorgegeben ist. Wenn die Trägerfolie oder das Trägerpapier im Anwendungsfall von dem Marker abgezogen wird, nachdem der Marker auf eine Körperoberfläche ap- pliziert wurde, behalten die Bestandteile des Markers ihre relative Position entsprechend bei.
Der Marker kann aber auch starr sein und z.B: in Form eines festen Blocks vorliegen, der im Anwendungsfall auf die Körperoberfläche geklebt werden kann.
Vorzugsweise weist das Klebeband oder die Klebefolie ein Metall wie Titan oder Edelstahl oder alternativ einen Stoff wie BaSOx, und insbesondere Bariumsulfat (BaS04), auf, sodass das Klebeband oder die Klebefolie tomographisch, insbesondere fluoroskopisch erfasst werden können.
Der wenigstens eine Marker kann auch wenigstens ein tomographisch und insbesondere fluoroskopisch erfassbares Element und/oder wenigstens ein optisch erfassbares Element aufweisen. Das tomographisch erfassbare Element kann von einem Metall gebildet und so gestaltet ist, dass es in einer tomographischen oderfluoroskopischen Aufnahme als tomographisch oder fluoroskopisch erfassbares Element identifiziert werden kann. Beispielsweise können über die Fläche des Markers verteilt Metallkugeln angeordnet sein, die in einer fluoroskopischen und/oder tomographischen Aufnahme identifiziert werden können. Das optisch erfassbare Element kann eine Leuchtdiode sein, die ausgebildet ist, elektromagnetische Strahlung in einem definierten Wellenlängenbereich zu emittieren. Insbesondere können mehrere Leuchtdioden über die Fläche des Markers verteilt angeordnet sein. Der definierte Wellenlängenbereich umfasst bevorzugt Infrarot-Strahlung. Die Kamera weist dann vorzugsweise einen Infrarot-Sensor zum Detektieren von der Leuchtdiode emit- tierter Infrarot-Strahlung auf. Die tomographisch erfassbaren Elemente und optisch erfassbaren Elemente haben vorzugsweise eine bekannte räumliche Beziehung zueinander. Es können auch Elemente verwendet werden, die sowohl tomographisch als auch optisch erfassbar sind. Beispielsweise können Metall kugeln auch als optisch erfassbare Elemente verwendet werden.
Das medizinische System kann auch einen Roboterarm umfassen, welcher ausgebildet ist, das medizinische Instrument zu halten und mit diesem eine Punktion durchzuführen. Vorzugsweise ist der Roboterarm ausgebildet, Software-gesteuert eine Punktion gemäß dem bestimmten Einstichpunkt, Stichwinkel und Punktionstiefe durchzuführen. Mittels der Kamera können während einer Punktion Position und Orientierung des Roboterarms optisch erfasst und zur Kontrolle von der Recheneinheit ausgewertet werden. Die Erfindung betrifft auch ein Computerprogramm, welches ausgebildet ist, einen Einstichpunkt für ein medizinisches Instrument auf einer Oberfläche eines Objekts relativ zu einem Marker in dem Koordinatensystem von erzeugten Tomographie-Bilddaten zu bestimmen und die Koordinate des Einstichpunktes in dem Koordinatensystem derTomographie-Bild- daten in das Koordinatensystem von erzeugten Sichtbilddaten unter Verwendung einer Relativposition des Einstichpunktes zu dem Marker zu transformieren. Durch Ausführen des Computerprogramms können insbesondere die Schritte des „Bestimmens des Einstichpunktes für das medizinische Instrument“ und des „Transformierens der Koordinate des Einstichpunktes“ des erfindungsgemäßen Verfahrens implementiert werden.
Die Erfindung betrifft weiterhin ein Computerlesbares-Speichermedium auf dem das erfin- dungsgemäße Computerprogramm dauerhaft gespeichert ist. Das computerlesbare Speichermedium ist vorzugsweise ein Element der Recheneinheit und das gespeicherte Computerprogramm kann vorzugsweise in einen Arbeitsspeicher geladen und von Prozessoren verarbeitet und ausgeführt werden.
Die Erfindung soll nun anhand von schematisch dargestellten Ausführungsbeispielen in Bezug auf die Figuren näher erläutert werden. Von den Figuren zeigt:
Fig. 1 :ein Ablaufdiagramm eines Verfahrens zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument;
Fig. 2:eine schematische Darstellung eines medizinischen Systems zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument. In Figur 1 ist ein Ablaufdiagramm eines Verfahrens zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument gezeigt.
Das Verfahren läuft wie folgt ab:
Zunächst (Schritt S1) wird wenigstens ein Marker auf einer Oberfläche eines Objekts be- reitgestellt. Der Marker hat die Eigenschaft sowohl tomographisch, insbesondere fluoro- skopisch als auch optisch erfassbar zu sein. Der Marker kann beispielsweise von Klebeband gebildet sein, welches in einem regelmäßigen oder einem unregelmäßigen Muster haftend auf die Oberfläche aufgebracht ist, um so den Marker zu bilden. Damit der Marker tomographisch erfassbar ist, weist dieser vorzugsweise über die Fläche des Klebebandes verteilt oder in ausgewählten Bereichen Bariumsulfat auf, welches in einer fluoroskopi- schen Aufnahme des Markers sichtbar ist. Der Marker kann auch auf der Oberfläche des Objekts bereitgestellt werden, indem doppelseitig haftende Klebefolie mit vorgestanztem Muster haftend auf die Oberfläche aufgebracht wird. Die Trägerfolie der doppelseitigen Klebefolie kann so abgezogen werden, dass nur noch Klebefolie in dem vorgestanzten Muster auf der Oberfläche verbleibt, umso den Marker zu bilden. Der Marker ist dann von einem vordefinierten Klebfolien-Muster gebildet. Anhand einer detektierten Deformation des vordefinierten Musters kann beispielsweise eine Bewegung des Objekts festgestellt werden. Der Marker kann auch von einem Trägermaterial gebildet sein, an welchem fluo- roskopisch und optisch erfassbare Elemente angeordnet sind. Die fluoroskopisch erfass- baren Elemente können beispielsweise Metallkugeln sein und die optisch erfassbaren Elemente Leuchtdioden. Die fluoroskopisch und optisch erfassbaren Elemente sind vorzugsweise zueinander in einer bekannten räumlichen Beziehung angeordnet.
Anschließend (Schritt S2) werden Tomographie-Bilddaten erzeugt, aus denen eine fluoro- skopische Aufnahme von dem wenigstens einen auf der Oberfläche des Objekts angeord- neten Marker zusammen mit dem Objekt rekonstruiert werden kann. Die Tomographie- Bilddaten können beispielsweise mit einem Röntgengerät erzeugt werden, welches eine Röntgenquelle und einen Röntgendetektor aufweist. Zum Erzeugen derTomographie-Bild- daten befindet sich das Objekt so zwischen Röntgenquelle und Röntgendetektor, dass von der Röntgenquelle emittierte Röntgenstrahlen den Marker und wenigstens denjenigen Teil- bereich des Objekts, in welchem sich ein zu punktierender Zielort befindet, durchdringen und anschließend von dem Röntgendetektor detektiert werden.
Danach (Schritt S3) wird der Einstichpunkt für das medizinische Instrument auf der Oberfläche des Objekts relativ zu dem wenigstens einen auf der Oberfläche bereitgestellten Marker in dem Koordinatensystem der Tomographie-Bilddaten bestimmt. Beispielsweise kann der Einstichpunkt für das medizinische Instrument zunächst in einer aus den Tomo- graphie-Bilddaten rekonstruierten fluoroskopischen Aufnahme festgelegt werden, beispielsweise durch einen Arzt oder durch Software implementiert. Die Koordinate des fest- gelegten Einstichpunktes in dem Koordinatensystem der Tomographie-Bilddaten kann dann rechnerisch von einer Recheneinheit bestimmt werden. Da die Position des Markers in dem Koordinatensystem der Tomographie-Bilddaten bekannt ist, kann die räumliche Beziehung zwischen Marker und Einstichpunkt in dem Koordinatensystem der Tomographie- Bilddaten ermittelt werden. Insbesondere ist dann die Relativposition des Einstichpunktes zu dem Marker in dem Koordinatensystem der Tomographie-Bilddaten bekannt.
Zusätzlich zu dem Einstichpunkt können auch Stichwinkel und/oder Punktionstiefe für das medizinische Instrument relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Tomographie-Bilddaten bestimmt werden. In dem Koordinatensystem der Tomo- graphie-Bilddaten ist dann bekannt wo, unter welchem Winkel und wie tief das medizini- sehe Instrument für eine Punktion in das Objekt eingestochen werden soll.
Daraufhin (Schritt S4) werden Sichtbilddaten erzeugt, aus denen ein Sichtbild des wenigstens einen auf der Oberfläche des Objekts angeordneten Marker zusammen mit dem Objekt rekonstruiert werden kann. Die Sichtbilddaten werden mit einer Kamera erzeugt, die vorzugsweise ausgebildet ist, die Sichtbilddaten laufend und als dreidimensionale Sicht- bilddaten zu erzeugen.
Anschließend (Schritt S5) wird die Koordinate des Einstichpunktes in dem Koordinatensystem der Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten unter Verwendung der Relativposition der Relativposition zu dem wenigstens einen Marker transformiert. Falls Stichwinkel und/oder Punktionstiefe ebenfalls in dem Koordinatensystem der Tomographie-Bilddaten bestimmt wurden, werden auch der Stichwinkel unter Verwendung der Relativorientierung des Stichwinkels zu dem wenigstens einen Marker und/oder die Punktionstiefe unter Verwendung des Relativabstandes der Punktionstiefe zu dem wenigstens einen Marker in das Koordinatensystem der Sichtbilddaten transformiert.
Danach (Schritt S6) wird der Einstichpunkt für das medizinische Instrument und - falls be- stimmt - auch der Stichwinkel und/oder die Punktionstiefe in einer Ansicht des Objekts wiedergegeben. Falls vorhanden, werden Einstichpunkt, Stichwinkel und Punktionstiefe für das medizinische Instrument bevorzugt gemeinsam in der Ansicht des Objekts wiedergegeben. Die Ansicht des Objekts kann eine reale Ansicht oder eine rekonstruierte Ansicht sein. Eine reale Ansicht kann eine unmittelbare Ansicht der realen Oberfläche sein oder eine mittelbare Ansicht der realen Oberfläche, beispielsweise durch ein transparentes optisches Display. In einer unmittelbaren Ansicht des Objekts kann der Einstichpunkt für das medizini- sehe Instrument beispielsweise durch eine optische Markierung wiedergegeben werden. In einer mittelbaren Ansicht des Objekts durch ein transparentes optisches Display kann der Einstichpunkt für das medizinische Instrument derart wiedergegeben werden, dass dieser in Echtzeit perspektiv-richtig in Bezug auf die Oberfläche wiedergegeben wird. Weiterhin können in der mittelbaren Ansicht des Objekts auch Stichwinkel und Punktionstiefe in Echtzeit perspektiv-richtig in Bezug auf die Oberfläche wiedergegeben werden. Es ist denkbar, dass Einstichpunkt, Stichwinkel und Punktionstiefe in Form einer digitalen Repräsentation eines virtuellen Werkzeugs in Echtzeit in der mittelbaren Ansicht des Objekts wiedergegeben werden. Eine rekonstruierte Ansicht des Objekts kann ein von erzeugten Sichtbilddaten rekonstruiertes Lichtbild, insbesondere einer Echtzeitbildaufnahme des Objekts sein. Die rekonstruierte Ansicht des Objekts kann beispielsweise auf einem Monitor, z.B. einem Computer Monitor oder dem Monitor einer VR-Brille wiedergegeben werden. In der rekonstruierten Ansicht können Einstichpunkt, Stichwinkel und Punktionstiefe wiedergegeben werden, z.B. in Form einer digitalen Repräsentation eines virtuellen Werkzeugs.
Es ist möglich, dass in einer einzigen Ansicht lediglich der Einstichpunkt wiedergegeben wird. Es ist auch möglich, dass in einer Ansicht Einstichpunkt, Stichwinkel und Punktionstiefe gemeinsam wiedergegeben werden. Es ist auch möglich, dass in einer Ansicht sowohl Einstichpunkt, Stichwinkel als auch Punktionstiefe und in einer zusätzlichen Ansicht lediglich der Einstichpunkt wiedergegeben werden. In diesem Fall wird der Einstichpunkt in zwei unterschiedlichen Ansichten wiedergegeben, also redundant. Beispielsweise können Ein- stichpunkt, Stichwinkel und Punktionstiefe in Form einer digitalen Repräsentation eines virtuellen Werkzeugs in einer mittelbaren Ansicht des Objekts und zusätzlich der Einstichpunkt durch eine optische Markierung in einer unmittelbaren Ansicht wiedergegeben werden. Ein Nutzer kann dann beispielsweise zwischen den beiden Ansichten wählen. Eine optische Markierung kann auch in eine mittelbare Ansicht des Objekts integriert werden. Figur 2 zeigt eine schematische Darstellung eines medizinischen Systems 200 zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument (nicht gezeigt). Das medizinische System 200 umfasst ein Röntgengerät 204 eine Kamera 206 eine Recheneinheit 208, einen Marker 210 und zwei Wiedergabeeinheiten 214a, 214b. Das medizinische System 200 ist insbesondere dazu geeignet, um mit diesem das in Bezug auf Figur 1 beschriebene Verfahren durchzuführen. Der Marker 210 kann auf einem zu punktierenden Objekt 216 (nicht Teil des medizinischen Systems 200), beispielsweise einem Patienten, angeordnet werden. Der Marker 210 ist dann vorzugsweise so auf dem Objekt 116 angeordnet, dass dieser einer Bewegung des Objekts folgt, so dass zwischen Objekt 216 und Marker 210 keine Relativbewegung stattfindet. Vorzugsweise ist der Marker 210 haftend auf dem Objekt 216 aufgebracht. Der Marker 210 kann beispielsweise von einem Klebeband gebildet sein, welches in einem regelmäßigen oder einem unregelmäßigen Muster auf die Oberfläche des Objekts 216 geklebt ist. Der Marker 210 ist so ausgebildet, dass dieser sowohl tomographisch, insbesondere fluoroskopisch als auch optisch erfasst werden kann. Damit der Marker 210 optisch erfasst werden kann, ist dieser vorzugsweise in einer Farbe und/oder Form gestaltet, die in einer Sichtbildaufnahme einen sichtbaren Kontrast zu der Oberfläche des Objekts 210 gewährleistet. Damit der Marker 210 auch in einer tomographischen Aufnahme sichtbar ist, kann dieser beispielsweise in definierten Bereichen Bariumsulfat als Kontrastmittel aufweisen.
Das Röntgengerät 204 kann beispielsweise ein Computertomographie (CT)-Gerät sein und umfasst eine Röntgenquelle und einen Röntgendetektor (nicht gezeigt). Zum Erzeugen der Tomographie-Bilddaten wird das Objekt 216 zwischen Röntgenquelle und Röntgendetektor des Röntgengeräts 204 angeordnet, so dass aus den erzeugten der Tomographie-Bildda- ten eine tomographische Aufnahme von dem Marker 210 zusammen mit dem Objekt 216 rekonstruiert werden kann. Eine rekonstruierte tomographische Aufnahme kann zunächst zur Planung einer Punktion des Objekts 216 verwendet werden, beispielsweise zum Fest- legen eines Einstichpunktes auf der Oberfläche des Objekts 210.
Durch die Recheneinheit 208 kann die Koordinate des Einstichpunktes in dem Koordinatensystem der Tomographie-Bilddaten 218 relativ zu der Position des Marker 210 bestimmt werden. Die Recheneinheit 208 ist auch ausgebildet, den Stichwinkel und die Punktionstiefe für das medizinische Instrument in dem Koordinatensystem der Tomographie-Bildda- ten 218 zu bestimmen.
Zum Bestimmen des Einstichpunktes, des Stichwinkels und der Punktionstiefe in dem Koordinatensystem der Tomographie-Bilddaten 218 greift die Recheneinheit auf die von dem Röntgengerät 204 erzeugten Tomographie-Bilddaten zu und verarbeitet diese. Die Recheneinheit 208 ist auch mit der Kamera 206 wirkverbunden, um auf von der Kamera erzeugte Sichtbilddaten zuzugreifen und diese weiterzuverarbeiten.
Damit der Einstichpunkt 202a, der Stichwinkel und die Punktionstiefe in einer Ansicht 220 der Oberfläche des Objekts 216 wiedergegeben werden können, ist die Recheneinheit 208 ausgebildet, die in dem Koordinatensystem der Tomographie-Bilddaten bestimmte Koordinate des Einstichpunktes, sowie den Stichwinkel und die Punktionstiefe in das Koordinatensystem 222 der von der Kamera 206 erzeugten Sichtbilddaten zu transformieren. Die Recheneinheit 208 ist ausgebildet, für die Transformation der Koordinate des Einstichpunk- tes die Relativposition des Einstichpunktes zu dem wenigstens einen Marker zu verwenden. Die Relativposition des Einstechpunktes zu dem wenigstens einen Marker 210 kann für die Transformation der Koordinate des Einstichpunktes verwendet werden, da die Position des Markers 210 sowohl in dem Koordinatensystem der Tomographie-Bilddaten 218 als auch in dem Koordinatensystem der Sichtbilddaten 222 bekannt ist. Die Position des Markers 210 kann somit als Referenz für die Transformation der Koordinate des Einstichpunktes von dem Koordinatensystem der der Tomographie-Bilddaten 218 in das Koordinatensystem der Sichtbilddaten 222 verwendet werden.
Die Recheneinheit 208 ist weiterhin mit der Wiedergabeeinheit 214a wirkverbunden und ausgebildet, den Einstichpunkt 202a für das medizinische Instrument in Echtzeit und per- spektiv-richtig in einer Ansicht 220 der Oberfläche wiederzugeben.
Das medizinische System 200 weist zwei Wiedergabeeinheiten 214a, 214b auf. Das medizinische System 200 kann auch nur eine der beiden Wiedergabeeinheiten 214a, 214b oder eine alternative Wiedergabeeinheit aufweisen. Die Wiedergabeeinheit 214b ist ein Videoprojektor, der mit der Kamera 206 autokalibriert und ausgebildet ist, den Einstich- punkt 202b als optische Markierung wiederzugeben.
Die Wiedergabeeinheit 214a ist ein transparentes optisches Display, welches zusammen mit der Kamera 206 an einem Gestell, z.B. einem Brillengestell, befestigt sein kann.
Die Ansicht 220 auf dem transparenten optischen Display 214a ist eine mittelbare Ansicht der realen Oberfläche des Objekts 216, in der der Einstichpunkt 202a wiedergegeben ist. In der Ansicht 220 kann der Einstichpunkt 202a in Echtzeit und perspektiv-richtig wieder- gegeben werde. Statt des optischen Displays 214a oder zusätzlich dazu kann das medizinische System 200 auch einen Monitor aufweisen, auf dem der Einstichpunkt in einer rekonstruierten Ansicht des Objekts wiedergegeben ist.

Claims

Ansprüche
1. Verfahren zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument, wobei das Verfahren die Schritte aufweist:
Bereitstellen wenigstens eines Markers auf einer Oberfläche eines Objekts, wobei der Marker die Eigenschaft hat sowohl tomographisch, insbesondere fluoroskopisch als auch optisch erfassbar zu sein,
Erzeugen von Fluoroskopie- oder/und Tomographie-Bilddaten aus denen eine fluoroskopische oder/und tomographische Aufnahme von dem wenigstens einen auf der Oberfläche des Objekts angeordneten Marker zusammen mit dem Objekt rekonstruiert werden kann,
Bestimmen des Einstichpunktes für das medizinische Instrument auf der Oberfläche des Objekts relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten,
Erzeugen von Sichtbilddaten aus denen ein Sichtbild des wenigstens einen auf der Oberfläche des Objekts angeordneten Markers zusammen mit dem
Objekt rekonstruiert werden kann,
Transformieren der Koordinate des Einstichpunktes in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten unter Verwendung der Relativposition des Einstich- punktes zu dem wenigstens einen Marker, und
Wiedergeben des Einstichpunktes für das medizinische Instrument in Echtzeit in einer Ansicht des Objekts.
2. Verfahren nach Anspruch 1 , wobei die Sichtbilddaten als dreidimensionale Sichtbilddaten erzeugt werden.
3. Verfahren nach Anspruch 1 oder 2, aufweisend die Schritte: Bestimmen eines Stichwinkels und/oder einer Punktionstiefe für das medizinische Instrument relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten,
Transformieren des in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten bestimmten Stichwinkels und/oder der Punktionstiefe in das Koordinatensystem der Sichtbilddaten unter Verwendung einer Relativorientierung des Stichwinkels und/oder unter Verwendung eines Relativabstands der Punktionstiefe zu dem wenigstens einen Marker, und
Wiedergeben des Stichwinkels und/oder der Punktionstiefe für das medizini- sehe Instrument in Echtzeit in der Ansicht des Objekts.
4. Verfahren nach wenigstens einem der Ansprüche 1 bis 3, wobei die Sichtbilddaten laufend erzeugt werden und wenigstens der in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten bestimmte Einstichpunkt in das Koordinatensystem der jeweils zuletzt erzeugten Sichtbilddaten transformiert und die Wieder- gäbe wenigstens des Einstichpunktes für das medizinische Instrument in der Ansicht des Objekts in Echtzeit dargestellt wird.
5. Verfahren nach wenigstens einem der Ansprüche 1 bis 4, wobei die Ansicht des Objekts ein aus den erzeugten Sichtbilddaten rekonstruiertes Sichtbild der Oberfläche ist und der Einstichpunkt für das medizinische Instrument in dem Sichtbild wie- dergegeben wird.
6. Verfahren nach wenigstens einem der Ansprüche 1 bis 5, wobei der Einstichpunkt für das medizinische Instrument auf einem transparenten optischen Display wiedergegeben wird, durch das die Ansicht der realen Oberfläche sichtbar ist, wobei die Wiedergabe des Einstichpunktes auf dem transparenten Display perspektiv-richtig in Bezug auf die Ansicht der realen Oberfläche erfolgt.
7. Verfahren nach wenigstens einem der Ansprüche 1 bis 6, wobei der Einstichpunkt für das medizinische Instrument auf der realen Oberfläche des Objekts als optische Markierung wiedergegeben wird.
8. Verfahren nach wenigstens einem der Ansprüche 3 bis 7, wobei der Einstichpunkt und der Stichwinkel und/oder die Punktionstiefe in Form einer digitalen Repräsentation eines virtuellen Werkzeugs in Echtzeit in der Ansicht des Objekts wiedergegeben werden.
9. Verfahren nach Anspruch 8, aufweisend die Schritte: optisches Erfassen von Position und Orientierung des medizinischen Instruments relativ zu dem wenigstens einen Marker in dem Koordinatensystem der erzeugten Sichtbilddaten,
Ermitteln ob die erfasste Position und Orientierung des medizinischen Instru- ments mit der Position und Orientierung des wiedergegebenen virtuellen
Werkzeugs übereinstimmt, und falls dies der Fall ist:
Signalisieren, dass die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs übereinstimmt.
10. Verfahren nach Anspruch 9, aufweisend die Schritte: falls die erfasste Position und Orientierung des medizinischen Instruments mit der Position und Orientierung des wiedergegebenen virtuellen Werkzeugs nicht übereinstimmen:
Berechnen einer Trajektorie zwischen der erfassten Position und Ori- entierung des medizinischen Instruments und der Position und Orientierung des wiedergebenden virtuellen Werkzeugs, und
Wiedergeben einer virtuellen Richtungsanzeige in Echtzeit in der Ansicht des Objekts, wobei die Richtungsanzeige diejenige Richtung anzeigt, in die das medizinische Instrument bewegt werden muss, um die Position und Orientie- rung des medizinischen Instruments in Übereinstimmung mit der Position und
Orientierung des in der Ansicht des Objekts wiedergegebenen virtuellen Werkzeugs zu bringen.
11 . Verfahren nach wenigstens einem der Ansprüche 8 bis 10, aufweisend die Schritte: Ausrichten der digitalen Repräsentation des virtuellen Werkzeugs in Echtzeit relativ zu dem wenigstens einen Marker in Bezug auf eine Aufnahmeachse entlang welcher die Sichtbilddaten erzeugt werden.
12. Medizinisches System zum Wiedergeben eines Einstichpunktes für ein medizini- sches Instrument, wobei das System aufweist: einen Marker, der derart ausgebildet ist, dass der Marker sowohl tomographisch, insbesondere fluoroskopisch als auch optisch erfasst werden kann, eine bildgebende Modalität zum Erzeugen von Fluoroskopie- oder/und Tomo- graphie-Bilddaten, - eine Kamera zum Erzeugen von Sichtbilddaten, eine Recheneinheit, die ausgebildet ist, zum
Bestimmen des Einstichpunktes für das medizinische Instrument auf der Oberfläche des Objekts relativ zu dem wenigstens einen Marker in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bild- daten, und
Transformieren der Koordinate des Einstichpunktes in dem Koordinatensystem der Fluoroskopie- oder/und Tomographie-Bilddaten in das Koordinatensystem der Sichtbilddaten unter Verwendung der Relativposition des Einstichpunktes zu dem wenigstens einen Marker, und - eine Wiedergabeeinheit zum Wiedergeben des Einstichpunktes für das medizinische Instrument in Echtzeit in einer realen oder rekonstruierten Ansicht des Objekts.
13. Medizinisches System nach Anspruch 12, wobei die Kamera eine Lichtfeldkamera, eine Stereokamera, ein Triangulationssystem, oder eine TOF-Kamera ist.
14. Medizinisches System nach Anspruch 12 oder 13, wobei die Wiedergabeeinheit ein mit der Recheneinheit wirkverbundenes optisches Display ist, auf dem der Einstichpunkt für das medizinische Instrument mittels der Recheneinheit visualisiert werden kann.
15. Medizinisches System nach Anspruch 12 oder 13, wobei die Wiedergabeeinheit ein
Videoprojektor ist, der mit der Kamera autokalibriert und ausgebildet ist, den Einstichpunkt für das medizinische Instrument auf der realen Oberfläche des Objekts als optische Markierung wiederzugeben.
16. Medizinisches System nach wenigstens einem der Ansprüche 12 bis 15, wobei der wenigstens eine Marker von Klebeband gebildet ist, welches haftend auf der Oberfläche des Objekts aufgebracht werden kann.
17. Medizinisches System nach Anspruch 16, wobei das Klebeband BaSOx aufweist, sodass das Klebeband fluoroskopisch erfasst werden kann.
18. Medizinisches System nach wenigstens einem der Ansprüche 12 bis 17, wobei der wenigstens eine Marker wenigstens ein fluoroskopisch erfassbares Element und/oder wenigstens ein optisch erfassbares Element aufweist.
19. Medizinisches System nach Anspruch 18, wobei das fluoroskopisch erfassbare Element von einem Metall gebildet und so gestaltet ist, dass es in einer tomographischen Aufnahme als tomographisch erfassbares Element identifiziert werden kann.
20. Medizinisches System nach Anspruch 18 oder 19, wobei das optisch erfassbare Element eine Leuchtdiode ist, die ausgebildet ist, elektromagnetische Strahlung in einem definierten Wellenlängenbereich zu emittieren.
21 . Medizinisches System nach Anspruch 20, wobei der definierte Wellenlängenbereich Infrarot-Strahlung umfasst und die Kamera einen Infrarot-Sensor zum Detektieren von der Leuchtdiode emittierter Infrarot-Strahlung aufweist.
22. Computerprogramm, welches ausgebildet ist, einen Einstichpunkt für ein medizinisches Instrument auf einer Oberfläche eines Objekts relativ zu einem Marker in dem Koordinatensystem von erzeugten Tomographie-Bilddaten zu bestimmen und die Koordinate des Einstichpunktes in dem Koordinatensystem der Fluoroskopie- o- der/und Tomographie-Bilddaten in das Koordinatensystem von erzeugten Sichtbilddaten unter Verwendung einer Relativposition des Einstichpunktes zu dem Marker zu transformieren.
23. Computerlesbares-Speichermedium auf dem das Computerprogramm nach Anspruch 22 dauerhaft gespeichert ist.
EP20807687.7A 2019-11-11 2020-11-11 Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument Pending EP4057928A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019130368.0A DE102019130368A1 (de) 2019-11-11 2019-11-11 Verfahren und System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument
PCT/EP2020/081715 WO2021094354A1 (de) 2019-11-11 2020-11-11 Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument

Publications (1)

Publication Number Publication Date
EP4057928A1 true EP4057928A1 (de) 2022-09-21

Family

ID=73452171

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20807687.7A Pending EP4057928A1 (de) 2019-11-11 2020-11-11 Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument

Country Status (7)

Country Link
US (1) US20220409290A1 (de)
EP (1) EP4057928A1 (de)
JP (1) JP2023502172A (de)
KR (1) KR20220100613A (de)
CN (1) CN114727845A (de)
DE (1) DE102019130368A1 (de)
WO (1) WO2021094354A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
CN114224448B (zh) * 2021-12-21 2023-11-10 武汉大学 穿刺路径规划装置、设备和计算机可读存储介质
CN115294124B (zh) * 2022-10-08 2023-01-06 卡本(深圳)医疗器械有限公司 基于多模态医学图像配准的超声穿刺引导规划***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005024157A1 (de) 2005-05-23 2006-11-30 Amedo Gmbh Nadelpositioniersystem
CN102598088A (zh) * 2009-11-11 2012-07-18 艾克提维尤斯有限公司 规划和执行穿刺程序的***及方法
DE102010015060A1 (de) * 2010-04-15 2011-10-20 Siemens Aktiengesellschaft Vorrichtung zur Lagerung, Abtastung, tomographischen Darstellung eines Patienten und Durchführung einer Intervention und Verfahren zur Bestimmung der räumlichen Relation zwischen optischen Aufnahmen und tomographischen Darstellungen
EP2910187B1 (de) * 2014-02-24 2018-04-11 Université de Strasbourg (Etablissement Public National à Caractère Scientifique, Culturel et Professionnel) Multimodale automatische Echtzeitverfolgung von bewegtem Marker zur Bildebenenausrichtung in einem MRI-Scanner
EP3618748B1 (de) * 2017-05-05 2023-10-25 Stryker European Operations Limited Chirurgisches navigationssystem
EP3412242A1 (de) * 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US20190110685A1 (en) * 2017-10-13 2019-04-18 General Electric Company Systems and methods for guided interventional procedures
CN109758230B (zh) * 2019-02-26 2021-04-13 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和***

Also Published As

Publication number Publication date
JP2023502172A (ja) 2023-01-20
DE102019130368A1 (de) 2021-05-12
KR20220100613A (ko) 2022-07-15
US20220409290A1 (en) 2022-12-29
CN114727845A (zh) 2022-07-08
WO2021094354A1 (de) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2021094354A1 (de) Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument
DE19848765C2 (de) Positionsverifizierung in Kamerabildern
DE10202091B4 (de) Vorrichtung zur Ermittlung einer Koordinatentransformation
EP2840975B1 (de) Röntgenquelle mit modul und detektor für optische strahlung
DE69432834T2 (de) Anzeige der Lage einer chirurgischen Sonde
DE60032475T2 (de) Navigationsführung über computergestützte fluoroskopische bildgebung
DE10210287B4 (de) Verfahren und Vorrichtung zur markerlosen Registrierung für navigationsgeführte Eingriffe
DE112016005720T5 (de) 3D-Visualisierung während Chirurgie mit verringerter Strahlenbelastung
EP1925256A1 (de) Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern
US20170119329A1 (en) Real-time patient image overlay display and device navigation system and method
DE102005048853A1 (de) Bildgebende medizinische Modalität
DE102006006038B4 (de) System zur bildlich dargestellten Verfolgung eines in ein Untersuchungsobjekt mindestens teilweise eingeführten, bewegten medizinischen Instruments
DE102008044529A1 (de) System und Verfahren zur Verwendung von Fluoroskop- und Computertomographie-Registrierung für Sinuplastie-Navigation
DE10210646A1 (de) Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
DE10215808A1 (de) Verfahren zur Registrierung für navigationsgeführte Eingriffe
DE102008034686A1 (de) Verfahren zur Darstellung von interventionellen Instrumenten in einem 3 D-Datensatz einer zu behandelnden Anatomie sowie Wiedergabesystem zur Durchführung des Verfahrens
EP1142536A1 (de) Referenzierung eines Patienten in einem medizinischen Navigationssystem mittels aufgestrahlter Lichtpunkte
DE102013213727A1 (de) Interventionelles Bildgebungssystem
DE19807884C2 (de) Verfahren zur Kalibrierung einer Aufnahmevorrichtung zur Bestimmung von räumlichen Koordinaten anatomischer Zielobjekte und Vorrichtung zur Durchführung des Verfahrens
DE102011007796A1 (de) Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme
DE102019214302B4 (de) Verfahren zum Registrieren eines Röntgenbilddatensatzes mit einem Navigationssystem, Computerprogrammprodukt und System
DE102008058497B3 (de) Medizintechnische Vorrichtung
Fichtinger et al. Image overlay for CT-guided needle insertions
WO1999040846A1 (de) Reproduzierbare positions- oder haltungserkennung von verformbaren körpern
DE102021205700B4 (de) Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220613

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)