DE112017001315T5 - Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes - Google Patents

Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes Download PDF

Info

Publication number
DE112017001315T5
DE112017001315T5 DE112017001315.1T DE112017001315T DE112017001315T5 DE 112017001315 T5 DE112017001315 T5 DE 112017001315T5 DE 112017001315 T DE112017001315 T DE 112017001315T DE 112017001315 T5 DE112017001315 T5 DE 112017001315T5
Authority
DE
Germany
Prior art keywords
image
computing device
depth
ultrasound
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017001315.1T
Other languages
English (en)
Inventor
Sven Prevrhal
Jörg Sabczynski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of DE112017001315T5 publication Critical patent/DE112017001315T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Rechenvorrichtung zur Überblendung eines laparoskopischen Bildes und eines Ultraschallbildes. Die Rechenvorrichtung ist dafür ausgelegt, ein laparoskopisches Bild, ein Ultraschallbild und ein Tiefenbild einer Tiefenabtastungsvorrichtung zu empfangen. Die Rechenvorrichtung extrahiert Tiefenandeutungsinformationen aus dem Tiefenbild und verwendet die extrahierten Tiefenandeutungsinformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes, wodurch ein überblendetes Bild erzeugt wird. Die Rechenvorrichtung kann die räumliche Position und Orientierung sowohl des Laparoskops als auch der Ultraschallvorrichtung verwenden, um die Vorrichtungen räumlich relativ zueinander zu passen. Dies kann dann verwendet werden, um eine korrekt überblendete Ansicht darzustellen, die sowohl Laparoskop- als auch Ultraschallbilddaten wiedergibt. Diese zusammengesetzte Ansicht erleichtert dem Anwender die Lokalisierung und Positionierung der Ultraschallsonde und des Ortes von Interesse erheblich. In einer Ausführungsform wird die Oberfläche des Objekts von Interesse gemessen und virtuell entlang der Ultraschallebene geschnitten.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft eine laparoskopische Bildanalyse und -verarbeitung. Insbesondere betrifft die vorliegende Erfindung eine Rechenvorrichtung zum Überblenden eines laparoskopisches Bildes und eines Ultraschallbildes, ein Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, ein Programmelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, und einen Trokar, der eine bildgebende Tiefenabtastungs-Bildgebungsvorrichtung umfasst.
  • HINTERGRUND DER ERFINDUNG
  • Die Verwendung von Ultraschall im Operationssaal durch Chirurgen nimmt zu, einschließlich der Indikationen und der Verwendung von Ultraschall in der Laparoskopie und Endoskopie. Bei der Bauchlaparoskopie wird die Bauchwand von den inneren Organen abgehoben, indem ein luftdichter Einschnitt erzeugt wird und Kohlendioxid bei niedrigem Druck eingeblasen wird. Ein langes starres Stablinsenobjektiv (Laparoskop) und eine Lichtschnur zur Beleuchtung werden dann eingefügt, um eine visuelle Untersuchung der Bauchorgane über angezeigte Bilder zu ermöglichen, die auf einem oder mehreren Monitorbildschirmen dargestellt sind, wodurch das Bedienungspersonal den Fortschritt der Operation überwachen kann. Mehrere Trokare, hohle Kunststoffröhrchen mit einem luftdichten Ventil, Trokare genannt, werden an strategischen Stellen platziert, um das leichte Einführen, Entfernen und Austauschen von chirurgischen laparoskopischen Instrumenten zu ermöglichen.
  • In gegenwärtigen Umgebungen werden Ultraschallbilddaten auf separaten Monitoren dargestellt. Von besonderer Bedeutung ist das Positionieren und Orientieren der laparoskopischen Ultraschallsonde in korrekter Weise zu der Stelle, um die es geht. Laparoskopische Instrumente befinden sich innerhalb eines Trokars und bewegen sich um einen Drehpunkt, was ihre räumlichen Freiheitsgrade begrenzt und sie unhandlich zu handhaben macht. Diese Schwierigkeit wird bei laparoskopischem Ultraschall dadurch verschlimmert, dass Bilddaten aus dem Laparoskop und Ultraschallbildern auf getrennten Monitoren ohne Angabe ihrer räumlichen Korrelation angezeigt werden. Eine korrekte Positionierung und Orientierung der Ultraschallsonde stellt daher selbst für erfahrene Laparoskopiker eine herausfordernde Aufgabe dar.
  • KURZFASSUNG DER ERFINDUNG
  • Es kann ein Bedarf bestehen, eine verbesserte Anzeige von Laparoskopiebildern bereitzustellen.
  • Die Aufgabe der vorliegenden Erfindung wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Weitere Ausführungsformen und Vorteile der Erfindung sind in den abhängigen Ansprüchen enthalten.
  • Die beschriebenen Ausführungsformen betreffen in ähnlicher Weise die Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, das Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, das Computerprogrammelement, das computerlesbare Medium und den Trokar einer Tiefenabtastungs-Bildgebungsvorrichtung. Synergistische Effekte können aus verschiedenen Kombinationen der Ausführungsformen entstehen, auch wenn sie nachstehend nicht im Detail beschrieben werden.
  • Technische Begriffe werden in ihrem allgemeinen Sinn verwendet. Wenn bestimmten Begriffen eine bestimmte Bedeutung gegeben wird, werden im Folgenden Definitionen von Begriffen in dem Zusammenhang gegeben, in dem die Begriffe verwendet werden.
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt. Die Rechenvorrichtung ist dafür ausgelegt, ein Laparoskopbild eines Laparoskops zu empfangen, und ist dafür ausgelegt, ein Ultraschallbild einer Ultraschallvorrichtung, insbesondere einer laparoskopischen Ultraschallvorrichtung, zu empfangen. Ferner ist die Rechenvorrichtung dafür ausgelegt, ein Tiefenbild einer Tiefenabtastungs-Bildgebungsvorrichtung zu empfangen, wobei das Tiefenbild Daten umfasst, die eine Oberfläche eines Objekts von Interesse definieren. Die Rechenvorrichtung ist dafür ausgelegt Tiefenandeutungsinformationen oder Tiefeninformationen aus dem empfangenen Tiefenbild zu extrahieren. Außerdem ist die Rechenvorrichtung dafür ausgelegt, die extrahierten Tiefenandeutungsinformationen oder Tiefeninformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes zu verwenden, um ein Überblendungsbild zu erzeugen.
  • Die Rechenvorrichtung der vorliegenden Erfindung kann Tiefenandeutungsinformationen aus dem empfangenen Tiefenbild extrahieren. Insbesondere können auf solche Weise Tiefeninformationen erzeugt werden, die Kenntnisse über eine Oberfläche des betreffenden Objekts, wie beispielsweise eine Organoberfläche innerhalb des Sichtfeldes der Ultraschall- und/oder Laparoskopievorrichtungen beinhalten. Solche Tiefenandeutungsinformationen können nützlich sein, um ein verbessertes überblendetes Bild zu erhalten.
  • Beispielsweise kann eine Überlagerung des Ultraschallbildes und des laparoskopischen Bildes im überblendeten Bild erzeugt werden, was für einen Anwender intuitiver ist. Mit anderen Worten kann dem Anwender ein überblendetes Bild angezeigt werden, das intuitiver ist, da das Bild eine oder mehrere Tiefenandeutungen aufweist oder verwendet, die aus der Position einer Oberfläche eines Objekts von Interesse, wie eines Organs im Sichtfeld, abgeleitet sind. Zum Beispiel können Daten in Bezug auf die Position einer Organoberfläche verwendet werden, um Tiefenandeutungen in Form von bestimmten visuellen Elementen zu erzeugen, die im überblendeten Bild visualisiert werden sollen, was ein überblendetes Bild zum Ergebnis hat, das für einen Anwender intuitiver ist.
  • Die Rechenvorrichtung kann die extrahierten Tiefenandeutungsinformationen dazu verwenden, das Ultraschallbild und/oder das laparoskopische Bild so anzupassen, dass ein überblendetes Bild erzeugt wird, das einen oder mehrere entsprechende Tiefenandeutungen, wie beispielsweise einen Schatten, und/oder eine Okklusion/Überdeckung umfasst.
  • In einer Ausführungsform hat das überblendete Bild die Perspektive des Laparoskopbildes und das Ultraschallbild wird über das Laparoskopbild gelegt.
  • Wie nachfolgend näher erläutert wird, können in dem überblendeten Bild, das von der Rechenvorrichtung erzeugt wird, unterschiedliche Ausführungsformen von Tiefenandeutungen, auch in Kombination, verwendet werden. Die Verwendung einer Tiefenabtastungs-Bildgebungsvorrichtung und ihres Tiefenbildes stellt Kenntnisse über die Oberfläche eines Objekts von Interesse, z. B. eines Organs bereit, so dass eine Überblendung, d. h. eine Überlagerung laparoskopischer und Ultraschallbilder oder Videostreams ein sehr intuitives überblendeten Bild zum Ergebnis haben kann, in dem der Ort auf der Oberfläche eines oder mehrere Organe im Sichtfeld berücksichtigt wird.
  • Mit anderen Worten kann die Rechenvorrichtung das Wissen über relative Abstände des Laparoskops, der laparoskopischen Ultraschallvorrichtung und eines Objekts von Interesse zueinander und zu der Tiefenabtastungsvorrichtung nutzen, um die räumliche Wahrnehmung des vom Anwender überblendeten Bildes zu verbessern. Dieses Wissen kann von der Rechenvorrichtung aus dem Tiefenbild extrahiert werden.
  • Aus dem Tiefenbild können von der Rechenvorrichtung unterschiedliche Tiefenandeutungsinformationen, d. h. Tiefenandeutungen, extrahiert werden, die von der Rechenvorrichtung für die oder während der Erzeugung des überblendeten Bildes verwendet werden können. Beispielsweise kann bzw. können ein realer Schatten und/oder ein virtueller Schatten von einer virtuellen Lichtquelle durch die Rechenvorrichtung berechnet werden und in dem überblendeten Bild verwendet werden, um die Wahrnehmung des Anwenders zu verbessern. Alternativ oder zusätzlich dazu kann eine Okklusion, d. h. eine realistische Überdeckung von Objekten im laparoskopischen Bild, als Ausführungsbeispiel einer Tiefenandeutung im Rahmen der vorliegenden Erfindung verwendet werden. Basierend auf den aus dem Tiefenbild extrahierten Tiefenandeutungsinformationen kann durch die Rechenvorrichtung bestimmt werden, ob sich weitere Objekte in der Szene befinden und welches Objekt einen größeren Abstand zum Laparoskop aufweist. Somit kann die Rechenvorrichtung berechnen, welches Objekt welche anderen Objekte überdecken soll, um einen realistischen visuellen Eindruck im überblendeten Bild bereitzustellen. Alternativ oder zusätzlich kann die Rechenvorrichtung auch ein überblendetes Bild mit Akkommodation, z. B. eine simulierte Schärfentiefe des überblendeten Bildes mit unterschiedlicher Schärfe für Objekte in unterschiedlichen Abständen erzeugen. Alternativ oder zusätzlich sind Konvergenz und binokulare Parallaxe Ausführungsformen von Tiefenandeutungen, die verwendet werden könnten, wenn Stereokameras in Kombination mit Stereoanzeigen angewendet werden. Alternativ oder zusätzlich ist eine Bewegungsparallaxe eine weitere Tiefenandeutung, die verwendet werden könnte. Wenn sich das Laparoskop bewegt, ändert sich die Parallaxe. Diese Bewegungsparallaxe kann in einer Ausführungsform der vorliegenden Erfindung auch in dem überblendeten Bild verwendet werden. Für den Fall, dass 3-dimensionaler Ultraschall verwendet wird und ein relativ dickes Objekt abgebildet wird, kann auch eine lineare Perspektive eine Tiefenandeutung sein, die von der Rechenvorrichtung verwendet werden kann.
  • In einer Ausführungsform wird das Ultraschallbild im überblendeten Bild in einem Transparenzmodus angezeigt, der die 3D-Wahrnehmung des Anwenders weiter verbessert. Die Rechenvorrichtung kann dafür ausgelegt sein, einen solchen Transparenzmodus des Ultraschallbildes zu berechnen.
  • Weiterhin soll im Zusammenhang mit der vorliegenden Erfindung der Begriff „Bild“ einzelne, individuelle Bilder, aber auch kontinuierliche Videostreams umfassen. Insbesondere können an der Rechenvorrichtung ein laparoskopischer Videostream und ein Ultraschall-Videostream für die Extraktion von Tiefenandeutungsinformationen und die anschließende Erzeugung eines überblendeten Bildes empfangen werden. Die Tiefenandeutungen kommen von der Tiefenabtastungsvorrichtung, die zusätzlich zum Laparoskop und der Ultraschallvorrichtung vorhanden ist. In gleicher Weise kann das überblendete Bild ein individuelles Bild sein oder kann eine Mehrzahl von Bildern sein, z. B. ein Videostream, der aus einer Mehrzahl von überblendeten Bildern besteht.
  • Darüber hinaus kann im Zusammenhang mit der vorliegenden Erfindung der Begriff „Tiefenabtastungs-Bildgebungsvorrichtung“ als intraabdominale Tiefenkamera verstanden werden, die dafür ausgelegt ist, mittels Bildgebung oder Abtastung die Oberfläche eines oder mehrerer Objekte von Interesse, insbesondere einer Organoberfläche eines inneren Organs, während einer Laparoskopie zu vermessen. In einem Beispiel kann die Tiefenabtastungs-Bildgebungsvorrichtung ferner dafür ausgelegt sein, die Position und Orientierung der beteiligten Instrumente, insbesondere des Laparoskops und der Ultraschallvorrichtung, zu bestimmen.
  • Dem Fachmann sind Tiefenabtastungs-Bildgebungsvorrichtungen bekannt. Beispielsweise kann die Tiefenabtastungs-Abbildungsvorrichtung ein Streifenlichtsystem umfassen, das einen Infrarot(IR)-Streifenlichtprojektor, eine IR-Kamera und eine normale Farbkamera umfasst. Zum Beispiel kann ein System mit Intel® RealSense-Technologie verwendet werden.
  • Somit wird beispielsweise ein projiziertes IR-Lichtmuster im IR-Bild verzerrt. Aus dieser Verzerrung kann ein Abstand zwischen der Kamera und einer Organoberfläche berechnet werden, woraus sich das Tiefenbild ergibt.
  • In einem anderen Beispiel kann die Tiefenabtastungs-Bildgebungsvorrichtung eine Flugzeit- bzw. Time-of-Flight (TOF)-Kamera aufweisen, wie sie beispielsweise in einem Microsoft® Kinect v2 Systems bereitgestellt wird. Somit wird beispielsweise die Zeit gemessen, die ein Lichtpuls benötigt, um sich vom Emitter zu einer Organoberfläche und zurück zum Bildsensor zu bewegen. Aus dieser gemessenen Flugzeit kann auch ein die Organoberfläche darstellendes Tiefenbild erstellt werden.
  • Unter einem Tiefenbild, das von einer solchen Vorrichtung erzeugt wird, ist ein Bild zu verstehen, das Informationen enthält, die den Abstand der Oberflächen von Objekten einer Szene zu einem Betrachtungspunkt enthält.
  • Die Rechenvorrichtung der vorliegenden Erfindung kann Teil eines Computers, wie eines Desktops oder Laptops sein oder kann Teil einer größeren Recheninstanz, wie eines Servers, sein. Die Rechenvorrichtung kann auch Teil eines medizinischen Bildgebungssystems sein. Die Rechenvorrichtung kann mit der Tiefenabtastungs-Bildgebungsvorrichtung verbunden sein, die sich beispielsweise in einem Trokar befindet, der in einen Patienten eingeführt wird.
  • Gemäß der weiter oben vorgestellten Rechenvorrichtung wird ein Verfahren zur Überblendung eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt. Das Verfahren umfasst die Schritte des Bereitstellens eines laparoskopischen Bildes eines Laparoskops; des Bereitstellens eines Ultraschallbildes einer Ultraschallvorrichtung, des Bereitstellens eines Tiefenbildes einer Tiefenabtastungs-Bildgebungsvorrichtung, des Extrahierens von Tiefenandeutungsinformationen aus dem Tiefenbild und der Verwendung der extrahierten Tiefenandeutungsinformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes, um ein überblendetes Bild zu erzeugen.
  • Weitere Ausführungsformen der Rechenvorrichtung und des Verfahrens werden nachstehend vorgestellt. Der Fachmann wird verstehen, dass jedes Mal, wenn eine Ausführungsform der Rechenvorrichtung im Detail erläutert wird, damit auch ein entsprechendes Verfahren offenbart wird.
  • Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, eine Form und eine Lage eines Schattens im überblendeten Bild basierend auf den extrahierten Tiefenandeutungsinformationen zu bestimmen. Die Rechenvorrichtung ist ferner dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild so anzupassen, dass der Schatten im überblendeten Bild visualisiert wird.
  • Der in dieser Ausführungsform beschriebene Schatten kann sich aus einer realen Lichtquelle, wie z. B. der am Laparoskop positionierten Lichtquelle, ergeben, kann sich aber auch aus einer virtuellen Lichtquelle ergeben. Zum Beispiel ist in 7 eine Ausführungsform gezeigt, in der ein künstlicher Schatten 701 durch die Rechenvorrichtung berechnet wird und dem Anwender in dem überblendeten Bild 700 angezeigt wird. In beiden Fällen werden die Position und die Ausdehnung der Lichtquelle sowie die Position und die Orientierung des Laparoskops und die Position und die Orientierung der Ultraschallvorrichtung an der Rechenvorrichtung bereitgestellt. Basierend auf den in dem Tiefenbild enthaltenen Informationen kann die Rechenvorrichtung dann unter Verwendung der Tiefenandeutungen von realen und/oder künstlichen Schatten berechnen, wie die abgebildete Szene aus der Perspektive des Laparoskops aussieht. Gleiches gilt für andere Tiefenandeutungen wie z. B. Überdeckungen/Okklusionen. Diese Daten, d. h. die erwähnte Position und Orientierung des Laparoskops und der Ultraschallvorrichtung, können aus dem Tiefenbild der Tiefenabtastungsvorrichtung extrahiert werden, können aber auch beispielsweise durch Sensoren am Laparoskop und/oder an der Ultraschallvorrichtung bereitgestellt werden. Dies kann ein Tracking der Position und Orientierung dieser Vorrichtungen mit den Sensoren mit sich bringen. Die Tracking-Daten können dann an einer Recheneinheit der vorliegenden Erfindung bereitgestellt werden, die diese Daten verarbeitet, um das überblendete Bild zu erzeugen. Wenn die Positions- und Orientierungsdaten des Laparoskops und der Ultraschallvorrichtung durch die Tiefenabtastungsvorrichtung bereitgestellt werden sollen, ist das Sichtfeld dieser Bildgebungsvorrichtung ausreichend breit, um sowohl das Laparoskop als auch das Ultraschallinstrument aufzunehmen, wie beispielsweise in 2 dargestellt.
  • Gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung ist die Berechnungsvorrichtung dafür ausgelegt, eine Form und eine Position einer Überdeckung/Okklusion im überblendeten Bild auf der Grundlage der extrahierten Tiefenandeutungsinformationen zu bestimmen. Die Rechenvorrichtung ist ferner dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild derart anzupassen, dass die Überdeckung/Okklusion im überblendeten Bild visualisiert wird. Das Anzeigen solch einer realistischen Überdeckung/Okklusion im überblendeten Bild für den Anwender kann auch die 3-dimensionale Wahrnehmung des Anwenders verbessern, wenn das berechnete überblendete Bild während der Laparoskopie als Navigationsunterstützung angewendet wird. Basierend auf den Abständen von in dem Tiefenbild dargestellten Objekten zu der Tiefenabtastungsvorrichtung kann die Rechenvorrichtung berechnen, welches Objekt in dem überblendeten Bild welches andere Objekt überdecken muss, um dem Anwender einen realistischen Eindruck der Überlagerung zu geben. Basierend auf diesen Informationen kann die Rechenvorrichtung dann berechnen, wie die jeweilige Tiefenandeutung in dem erzeugten überblendeten Bild gezeigt werden muss. Ein Ausführungsbeispiel davon ist in 10 dargestellt.
  • Gemäß einem weiteren Ausführungsbeispiel visualisiert das Ultraschallbild einen Querschnitt eines Objekts von Interesse in einer Ultraschallebene. Ferner ist die Rechenvorrichtung dafür ausgelegt, eine Form und eine Position eines Loches im Objekt von Interesse im überblendeten Bild zu berechnen. Ebenso kann eine entsprechende Anpassung des Laparoskopbildes und/oder des Ultraschallbildes vorgesehen sein. Das Anzeigen solch eines Loches für den Anwender in dem überblendeten Bild kann auch die 3-dimensionale Wahrnehmung des Anwenders verbessern. Solch ein Loch kann verschiedene Formen haben, wie beispielsweise die rechteckige Form, wie beschrieben im Zusammenhang mit 8 und 9. Das Loch, das in dem überblendeten Bild gezeigt ist, kann sich von der Oberfläche des Objekts von Interesse in den inneren Teil des Objekts von Interesse erstrecken. Dadurch kann das Ultraschallbild, das über das laparoskopische Bild gelegt wird, vor einem Hintergrund gezeigt werden, der einen inneren Teil des Objekts von Interesse anzeigt. Da dieser innere Teil des Objekts von Interesse ebenfalls in der Querschnittsansicht dargestellt ist, die durch das Ultraschallbild bereitgestellt wird, wird ein überblendetes Bild mit Tiefenandeutung dargestellt.
  • Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dazu eingerichtet, das Objekt von Interesse entlang der Ultraschallebene virtuell zu schneiden und das Objekt von Interesse mit dem resultierenden Schnitt in dem überblendeten Bild darzustellen. Ausführungsbeispiele davon werden beschrieben im Zusammenhang mit 6 und 7. Der resultierende Schnitt kann eine äußere Oberfläche des Objekts von Interesse sowie einen inneren Teil des Objekts von Interesse zeigen. Eine Ausführungsform besteht somit darin, die Oberfläche des Objekts von Interesse, d. h. die Oberfläche eines Organs zu messen und virtuell entlang der Ultraschallebene zu schneiden. Dies eröffnet die Möglichkeit, den inneren Teil des Objekts von Interesse virtuell mit einer Farbe zu färben, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet. Dies kann die 3-dimensionale Wahrnehmung des Anwenders bei Verwendung des überblendeten Bildes weiter verbessern.
  • Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, Daten über eine Position und eine Ausdehnung einer virtuellen Lichtquelle zu empfangen. Beispielsweise können diese Daten von einem Anwender an der Rechenvorrichtung bereitgestellt werden. Die Rechenvorrichtung ist ferner dafür ausgelegt, eine Form und einen Ort eines virtuellen Schattens im überblendeten Bild basierend auf den extrahierten Tiefenandeutungsinformationen und basierend auf der Position und der Ausdehnung der virtuellen Lichtquelle zu bestimmen. Die Rechenvorrichtung ist dafür ausgelegt, das Ultraschallbild und/oder das laparoskopische Bild derart anzupassen, dass der künstliche Schatten im überblendeten Bild visualisiert wird. Diese Ausführungsform kann insbesondere mit der hierin weiter oben erläuterten Ausführungsform kombiniert werden, bei der das Objekt von Interesse virtuell entlang der Ultraschallebene geschnitten wird. Das Berechnen und Anzeigen eines solchen künstlichen Schattens im Bereich des Schnitts, z. B. des künstlichen Schattens 701, der in 7 gezeigt ist, kann die 3-dimensionale Wahrnehmung des Anwenders weiter verbessern.
  • Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung dafür ausgelegt, aus dem Tiefenbild die räumliche Position und die Orientierung des Laparoskops sowie die räumliche Position und die Orientierung des Ultraschallgeräts zu extrahieren. Außerdem ist die Rechenvorrichtung zum Transformieren der extrahierten räumlichen Position und der extrahierten Orientierung des Laparoskops und der extrahierten räumlichen Position und der extrahierten Orientierung der Ultraschallvorrichtung in ein gemeinsames Koordinatensystem ausgelegt. Die Hauptprinzipien der Aufeinanderpassung von Koordinatensystemen sind dem Fachmann allgemein bekannt. Die Rechenvorrichtung der vorliegenden Erfindung kann insbesondere zum Berechnen solcher Aufeinanderpassungen ausgelegt sein, wie aus dem Stand der Technik bekannt, z. B. aus IGSTK Image-Guided Surgery Toolkit-An open Source C++ Software Library, Herausgeber Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yaniv, Insight Software Consortium 2009, oder aus J. Yanof, C. Bauer, S. Renisch, J. Krücker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, herausgegeben von G. Spekowius, T. Wendler, Springer, 2006.
  • Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist die Rechenvorrichtung zum Empfangen von Daten über eine Position einer am Kopf tragbaren Augmented-Reality-Vorrichtung ausgelegt. Die Rechenvorrichtung ist ferner zum Aufeinanderpassen der Position der am Kopf tragbaren Augmented-Reality-Vorrichtung und des gemeinsamen Koordinatensystems ausgelegt. Die Rechenvorrichtung ist auch zum Übertragen des überblendeten Bildes auf die am Kopf tragbare Augmented-Reality-Vorrichtung ausgelegt. Daher kann das überblendete Bild auch auf einer am Kopf tragbaren Augmented-Reality-Vorrichtung angezeigt werden, die vom Operationsteam getragen wird, wenn die Position dieser Vorrichtungen ebenfalls erfasst und auf das gemeinsame Koordinatensystem gepasst wird, wie vorstehend erwähnt. Eine weitere Option besteht darin, das überblendete Bild auf einer Vorrichtung wie einem Tablet-Computer anzuzeigen, der in dem Sichtfeld des Anwenders positioniert ist. In dem letzteren Fall werden sowohl die Augenpositionen und die Blickrichtung des Anwenders als auch der Ort und die Ausrichtung der Anzeigevorrichtung durch eine entsprechende Vorrichtung oder durch den Anwender bereitgestellt und werden durch die Recheneinheit auf das oben beschriebene gemeinsame Koordinatensystem gepasst.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Programmelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes vorgestellt.
  • Das Computerprogrammelement kann Teil eines Computerprogramms sein, es kann aber auch selbst ein ganzes Programm sein. Zum Beispiel kann das Computerprogrammelement verwendet werden, um ein bereits existierendes Computerprogramm zu aktualisieren, um zu diesem Aspekt der vorliegenden Erfindung zu gelangen.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein computerlesbares Medium vorgestellt, auf dem ein Computerprogrammelement zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gespeichert ist.
  • Das computerlesbare Medium kann als Speichermedium angesehen werden, wie zum Beispiel ein USB-Stick, eine CD, eine DVD, eine Datenspeichervorrichtung, eine Festplatte oder irgendein anderes Medium, auf dem ein Computerprogrammelement, wie oben beschrieben, gespeichert werden kann.
  • Nach einem weiteren Aspekt der vorliegenden Erfindung wird ein Trokar vorgestellt, der eine Tiefenabtastungs-Bildgebungsvorrichtung umfasst. Die Tiefenabtastungs-Bildgebungsvorrichtung kann an der Außenseite des Trokars angebracht sein, der in der Regel in den intra-abdominalen Arbeitsraum eingeführt wird. In einer anderen Ausführungsform umfasst der Trokar die Tiefenabtastungs-Abbildungsvorrichtung innerhalb seines Gehäuses. In einer Ausführungsform kann der Trokar zusammen mit der Rechenvorrichtung der vorliegenden Erfindung in einem System kombiniert werden. Der Aspekt der vorliegenden Erfindung, der sich auf den Trokar mit der Tiefenabtastungs-Abbildungsvorrichtung bezieht, kann explizit mit jeder anderen hierin erwähnten Ausführungsform der vorliegenden Erfindung kombiniert werden. Die Tiefenabtastungs-Abbildungsvorrichtung des Trokars kann mit Kabeln oder kabellos mit einer Rechenvorrichtung der vorliegenden Erfindung verbunden sein. Die Rechenvorrichtung kann dann das Verfahren der vorliegenden Erfindung, wie hierin beschrieben, ausführen.
  • Es kann als ein Aspekt der vorliegenden Erfindung angesehen werden, Tiefeninformationen zu verwenden, die aus einem Tiefenbild einer laparoskopischen Tiefenabtastungs-Bildgebungsvorrichtung gewonnen werden, um ein überblendetes Bild zu erzeugen, das aus einem Ultraschallbild und einem laparoskopischen Bild besteht. Dies kann die 3-dimensionale Wahrnehmung des überblendeten Bildes, das dem Anwender gezeigt wird, verbessern. Da der Ultraschall Informationen aus dem Inneren des Objekts von Interesse zeigt, während das Laparoskop die Oberfläche des Objekts von Interesse zeigt, kann ein bloßes Darüberlegen des Ultraschallbildes über das Laparoskopbild, wie dies im Stand der Technik geschieht, unnatürlich aussehen, da keine Tiefenandeutungen berücksichtigt werden. Im Gegensatz dazu ermöglicht die vorliegende Erfindung das Anzeigen des Ultraschallbildes, das im Raum korrekt ausgerichtet ist in Bezug auf das laparoskopische Bild mit korrekten Tiefenwerten.
  • Diese und andere Merkmale der Erfindung werden aus den nachstehend beschriebenen Ausführungsformen ersichtlich und unter Bezugnahme auf diese erläutert.
  • Figurenliste
  • Ausführungsbeispiele der Erfindung werden nun unter Bezugnahme auf die folgenden Zeichnungen beschrieben. Für ähnliche oder identische Elemente, die in den folgenden Figuren gezeigt sind, werden gleiche Bezugszahlen verwendet.
    • 1 zeigt schematisch ein Flussdiagramm eines Verfahrens zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gemäß einem Aspekt der vorliegenden Erfindung.
    • 2 zeigt schematisch einen Aufbau mit einer Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes zusammen mit einem Laparoskop, einer Ultraschallvorrichtung und einer Tiefenabtastungsvorrichtung.
    • 3 zeigt schematisch eine reale Sicht von einem Laparoskop aus.
    • 4 zeigt schematisch ein überblendetes Bild eines laparoskopischen Bildes und eines Ultraschallbildes mit positionskorrekter Überlagerung ohne Transparenzmodus.
    • 5 zeigt schematisch ein überblendetes Bild eines laparoskopischen Bildes mit einem Ultraschallbild mit einer transparenten Überlagerung, einem Transparenzmodus und einer korrekten Position des Ultraschallbildes.
    • 6 zeigt schematisch ein überblendetes Bild mit einer virtuellen Schnittebene.
    • 7 zeigt schematisch ein überblendetes Bild mit einer virtuellen Schnittebene und mit einem künstlichen Schatten.
    • 8 zeigt schematisch ein überblendetes Bild mit einem Loch ohne Transparenzmodus und ohne künstlichen Schatten.
    • 9 zeigt schematisch ein überblendetes Bild mit einem Loch mit Transparenzmodus und mit einem künstlichen Schatten.
    • 10 zeigt schematisch ein überblendetes Bild mit einem Greifer als zusätzlichem Objekt in der Szene und einer Überlagerung zwischen dem Greifer und dem Ultraschallbild als Tiefenandeutungsinformation.
  • DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • 1 zeigt schematisch ein Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes gemäß einem Aspekt der vorliegenden Erfindung. In einem ersten Schritt S1 wird das laparoskopische Bild eines Laparoskops bereitgestellt. Das Bereitstellen eines Ultraschallbildes einer Ultraschallvorrichtung wird durch Schritt S2 dargestellt. Ein Tiefenbild einer Tiefenabtastungsvorrichtung wird in Schritt S3 bereitgestellt. Das Extrahieren der Tiefenandeutungsinformationen aus dem bereitgestellten Tiefenbild ist in 1 durch Schritt S4 gezeigt. Die extrahierten Tiefenandeutungsinformationen werden in Schritt S5 verwendet, um das laparoskopische Bild und das Ultraschallbild zu überblenden, um das überblendete Bild zu erzeugen. Dieses Verfahren kann durch eine Recheneinheit ausgeführt werden, wie sie hierin vorstehend und im Folgenden dargestellt ist. Mehrere unterschiedliche Verfahrensschritte können zu diesem Verfahren von 1 gemäß mehreren anderen Verfahrensausführungsformen der vorliegenden Erfindung hinzugefügt werden. Beispielsweise kann die Bestimmung einer Form und eines Ortes eines Schattens und/oder einer Okklusion, wie oben beschrieben, Teil einer Verfahrensausführungsform sein. Auch der Schritt des Anpassens des Ultraschallbildes und/oder des laparoskopischen Bildes sind mögliche weitere Verfahrensschritte. In einer weiteren Ausführungsform des Verfahrens ist ein virtuelles Schneiden des Objekts von Interesse entlang der Ultraschallebene und das Anzeigen des Objekts von Interesse mit dem resultierenden Schnitt im überblendeten Bild ein weiterer Verfahrensschritt. In einer anderen Ausführungsform ist der Schritt des virtuellen Anfärbens des inneren Teils des Objekts von Interesse mit einer Farbe, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet, ein zusätzlicher Verfahrensschritt.
  • Die zuvor beschriebenen Verfahrensausführungsformen können mit den Schritten des Extrahierens der räumlichen Position und der Orientierung des Laparoskops und der Ultraschallvorrichtung aus dem Tiefenbild kombiniert werden. Darüber hinaus kann die Transformation der extrahierten räumlichen Position und der extrahierten Orientierung des Laparoskops und der extrahierten räumlichen Position und der extrahierten Orientierung der Ultraschallvorrichtung in ein gemeinsames Koordinatensystem durch die Recheneinheit Teil einer ergänzten Ausführungsform des Verfahrens von 1 sein. Insbesondere kann eine solche Extraktion und Transformation durch die Rechenvorrichtung durchgeführt werden, indem die Echtzeit-Bildeinspeisung der Tiefenabtastungsvorrichtung verarbeitet wird. Das Verfahren von 1 kann ausgeführt werden, wenn die Rechenvorrichtung verwendet wird, die nachfolgend in Zusammenhang mit 2 beschrieben wird.
  • 2 zeigt schematisch einen Aufbau 200, in dem eine Rechenvorrichtung 207 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung verwendet wird. 2 zeigt die Bauchdecke 201 ebenso wie das Laparoskop 202, die Ultraschallbildgebungsvorrichtung 203 und die Tiefenabtastungsvorrichtung 204. Das von der Ultraschallvorrichtung 203 erzeugte Ultraschallbild 205 ist ebenfalls in 2 gezeigt. Der Sichtwinkel 206 der Tiefenabtastungsvorrichtung 204 in dieser Ausführungsform ist breit genug, um sowohl das Laparoskop als auch das Ultraschallinstrument aufzunehmen. Daher umfasst das Tiefenbild, das durch die Vorrichtung 204 erzeugt wird, Daten über die räumliche Position und Orientierung des Laparoskops 202 und der Ultraschallvorrichtung 203. Die Rechenvorrichtung 207 kann somit zum Extrahieren der räumlichen Position jeder Vorrichtung und der Orientierung jeder Vorrichtung ausgelegt sein und kann ferner zum Transformieren der extrahierten Positionen und extrahierten Orientierungen in ein gemeinsames Koordinatensystem ausgelegt sein. Die Rechenvorrichtung 207 kann auch dafür ausgelegt sein, das überblendete Bild zur Anzeige 208 zu übertragen. In diesem und in jedem anderen Ausführungsbeispiel der vorliegenden Erfindung können Informationen darüber, wie die Perspektive des laparoskopischen Bildes relativ zur Perspektive des Ultraschallbildes und relativ zur Perspektive des Tiefenbildes ist, an der Rechenvorrichtung 207 bereitgestellt werden. Diese Informationen können beispielsweise aus dem Tiefenbild extrahiert werden, aber auch andere Mittel, wie Sensoren, die die Position und Orientierung des Laparoskops, der Ultraschallvorrichtung und/oder der Tiefenabtastungsvorrichtung nachverfolgen, können verwendet werden.
  • Die Rechenvorrichtung 207 kann für ein Warping des Ultraschallbildes ausgelegt sein, um es für eine Brennweite des Laparoskops und Bildverzerrungen passend zu machen. Der daraus resultierende technische Effekt ist eine Korrektur der optischen Abrasion oder optischer Fehler durch optische Elemente, die im Laparoskop verwendet werden.
  • 3 zeigt schematisch ein reales Bild 300 eines Laparoskops, in dem eine laparoskopische Ultraschallvorrichtung 301 über der Oberfläche 302 eines Objekts von Interesse, z. B. eines Organs, dargestellt ist. Da eine Lichtquelle am Laparoskop befestigt ist, besteht auch ein Schatten 303. Zusätzlich zu 3 zeigt 4 schematisch ein überblendetes Bild 400 in der Perspektive des Laparoskops mit einem überblendeten Ultraschallbild 401. Dieses überblendete Bild 400 kann durch die Rechenvorrichtung gemäß der vorliegenden Erfindung erzeugt werden. Das Ultraschallbild 401 ist an der korrekten Position in Bezug auf die Oberfläche 302 des Objekts von Interesse und in Bezug auf die Ultraschallvorrichtung 301 gezeigt, da Daten aus dem Tiefenbild der Tiefenabtastungsvorrichtung verwendet werden, um diese Überlagerung durch die Rechenvorrichtung dieser Ausführungsform zu erzeugen. Nach einer Kalibrierung der Laparoskopkamera sind deren Kameraparameter bekannt. Dies ermöglicht die Berechnung der Projektion von Objekten mit bekannter Form in das Bild des Laparoskops. Nach einer Kalibrierung des Ultraschalls ist für jedes Pixel des Ultraschallbildes bekannt, von welcher Position im Raum relativ zum Ultraschallabtastkopf es kommt. Daher ist es möglich, die Projektion eines Pixels des Ultraschallbildes in das laparoskopische Bild zu berechnen. Dies ermöglicht die Überlagerung in der korrekten Position. Zusätzlich dazu kann die Rechenvorrichtung der vorliegenden Erfindung dann unterschiedliche Tiefenandeutungen berechnen, wie hierin beschrieben, z. B. die Tiefenandeutungen, wie sie verwendet werden in den Ausführungsformen von 5 bis 10, und das Bild von 4 entsprechend verbessern.
  • 5 zeigt ein überblendetes Bild 500, das durch eine Rechenvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wurde. In dieser Ausführungsform wird das Ultraschallbild 501 im Transparenzmodus bereitgestellt, d. h. als transparente Überlagerung über dem laparoskopischen Bild, wodurch der Tiefeneffekt verstärkt wird. Dies kann die 3-dimensionale Wahrnehmung des Anwenders bei Verwendung dieses überblendeten Bildes weiter erhöhen. Somit versteht es sich, dass die Rechenvorrichtung der vorliegenden Erfindung für den Transparenzmodus die opaken ursprünglichen US-Bilddaten (siehe 4) so anpassen kann, dass sie mehr oder weniger transparent werden, mit einem Maximum bei vollständiger Transparenz, d. h. einem unsichtbaren US-Bild. Zusätzlich können dem Bild von 5 Tiefenandeutungen hinzugefügt werden, wie hierin vor und nachstehend beschrieben wurde.
  • Gemäß einem weiteren Ausführungsbeispiel zeigt 6 ein überblendetes Bild 600, das durch eine Ausführungsform der Rechenvorrichtung der vorliegenden Erfindung erzeugt wird. Das überblendete Bild 600 von 6 zeigt eine virtuelle Schnittebene, die durch die Rechenvorrichtung berechnet wird. Der Schnitt erstreckt sich von der Oberfläche 302 des Objekts von Interesse, wie mittels der Tiefenabtastungs-Abbildungsabweichung bestimmt, und wird durch die dunkle Oberfläche 601 visualisiert.
  • Die Rechenvorrichtung der entsprechenden Ausführungsform der vorliegenden Erfindung ist somit dafür ausgelegt, das Objekt von Interesse virtuell entlang der Ultraschallebene des US-Bildes 602 zu schneiden. Die Grenze zwischen der Objektoberfläche 302 und der virtuellen Schnittebene wird unter Verwendung des Tiefenbildes aus der Tiefenabtastungs-Abbildungsvorrichtung bestimmt.
  • Ferner ist die Rechenvorrichtung dafür ausgelegt, den inneren Teil des Objekts von Interesse virtuell mit einer Farbe zu färben, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet. Wie aus 6 zu ersehen ist, ist die Oberfläche 302 im Vergleich zum inneren Teil des Objekts von Interesse mit einer anderen Farbe gezeigt, die graphisch durch die dunkle Oberfläche 601 dargestellt ist. Durch Bereitstellen dieses virtuellen Schnitts und der Färbung des inneren Teils des Objekts von Interesse wird das Ultraschallbild 602 auf eine intuitivere Weise über das laparoskopische Bild gelegt.
  • In einem weiteren Ausführungsbeispiel wird von einer erfindungsgemäßen Rechenvorrichtung ein überblendetes Bild 700 erzeugt. In dieser Ausführungsform umfasst das überblendete Bild 700 zusätzlich zur Ausführungsform von 6 einen künstlichen Schatten 701 in dem Bereich, in dem sich der Schnitt befindet. Die Recheneinheit der Ausführungsform der vorliegenden Erfindung, die das überblendete Bild erzeugt, ist somit zum Bestimmen der Form und des Ortes des künstlichen Schattens 701 in dem überblendeten Bild 700, basierend auf den extrahierten Tiefenandeutungsinformationen und basierend auf der Position und der Ausdehnung einer künstlichen Lichtquelle, ausgelegt. Die Position und die Ausdehnung der künstlichen Lichtquelle können durch den Anwender bereitgestellt werden. Die Rechenvorrichtung passt dann das Ultraschallbild und/oder das laparoskopische Bild so an, dass der künstliche Schatten 701 in dem überblendeten Bild 700 visualisiert wird.
  • 8 zeigt ein weiteres überblendetes Bild 800, das durch eine Rechenvorrichtung einer Ausführungsform der vorliegenden Erfindung erzeugt worden ist. Das überblendete Bild 800 zeigt ein Loch 801 im Objekt von Interesse. Die Rechenvorrichtung dieser Ausführungsform der vorliegenden Erfindung hat die Form und die Position des Loches 801 berechnet. Das Ultraschallbild 803 überdeckt das Loch 801. Das überblendete Bild 800 zeigt das Ultraschallbild 803 im Transparenzmodus nicht und umfasst keine künstlichen Schatten.
  • Der „Umfang“ des Loches wird durch die Rechenvorrichtung berechnet, die den Schnittpunkt eines am Ultraschall befestigten „Blocks“ mit der Oberfläche des Organs von Interesse berechnet, wie durch die Tiefenabtastungskamera gemessen. Jede Seite des Blocks kann unterschiedlich gefärbt sein, um eine realistische Schattenwirkung innerhalb des Loches bereitzustellen. Innerhalb des Umfangs des Loches werden alle Pixel des ursprünglichen Laparoskopbildes von der Rechenvorrichtung gelöscht.
  • 9 zeigt schematisch ein weiteres überblendetes Bild 900, das durch eine Rechenvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erzeugt wird. Im überblendeten Bild 900 zeigt das Ultraschallbild 902 einen künstlichen Schatten 901 unterhalb der Ultraschallvorrichtung 301 und auf der rechten Seite 904 des Loches 905. Das Ultraschallbild 902 wird auch in einem Transparenzmodus bereitgestellt, so dass ein unterer Teil 903 des Ultraschallbildes noch im überblendeten Bild 900 gesehen werden kann. Dies ist sehr ähnlich zu 8. Innerhalb des Umfangs des Loches sind alle Pixel des ursprünglichen Laparoskopbildes transparent/von der Rechenvorrichtung gelöscht worden, während außerhalb des Umfangs des Loches das Laparoskopbild transparent gemacht worden ist, um so die Wände des Loches zu zeigen.
  • 10 zeigt schematisch ein überblendetes Bild 1000, in dem ein Greifer 1001 als ein zusätzliches Objekt gezeigt ist. Basierend auf den Tiefeninformationen, die aus dem Tiefenbild extrahiert werden, berechnet die Rechenvorrichtung einer Ausführungsform der vorliegenden Erfindung, dass der Greifer 1001 einen im Vergleich zur Position des Ultraschallbildes 1002 kürzeren Abstand zum Laparoskop hat. Daher überdeckt der Greifer 1001 das Ultraschallbild 1002 derart, dass dem Anwender ein realistisches intuitives überblendetes Bild 1000 dargeboten werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Herausgeber Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yaniv, Insight Software Consortium 2009 [0032]
    • J. Yanof, C. Bauer, S. Renisch, J. Krücker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, herausgegeben von G. Spekowius, T. Wendler, Springer, 2006 [0032]

Claims (15)

  1. Rechenvorrichtung zur Überblendung eines laparoskopischen Bildes und eines Ultraschallbildes, wobei die Rechenvorrichtung dafür ausgelegt ist, ein Laparoskopbild eines Laparoskops zu empfangen, wobei die Rechenvorrichtung dafür ausgelegt ist, ein Ultraschallbild einer Ultraschallvorrichtung zu empfangen, wobei die Rechenvorrichtung dafür ausgelegt ist, ein Tiefenbild einer Tiefenabtastungs-Bildgebungsvorrichtung zu empfangen, wobei das Tiefenbild Daten umfasst, die eine Oberfläche eines Objekts von Interesse definieren; wobei die Rechenvorrichtung dafür ausgelegt ist, Tiefenandeutungsinformationen aus dem Tiefenbild zu extrahieren, und wobei die Rechenvorrichtung dafür ausgelegt ist, die extrahierten Tiefenandeutungsinformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes zu verwenden, um ein überblendetes Bild zu erzeugen.
  2. Rechenvorrichtung nach Anspruch 1, wobei die Rechenvorrichtung dafür ausgelegt ist, basierend auf den extrahierten Tiefenandeutungsinformationen eine Form und einen Ort eines Schattens zu bestimmen, der in dem überblendeten Bild zu visualisieren ist.
  3. Rechenvorrichtung nach Anspruch 1 oder Anspruch 2, wobei die Rechenvorrichtung dafür ausgelegt ist, eine Form und einen Ort einer Okklusion, die in dem überblendeten Bild visualisiert werden soll, basierend auf den extrahierten Tiefenandeutungsinformationen zu bestimmen.
  4. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei das Ultraschallbild einen Querschnitt des Objekts von Interesse in einer Ultraschallebene visualisiert, wobei die Rechenvorrichtung dafür ausgelegt ist, eine Form und eine Position eines Loches in dem zu visualisierenden Objekt von Interesse in dem überblendeten Bild zu berechnen.
  5. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei das Ultraschallbild einen Querschnitt des Objekts von Interesse in einer Ultraschallebene visualisiert, und wobei die Rechenvorrichtung dafür ausgelegt ist, das Objekt von Interesse virtuell entlang der Ultraschallebene zu schneiden und das Objekt von Interesse mit dem resultierenden Schnitt in dem überblendeten Bild anzuzeigen.
  6. Rechenvorrichtung nach Anspruch 5, wobei das überblendete Bild mit dem resultierenden Schnitt eine äußere Oberfläche des Objekts von Interesse und einen inneren Teil des Objekts von Interesse zeigt, und wobei die Rechenvorrichtung dafür ausgelegt ist, den inneren Teil des Objekts von Interesse virtuell mit einer Farbe zu färben, die sich von der Farbe der äußeren Oberfläche des Objekts von Interesse unterscheidet.
  7. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei die Rechenvorrichtung dafür ausgelegt ist, Daten über eine Position und eine Ausdehnung einer virtuellen Lichtquelle zu empfangen, wobei die Rechenvorrichtung dafür ausgelegt ist, eine Form und einen Ort eines künstlichen Schattens in dem überblendeten Bild basierend auf den extrahierten Tiefenandeutungsinformationen und basierend auf der Position und der Ausdehnung der virtuellen Lichtquelle zu bestimmen, und wobei die Rechenvorrichtung dafür ausgelegt ist, das Ultraschallbild und/oder das laparoskopische Bild so anzupassen, dass der künstliche Schatten in dem überblendeten Bild visualisiert wird.
  8. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei das Tiefenbild Daten über eine räumliche Lage und/oder eine Orientierung des Laparoskops umfasst, und wobei das Tiefenbild Daten über eine räumliche Position und/oder eine Orientierung der Ultraschallvorrichtung umfasst.
  9. Rechenvorrichtung nach Anspruch 8, wobei die Rechenvorrichtung dafür ausgelegt ist, aus den Tiefenbilddaten die räumliche Position und die Orientierung des Laparoskops sowie die räumliche Position und die Orientierung der Ultraschallvorrichtung zu extrahieren, und wobei die Rechenvorrichtung dafür ausgelegt ist, die extrahierte räumliche Position und die extrahierte Orientierung des Laparoskops und die extrahierte räumliche Position und die extrahierte Orientierung der Ultraschallvorrichtung in ein gemeinsames Koordinatensystem zu transformieren.
  10. Rechenvorrichtung nach Anspruch 9, wobei die Rechenvorrichtung dafür ausgelegt ist, Daten über eine Position einer am Kopf zu tragenden Augmented-Reality-Vorrichtung zu empfangen, wobei die Rechenvorrichtung dafür ausgelegt ist, die Position der am Kopf zu tragenden Augmented-Reality-Vorrichtung auf das gemeinsame Koordinatensystem zu passen, und wobei die Rechenvorrichtung dafür ausgelegt ist, das überblendete Bild auf die am Kopf zu tragende Augmented-Reality-Vorrichtung zu übertragen.
  11. Rechenvorrichtung nach Anspruch 9, wobei die Rechenvorrichtung dafür ausgelegt ist, Daten über die Augenposition und die Blickrichtung eines Anwenders zu empfangen; wobei die Rechenvorrichtung dafür ausgelegt ist, eine räumliche Position und eine Orientierung einer computerpositionierten Anzeigevorrichtung zu empfangen, und wobei die Rechenvorrichtung dafür ausgelegt ist, die erfasste Augenposition des Anwenders und die erfasste Blickrichtung und die erfasste räumliche Position und Orientierung der computerpositionierten Anzeigevorrichtung zusammen auf das gemeinsame Koordinatensystem zu passen, und wobei die Rechenvorrichtung dafür ausgelegt ist, das überblendete Bild auf die computerpositionierte Anzeigevorrichtung zu übertragen.
  12. Rechenvorrichtung nach einem der vorhergehenden Ansprüche, wobei die Rechenvorrichtung dafür ausgelegt ist, das Ultraschallbild zu warpen, um eine Brennweite des Laparoskops und Bildverzerrungen anzupassen.
  13. Verfahren zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes, wobei das Verfahren die folgenden Schritte umfasst: Bereitstellen eines laparoskopischen Bildes eines Laparoskops (S1), Bereitstellen eines Ultraschallbildes einer Ultraschallvorrichtung (S2), Bereitstellen eines Tiefenbildes einer Tiefenabtastungs-Bildgebungsvorrichtung (S3), wobei das Tiefenbild Daten umfasst, die eine Oberfläche eines Objekts von Interesse definieren, Extrahieren von Tiefenandeutungsinformationen aus dem Tiefenbild (S4), und Verwenden der extrahierten Tiefenandeutungsinformationen zum Überblenden des laparoskopischen Bildes und des Ultraschallbildes, um ein überblendetes Bild zu erzeugen (S5).
  14. Computerprogrammprodukt, das einen Satz von Instruktionen umfasst, um zu bewirken, dass eine Rechenvorrichtung nach einem der Ansprüche 1 bis 12 ein Verfahren nach Anspruch 13 ausführt.
  15. Computerlesbares Medium, auf dem ein Computerprogrammprodukt nach Anspruch 14 gespeichert ist.
DE112017001315.1T 2016-03-16 2017-03-15 Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes Withdrawn DE112017001315T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16160609 2016-03-16
EP16160609.0 2016-03-16
PCT/EP2017/056045 WO2017157970A1 (en) 2016-03-16 2017-03-15 Calculation device for superimposing a laparoscopic image and an ultrasound image

Publications (1)

Publication Number Publication Date
DE112017001315T5 true DE112017001315T5 (de) 2018-11-22

Family

ID=55542495

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017001315.1T Withdrawn DE112017001315T5 (de) 2016-03-16 2017-03-15 Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes

Country Status (5)

Country Link
US (1) US20190088019A1 (de)
JP (1) JP6932135B2 (de)
CN (1) CN108778143B (de)
DE (1) DE112017001315T5 (de)
WO (1) WO2017157970A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262453B2 (en) 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
CN110010249B (zh) * 2019-03-29 2021-04-27 北京航空航天大学 基于视频叠加的增强现实手术导航方法、***及电子设备
CN110288653B (zh) * 2019-07-15 2021-08-24 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、***及电子设备
CN216675901U (zh) 2020-07-21 2022-06-07 巴德阿克塞斯***股份有限公司 用于跟踪超声探头以创建三维(3d)可视化的基于磁的跟踪***
WO2022035760A1 (en) * 2020-08-10 2022-02-17 Bard Access Systems, Inc. System and method for generating vessel representations in mixed reality/virtual reality
WO2023086332A1 (en) * 2021-11-09 2023-05-19 Genesis Medtech (USA) Inc. An interactive augmented reality system for laparoscopic and video assisted surgeries
WO2024042468A1 (en) * 2022-08-24 2024-02-29 Covidien Lp Surgical robotic system and method for intraoperative fusion of different imaging modalities

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10015826A1 (de) * 2000-03-30 2001-10-11 Siemens Ag System und Verfahren zur Erzeugung eines Bildes
JP2003325514A (ja) * 2002-05-16 2003-11-18 Aloka Co Ltd 超音波診断装置
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
US8514218B2 (en) * 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
US8267853B2 (en) * 2008-06-23 2012-09-18 Southwest Research Institute System and method for overlaying ultrasound imagery on a laparoscopic camera display
US8690776B2 (en) * 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
WO2014165805A2 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN104013424B (zh) * 2014-05-28 2016-01-20 华南理工大学 一种基于深度信息的超声宽景成像方法
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN104856720B (zh) * 2015-05-07 2017-08-08 东北电力大学 一种基于rgb‑d传感器的机器人辅助超声扫描***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Herausgeber Kevin Cleary, Patrick Cheng, Andinet Enquobahrie, Ziv Yaniv, Insight Software Consortium 2009
J. Yanof, C. Bauer, S. Renisch, J. Krücker, J. Sabczynski, Image-Guided Therapy (IGT): New CT and Hybrid Imaging Technologies, in Advances in Healthcare Technology, herausgegeben von G. Spekowius, T. Wendler, Springer, 2006

Also Published As

Publication number Publication date
CN108778143A (zh) 2018-11-09
JP6932135B2 (ja) 2021-09-08
US20190088019A1 (en) 2019-03-21
CN108778143B (zh) 2022-11-01
JP2019508166A (ja) 2019-03-28
WO2017157970A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
DE112017001315T5 (de) Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes
DE102016200225B4 (de) Perspektivisches Darstellen eines virtuellen Szenebestandteils
EP2082687B1 (de) Überlagerte Darstellung von Aufnahmen
EP3330922B1 (de) Verfahren und vorrichtung zum darstellen eines objektes
DE102015212806A1 (de) System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
DE112010006052T5 (de) Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
WO1998046120A2 (de) Endoskopisches system
DE102013206911A1 (de) Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
EP1319368A2 (de) Verfahren zur Bestimmung der Orientierung und Relativposition eines medizinischen Instruments
DE102021103411A1 (de) Chirurgisches Assistenzsystem und Darstellungsverfahren
EP1897061A1 (de) Verfahren und vorrichtung zur 3d-navigation auf schichtbildern
EP3598948B1 (de) Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
DE19542605A1 (de) Anzeigesystem zur Verbesserung der Darstellung von Körperstrukturen während medizinischer Verfahren
DE102007029888B4 (de) Bildgebendes Verfahren für die medizinische Diagnostik und nach diesem Verfahren arbeitende Einrichtung
EP3632294A1 (de) System und verfahren zum halten einer bildwiedergabevorrichtung
DE102020215559B4 (de) Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
WO2017017103A1 (de) System zur stereoskopischen darstellung von aufnahmen eines endoskops
DE102012100848B4 (de) System und Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
DE102021206565A1 (de) Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
DE102011085860B4 (de) Verfahren zur medizinischen Bildgebung eines Körperteils, insbesondere der Hand
WO2022073784A1 (de) Chirurgisches assistenzsystem und darstellungsverfahren
EP4124283A1 (de) Messverfahren und eine messvorrichtung
DE112021006385T5 (de) Objektvisualisierung

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination