DE102023101892B3 - Method and system for processing laparoscopic images - Google Patents

Method and system for processing laparoscopic images Download PDF

Info

Publication number
DE102023101892B3
DE102023101892B3 DE102023101892.2A DE102023101892A DE102023101892B3 DE 102023101892 B3 DE102023101892 B3 DE 102023101892B3 DE 102023101892 A DE102023101892 A DE 102023101892A DE 102023101892 B3 DE102023101892 B3 DE 102023101892B3
Authority
DE
Germany
Prior art keywords
model
laparoscopic
images
computer
visual representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023101892.2A
Other languages
German (de)
Inventor
Sascha Jaskola
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Original Assignee
Olympus Winter and Ibe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH filed Critical Olympus Winter and Ibe GmbH
Priority to DE102023101892.2A priority Critical patent/DE102023101892B3/en
Application granted granted Critical
Publication of DE102023101892B3 publication Critical patent/DE102023101892B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement

Abstract

Die Erfindung betrifft ein Verfahren und System zum Bearbeiten laparoskopischer Bilder, die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops aufgenommen werden, indem- laparoskopische Bilder in Bezug auf die Sichtbarkeit eines Objekts analysiert werden,- eine Anordnung eines vorgenerierten 3D-Modells des Objekts in Bezug auf die Position des Objekts in den laparoskopischen Bildern berechnet wird,- eine visuelle Darstellung des 3D-Modells generiert wird,- eine Farbinformation und/oder Helligkeitsinformation der visuellen Darstellung des 3D-Modells und der laparoskopischen Bilder an der Position des 3D-Modells verglichen wird und die Darstellung des 3D-Modells auf der Grundlage des Ergebnisses des Vergleichs in Regionen angepasst wird, in denen der Unterschied unter einem vordefinierten Schwellenwert liegt, und- zusammengesetzte Bilder unter Verwendung der laparoskopischen Bilder und der angepassten Darstellung des 3D-Modells generiert werden.The invention relates to a method and system for processing laparoscopic images acquired during a laparoscopic procedure using a video laparoscope by: - analyzing laparoscopic images in relation to the visibility of an object, - an arrangement of a pre-generated 3D model of the object is calculated in relation to the position of the object in the laparoscopic images, - a visual representation of the 3D model is generated, - color information and / or brightness information of the visual representation of the 3D model and the laparoscopic images at the position of the 3D model comparing and adjusting the representation of the 3D model based on the result of the comparison in regions where the difference is below a predefined threshold, and generating composite images using the laparoscopic images and the adjusted representation of the 3D model .

Description

Die vorliegende Offenlegung betrifft ein Verfahren und ein System zum Bearbeiten laparoskopischer Bilder, die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops aufgenommen werden, sowie ein nichtflüchtiges Datenspeichermedium, das Anweisungen für einen Computer enthält.The present disclosure relates to a method and system for processing laparoscopic images captured during a laparoscopic procedure using a video laparoscope and a non-volatile data storage medium containing instructions for a computer.

Bei laparoskopischen Eingriffen unter Verwendung eines Video-Laparoskops betrachtet die Bedienperson ein von dem Video-Laparoskop erzeugtes Bild auf einem Bildschirm, welcher der primäre OP-Monitor sein kann. In einigen Fällen wird das der Bedienperson dargestellte laparoskopische Bild durch Überlagerung des laparoskopischen Bildes mit einer Wiedergabe eines 3D-Modells eines Organs, an dem operiert wird, oder anderer organischer Strukturen bereichert. Derartige 3D-Modelle dienen der Orientierung und Navigation während des Eingriffs und werden zuvor auf der Grundlage von vorherigen radiologischen Scans des Patienten generiert.During laparoscopic procedures using a video laparoscope, the operator views an image generated by the video laparoscope on a screen, which may be the primary surgical monitor. In some cases, the laparoscopic image presented to the operator is enhanced by overlaying the laparoscopic image with a rendering of a 3D model of an organ being operated on or other organic structures. Such 3D models are used for orientation and navigation during the procedure and are previously generated based on previous radiological scans of the patient.

Eine derartige Überlagerung eines 3D-Modells bedeckt Teile des chirurgischen Live-Bildes, abhängig von seiner Position und Ausrichtung. Bei übermäßiger Ähnlichkeit zwischen den in den beiden Teilen des zusammengesetzten Bildes gezeigten Strukturen kann die Überlagerung schwer von dem tatsächlichen laparoskopischen Bild zu unterscheiden sein.Such an overlay of a 3D model covers parts of the live surgical image, depending on its position and orientation. If there is excessive similarity between the structures shown in the two parts of the composite image, the overlay may be difficult to distinguish from the actual laparoscopic image.

Bei einer transparenten oder halbtransparenten Überlagerung mischt sich das überlagerte 3D-Modell des Organs visuell mit dem laparoskopischen Bild. Dies kann zu Detailverlusten oder in extremen Fällen zu Verwechslung zwischen dem chirurgischen Live-Bild im Hintergrund und der Überlagerungsanzeige bei bestimmten Details führen.With a transparent or semi-transparent overlay, the overlaid 3D model of the organ blends visually with the laparoscopic image. This can result in loss of detail or, in extreme cases, confusion between the live surgical image in the background and the overlay display for certain details.

Ein weiteres Artefakt der Überlagerung ist, dass das überlagerte Bild des 3D-Modells des Organs die Sicht auf chirurgische Instrumente innerhalb des laparoskopischen Bildes behindern kann.Another artifact of overlay is that the overlaid image of the 3D model of the organ may obstruct the view of surgical instruments within the laparoscopic image.

Aus US 10 154 239 B2 sind ein chirurgisches Echtzeit-Verfahren und eine entsprechende Vorrichtung bekannt, die eine stereoskopische augmentierte Darstellung eines Patienten vom statischen oder dynamischen Blickpunkt eines Chirurgen erzeugen. Das Verfahren wendet für eine prä- oder intraoperative Bilderfassung eine dreidimensionale Oberflächenrekonstruktion in Echtzeit an. Das stereoskopische Videodisplay zeigt dem Chirurgen eine graphische Repräsentation der prä- oder interoperativen Bilder an, die den aktuellen Videobildern überlagert werden.Out of US 10 154 239 B2 A real-time surgical method and a corresponding device are known which generate a stereoscopic augmented representation of a patient from the static or dynamic point of view of a surgeon. The procedure uses three-dimensional surface reconstruction in real time for pre- or intraoperative image capture. The stereoscopic video display shows the surgeon a graphical representation of the pre- or interoperative images, which are superimposed on the current video images.

Ferner offenbart US 10 460 457 B2 eine adaptive Anpassung von Parametern von Überlagerungsbildern, die aktuellen Bildern eines chirurgischen Mikroskops in der Augenheilkunde überlagert werden. Further revealed US 10 460 457 B2 an adaptive adjustment of parameters of overlay images that are superimposed on current images of a surgical microscope in ophthalmology.

Bei dem Verfahren werden die aktuellen Bilder bezüglich verschiedener optischer Parameter gescannt, darunter Helligkeit, Kontrast und Farbskala, und die optischen Parameter der Überlagerungsbilder an diese optischen Parameter angepasst.The process scans the current images for various optical parameters, including brightness, contrast and color gamut, and adjusts the optical parameters of the overlay images to these optical parameters.

Es ist eine Aufgabe, verbesserte Mittel zum Anzeigen von durch Wiedergaben von 3D-Modellen erweiterten laparoskopischen Bildern vorzusehen.It is an object to provide improved means for displaying laparoscopic images enhanced by renderings of 3D models.

Diese Aufgabe kann gelöst werden durch ein Verfahren zum Bearbeiten laparoskopischer Bilder, die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops aufgenommen werden, indem

  • - die laparoskopischen Bilder in Bezug auf die Sichtbarkeit eines Objekts analysiert werden,
  • - eine Anordnung eines vorgenerierten 3D-Modells des Objekts in Bezug auf die Position des Objekts in den laparoskopischen Bildern berechnet werden,
  • - eine visuelle Darstellung des 3D-Modells generiert wird,
  • - eine Farbinformation und/oder Helligkeitsinformation der visuellen Darstellung des 3D-Modells und der laparoskopischen Bilder an der Position des 3D-Modells verglichen wird und die Darstellung des 3D-Modells auf der Grundlage des Ergebnisses des Vergleichs in Regionen angepasst wird, in denen der Unterschied unter einem vordefinierten Schwellenwert liegt, und
  • - zusammengesetzte Bilder unter Verwendung der laparoskopischen Bilder und der angepassten Darstellung des 3D-Modells generiert werden.
This task can be solved by a method for processing laparoscopic images taken during a laparoscopic procedure using a video laparoscope by
  • - the laparoscopic images are analyzed in relation to the visibility of an object,
  • - an arrangement of a pre-generated 3D model of the object is calculated in relation to the position of the object in the laparoscopic images,
  • - a visual representation of the 3D model is generated,
  • - color information and/or brightness information of the visual representation of the 3D model and the laparoscopic images is compared at the position of the 3D model and the representation of the 3D model is adjusted based on the result of the comparison in regions where the difference is below a predefined threshold, and
  • - Composite images are generated using the laparoscopic images and the customized representation of the 3D model.

Die zusammengesetzten Bilder können auf einem Bildschirm angezeigt werden.The composite images can be displayed on a screen.

In Ausführungsformen werden die laparoskopischen Bilder in Echtzeit bearbeitet.In embodiments, the laparoscopic images are processed in real time.

Das Objekt, von dem ein 3D-Modell verwendet wird, kann ein oder mehrere Organe und/oder eine organische Struktur sein.The object of which a 3D model is used may be one or more organs and/or an organic structure.

Mit dem hier beschriebenen Verfahren wird das 3D-Modell des Objekts nicht nur als eine Überlagerung über die laparoskopischen Bilder wiedergegeben, sondern angepasst, um einen größeren Kontrast gegenüber den zugrundeliegenden Bildern aufzuweisen, so dass die Ziele einer besseren Unterstützung der Bedienperson durch Verringerung des Risikos einer Verwechslung zwischen der 3D-Modellvisualisierung und den realen laparoskopischen Bildern erfüllt werden. Dies geschieht durch Identifizieren von Bereichen mit unzureichendem Farb- oder Helligkeitskontrast und Anpassen der Visualisierung des 3D-Modells in diesen Bereichen, insbesondere durch Erhöhen des Kontrastes hinsichtlich Farbe und/oder Helligkeit.With the method described here, the 3D model of the object is not only reproduced as an overlay on the laparoscopic images, but is adjusted to provide a larger con contrast to the underlying images, so that the goals of better assisting the operator by reducing the risk of confusion between the 3D model visualization and the real laparoscopic images are met. This is done by identifying areas with insufficient color or brightness contrast and adjusting the visualization of the 3D model in these areas, in particular by increasing the contrast in terms of color and/or brightness.

In Ausführungsformen erfolgt der Vergleich und/oder die Anpassung der visuellen Darstellung des 3D-Modells auf Pixelebene der laparoskopischen Bilder und/oder in Segmenten mehrerer Pixel. Während ein Vergleich und/oder eine Anpassung auf Pixelebene zu äußerst detaillierten zusammengesetzten Bildern führt, beansprucht die Verwendung von Segmenten mehrerer Pixel weniger Rechenzeit und kann unter anderem zur Erhöhung der Wiederholungsrate der bereicherten laparoskopischen Bilder verwendet werden.In embodiments, the comparison and/or adjustment of the visual representation of the 3D model occurs at the pixel level of the laparoscopic images and/or in segments of several pixels. While pixel-level comparison and/or adjustment results in highly detailed composite images, using segments of multiple pixels requires less computational time and can be used, among other things, to increase the repetition rate of the enriched laparoscopic images.

Die Segmentierung beim Vergleich kann sich von der Segmentierung bei der Anpassung der visuellen Darstellung des 3D-Modells unterscheiden. Beispielsweise können die Segmente bei der Anpassung der visuellen Darstellung des 3D-Modells kreisförmig oder elliptisch sein und die beim Vergleich verwendeten Segmente vollständig umgeben. Dieses letzte Merkmal dient dazu, die Wiedergabe des 3D-Modells natürlicher zu gestalten und jegliche Wiedergabeeffekte zu vermeiden.The segmentation when comparing may differ from the segmentation when adjusting the visual representation of the 3D model. For example, when adjusting the visual representation of the 3D model, the segments can be circular or elliptical and completely surround the segments used in the comparison. This last feature is intended to make the rendering of the 3D model more natural and avoid any rendering effects.

In Ausführungsformen kann die Helligkeit der laparoskopischen Bilder reduziert und/oder die Helligkeit der visuellen Darstellung des 3D-Modells erhöht werden. Beide Maßnahmen erhöhen weiter den Kontrast zwischen der Visualisierung des 3D-Modells und den laparoskopischen Bildern.In embodiments, the brightness of the laparoscopic images may be reduced and/or the brightness of the visual representation of the 3D model may be increased. Both measures further increase the contrast between the visualization of the 3D model and the laparoscopic images.

Eine weitere Ausführungsform umfasst Erfassen eines chirurgischen Instruments in den laparoskopischen Bildern und Anpassen der visuellen Darstellung des 3D-Modells, um ein Verdecken des chirurgischen Instruments zu vermeiden. Dies kann dadurch geschehen, dass die 3D-Modellvisualisierung in dem das chirurgische Instrument enthaltenden Bereich des laparoskopischen Bildes transparenter gestaltet wird oder dass der Teil des Organs, der durch das chirurgische Instrument verdeckt werden würde, aus der Wiedergabe des 3D-Modells des Objekts ausgeschnitten wird. Dies würde das chirurgische Instrument perspektivisch vor dem 3D-Modell des Objekts erscheinen lassen. Die Erfassung des chirurgischen Instruments kann beispielsweise durch Objekterkennung und/oder Kantendetektion erfolgen.Another embodiment includes capturing a surgical instrument in the laparoscopic images and adjusting the visual representation of the 3D model to avoid obscuring the surgical instrument. This can be done by making the 3D model visualization more transparent in the area of the laparoscopic image containing the surgical instrument or by cropping the portion of the organ that would be obscured by the surgical instrument from the rendering of the 3D model of the object . This would make the surgical instrument appear in perspective in front of the 3D model of the object. The surgical instrument can be detected, for example, by object recognition and/or edge detection.

In weiteren Ausführungsformen, beispielsweise weiteren Anzeigemodi, können Details aus dem Innenbereich des 3D-Modells des Objekts weggelassen werden, können nur die Außenkonturen des 3D-Modells wiedergegeben werden oder können vorgegebene Kanten des 3D-Modells einschließlich der Außenkonturen des 3D-Modells wiedergegeben werden.In further embodiments, for example further display modes, details from the interior of the 3D model of the object can be omitted, only the outer contours of the 3D model can be reproduced, or predetermined edges of the 3D model including the outer contours of the 3D model can be reproduced.

Die Außenkonturen des 3D-Modells können in zwei stark kontrastierenden Farben oder Helligkeiten abgegrenzt werden. Auf diese Weise sind die Umrisse vor hellen, dunklen und mitteltönigen Hintergründen gleichermaßen sichtbar. Bei Farbbildern können die kontrastierenden Farben gewählt werden, um komplementäre Farben darzustellen, insbesondere Farben, die den größten Kontrast zu den vorherrschenden Farben der laparoskopischen Bilder aufweisen.The outer contours of the 3D model can be delineated in two strongly contrasting colors or brightnesses. This way the outlines are equally visible against light, dark and midtone backgrounds. For color images, the contrasting colors can be chosen to represent complementary colors, particularly colors that have the greatest contrast to the predominant colors of the laparoscopic images.

Ein weiterer Aspekt der vorliegenden Erfindung beruht auf einem System zur Bearbeitung laparoskopischer Bilder, die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops aufgenommen werden, aufweisend ein Video-Laparoskop, eine zum Steuern des Video-Laparoskops eingerichtete Kamerasteuerung, einen Computer mit einem Framegrabber, der eingerichtet ist, laparoskopische Bilder von dem Video-Laparoskop aufzunehmen, und einen mit dem Computer verbundenen Bildschirm, wobei der Computer eingerichtet ist,

  • - die laparoskopischen Bilder in Bezug auf die Sichtbarkeit eines Objekts zu analysieren,
  • - eine Anordnung eines vorgenerierten 3D-Modells des Objekts in Bezug auf die Position des Objekts in den laparoskopischen Bildern zu berechnen,
  • - eine visuelle Darstellung des 3D-Modells zu generieren,
  • - eine Farbinformation und/oder Helligkeitsinformation der visuellen Darstellung des 3D-Modells und der laparoskopischen Bilder an der Position des 3D-Modells zu vergleichen und die Darstellung des 3D-Modells auf der Grundlage des Ergebnisses des Vergleichs in Bereichen anzupassen, in denen der Unterschied unter einem vordefinierten Schwellenwert liegt, und
  • - zusammengesetzte Bilder unter Verwendung der laparoskopischen Bilder und der angepassten Darstellung des 3D-Modells zu generieren.
Another aspect of the present invention is based on a system for processing laparoscopic images recorded during a laparoscopic procedure using a video laparoscope, comprising a video laparoscope, a camera controller set up to control the video laparoscope, a computer with a frame grabber , which is arranged to capture laparoscopic images from the video laparoscope, and a screen connected to the computer, the computer being arranged to
  • - analyze the laparoscopic images in relation to the visibility of an object,
  • - calculate an arrangement of a pre-generated 3D model of the object in relation to the position of the object in the laparoscopic images,
  • - generate a visual representation of the 3D model,
  • - compare color information and/or brightness information of the visual representation of the 3D model and the laparoscopic images at the position of the 3D model and adjust the representation of the 3D model based on the result of the comparison in areas where the difference is below a predefined threshold, and
  • - Generate composite images using the laparoscopic images and the customized representation of the 3D model.

Das System verkörpert dadurch die gleichen Merkmale, Eigenschaften und Lösungen wie das vorstehend beschriebene Verfahren.The system thereby embodies the same features, properties and solutions as the method described above.

In Ausführungsformen ist der Computer eingerichtet, den Vergleich und/oder die Anpassung der visuellen Darstellung des 3D-Modells auf Pixelebene der laparoskopischen Bilder und/oder in Segmenten mehrerer Pixel durchzuführen.In embodiments, the computer is set up to perform the comparison and/or adjustment of the visual representation of the 3D model at the pixel level of the laparoscopic images and/or in segments of multiple pixels.

In einer Ausführungsform ist der Computer eingerichtet, die Helligkeit der laparoskopischen Bilder zu reduzieren und/oder die Helligkeit der visuellen Darstellung des 3D-Modells zu erhöhen.In one embodiment, the computer is set up to reduce the brightness of the laparoscopic images and/or increase the brightness of the visual representation of the 3D model.

In einer Ausführungsform ist der Computer eingerichtet, ein chirurgisches Instrument in den laparoskopischen Bildern zu erfassen und die visuelle Darstellung des 3D-Modells anzupassen, um ein Verdecken des chirurgischen Instruments zu vermeiden.In one embodiment, the computer is configured to capture a surgical instrument in the laparoscopic images and adjust the visual representation of the 3D model to avoid obscuring the surgical instrument.

In einer Ausführungsform ist der Computer eingerichtet, die Erfassung des chirurgischen Instruments durch Objekterkennung und/oder Kantendetektion durchzuführen.In one embodiment, the computer is set up to detect the surgical instrument through object recognition and/or edge detection.

Der Computer kann eingerichtet sein, Details aus dem Innenbereich des 3D-Modells des Objekts wegzulassen.The computer may be set up to omit details from the interior of the 3D model of the object.

In einer Ausführungsform ist der Computer eingerichtet, die Außenkonturen des 3D-Modells und/oder vorgegebene Kanten des 3D-Modells, einschließlich der Außenkonturen des 3D-Modells, wiederzugeben.In one embodiment, the computer is set up to reproduce the outer contours of the 3D model and/or predetermined edges of the 3D model, including the outer contours of the 3D model.

In einer anderen Ausführungsform ist der Computer eingerichtet, die Außenkonturen des 3D-Modells in zwei stark kontrastierenden Farben oder Helligkeiten abzugrenzen.In another embodiment, the computer is set up to delineate the outer contours of the 3D model in two strongly contrasting colors or brightnesses.

Die vorstehend beschriebenen Ausführungsformen und Funktionalitäten können auf einer Ausgestaltung des Framegrabbers des Computers für den jeweiligen Zweck beruhen, insbesondere, wenn der Framegrabber mit einer Bildbearbeitungsfunktionalität vorgesehen ist.The embodiments and functionalities described above can be based on a design of the frame grabber of the computer for the respective purpose, in particular if the frame grabber is provided with an image processing functionality.

Ein weiterer Aspekt der vorliegenden Erfindung beruht auf einem nichtflüchtigen Datenspeichermedium, das Anweisungen für einen Computer enthält, die eingerichtet sind, den Computer zu veranlassen, das vorstehend beschriebene Verfahren durchzuführen. Solche Anweisungen können auf einen Computer oder dessen Framegrabber eines vorstehend beschriebenen Systems geladen werden.Another aspect of the present invention is based on a non-volatile data storage medium containing instructions for a computer configured to cause the computer to perform the method described above. Such instructions can be loaded onto a computer or its frame grabber of a system described above.

Weitere Merkmale werden aus der Beschreibung von Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.Further features will become apparent from the description of embodiments together with the claims and the accompanying drawings. Embodiments may fulfill individual features or a combination of multiple features.

Nachfolgend werden die Ausführungsformen ohne Beschränkung des allgemeinen Erfindungsgedankens beschrieben, wobei bezüglich der Offenlegung aller im Text nicht näher erläuterten Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird.The embodiments are described below without restricting the general idea of the invention, with express reference being made to the drawings with regard to the disclosure of all details not explained in more detail in the text.

In den Zeichnungen:

  • 1 veranschaulicht ein gemäß bekannter Verfahren erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs,
  • 2 veranschaulicht ein gemäß einer ersten Ausführungsform erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs,
  • 3 veranschaulicht eine schematische Darstellung einer Ausführungsform eines Systems zur Bearbeitung laparoskopischer Bilder,
  • 4 veranschaulicht ein gemäß einer zweiten Ausführungsform erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs,
  • 5 veranschaulicht ein gemäß einer dritten Ausführungsform erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs und
  • 6 veranschaulicht eine schematische Darstellung einer Anordnung eines Maschinenlernmodells zur Verwendung mit der vorliegenden Erfindung.
In the drawings:
  • 1 illustrates a composite image of a laparoscopic procedure generated according to known methods,
  • 2 illustrates a composite image of a laparoscopic procedure generated according to a first embodiment,
  • 3 illustrates a schematic representation of an embodiment of a system for processing laparoscopic images,
  • 4 illustrates a composite image of a laparoscopic procedure generated according to a second embodiment,
  • 5 illustrates a composite image of a laparoscopic procedure generated according to a third embodiment and
  • 6 illustrates a schematic representation of an arrangement of a machine learning model for use with the present invention.

In den Zeichnungen sind gleiche oder gleichartige Elemente oder jeweils entsprechende Teile mit denselben Bezugsziffern versehen, so dass von einer entsprechenden erneuten Vorstellung abgesehen wird.In the drawings, the same or similar elements or corresponding parts are provided with the same reference numbers, so that a corresponding repetition is not necessary.

In 1 ist ein gemäß bekannter Verfahren erzeugtes zusammengesetztes Bild 6 eines laparoskopischen Eingriffs dargestellt, wie es auf dem zentralen Operationsmonitor eines Operationssaals gezeigt werden könnte. Ein 3D-Modell 4 einer organischen Struktur wird wiedergegeben und einem laparoskopischen Live-Bild 2 überlagert, dabei werden wichtige organische Strukturen im Operationsfeld hervorgehoben. Das 3D-Modell ist beispielsweise auf der Grundlage vorheriger radiologischer Scans des Patienten generiert worden.In 1 1 shows a composite image 6 of a laparoscopic procedure generated according to known methods, as it could be shown on the central operating monitor of an operating room. A 3D model 4 of an organic structure is reproduced and superimposed on a laparoscopic live image 2, highlighting important organic structures in the operating field. For example, the 3D model was generated based on previous radiological scans of the patient.

Zwei Bereiche sind durch quadratische Umrandungen in dem zusammengesetzten Bild 6 von 1 hervorgehoben, die auf Unzulänglichkeiten des Verfahrens zurückzuführen sind, mit dem die Wiedergabe des 3D-Modells durchgeführt worden ist. Der Bereich mit Ziffer „1“ umfasst einen Teil des Hintergrunds des laparoskopischen Bildes 2, der sehr ähnliche Farb- und/oder Helligkeitswerte wie die Wiedergabe des 3D-Modells 4 der organischen Struktur aufweist, wodurch es schwierig wird, zwischen dem 3D-Modell und dem realen laparoskopischen Bild zu unterscheiden. Der andere Bereich mit Ziffer „2“ zeigt, dass die Wiedergabe des 3D-Modells 4 die Sicht auf ein chirurgisches Instrument 8 verdeckt, das gerade zur Bearbeitung organischer Strukturen im Operationsgebiet verwendet wird. Beide Arten von Artefakten können den Chirurg irritieren.Two areas are marked by square borders in the composite image 6 of 1 highlighted which are due to deficiencies in the process used to render the 3D model. The area marked "1" includes a portion of the background of laparoscopic image 2, which has very similar color and/or brightness values as the reproduction of the 3D model 4 of the organic structure, making it difficult to distinguish between the 3D model and the real laparoscopic image. The other area with number “2” shows that the reproduction of the 3D model 4 obscures the view of a surgical instrument 8 that is currently being used to process organic structures in the operating area. Both types of artifacts can irritate the surgeon.

2 stellt ein gemäß einer ersten Ausführungsform erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs dar. Bei dieser ersten, standardmäßigen, Ausführungsform ist ein zusammengesetztes Bild 6 aus einem laparoskopischen Bild 2 und überlagerten 3D-Modell 4 von Organen und anderen organischen Strukturen gezeigt. In dem 3D-Modell 4 werden verschiedene organische Strukturen zur besseren Unterscheidung untereinander mit unterschiedlichen Farben präsentiert. 2 represents a composite image of a laparoscopic procedure generated according to a first embodiment. In this first, standard, embodiment, a composite image 6 is shown from a laparoscopic image 2 and superimposed 3D model 4 of organs and other organic structures. In the 3D model 4, various organic structures are presented with different colors to better distinguish them from one another.

Die Wiedergabe des 3D-Modells 4 basiert auf radiologischen Daten der Organe und organischen Strukturen, die in radiologischen Scans vor dem laparoskopischen Eingriff erzielt wurden. Die Wiedergabe des 3D-Modells 4 ist gemäß dem erfindungsgemäßen Verfahren generiert worden, wobei die Wiedergabe des 3D-Modells 4 mit dem laparoskopischen Bild 2 auf Pixelbasis verglichen und dessen Farb- und/oder Helligkeitsabstand in Bereichen, in denen der Farb- und/oder Helligkeitsunterschied ursprünglich zu gering war, zur klareren Unterscheidbarkeit angepasst wurde. Durch diese Verbesserung hat der Chirurg ein klares Bild davon, welcher Teil des zusammengesetzten Bildes 6 das laparoskopische Live-Bild 2 darstellt und welche Teile das 3D-Modell 4 darstellen.The rendering of the 3D model 4 is based on radiological data of the organs and organic structures obtained in radiological scans before the laparoscopic procedure. The reproduction of the 3D model 4 has been generated according to the method according to the invention, the reproduction of the 3D model 4 being compared with the laparoscopic image 2 on a pixel basis and its color and/or brightness difference in areas in which the color and/or The difference in brightness was originally too small and was adjusted to make it clearer. With this improvement, the surgeon has a clear picture of which part of the composite image 6 represents the laparoscopic live image 2 and which parts represent the 3D model 4.

3 veranschaulicht eine schematische Darstellung einer Ausführungsform eines Systems 10 zur Bearbeitung laparoskopischer Bilder 2. Das System 10 weist die Quelle laparoskopischer Bilder 2 auf, nämlich ein Video-Laparoskop 11, das mit einer Kamerasteuerung 12 verbunden ist, die ausgebildet und eingerichtet ist, den Betrieb des Video-Laparoskops 11 zu steuern und Bilddaten der laparoskopischen Bilder 2 von dem Video-Laparoskop 11 zu empfangen. Die Kamerasteuerung 12 ist auch mit einem Computer 14 mit dem Framegrabber 16 verbunden, der als Software oder als mit dem Computer 14 verbundene oder in diesen eingesetzte Hardwarekarte verkörpert sein kann. Der Framegrabber 16 ist ausgeführt und eingerichtet, die einzelnen Einzelbilder laparoskopischer Bilder 2 zu verarbeiten. Die Bearbeitung der einzelnen Einzelbilder laparoskopischer Bilder 2 kann innerhalb des Framegrabbers 16 bzw. Computers 14 erfolgen. 3 illustrates a schematic representation of an embodiment of a system 10 for processing laparoscopic images 2. The system 10 has the source of laparoscopic images 2, namely a video laparoscope 11, which is connected to a camera controller 12 which is designed and set up to control the operation of the To control the video laparoscope 11 and to receive image data of the laparoscopic images 2 from the video laparoscope 11. The camera controller 12 is also connected to a computer 14 with the frame grabber 16, which may be embodied as software or as a hardware card connected to or inserted into the computer 14. The frame grabber 16 is designed and set up to process the individual individual images of laparoscopic images 2. The individual individual images of laparoscopic images 2 can be processed within the frame grabber 16 or computer 14.

Der Computer 14 bzw. Framegrabber 16 hat in seinem Speicher ein 3D-Modell 4 von Organen oder organischen Strukturen des Patienten, der mit dem Video-Laparoskop 11 untersucht wird, und ist eingerichtet, die Position und Ausrichtung des 3D-Modells 4 auf die chirurgischen laparoskopischen Live-Bilder 2 abzustimmen. Sobald die Position und Ausrichtung des 3D-Modells 4 in Bezug auf die laparoskopischen Bilder 2 festgelegt ist, kombiniert auf dem Computer 14 bzw. dem Framegrabber 16 laufende Software die laparoskopischen Bilder 2 mit einer Wiedergabe des 3D-Modells 4, um ein zusammengesetztes Bild 6 zu bilden, das dann auf einem Bildschirm 18 angezeigt wird.The computer 14 or frame grabber 16 has in its memory a 3D model 4 of organs or organic structures of the patient who is being examined with the video laparoscope 11, and is set up to determine the position and orientation of the 3D model 4 to the surgical ones Laparoscopic live images 2 to coordinate. Once the position and orientation of the 3D model 4 with respect to the laparoscopic images 2 is determined, software running on the computer 14 or the frame grabber 16 combines the laparoscopic images 2 with a reproduction of the 3D model 4 to form a composite image 6 to form, which is then displayed on a screen 18.

4 veranschaulicht ein gemäß einer zweiten Ausführungsform erzeugtes zusammengesetztes Bild 6 eines laparoskopischen Eingriffs des Verfahrens gemäß der Erfindung. Während die grundlegenden Schritte, die in der in 2 beschriebenen Weise unternommen werden, die gleichen bleiben, ist in dem laparoskopischen Bild 2 ein chirurgisches Instrument 8 erfasst worden. Um dem Chirurg eine volle und ungehinderte Sicht zu gewähren, wird die unmittelbare Umgebung des chirurgischen Instruments 8 als ausgeschnittener Bereich 20 definiert und aus der Wiedergabe des 3D-Modells 4 entfernt, wodurch die Sicht auf das chirurgische Instrument 8 und seine Umgebung freigemacht wird. Der Rest der Wiedergabe von 3D-Modellen 4 liefert dem Chirurg visuelle Information hinsichtlich Ausrichtung und Position des in dem laparoskopischen Bild 2 angezeigten Operationsgebiets. 4 illustrates a composite image 6 generated according to a second embodiment of a laparoscopic procedure of the method according to the invention. While the basic steps included in the in 2 are undertaken in the manner described remain the same, a surgical instrument 8 has been captured in the laparoscopic image 2. In order to provide the surgeon with a full and unobstructed view, the immediate surroundings of the surgical instrument 8 are defined as a cut-out area 20 and removed from the rendering of the 3D model 4, thereby clearing the view of the surgical instrument 8 and its surroundings. The remainder of the rendering of 3D models 4 provides the surgeon with visual information regarding the orientation and position of the surgical area displayed in the laparoscopic image 2.

5 veranschaulicht ein gemäß einer dritten Ausführungsform erzeugtes zusammengesetztes Bild eines laparoskopischen Eingriffs. In diesem Fall überlagert das 3D-Modell 4 der organischen Struktur das laparoskopische Live-Bild 2 lediglich als Umriss, in diesem Fall als eine kontrastreiche Kontur 22. Die kontrastreiche Kontur 22 weist die Form einer Doppellinie unterschiedlicher Farben auf, wobei die beiden Linien unmittelbar aneinander angrenzen. In diesem Fall ist eine der Linien weiß und die andere schwarz, da Weiß und Schwarz den größtmöglichen Helligkeitskontrast liefern. Eine derartige kontrastreiche Kontur 22 ist über beliebigen Hintergrundstrukturen sichtbar, da in Bereichen mit geringer Helligkeit die weiße Linie hervorsticht, während in Bereichen mit hoher Helligkeit die schwarze Linie hervorsticht. Zusätzlich oder alternativ zu der schwarzen und weißen Linie können farbige Linien mit einem hohen Farbkontrast verwendet werden. Die Farben können auch ausgewählt werden, um den bestmöglichen Farbkontrast zu dem roten Farbhintergrund typischer laparoskopischer Bilder 2 aufzuweisen. 5 illustrates a composite image of a laparoscopic procedure generated according to a third embodiment. In this case, the 3D model 4 of the organic structure overlays the laparoscopic live image 2 merely as an outline, in this case as a high-contrast contour 22. The high-contrast contour 22 has the shape of a double line of different colors, with the two lines directly adjacent to one another adjoin. In this case, one of the lines is white and the other is black, because white and black provide the greatest possible brightness contrast. Such a high-contrast contour 22 is visible over any background structures, since the white line stands out in areas of low brightness, while the black line stands out in areas of high brightness. In addition or as an alternative to the black and white lines, colored lines with a high color contrast can be used. The colors can also be selected to provide the best possible color contrast to the red color background of typical laparoscopic images 2.

Die kontrastreiche Kontur 22 der in 5 gezeigten dritten Ausführungsform kann eine alternative Darstellung des 3D-Modells 4 zu jenen in den 2 und 4 gezeigten sein.The high-contrast contour 22 of the in 5 The third embodiment shown can be an old one native representation of the 3D model 4 to those in the 2 and 4 be shown.

2, 4 und 5 zeigen auch weitere Unterschiede und Variationen, die verwendet werden können, um den Kontrast zwischen der Darstellung des 3D-Modells 4 und dem Hintergrund des laparoskopischen Bildes 2 zu verbessern, wie beispielsweise Erhöhen der Helligkeit der Wiedergabe des 3D-Modells 4, Verringern der Helligkeit des Hintergrunds des laparoskopischen Bildes 2 oder Erhöhen des Kontrasts und/oder Farbkontrasts in einem der beiden Bilder, wie beispielsweise der Wiedergabe des 3D-Modells 4. 2 , 4 and 5 also show further differences and variations that can be used to improve the contrast between the representation of the 3D model 4 and the background of the laparoscopic image 2, such as increasing the brightness of the rendering of the 3D model 4, decreasing the brightness of the Background of the laparoscopic image 2 or increasing the contrast and / or color contrast in one of the two images, such as the rendering of the 3D model 4.

6 veranschaulicht ein schematisches Diagramm einer beispielhaften schematischen Darstellung einer Anordnung eines Maschinenlernmodells 30, das eingerichtet ist, Objekte, wie beispielsweise Organe, organische Strukturen oder chirurgische Werkzeuge, in den laparoskopischen Bildern 2 zu erkennen, die als Eingabemerkmale durch das Video-Laparoskop 11 zugeführt werden. Bei verschiedenen Ausführungsformen umfasst das Maschinenlernmodell 30 eine Eingabeschnittstelle 32, über die 3D-Modelldaten, die für einen Patienten spezifisch sind, als Eingabemerkmale für ein Modell 34 für künstliche Intelligenz (KI) vorgesehen werden, einen Prozessor, der eine Inferenzoperation durchführt, bei der die laparoskopischen Bilder 2 und die 3D-Modelldaten auf das KI-Modell 34 angewendet werden, um eine Position und Ausrichtung der in dem 3D-Modell dargestellten Organe oder organischen Strukturen und möglicherweise von chirurgischen Instrumenten, die in den laparoskopischen Bildern 2 sichtbar sein können, zu generieren. Auf der Grundlage der Ausgabe des KI-Modells 34 kann ein zusammengesetztes Bild 6 der mit einer Wiedergabe des 3D-Modells 4 überlagerten laparoskopischen Bilder 2, das bei Erfassung eines chirurgischen Instruments 8 in den laparoskopischen Bildern 2 verfeinert werden kann, erzeugt und einem Benutzer, z.B. ein Kliniker, auf einem Bildschirm 18 gezeigt werden. 6 illustrates a schematic diagram of an exemplary schematic representation of an arrangement of a machine learning model 30 configured to recognize objects, such as organs, organic structures or surgical tools, in the laparoscopic images 2 that are supplied as input features by the video laparoscope 11. In various embodiments, the machine learning model 30 includes an input interface 32 through which 3D model data specific to a patient is provided as input features to an artificial intelligence (AI) model 34, a processor that performs an inference operation in which the laparoscopic images 2 and the 3D model data are applied to the AI model 34 to determine a position and orientation of the organs or organic structures depicted in the 3D model and possibly surgical instruments that may be visible in the laparoscopic images 2 to generate. Based on the output of the AI model 34, a composite image 6 of the laparoscopic images 2 superimposed on a reproduction of the 3D model 4, which can be refined upon detection of a surgical instrument 8 in the laparoscopic images 2, can be generated and presented to a user. e.g. a clinician, can be shown on a screen 18.

In einigen Ausführungsformen kann die Eingabeschnittstelle 32 eine direkte Datenverbindung zwischen dem Maschinenlernmodell 30 und einer oder mehreren medizinischen Einrichtungen sein, die wenigstens einige der Eingabemerkmale erzeugen. Beispielsweise kann die Eingabeschnittstelle 32 während eines therapeutischen und/oder diagnostischen medizinischen Eingriffs laparoskopische Bilder 2 direkt an das Maschinenlernmodell 30 übertragen. Zusätzlich oder alternativ kann die Eingabeschnittstelle 32 eine klassische Benutzerschnittstelle sein, die eine Interaktion zwischen einem Benutzer und dem Maschinenlernmodell 30 erleichtert. Beispielsweise kann die Eingabeschnittstelle 32 eine Benutzerschnittstelle bereitstellen, über die der Benutzer laparoskopische Bilder manuell eingeben kann. Zusätzlich oder alternativ kann die Eingabeschnittstelle 32 ein Maschinenlernmodell 30 mit Zugriff auf eine elektronische Patientenakte bereitstellen, aus der ein oder mehrere laparoskopische Bilder oder 3D-Modelldaten als Eingabemerkmale extrahiert werden können. In jedem dieser Fälle ist die Eingabeschnittstelle 32 eingerichtet, eines oder mehrere der Eingabemerkmale im Zusammenhang mit einem spezifischen Patienten zu oder vor einem Zeitpunkt zu sammeln, zu dem das Maschinenlernmodell 30 verwendet wird, um das Vorhandensein, die Position und die Ausrichtung von Organen, organischen Strukturen und/oder chirurgischen Instrumenten zu beurteilen.In some embodiments, the input interface 32 may be a direct data connection between the machine learning model 30 and one or more medical devices that generate at least some of the input features. For example, the input interface 32 may transmit laparoscopic images 2 directly to the machine learning model 30 during a therapeutic and/or diagnostic medical procedure. Additionally or alternatively, the input interface 32 may be a classic user interface that facilitates interaction between a user and the machine learning model 30. For example, the input interface 32 may provide a user interface through which the user can manually enter laparoscopic images. Additionally or alternatively, the input interface 32 may provide a machine learning model 30 with access to an electronic patient record from which one or more laparoscopic images or 3D model data may be extracted as input features. In each of these cases, the input interface 32 is configured to collect one or more of the input features associated with a specific patient at or before a time at which the machine learning model 30 is used to determine the presence, position and orientation of organs structures and/or surgical instruments.

Auf der Grundlage eines oder mehrerer der vorstehenden Eingabemerkmale führt der Prozessor eine Inferenzoperation unter Verwendung des KI-Modells durch, um die vorstehend beschriebene Systemausgabe zu generieren. Beispielsweise kann die Eingabeschnittstelle 32 die laparoskopischen Merkmale einer Eingabeschicht des KI-Modells 34 zuführen, die diese Eingabemerkmale über das KI-Modell 34 an eine Ausgabeschicht weiterleitet. Das KI-Modell kann für das System 10 die Fähigkeit vorsehen, Aufgaben durchzuführen, ohne explizit programmiert zu sein, indem auf der Grundlage von bei der Datenanalyse gefundenen Mustern Inferenzen vorgenommen werden. Das KI-Modell 34 beschäftigt sich mit der Untersuchung und Entwicklung von Algorithmen (z.B. Algorithmen zum maschinellen Lernen), die aus bestehenden Daten lernen und über neue Daten Vorhersagen treffen können. Derartige Algorithmen arbeiten, indem sie ein KI-Modell 34 aus beispielhaftEen Trainingsdaten aufbauen, um als Ausgaben oder Beurteilungen ausgedrückte datengesteuerte Vorhersagen oder Entscheidungen zu treffen.Based on one or more of the above input features, the processor performs an inference operation using the AI model to generate the system output described above. For example, the input interface 32 may feed the laparoscopic features to an input layer of the AI model 34, which passes these input features via the AI model 34 to an output layer. The AI model may provide the system 10 with the ability to perform tasks without being explicitly programmed by making inferences based on patterns found during data analysis. The AI model 34 is concerned with the study and development of algorithms (e.g. machine learning algorithms) that can learn from existing data and make predictions about new data. Such algorithms work by building an AI model 34 from exemplary training data to make data-driven predictions or decisions expressed as outputs or judgments.

Es gibt zwei übliche Modi für maschinelles Lernen (ML): beaufsichtigtes ML und unbeaufsichtigtes ML. Beaufsichtigtes ML verwendet Vorkenntnisse (z.B. Beispiele, die Eingaben mit Ausgaben oder Ergebnissen korrelieren), um die Beziehungen zwischen den Eingaben und den Ausgaben zu lernen. Das Ziel von beaufsichtigtem ML ist es, eine Funktion zu lernen, die bei einigen gegebenen Trainingsdaten die Beziehung zwischen den Trainingseingaben und -ausgaben am besten annähert, so dass das ML-Modell die gleichen Beziehungen umsetzen kann, wenn Eingaben eingegeben werden, um die entsprechenden Ausgaben zu erzeugen. Unbeaufsichtigtes ML ist das Training eines ML-Algorithmus unter Verwendung von Information, die weder klassifiziert noch gekennzeichnet ist und es dem Algorithmus ermöglicht, auf diese Information ohne Anleitung tätig zu werden. Unbeaufsichtigtes ML ist nützlich bei der exploratorischen Analyse, da es eine Datenstruktur automatisch identifizieren kann.There are two common machine learning (ML) modes: supervised ML and unsupervised ML. Supervised ML uses prior knowledge (e.g. examples that correlate inputs with outputs or outcomes) to learn the relationships between the inputs and the outputs. The goal of supervised ML is to learn a function that, given some training data, best approximates the relationship between the training inputs and outputs so that the ML model can implement the same relationships when inputs are input to the corresponding ones to generate expenses. Unsupervised ML is the training of an ML algorithm using information that is neither classified nor labeled, allowing the algorithm to act on that information without guidance. Unsupervised ML is useful in exploratory analysis because it can automatically identify a data structure.

Übliche Aufgaben für beaufsichtigtes ML sind Klassifikationsprobleme und Regressionsprobleme. Klassifikationsprobleme, die auch als Kategorisierungsprobleme bezeichnet werden, zielen darauf ab, Elemente in einen von mehreren Kategoriewerten zu klassifizieren (z.B. ist dieses Objekt ein Apfel oder eine Orange?). Regressionsalgorithmen zielen darauf ab, einige Elemente zu quantifizieren (z.B. indem für den Wert einiger Eingaben eine Punktzahl vorgesehen wird). Einige Beispiele für üblicherweise verwendete beaufsichtigte ML-Algorithmen sind Logistische Regression (LR), Naive-Bayes, Random Forest (RF), neuronale Netzwerke (NN), tiefe neuronale Netzwerke (DNN), Matrixfaktorisierung und Support Vector Machines (SVM).Common tasks for supervised ML are classification problems and regression problems. Classification problems, also known as categorization problems, aim to classify items into one of several category values (e.g., is this object an apple or an orange?). Regression algorithms aim to quantify some elements (e.g. by providing a score for the value of some inputs). Some examples of commonly used supervised ML algorithms are Logistic Regression (LR), Naive Bayes, Random Forest (RF), Neural Networks (NN), Deep Neural Networks (DNN), Matrix Factorization, and Support Vector Machines (SVM).

Einige übliche Aufgaben für unbeaufsichtigtes ML umfassen Clustering, Repräsentationslernen und Dichteschätzung. Einige Beispiele für üblicherweise verwendete unbeaufsichtigte ML-Algorithmen sind K-Means-Clustering, Hauptkomponentenanalyse und Autoencoder.Some common tasks for unsupervised ML include clustering, representation learning, and density estimation. Some examples of commonly used unsupervised ML algorithms are K-means clustering, principal component analysis, and autoencoders.

Eine andere Art von ML ist föderatives Lernen (auch als gemeinschaftliches Lernen bekannt), das einen Algorithmus über mehrere dezentrale, lokale Daten haltende Einrichtungen trainiert, ohne die Daten auszutauschen. Dieser Ansatz steht im Gegensatz zu traditionellen zentralisierten Techniken des maschinellen Lernens, bei denen alle lokalen Datensätze auf einen Server hochgeladen werden, sowie zu klassischeren dezentralen Ansätzen, die oft davon ausgehen, dass lokale Datenproben identisch verteilt sind. Föderatives Lernen ermöglicht es mehreren Akteuren, ein gemeinsames, robustes Modell für maschinelles Lernen zu erstellen, ohne Daten gemeinsam zu benutzen, und ermöglicht so, kritische Probleme zu beheben, wie beispielsweise Datenschutz, Datensicherheit, Datenzugriffsrechte und Zugriff auf heterogene Daten.Another type of ML is federated learning (also known as collaborative learning), which trains an algorithm across multiple decentralized, local data-holding entities without sharing the data. This approach contrasts with traditional centralized machine learning techniques, where all local data sets are uploaded to a server, as well as more classic decentralized approaches, which often assume that local data samples are identically distributed. Federative learning enables multiple actors to build a common, robust machine learning model without sharing data, enabling critical issues such as data privacy, data security, data access rights, and access to heterogeneous data to be addressed.

In einigen Beispielen kann das KI-Modell vor der Durchführung der Inferenzoperation durch den das KI-Modell 34 ausführenden Prozessor kontinuierlich oder periodisch trainiert werden. Dann können während der Inferenzoperation die dem KI-Modell 34 bereitgestellten patientenspezifischen Eingabemerkmale von einer Eingabeebene über eine oder mehrere verborgene Ebenen schließlich zu einer Ausgabeebene weitergeleitet werden, die der in den laparoskopischen Bildern gefundenen Position, Ausrichtung und Strukturtyp entspricht. Beispielsweise kann das KI-Modell 34 den Typ, die Position und Ausrichtung spezifischer Organe oder organischer Strukturen, die in dem patientenspezifischen 3D-Modell dargestellt sind, oder die Position und gegebenenfalls den Typ und/oder die Ausrichtung eines chirurgischen Instruments in den laparoskopischen Bildern 2 identifizieren.In some examples, the AI model may be trained continuously or periodically prior to the processor executing the AI model 34 performing the inference operation. Then, during the inference operation, the patient-specific input features provided to the AI model 34 may be passed from an input layer through one or more hidden layers ultimately to an output layer corresponding to the position, orientation, and structure type found in the laparoscopic images. For example, the AI model 34 may include the type, position and orientation of specific organs or organic structures depicted in the patient-specific 3D model, or the position and, if applicable, the type and/or orientation of a surgical instrument in the laparoscopic images 2 identify.

Während der und/oder anschließend an die Inferenzoperation können die so gefundenen Positionen, Typen und/oder Ausrichtungen von Objekten dem Benutzer über eine Benutzerschnittstelle (UI) kommuniziert werden, insbesondere durch Wiedergabe des entsprechend positionierten und ausgerichteten 3D-Modells 4. Das KI-Modell 34 kann auch als eine Ausgabe Information aufweisen, die hilft, einen Ausschnittsbereich 20 bei der Wiedergabe des 3D-Modells 4 für zusammengesetzte Bilder 6 bei Vorhandensein eines chirurgischen Werkzeugs 8 zu definieren.During and/or following the inference operation, the positions, types and/or orientations of objects found in this way can be communicated to the user via a user interface (UI), in particular by displaying the correspondingly positioned and aligned 3D model 4. The AI model 34 may also include, as an output, information that helps define a crop area 20 when rendering the 3D model 4 for composite images 6 in the presence of a surgical tool 8.

BezugszeichenlisteReference symbol list

22
laparoskopisches Bildlaparoscopic image
44
3D-Modell3D model
66
zusammengesetztes Bildcomposite image
88th
chirurgisches Instrumentsurgical instrument
1010
Systemsystem
1111
Video-LaparoskopVideo laparoscope
1212
KamerasteuerungCamera control
1414
Computercomputer
1616
FramegrabberFrame grabber
1818
BildschirmScreen
2020
AusschnittsbereichCutting area
2222
kontrastreiche Konturhigh-contrast contour
3030
MaschinenlernmodellMachine learning model
3232
EingabeschnittstelleInput interface
3434
KI-ModellAI model
3636
AusgabeschnittstelleOutput interface

Claims (21)

Verfahren zum Bearbeiten laparoskopischer Bilder (2), die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops (11) aufgenommen werden, indem - die laparoskopischen Bilder (2) in Bezug auf die Sichtbarkeit eines Objekts analysiert werden, - eine Anordnung eines vorgenerierten 3D-Modells (4) des Objekts in Bezug auf die Position des Objekts in den laparoskopischen Bildern (2) berechnet wird, - eine visuelle Darstellung des 3D-Modells (4) generiert wird, - eine Farbinformation und/oder Helligkeitsinformation der visuellen Darstellung des 3D-Modells und der laparoskopischen Bilder an der Position des 3D-Modells verglichen und die Darstellung des 3D-Modells auf der Grundlage des Ergebnisses des Vergleichs in Bereichen angepasst wird, in denen der Unterschied unter einem vordefinierten Schwellenwert liegt, und - zusammengesetzte Bilder (6) unter Verwendung der laparoskopischen Bilder und der angepassten Darstellung des 3D-Modells (4) generiert werden.Method for editing laparoscopic images (2) taken during a laparoscopic procedure using a video laparoscope (11) by - analyzing the laparoscopic images (2) in relation to the visibility of an object, - an arrangement of a pre-generated 3D - Model (4) of the object is calculated in relation to the position of the object in the laparoscopic images (2), - a visual representation of the 3D model (4) is generated, - color information and / or brightness information of the visual representation of the 3D -Model and the laparoscopic images at the position of the 3D model are compared and the representation of the 3D model is adjusted based on the result of the comparison in areas where the difference is below a predefined threshold value, and - composite images (6) are generated using the laparoscopic images and the adapted representation of the 3D model (4). Verfahren nach Anspruch 1, umfassend Anzeigen der zusammengesetzten Bilder (6) auf einem Bildschirm (18).Procedure according to Claim 1 , comprising displaying the composite images (6) on a screen (18). Verfahren nach Anspruch 1, umfassend Bearbeiten der laparoskopischen Bilder (2) in Echtzeit.Procedure according to Claim 1 , comprehensively editing the laparoscopic images (2) in real time. Verfahren nach Anspruch 1, umfassend, dass das Objekt ein oder mehrere Organe und/oder eine organische Struktur ist.Procedure according to Claim 1 , comprising that the object is one or more organs and/or an organic structure. Verfahren nach Anspruch 1, wobei der Vergleich und/oder die Anpassung der visuellen Darstellung des 3D-Modells auf Pixelebene der laparoskopischen Bilder und/oder in Segmenten mehrerer Pixel erfolgt.Procedure according to Claim 1 , whereby the comparison and/or adjustment of the visual representation of the 3D model takes place at the pixel level of the laparoscopic images and/or in segments of several pixels. Verfahren nach Anspruch 5, umfassend, dass sich die Segmentierung bei dem Vergleich von der Segmentierung bei der Anpassung der visuellen Darstellung des 3D-Modells unterscheidet.Procedure according to Claim 5 , comprising that the segmentation in the comparison is different from the segmentation in the adjustment of the visual representation of the 3D model. Verfahren nach Anspruch 6, umfassend, dass die Segmente bei der Anpassung der visuellen Darstellung des 3D-Modells (4) kreisförmig oder elliptisch sind und die Segmente bei dem Vergleich vollständig umgeben.Procedure according to Claim 6 , comprising that the segments are circular or elliptical when adjusting the visual representation of the 3D model (4) and completely surround the segments during the comparison. Verfahren nach Anspruch 1, umfassend Reduzieren der Helligkeit der laparoskopischen Bilder (2) und/oder Erhöhen der Helligkeit der visuellen Darstellung des 3D-Modells (4).Procedure according to Claim 1 , comprising reducing the brightness of the laparoscopic images (2) and/or increasing the brightness of the visual representation of the 3D model (4). Verfahren nach Anspruch 1, umfassend Erfassen eines chirurgischen Instruments (8) in den laparoskopischen Bildern (2) und Anpassen der visuellen Darstellung des 3D-Modells (4), um ein Verdecken des chirurgischen Instruments (8) zu vermeiden.Procedure according to Claim 1 , comprising detecting a surgical instrument (8) in the laparoscopic images (2) and adjusting the visual representation of the 3D model (4) to avoid obscuring the surgical instrument (8). Verfahren nach Anspruch 1, umfassend Durchführen der Erfassung des chirurgischen Instruments (8) durch Objekterkennung und/oder Kantendetektion.Procedure according to Claim 1 , comprising carrying out the detection of the surgical instrument (8) by object recognition and/or edge detection. Verfahren nach Anspruch 1, umfassend Weglassen von Details aus dem Innenbereich des 3D-Modells (4) des Objekts und/oder Wiedergeben nur der Außenkonturen des 3D-Modells (4) und/oder Wiedergeben vorgegebener Kanten des 3D-Modells (4) einschließlich der Außenkonturen des 3D-Modells (4).Procedure according to Claim 1 , comprising omitting details from the interior of the 3D model (4) of the object and/or reproducing only the outer contours of the 3D model (4) and/or reproducing predetermined edges of the 3D model (4) including the outer contours of the 3D model (4). Verfahren nach Anspruch 11, umfassend Umranden der Außenkonturen des 3D-Modells (4) in zwei stark kontrastierenden Farben oder Helligkeiten.Procedure according to Claim 11 , comprising outlining the outer contours of the 3D model (4) in two strongly contrasting colors or brightnesses. System zum Bearbeiten laparoskopischer Bilder (2), die während eines laparoskopischen Eingriffs unter Verwendung eines Video-Laparoskops (11) aufgenommen werden, aufweisend ein Video-Laparoskop (11), eine zum Steuern des Video-Laparoskops (11) eingerichtete Kamerasteuerung (12), einen Computer (14) mit einem Framegrabber (16), der eingerichtet ist, laparoskopische Bilder (2) von dem Video-Laparoskop (11) aufzunehmen und einen mit dem Computer (14) verbundenen Bildschirm, wobei der Computer (14) eingerichtet ist, - die laparoskopischen Bilder (2) in Bezug auf die Sichtbarkeit eines Objekts zu analysieren, - eine Anordnung eines 3D-Modells (4) des Objekts in Bezug auf die Position des Objekts in den laparoskopischen Bildern (2) zu berechnen, - eine visuelle Darstellung des 3D-Modells (4) zu generieren, - eine Farbinformation und/oder Helligkeitsinformation der visuellen Darstellung des 3D-Modells und der laparoskopischen Bilder (2) an der Position des 3D-Modells (4) zu vergleichen und die Darstellung des 3D-Modells (4) auf der Grundlage des Ergebnisses des Vergleichs in Bereichen anzupassen, in denen der Unterschied unter einem vordefinierten Schwellenwert liegt, und - zusammengesetzte Bilder (6) unter Verwendung der laparoskopischen Bilder (2) und der angepassten Darstellung des 3D-Modells (4) zu generieren.System for processing laparoscopic images (2) which are recorded during a laparoscopic procedure using a video laparoscope (11), comprising a video laparoscope (11), a camera control (12) set up to control the video laparoscope (11) , a computer (14) with a frame grabber (16) which is set up to record laparoscopic images (2) from the video laparoscope (11) and a screen connected to the computer (14), the computer (14) being set up , - analyze the laparoscopic images (2) in relation to the visibility of an object, - calculate an arrangement of a 3D model (4) of the object in relation to the position of the object in the laparoscopic images (2), - generate a visual representation of the 3D model (4), - compare color information and/or brightness information of the visual representation of the 3D model and the laparoscopic images (2) at the position of the 3D model (4) and the representation of the 3D model (4) based on the result of the comparison in areas where the difference is below a predefined threshold, and - generate composite images (6) using the laparoscopic images (2) and the adapted representation of the 3D model (4). System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, den Vergleich und/oder die Anpassung der visuellen Darstellung des 3D-Modells auf Pixelebene der laparoskopischen Bilder (2) und/oder in Segmenten mehrerer Pixel durchzuführen.System (10) after Claim 13 , wherein the computer (14) is set up to carry out the comparison and/or adjustment of the visual representation of the 3D model at the pixel level of the laparoscopic images (2) and/or in segments of several pixels. System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, die Helligkeit der laparoskopischen Bilder (2) zu reduzieren und/oder die Helligkeit der visuellen Darstellung des 3D-Modells (4) zu erhöhen.System (10) after Claim 13 , wherein the computer (14) is set up to reduce the brightness of the laparoscopic images (2) and / or increase the brightness of the visual representation of the 3D model (4). System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, ein chirurgisches Instrument (8) in den laparoskopischen Bildern (2) zu erfassen und die visuelle Darstellung des 3D-Modells (4) anzupassen, um ein Verdecken des chirurgischen Instruments (8) zu vermeiden.System (10) after Claim 13 , wherein the computer (14) is set up to capture a surgical instrument (8) in the laparoscopic images (2) and to adjust the visual representation of the 3D model (4) in order to avoid covering the surgical instrument (8). System (10) nach Anspruch 16, wobei der Computer (14) eingerichtet ist, die Erfassung des chirurgischen Instruments (8) durch Objekterkennung und/oder Kantendetektion durchzuführen.System (10) after Claim 16 , wherein the computer (14) is set up to carry out the detection of the surgical instrument (8) by object recognition and / or edge detection. System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, Details aus dem Innenbereich des 3D-Modells (4) des Objekts wegzulassen.System (10) after Claim 13 , with the computer (14) set up, details from the Omit the interior of the 3D model (4) of the object. System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, die Außenkonturen des 3D-Modells (4) und/oder die vorgegebenen Kanten des 3D-Modells (4), einschließlich der Außenkonturen des 3D-Modells, wiederzugeben.System (10) after Claim 13 , wherein the computer (14) is set up to reproduce the outer contours of the 3D model (4) and/or the predetermined edges of the 3D model (4), including the outer contours of the 3D model. System (10) nach Anspruch 13, wobei der Computer (14) eingerichtet ist, die Außenkonturen des 3D-Modells (4) in zwei oder mehr stark kontrastierenden Farben oder Helligkeiten abzugrenzen.System (10) after Claim 13 , wherein the computer (14) is set up to delimit the outer contours of the 3D model (4) in two or more strongly contrasting colors or brightnesses. Nichtflüchtiges Datenspeichermedium, das Anweisungen für einen Computer (14) enthält, die eingerichtet sind, den Computer (14) zu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.Non-volatile data storage medium containing instructions for a computer (14) which are designed to cause the computer (14) to carry out the method according to one of the Claims 1 until 12 to carry out.
DE102023101892.2A 2023-01-26 2023-01-26 Method and system for processing laparoscopic images Active DE102023101892B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023101892.2A DE102023101892B3 (en) 2023-01-26 2023-01-26 Method and system for processing laparoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023101892.2A DE102023101892B3 (en) 2023-01-26 2023-01-26 Method and system for processing laparoscopic images

Publications (1)

Publication Number Publication Date
DE102023101892B3 true DE102023101892B3 (en) 2024-03-21

Family

ID=90062158

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023101892.2A Active DE102023101892B3 (en) 2023-01-26 2023-01-26 Method and system for processing laparoscopic images

Country Status (1)

Country Link
DE (1) DE102023101892B3 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10460457B2 (en) 2016-07-12 2019-10-29 Novartis Ag Adaptive adjustment of overlay image parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10460457B2 (en) 2016-07-12 2019-10-29 Novartis Ag Adaptive adjustment of overlay image parameters

Similar Documents

Publication Publication Date Title
DE102016012744B4 (en) Robot system with a CNC control and a robot control device, which are connected to each other via a communication network
EP3201826B1 (en) Method and data-processing device for computer-assisted hair colouring guidance
DE112015000917T5 (en) Image processing apparatus, image processing method and image processing program
DE19955690A1 (en) System for selection of volume regions in a graphics display based upon segmentation to allow specific features to be observed
DE102005029607A1 (en) Method and device for visualizing biological structures using 3D position information from segmentation results
DE112015000972T5 (en) Image processing apparatus, image processing method and image processing program
DE102005002949A1 (en) Myocard damage viewing procedure uses surface model segmentation matching of computer tomography images for automatic display
DE102015009820A1 (en) Image segmentation for a live camera recording
WO2017153354A1 (en) Method and device for evaluating view images
EP3540632B1 (en) Method for classifying tissue samples
WO2017153355A1 (en) Method and device for carrying out eye gaze mapping
EP2787485B1 (en) Method and device for automatic detection of defects in flexible bodies
EP3930563A1 (en) Method for evaluating skin lesions using artificial intelligence
DE102012009257B4 (en) Method for execution when operating a microscope and microscope
DE102005024949A1 (en) Volume data sets e.g. computer tomography volume data sets, structures representation method, involves determining color and opacity values of allocation instruction from position coordinates at one position
DE102011016691A1 (en) Method and system for assisting in the selection of at least one object from a group of stored objects
DE102005049017B4 (en) Method for segmentation in an n-dimensional feature space and method for classification based on geometric properties of segmented objects in an n-dimensional data space
DE102023101892B3 (en) Method and system for processing laparoscopic images
DE102024102047B3 (en) Method and system for processing laparoscopic images
DE10163813A1 (en) Method for displaying different images of an examination object
DE102020215930A1 (en) VISUAL ANALYSIS PLATFORM FOR UPDATING OBJECT DETECTION MODELS IN AUTONOMOUS DRIVING APPLICATIONS
DE10160206A1 (en) Method and device for creating an isolated representation of body structures
DE19953308A1 (en) Image system for producing image spreadsheet e.g. for medical applications aligns images so that registration markers of corresponding cells in spreadsheet match
EP3155588B1 (en) Whole-body image recording and image processing system and method for operating same
DE102020129164A1 (en) METHOD AND DEVICE FOR DISTINGUISHING DIFFERENT CONFIGURATION STATES OF AN OBJECT ON THE BASIS OF A PICTURED REPRESENTATION OF THE OBJECT

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division