DE102022101527A1

DE102022101527A1 - Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes

Info

Publication number: DE102022101527A1
Application number: DE102022101527.0A
Authority: DE
Inventors: Lukas Buschle; Simon Haag; Jasmin Keuser
Original assignee: Karl Storz SE and Co KG
Current assignee: Karl Storz SE and Co KG
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2023-07-27
Also published as: WO2023139251A1

Abstract

Die Erfindung betrifft ein Messsystem (100) zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend: eine erste Bilderfassungseinrichtung (108), die dazu eingerichtet ist, zumindest ein erstes Messbild (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel zu erfassen; eine von der ersten Bilderfassungseinrichtung (108) beabstandete zweite Bilderfassungseinrichtung (110), die dazu eingerichtet ist, zumindest ein zweites Messbild (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen; eine Ausgabeeinrichtung (132); und eine Auswerteeinrichtung (106), die dazu ausgebildet ist, durch Stereorekonstruktion aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; wobei die Auswerteeinrichtung (106) dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu überprüfen; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, wobei die Ausgabevorrichtung (132) dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.

Description

Die vorliegende Erfindung betrifft ein Messsystem und ein Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere eines endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngoskopischen Stereomessbildes, gemäß dem jeweiligen Oberbegriff der unabhängigen Ansprüche 1 und 15.
Optische Visualisierungssysteme, wie Mikroskope, Exoskope und Endoskope ermöglichen eine Darstellung einer Szene und/oder eines Arbeitsbereiches, in der bzw. dem feinmotorische Arbeiten und/oder visuelle Überprüfungen durchgeführt werden. Bei medizinischen Eingriffen ist der Arbeitsbereich beispielsweise ein Operationsfeld in einem inneren Bereich, beispielsweis innerhalb eines Thorax oder eines Kopfes, des menschlichen Körpers.
Die Exoskopie beschreibt ein Beobachten und ggf. Beleuchten eines Operationsfeldes an einem Patienten und/oder eines Objektfeldes an einem beliebigen Objekt ausgehend von einer Stelle abseits, d. h. außerhalb, eines Körpers des Patienten bzw. abseits des Objektes.
Die Endoskopie beschreibt eine bildgebende Technik, bei der ein Endoskop in einen Hohlraum eingeführt wird. Das Fachpersonal, welches einen solchen Eingriff mit einem Endoskop durchführt, betrachtet das vom Endoskop erfasste Bild auf dem Bildschirm und kann auf Basis dieses Bildes seine Handlungen lenken. Bei medizinischen, beispielsweise minimal-invasiven Eingriffen wird ein Endoskop in den Körper eingeführt, um ein inneres Bild des Körpers zu erfassen und auf dem Bildschirm darzustellen. Aufgrund einer oftmals benötigten, präzisen Arbeitsweise des Fachpersonals ist es wünschenswert, dass ein möglichst genaues, hoch aufgelöstes Bild des Hohlraums und/oder des Arbeitsbereiches vermittelt wird, an dem die Überprüfung und/oder die Operation durchzuführen ist.
Die durch das Endoskop erfassten und auf einem Anzeigegerät dargestellten Bilder sind in der Regel zweidimensional, so dass es selbst dem Fachpersonal aufgrund des Fehlens von Tiefeninformationen nicht möglich ist, Dimensionen und/oder Abmessungen eines betrachteten Objektes in der abgebildeten Szene exakt zu bestimmen.
Um diese Problematik zu lösen und/oder auch Tiefenmessungen in einem Messbild zu ermöglichen, sind jedoch auch dreidimensional arbeitende Stereoendoskope und/oder Stereoexoskope und/oder Mikroskope bekannt, bei denen eine Szene aus zwei verschiedenen Blickwinkeln durch zwei Bilderfassungseinheiten aufgenommen wird. Durch die beiden Bilderfassungseinheiten wird, vorzugsweise pro Zeiteinheit und Blickwinkel synchronisiert, je ein Bild von der zu betrachteten Szene aufgenommen.
Hieraus resultieren jeweils sogenannte Stereomessbildpaare mit einem gemeinsamen Zeitstempel. Aus einem solchen Stereomessbildpaar können über Verfahren der Stereorekonstruktion Tiefeninformationen ausgewertet werden. Mit anderen Worten beschreibt die Stereorekonstruktion das Ermitteln von Tiefeninformationen für alle oder viele Punkte in einer erfassten Szene, durch die man im Ergebnis eine Tiefenkarte der Szene erhält. Bei bekannter Brennweite und Stereobasis (d. h. dem Abstand zwischen einer ersten und einer zweiten Bilderfassungseinrichtung) kann aus einem Pixelversatz zwischen einem jeweiligen Pixel in dem von der ersten Bilderfassungseinrichtung aufgenommenen Messbild und einem zu diesem korrespondierenden Pixel in einem von der zweiten Bilderfassungseinrichtung aufgenommenen Messbild zueinander auf eine Entfernung dieses Pixels bzw. Bildpunktes von der Messvorrichtung geschlossen werden. Der Versatz wird als Disparität bezeichnet. Objekte in großer Entfernung weisen bei einer Stereoerfassung eine geringe Disparität, d.h. einen geringen Pixelversatz, innerhalb eines jeweiligen Bildpaares auf. Hingegen weisen Objekte im Vordergrund eine große Disparität auf. Das heißt, dass aus der Disparität mit Kenntnis von optischen Parametern der Bilderfassungseinrichtung(en) eine Art Tiefenkarte zu dem stereorekonstruierten Stereomessbild berechnet werden, die beispielsweise pixelweise eine Tiefeninformation des zu betrachtenden Objektes umfasst. Mithilfe der Tiefeninformationen ist es beispielsweise möglich, einen Abstand zwischen zwei beliebigen Bildpunkten im euklidischen Raum zu bestimmen. Die Stereorekonstruktion erfolgt im Stand der Technik auf Basis bekannter mathematischer Stereorekonstruktionsalgorithmen, beispielsweise durch sogenannte Semi-Global-Matching-Algorithmen (verfügbar unter: Hirschmüller, Heiko (2005), „Accurate and efficient stereo processing by semi-global matching and mutual information“. IEEE Conference on Computer Vision and Pattern Recognition. pp. 807-814).
Um einen derartigen Stereorekonstruktionsalgorithmus anwenden zu können, ist es notwendig, eine Stereomessvorrichtung, insbesondere eine 3D-Kamera, vorab zu kalibrieren. Durch die Kalibrierung werden beispielsweise Verzeichnungen in einem Messbild korrigiert, die ansonsten die zu ermittelten Disparitätswerte verfälschen würden. Andererseits ist es notwendig, eine Relativlage und/oder Relativposition (bzw. einen translatorischen und/oder rotatorischen Versatz) zwischen den beiden Bilderfassungseinrichtungen zueinander möglichst genau zu ermitteln. Zur Bestimmung dieser Kalibrierparameter werden vorzugsweise Kalibriermessbilder von einem Schachbrettmuster mit einer genau bekannten Schachfeldgröße aufgezeichnet. Eine Berechnung der Kalibrierparameter kann beispielsweise unter Verwendung der open-source-Bibliothek openCV erfolgen, die unter folgendem Link verfügbar ist: https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html.
Während des Gebrauchs einer Stereomessvorrichtung soll eine Kalibrierung aufgrund eines dafür notwendigen Zeitaufwands so selten wie möglich erfolgen. Da bei der Aufnahme der Kalibriermessbilder zudem eine Vielzahl von Einstellungen und Vorgehensweisen zu beachten ist, beispielsweise, dass stets das gesamte Schachbrett in dem erfassten Kalibriermessbild umfasst sein muss und/oder dass die Aufnahme des Schachbrettes aus unterschiedlichen, genau definierten Winkeln erfolgen muss, und/oder dass keine Lichtreflexionen in dem erfassten Kalibriermessbild vorhanden sein dürfen, etc., ist es wünschenswert, dass die Kalibrierung nur von Fachpersonal durchgeführt wird.
Zudem können bereits minimale bauliche Unterschiede zwischen baureihengleichen Messvorrichtungen zu einer schlechteren Tiefeneinschätzungen und somit zu einer Verminderung der Messqualität führen. Dies erfordert, dass die Kalibrierung für jede Messvorrichtung individuell durchgeführt werden muss. Ebenfalls ist es je nach Aufnahmesituation ggf. erforderlich, dass verschiedene Bilderfassungseinrichtungen verwendet werden müssen, die von dem Anwender ggf. auszuwechseln sind. Hierbei ist es jedoch nicht akzeptabel, dass ein Anwender nach einem derartigen Wechsel eine erneute Kalibrierung vornimmt, da hierzu ein hohes Maß an Zeit und Expertenwissen notwendig ist. Zudem kann es auch ohne Auswechslung, beispielsweise aufgrund einer mechanischen Einwirkung auf die Bilderfassungseinrichtung(en) dazu kommen, dass die Kalibrierung nach einiger Zeit nicht mehr mit den tatsächlichen optischen Eigenschaften der Bilderfassungseinrichtung(en) übereinstimmt. Dies führt zu einer aufkommenden Ungenauigkeit bei der stereorekonstruktionsbasierten Ermittlung von Tiefeninformationen.
Aus dem Stand der Technik sind bereits Lösungsansätze bekannt, durch die die vorstehend genannten Nachteile zumindest teilweise überwunden werden sollen.
Beispielsweise offenbaren die US 2020/0242806 A1 sowie die WO 2020/041717 A1 ein Speichern von Kalibrierparametern in einer Messvorrichtung, beispielsweise in einem Kameragehäuse. Dabei werden aktuelle Kalibrierdaten bzw. Kalibrierparameter (z. B. eine Farbe und/oder eine optische Verzerrung bzw. Verzeichnung einer stereoendoskopischen Bildausrichtung sowie Eigenschaften eines verwendeten Bildsensors) der Messvorrichtung erfasst und gespeichert. Durch die Speicherung wird die vorrichtungsspezifische Verfügbarkeit dieser Parameter ermöglicht, so dass diese bei jeder stereorekonstruierenden Auswertung miteinbezogen werden können.
Auch aus der EP 3 656 334 A1 ist ein Stereoendoskop bekannt, bei dem Daten betreffend eine Lagebeziehung zwischen einem Navigationstracker und einem oder mehreren Bildsensoren in dem Stereoendoskop gespeichert werden, um diese bei der späteren Messung zu verwenden.
Weitere beispielhafte Lösungsansätze sind in der US 7,048,685 B2 , der DE 1020161772 A1 , der JP 2007/167630 A sowie der US 10,523,911 B2 beschrieben.
Obgleich der Stand der Technik bereits einige Lösungsansätze bereitstellt, erscheint es notwendig, den Anwender insbesondere während des Gebrauchs der Messvorrichtung genauer über einen Status der Messvorrichtung zu informieren, um derart Messungenauigkeiten und/oder Messfehler zu minimieren.
Zudem können Messfehler nicht nur durch eine fehlerhafte und/oder ungenaue Kalibrierung der Messvorrichtung, sondern darüber hinaus auch aufgrund einer Vielzahl weiterer äußerer Störgrößen, wie zum Beispiel eine Verschmutzung und/oder einer Eintrübung einer Linse etc., erfolgen. Ein Verfügbarmachen von Informationen über derartige Störgrößen im Bereich der Messvorrichtungen erscheint für den Anwender wünschenswert, wird jedoch im Stand der Technik bislang nur in unzureichendem Maße verwirklicht.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die aus dem Stand der Technik bekannten Nachteile zu verbessern und insbesondere eine Messvorrichtung und ein Messverfahren vorzuschlagen, welche eine optimierte Statusrückmeldung der Vorrichtung an einen Anwender ermöglicht.
Die Aufgabe wird durch ein Messsystem mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Ferner wird die Aufgabe durch ein Messverfahren mit den Merkmalen des unabhängigen Anspruchs 15 gelöst.
Erfindungsgemäß wird gemäß einem ersten Aspekt ein Messsystem zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere eines endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngoskopischen Stereomessbildes, bereitgestellt. Das erfindungsgemäße Messsystem umfasst eine erste Bilderfassungseinrichtung, die dazu eingerichtet ist, zumindest ein erstes Messbild von einem Messobjekt in einer Szene aus einem ersten Blickwinkel zu erfassen. Ferner umfasst die Messvorrichtung eine von der ersten Bilderfassungseinrichtung beabstandete zweite Bilderfassungseinrichtung, die dazu eingerichtet ist, zumindest ein zweites Messbild von dem Messobjekt in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen. Auch umfasst die Messvorrichtung eine Ausgabeeinrichtung und eine Auswerteeinrichtung. Die Auswerteeinrichtung ist dazu ausgebildet, durch Stereorekonstruktion aus dem zumindest ersten Messbild und dem zumindest zweiten Messbild ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten, vorzugsweise sämtlichen Bildpunkten, des Stereomessbildes Tiefeninformationen umfasst sind. Unter den Tiefeninformationen zu jedem Bildpunkt bzw. Pixel ist vorzugsweise ein Abstand eines durch diesen Bildpunkt in dem ersten und/oder zweiten Messbild repräsentierten Realpunkt des Messobjektes und/oder der Szene von der ersten und/oder zweite Bilderfassungsvorrichtung zu verstehen. Der Abstand kann vorzugsweise durch eine Länge eines Lotes von der Stereobasis zu dem jeweiligen Realpunkt definiert sein.
Die erfindungsgemäße Messvorrichtung ist dadurch gekennzeichnet, dass die Auswerteeinheit dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes und/oder des zumindest zweiten Messbildes auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern, insbesondere auf Basis zumindest eines Kalibrierparameters, der ersten und/oder zweiten Bilderfassungseinrichtung zu überprüfen; und, wenn der zumindest eine, insbesondere messgenauigkeitsmindernde, Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung zu übermitteln, wobei die Ausgabevorrichtung dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.
Gemäß einem zweiten Aspekt der Erfindung wird ein Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, insbesondere eines endoskopischen und/oder exoskopischen und/oder mikroskopischen und/oder laryngoskopischen Stereomessbildes, bereitgestellt. Das erfindungsgemäße Verfahren umfasst zumindest die nachfolgend aufgeführten Schritte: Erfassen zumindest eines ersten Messbildes von einem Messobjekt in einer Szene aus einem ersten Blickwinkel; Erfassen zumindest eines zweiten Messbildes von dem Messobjekt in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet; und Erzeugen eines Stereomessbildes aus dem zumindest ersten Messbild und dem zumindest zweiten Messbild durch Stereorekonstruktion, wobei in dem Stereomessbild zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind. Das erfindungsgemäße Verfahren ist gekennzeichnet durch die Schritte: Überprüfen eines Messbildzustandes des zumindest ersten Messbildes und/oder des zumindest zweiten Messbildes auf ein Vorliegen zumindest eines, insbesondere messgenauigkeitsmindernden, Erfassungsdefektes; und/oder Überprüfen der Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern, insbesondere auf Basis zumindest eines Kalibrierparameters; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, Anzeigen eines ersten Warnhinweises, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert unterschreitet, Anzeigen eines zweiten Warnhinweises.
Erfindungsgemäß wird also ein Zustand bzw. eine Anzeigequalität des ersten und/oder zweiten erfassten Messbildes vorzugsweise fortlaufend darauf überprüft, ob in dem zumindest ersten und/oder zweiten Messbild ein Erfassungsdefekt vorhanden ist, durch den die insbesondere zweidimensionale oder dreidimensionale Erfassung des Messobjektes durch das Messsystem beeinträchtigt wird. Ein derartiger Erfassungsdefekt kann ggf. von einem Anwender in visueller Hinsicht nicht hinreichend genau erkannt werden, da sich der Anwender grundsätzlich an einem sehr eingeschränkten Sichtfeld innerhalb der Szene orientiert, in welchem er den Arbeitsvorgang, beispielsweise während einer Operation am menschlichen oder tierischen Körper, plant und/oder beobachtet und/oder steuert. So kann der Anwender beispielsweise Erfassungsdefekte in Randbereichen des ersten und/oder zweiten Messbildes nicht hinreichend genau und ggf. schnell wahrnehmen. Dies wird erfindungsgemäß verbessert, indem dem Anwender vorzugsweise fortlaufend zumindest der erste Warnhinweis über das Vorliegen bzw. Vorhandenseins und/oder Anbahnens eines Erfassungsdefektes angezeigt wird. Die erfindungsgemäße Lösung ist insbesondere dann von Relevanz, wenn der Anwender in einem 2D-Modus arbeitet und beispielsweise eine Linse der ersten und/oder zweiten Bilderfassungsvorrichtung eine Verunreinigung aufweist, die er selbst nicht mit bloßem Auge erkennen kann. In technischer Hinsicht kann durch die Berücksichtigung des Erfassungsdefektes und/oder der Kalibrierqualität bei der Berechnung von Messwerten eine Genauigkeit bei der dreidimensionalen Stereoaufnahme und/oder Stereodarstellung des Messobjektes verbessert werden. Ebenfalls werden derart Messfehler in Bezug auf das Messobjekt vermieden. Es ist auch möglich, dass der erste Warnhinweis eine Aktion umfasst, durch die beispielsweise bei Unterschreitung des vorbestimmten Schwellwertes eine oder mehrere Funktionen des Messsystems eingeschränkt und/oder deaktiviert werden. Die Wahl des Schwellwertes hängt inhärent mit dem betrachteten Erfassungsdefekt zusammen. Handelt es sich bei dem Erfassungsdefekt beispielsweise um eine Verschmutzung, kann der Schwellwert beispielsweise angeben, welche Anzahl von Bildpunkten durch die Verschmutzung noch verdeckt sein können, ohne die Erfassungs- und Messqualität bzw. den Messbildzustand in unangemessener Weise zu beeinträchtigen. Der Schwellwert kann auch auf Basis von Farb- und/oder Helligkeitswerten, einem Kontrast, einer Unschärfe oder ähnlichen optischen Faktoren vorbestimmt sein.
Alternativ oder ergänzend kann erfindungsgemäß zudem eine Qualität einer Übereinstimmung und somit auch eine Qualität der Stereomessung zwischen dem zumindest ersten Messbild und dem zumindest zweiten Messbild durch die Einbeziehung der Kalibrierparameter ermittelt werden. Dadurch ist es besonders bevorzugt möglich, die Messung fortlaufend zu überprüfen, um derart Messabweichungen möglichst frühzeitig festzustellen. Eine mangelhafte Kalibrierqualität, vorbestimmt durch den Qualitätsgrenzwert, kann sich in einer Abweichung bemerkbar machen, beispielsweise weil die Kalibrierungsdaten nicht mehr mit einer aktuellen Messsituation übereinstimmen, die als ein vertikaler Versatz bei der Ermittlung der Übereinstimmung zwischen einem vorbestimmten Messpunkt in dem ersten Messbild und einem hierzu korrespondierenden Bildpunkt in dem zweiten Messbild auftritt. In einem ideal kalibrierten Zustand wäre es hingegen vorteilhaft, dass ein vorbestimmter Messpunkt in dem ersten Messbild und ein hierzu korrespondierender Bildpunkt in dem zweiten Messbild lediglich aufgrund des zwischen der ersten und der zweiten Bilderfassungseinrichtungen bestehenden Abstandes bzw. der Stereobasis in horizontaler Richtung zueinander versetzt ist. Die ebenfalls mögliche vertikale Abweichung kann beispielsweise dadurch resultieren, dass zumindest eine der ersten und der zweiten Bilderfassungseinrichtung eine mechanische Beeinflussung erfahren hat. Als Resultat erhält der Anwender eine fehlerbehaftete Auswertung der Tiefeninformationen zu zumindest einem Teil der Bildpunkte in dem stereorekonstruierten Stereomessbild. Erfindungsgemäß wird zur Kompensation eines derartigen Fehlers bei der Ermittlung der, insbesondere pixelweise ermittelten, Tiefeninformationen vorzugsweise die bei der Messung bzw. Erfassung des Messobjektes erzielte Kalibrierqualität ermittelt und vorzugsweise einem Anwender ausgegeben. Bei der Ermittlung der Kalibrierqualität werden vorzugsweise durch die Auswerteeinrichtung zumindest zu dem ersten und/oder zweiten Messbild ermittelte Tiefeninformationen mit hinsichtlich eines ideal kalibrierten Zustandes des Messsystems erwarteten idealen Tiefeninformationen verglichen. Es wird also vorzugsweise eine Güte der Ermittlung der Tiefeninformationen angegeben. Dabei kann dem Anwender beispielsweise angezeigt werden, ob und wie sich die Stereomessung verschlechtert, um derart den Anwender hinzuweisen, dass eine Kalibrierung der ersten und/oder zweiten Bilderfassungseinrichtung nicht mehr ausreichend ist.
Ferner ist es erfindungsgemäß nicht notwendig, dass ein Anwender des Messsystems die Überprüfung der Kalibrierqualität durch eine manuelle Eingabe erst beauftragt. Anstelle dessen wird die Kalibrierqualität bei der Stereomessung erfindungsgemäß vorzugsweise fortlaufend und/oder automatisch überprüft. Somit erhält der Anwender vorzugsweise stets eine Auskunft darüber, ob die Qualität der Messung noch ausreichend ist, oder eine Neukalibrierung der Messvorrichtung notwendig ist.
Vorzugsweise ist es erfindungsgemäß möglich, bei jeder Anwendung des Messsystems vorzugsweise softwareseitig im Hintergrund zu überprüfen, ob die Kalibrierparameter noch akkurat sind und insbesondere zu einer jeweils gegenwärtigen Erfassungssituation passen. Dem Anwender kann somit vorzugsweise ein Qualitätsindex der Kalibrierung bei jeder Anwendung des Messsystems ausgegeben werden. Diese Status-Information wird vorzugsweise dem Anwender angezeigt, wobei ggf. eine Aktualisierung der Kalibrierparameter empfohlen wird. Alternativ oder ergänzend ist es auch möglich, dass, wenn eine Güte der Kalibrierqualität nicht mehr ausreichend ist, und insbesondere die Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung deutlich von den tatsächlichen, optischen Eigenschaften abweichen, beispielsweise eine Messfunktion des Messsystems zumindest teilweise eingeschränkt oder zumindest temporär deaktiviert wird, um somit Fehlmessungen zu vermeiden. Vorzugsweise ist die Auswerteeinrichtung dazu eingerichtet, die Kalibrierqualität fortlaufend, besonders bevorzugt in Echtzeit zu überprüfen, so dass dem Anwender vorzugsweise fortlaufend und in Echtzeit ein Status über das Stereomessbild ausgegeben werden kann.
Bei den Kalibrierparametern kann es sich vorzugsweise um eine Verzeichnung und/oder eine Verkippung und/oder um sonstige optische und/oder mechanische Eigenschaften der ersten und/oder zweiten Bilderfassungseinrichtung handeln. Vorzugsweise verändern sich der erste und zweite Blickwinkel während des Betriebes des Messsystems bzw. der Durchführung des Messverfahrens nicht gegenüber einander. Die erste und zweite Bilderfassungseinrichtung weisen vorzugsweise einen vorbestimmten Abstand, insbesondere repräsentiert durch die Stereobasis, zueinander auf und sind jeweils auf die zu erfassende Szene bzw. auf das Messobjekt ausgerichtet. Eine Veränderung des ersten und/oder zweiten Blickwinkels kann jedoch unerwünschter Weise dadurch resultieren, dass sich bei Verwendung des Messsystems eine oder mehrere Einstellungen und/oder eine Ausrichtung der ersten und/oder zweiten Bilderfassungseinrichtung gegenüber einem kalibrierten Zustand, beispielsweise aufgrund von mechanischen und/oder thermischen, äußeren Einflüssen, ändert.
Es versteht sich, dass zu jedem einzelnen Erfassungsdefekt, vorzugsweise je nach Art und Ausprägung, ein Schwellwert vorbestimmt ist, so dass das erste und/oder zweite Messbild durch die Auswerteeinrichtung zeitlich parallel und/oder zeitlich aufeinanderfolgend auf das Vorhandensein einer Vielzahl verschiedener Erfassungsdefekte überprüft werden kann. Es versteht sich zudem, dass die Ausgabe des ersten und/oder des zweiten Warnhinweises nicht auf eine haptische und/oder optische und/oder akustische Ausgabe beschränkt ist. So kann die Ausgabe des ersten und/oder zweiten Warnhinweises beispielweise in einer Ausführung zumindest eines vorbestimmten Steuerbefehls bestehen, durch den eine oder mehrere Funktionen des Messsystems zumindest zeitweise eingeschränkt und/oder deaktiviert werden können. Bei der Auswerteeinrichtung handelt es sich vorzugsweise um eine Kamera-Kontroll-Einheit (Camera Control Unit (CCU)). Vorzugsweise umfasst die erste und/oder die zweite Bilderfassungseinrichtung jeweils einen Bildgebungssensor und/oder eine Kamera. Vorzugsweise bilden die erste und die zweite Bilderfassungseinrichtung gemeinsam eine Stereokamera aus. Besonders bevorzugt werden bei dem Messsystem als erste und zweite Bilderfassungseinrichtung distale Bildgebungssensoren eingesetzt, da diese eine bessere Robustheit der Kalibrierung gegenüber mechanischen und thermischen Einflüssen ermöglichen.
Erfindungsgemäß wird das zumindest eine Stereomessbild, vorzugsweise die zeitlich aufeinanderfolgende Vielzahl von Stereomessbildern durch die oben genannte Stereorekonstruktion eines jeweiligen Stereobildpaares, beispielsweise des durch das erste und das zweite Messbild definierte Stereobildpaares, auf Basis von optischen und/oder dimensionellen Parametern der Bilderfassungsvorrichtung bearbeitetet. Dabei umfasst die Stereorekonstruktion vorzugsweise eine, insbesondere pixelweise, Berechnung einer Tiefeninformation zu Bildpunkten des zumindest einen Stereomessbildes, um derart beispielsweise eine dimensionelle Messung zwischen zumindest zwei aus einer Aufnahmeszene ausgewählten Messpunkten zu ermöglichen. Die Stereorekonstruktion umfasst vorzugsweise eine Korrektur von Verzerrungseffekten und/oder eine Transformation in jedem Stereobildpaar (Rektifizierung). Es versteht sich, dass das erste und das zweite Messbild vorzugsweise zeitlich synchronisiert erfasst werden, d. h. also vorzugsweise einen identischen Zeitstempel aufweisen.
Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. In den Rahmen der Erfindung fallen sämtliche Kombinationen aus zumindest zwei von in der Beschreibung, den Ansprüchen und/oder den Figuren offenbarten Merkmalen. Es versteht sich, dass Ausführungsbeispiele und Ausführungsformen, die in Bezug auf das Messsystem gemäß Anspruch 1 beschrieben wurden, sich in äquivalenter, wenn auch nicht wortgleicher Form auf das Verfahren nach Anspruch 15 beziehen können, ohne für dieses explizit genannt zu werden. Es versteht sich zudem, dass auch sprachübliche Umformungen und/oder ein sinngemäßes Ersetzen von jeweiligen Begrifflichkeiten im Rahmen der üblichen sprachlichen Praxis, insbesondere das Verwenden von durch die allgemein anerkannte Sprachliteratur gestützten Synonymen, mit von dem vorliegenden Offenbarungsgehalt umfasst sind, ohne in ihrer jeweiligen Ausformulierung explizit erwähnt zu werden.
Es versteht sich, dass die erfindungsgemäßen Verfahrensschritte nicht zwingend in der aufgeführten Reihenfolge durchgeführt werden müssen, sondern diese Reihenfolge auch verändert werden kann. Es ist zudem möglich, dass ein oder mehrere Zwischenschritte zwischen einem oder mehreren Verfahrensschritten durchgeführt werden können.
Gemäß einer bevorzugten Ausführungsform sind die Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung bzw. die für jede Bilderfassungseinrichtung fertigungsbedingt individuellen Kalibrierdaten in der Messvorrichtung, beispielsweise in einer Speichereinheit, gespeichert. Dies hat den Vorteil, dass die Kalibrierparameter bei der Stereoauswertung der erfassten Messbilder einrichtungsspezifisch berücksichtigt werden können, wodurch eine erreichte Genauigkeit der Messvorrichtung erhöht wird. Besonders bevorzugt ist die Speichereinheit dazu ausgebildet, gespeicherte Kalibrierparameter beispielsweise nach einer neuen Kalibrierung durch neue Kalibrierparameter zu überspielen. Erfindungsgemäß kann es vorteilhaft sein, wenn die Kalibrierparameter vorzugsweise gemeinsam mit den stereorekonstruierten Bilddaten des Stereomessbildes von Kamerakontrolleinheit (CCU) zu einem weiteren Dokumentationssystem übermittelt werden, um von diesem vorzugsweise nachträglich analysiert zu werden. Somit kann vorzugsweise für jedes (Stereo-)Messbild eine akkurate Kalibrierung sowohl intra-operativ als auch retrospektiv erfolgen. Vorzugsweise werden die Kalibrierparameter für die erste und die zweite Bilderfassungseinrichtung in einer eindeutig voneinander unterscheidbaren Form gespeichert. Hierbei ist auch eine Speicherung auf zwei separaten Speichereinheiten möglich und ggf. vorteilhaft. Ebenfalls kann eine Speicherung auf einem einrichtungsinternen Speicher, einem externen Speicher und/oder auf einem Sever vorteilhaft sein, wobei besonders bevorzugt ein Datentransfer über ein Netzwerk möglich ist.
In einer bevorzugten Ausführungsform ist die erste und die zweite Bilderfassungseinrichtung jeweils dazu eingerichtet, eine fortlaufende Videoaufnahme des Messobjektes zu erzeugen, wobei das erste und das zweite Messbild jeweils als Einzelbilder einer Stereovideoaufnahme ein zeitlich synchron erfasstes Stereobildpaar definieren. Ferner ist die Auswerteinrichtung dazu eingerichtet, den Messbildzustand und/oder die Kalibrierqualität fortlaufend während der Stereovideoaufnahme zu überprüfen. Besonders bevorzugt ist die Ausgabevorrichtung dazu eingerichtet, den Messbildzustand in Form des ersten Warnhinweises und/oder die Kalibrierqualität in Form des zweiten Warnhinweises, insbesondere fortlaufend, auszugeben. Die Ausgabe kann beispielsweise als graphische Überlagerung in der graphischen Darstellung der Stereovideoaufnahme der Szene bzw. des zumindest einen Messobjektes erfolgen.
Mit anderen Worten ist das zumindest eine Stereomessbild vorzugsweise ein Einzelstereomessbild einer Vielzahl von zeitlich aufeinanderfolgenden Stereomessbildern, die jeweils aus einem Messbildpaar zusammengesetzt sind, und die in Aneinanderreihung eine Videoaufnahme des zumindest einen Messobjektes bzw. der Szene ergeben. Ein zeitlicher Abstand zwischen den Einzelstereomessbildern wird vorzugsweise durch eine vorbestimmte Bilderfassungsfrequenz (engl.: frame rate) bestimmt. Es versteht sich, dass das Stereomessbild grundsätzlich ein beliebiges Einzelstereomessbild einer solchen Videoaufnahme und/oder Videosequenz sein kann und selbstverständlich nicht ein initial erfasstes Bild beschränkt sein muss. Insbesondere sind das erste und zweite Messbild jeweils Einzelbilder von Videoaufnahmen die durch die erste und die zweite Bilderfassungseinrichtung, vorzugsweise zeitlich synchronisiert, von dem Messobjekt gemacht werden. Jeweils zwei Messbilder mit einem gleichen Zeitstempel definierten vorzugsweise ein Stereomessbildpaar, aus dem ein Stereomessbild ermittelt bzw. gebildet werden kann.
In einer weiteren bevorzugten Ausführungsform umfasst die Stereorekonstruktion eine Korrektur von Verzerrungseffekten und/oder eine Rektifizierung in dem zumindest ersten und dem zumindest zweiten Messbild und/oder eine pixelweise, insbesondere algorithmische, Auswertung von Tiefeninformationen der Szene und/oder des zumindest einen Messobjektes, insbesondere in geometrischem Bezug auf die erste und/oder zweite Bilderfassungseinrichtung. Vorzugsweise kann die algorithmische Auswertung auf Basis eines Semi-Global-Matching Algorithmus mit dem ersten und zweiten Messbild erfolgen. Auch weitere bekannte Verfahren der Stereorekonstruktion, die zur Ermittlung von Tiefeninformationen aus einem Stereobildpaar eingesetzt werden, sind hier mit umfasst, ohne explizit genannt zu werden.
In einer weiteren bevorzugten Ausführungsform beschreibt der zumindest eine Erfassungsdefekt eine zumindest teilweise Verschmutzung und/oder Verschmierung und/oder einen zumindest teilweisen Beschlag einer Linse oder eines distalen Fensters der ersten Bilderfassungseinrichtung und/oder einer Linse oder eines distalen Fensters bzw. Deckglas der zweiten Bilderfassungseinrichtung. Ein derartiges Deckglas verschließt das medizinische Instrument beispielsweise dampfdicht, so dass bei einer Reinigung keine Feuchtigkeit in die Optik eindringen kann. Alternativ oder ergänzend beschreibt der zumindest eine Erfassungsdefekt ein Vorhandensein eines Rauchgases in der Szene und/oder eine Über- oder Unterbelichtung der Szene und/oder eine unzureichende Tiefenschärfe der ersten Bilderfassungseinrichtung und/oder der zweiten Bilderfassungseinrichtung zur Erfassung des zumindest einen Messobjektes in der Szene. Alternativ oder ergänzend beschreibt der zumindest eine Erfassungsdefekt ein unzureichendes Licht- und/oder Farbverhältnis in der Szene.
Mit anderen Worten kann erfindungsgemäß beispielhaft überprüft werden, ob eine oder beide Linsen oder Fenster der ersten und der zweiten Bilderfassungseinrichtung verunreinigt sind und dadurch eine Qualität bzw. eine Genauigkeit der auf Basis der Stereorekonstruktion ermittelten Tiefenkarte abnimmt. Erfindungsgemäß ist die Auswerteeinrichtung vorzugsweise dazu ausgebildet, zumindest das erste und zweite Messbild, vorzugsweise jeweils eine Vielzahl von erfassten ersten und zweiten Messbildern, unabhängig voneinander durch eine Anwendung eines Algorithmus hinsichtlich einer möglicherweise bestehenden Verunreinigung, insbesondere zumindest einer Linse oder Fenster, zu überprüfen und/oder zu klassifizieren. Als Resultat dieser Überprüfung kann durch die Auswerteeinrichtung ermittelt werden, ob zumindest eine Linse eine Verunreinigung aufweist. Ist eine oder beide Linsen oder Fenster verschmutzt, erscheint beispielsweise in einem Anzeigemenü der Ausgabeeinrichtung der erste Warnhinweis, durch den ggf. zumindest eine Messfunktion eingeschränkt und/oder deaktiviert werden kann.
Es versteht sich, dass die Auswerteeinrichtung auch dazu eingerichtet sein kann, die Messbilder auf ein Vorhandensein mehrerer Erfassungsdefekte in einer beliebigen Kombination miteinander, vorzugsweise simultan, zu überprüfen. Hierbei könnten beispielsweise Trainingsbilder manuell in die obigen Erfassungsdefekte sortiert und/oder klassifiziert werden. Auf Basis dieser Trainingsbilder kann vorzugsweise ein neuronales Netz trainiert werden, sogenannte multiclass classification.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, das erste und/oder zweite Messbild auf das Vorhandensein des zumindest einen Erfassungsdefektes durch eine Mittelwertbildung des zumindest einen Erfassungsdefektes über zumindest ein vorbestimmtes Bildsegment in dem ersten und/oder zweiten Messbild zu überprüfen. Mit anderen Worten ist es bevorzugt möglich, dass die Auswerteeinrichtung dazu ausgebildet ist, das erste und/oder zweite Messbild segmentweise auf das Vorhandensein eines Erfassungsdefektes auszuwerten, um derart eine exakte Lokalisierung des Erfassungsdefektes zu ermöglichen. Hierdurch erhält der Anwender die Möglichkeit, den Erfassungsdefekt durch eine entsprechende Interaktion auf Basis des ermittelten Bildsegmentes zu beheben. Beispielsweise kann der Anwender eine Fluiddüse aktivieren, die infolgedessen dazu eingerichtet ist, einen Druckluft- oder Wasserstrahl auf einen Teil der Linse oder des Fensters zu richten, der in dem ersten und/oder zweiten Messbild dem Bildsegment entspricht, in dem der Erfassungsdefekt, beispielsweise eine Verunreinigung, ermittelt wurde.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, das erste und zweite Messbild bezüglich des Vorhandenseines des zumindest einen Erfassungsdefektes miteinander zumindest segmentweise zu vergleichen.
Ein derartiger Vergleich zumindest zwischen dem ersten und dem zweiten Messbild ist vorteilhaft, da hierdurch zum einen eine Plausibilitätskontrolle ermöglich wird. Zum anderen kann durch diesen Vergleich die Lokalisierung eines Erfassungsdefektes in der Szene bzw. hierdurch indirekt auf zumindest einer Linse oder einem Fenster der ersten und/oder zweiten Bilderfassungseinrichtung verbessert werden.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die Überprüfung des ersten und/oder zweiten Messbildes auf das Vorhandensein des zumindest einen Erfassungsdefektes auf Basis von künstlicher Intelligenz und/oder auf Basis einer algorithmischen Auswertung von Bilddaten des ersten und/oder zweiten Messbildes durchzuführen. Bei der Überprüfung einer Bildschärfe des ersten und/oder zweiten Messbildes kann beispielsweise ein Computer-Vision-Algorithmus, beispielsweise unter Verwendung eines Laplace-Filters eingesetzt werden. Bei dem Algorithmus, der zur Auswertung der Erfassungsdefekte Anwendung findet, kann es sich beispielsweise um einen Algorithmus handeln, durch den eine Auswertung von Kontrastverhältnissen in dem ersten und zweiten Messbild erfolgt. Alternativ oder ergänzend ist es möglich, dass der Algorithmus einen Klassifikator auf Basis von künstlicher Intelligenz umfasst. Hierbei können sämtliche bekannte Verfahren der künstlichen Intelligenz, insbesondere maschinelles Lernen, unterstütztes Lernen, etc. zum Einsatz kommen.
In einer weiteren bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, durch Auswertung der Tiefeninformationen, die zeitlich aufeinanderfolgenden ersten Messbilder und/oder die zeitlich aufeinanderfolgenden zweiten Messbilder der Stereovideoaufnahme des zumindest einen Messobjektes darauf zu überprüfen, ob die erste und/oder zweite Bilderfassungseinrichtung einen vorbestimmten Sicherheitsabstand zu dem zumindest einen Messobjekt einhält. Mit anderen Worten kann eine Untersuchung eines sich relativ zu dem Messobjekt bewegenden Messsystems, insbesondere einer Stereovideokamera, erfolgen. Bei dieser Untersuchung wird vorzugsweise geprüft, ob ein Teil des Messsystems, beispielsweise eine Linse oder ein Fenster der ersten und/oder zweiten Bilderfassungseinrichtung, zu nahe an das Messobjekt herangeführt ist. Insbesondere kann überprüft werden, ob sich eine Tiefeninformation zu einem betrachteten Messpunkt an dem Messobjekt bei einer Annährung der ersten und/oder zweiten Bilderfassungseinrichtung fortlaufend verringert. Die Auswerteeinrichtung kann beispielsweise dazu ausgebildet sein, zu erkennen, ob das erste und/oder zweite Messbild und/oder darin umfasste Bildsegmente bei der Annährung unschärfer werden. Wird beispielsweise ein vorbestimmter Schärfe-Grenzwert über- oder unterschritten, kann die Auswerteeinrichtung vorzugsweise die Ausgabeeinrichtung anweisen, dem Anwender eine Warnung in Form des ersten Warnsignals auszugeben. Diese Ausführungsform ist insbesondere für robotische Anwendungen des Messsystems, bei denen beispielsweise eine Bewegung zumindest eines Teils des Messsystems relativ zu dem Messobjekt durch zumindest einen Roboter geführt und gesteuert wird. Wird in einem solchen Fall erfindungsgemäß erkannt, dass ein Teil des Messsystems den vorbestimmten Sicherheitsabstand zu dem Messobjekt nicht mehr einhält, kann die Roboterbewegung zumindest des Teils des Messsystems zumindest teilautomatisch abgebrochen und/oder zumindest hinsichtlich einer Bewegungsrichtung verändert werden. Somit kann eine Kollision mit dem Messobjekt effektiv verhindert werden, was insbesondere in medizinisch-operativen Anwendungsfällen vorteilhaft ist. Darüber hinaus kann ein zu geringer Abstand des Messsystems zum Messobjekt die Bestimmung der Tiefenkarte erschweren, wenn die Messbilder (zum Beispiel das erste und zweite Messbild) nicht scharf dargestellt werden können.
In einer bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die aus dem ersten und dem zweiten Messbild ermittelten Tiefeninformationen, vorzugsweise pixelweise, auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung auf ihre Plausibilität hin zu überprüfen. Hierbei wird insbesondere überprüft, ob ein vorstehend genannter vertikaler Versatz zwischen einem Messpunkt in Bezug auf das erste Messbild und einem zu diesem korrespondierenden Messpunkt in dem zweiten Messbild vorhanden ist, und ob dieser vertikale Versatz beispielsweise einen vorbestimmten Qualitätsgrenzwert, vorzugsweise bestimmt in Pixel (ptx), überschreitet. Wird der vorbestimmte Qualitätsgrenzwert, der vorzugsweise den vertikalen Versatz bestimmt, überschritten, ist eine Genauigkeit der Messung nicht mehr ausreichend und eine alsbaldige oder sofortige Neu-Kalibrierung des Messsystems notwendig.
In einer bevorzugten Ausführungsform ist die Auswerteeinheit dazu eingerichtet, bei der Plausibilitätsprüfung, die aus dem ersten und zweiten Messbild ermittelten Tiefeninformationen, vorzugsweise pixelweise, mit Tiefeninformationen zu vergleichen, die in einem ideal kalibrierten Zustand der ersten und/oder der zweiten Bilderfassungseinrichtung auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung zu erwarten sind. Auf Grundlage dieser Plausibilitätsprüfung kann vorzugsweise die Kalibrierqualität des stereorekonstruierten Stereomessbildes ermittelt werden. Wird beispielsweise hinsichtlich eines, in Bezug auf das Messobjekt bestimmten Messpunktes ein vertikaler Versatz zwischen dessen bildpunktbasierter Repräsentation in dem ersten und dem zweiten Messbild festgestellt, kann darauf geschlossen werden, dass die Kalibrierqualität hinsichtlich einer initialen Kalibrierung abgenommen hat. Übersteigt ein derartiger Versatz den vorbestimmten Qualitätsgrenzwert bzw. Schwellwert, wird der zweite Warnhinweis an die Ausgabeeinrichtung übermittelt.
In einer bevorzugten Ausführungsform ist die Auswerteeinrichtung dazu eingerichtet, die ermittelte Kalibrierqualität bei einer Anzeige zumindest eines Messergebnisses, das in Bezug auf das zumindest eine Messobjekt anzuzeigen ist, mit einzuberechnen. Somit ist es möglich, einen Messfehler, der aufgrund einer unzureichenden Kalibrierqualität auftritt, zumindest in der Darstellung eines damit zusammenhängenden Messergebnisses zu korrigieren. Eine derartige Korrektur kann beispielsweise erfolgen, bis der vorbestimmte Qualitätsgrenzwert überschritten ist. Somit kann beispielsweise ein vertikaler Pixelversatz zwischen einem Messpunkt im ersten Messbild und einem dazu korrespondierenden Bildpunkt im zweiten Messbild, der durch eine unzureichende Kalibrierqualität verursacht ist, zumindest hinsichtlich einer Anzeige an einen Anwender korrigiert werden.
In einer bevorzugten Ausführungsform umfasst die Ausgabe des ersten und/oder zweiten Warnhinweises zumindest, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, welche Art von Erfassungsdefekt in welchem Bildsegment des ersten und/oder zweiten Messbildes vorhanden ist; und/oder dass eine Anzeige darüber erfolgt, wie ein Anwender den ermittelten Erfassungsdefekt beheben kann; und/oder dass eine Anzeige darüber erfolgt, in welchem Maß die Kalibrierqualität des ersten und/oder zweiten Messbildes gegenüber einem Idealzustand abweicht; und/oder dass eine Anzeige darüber erfolgt, dass eine Kalibrierung der ersten und/oder zweite Bilderfassungseinrichtung zu erfolgen hat. Die vorstehend aufgeführten Beispiele für die Ausgabe des ersten und/oder zweiten Warnhinweises ist lediglich beispielhafter Natur und nicht einschränkend zu verstehen. Insbesondere kann der erste und/oder der zweite Warnhinweis auch in jeglicher anderen Form ausgegeben werden, ohne den Umfang der vorliegenden Erfindung zu verlassen. Vorzugsweise wird der erste und/oder der zweite Warnhinweis fortlaufend, besonders bevorzugt in Echtzeit, an einen Anwender ausgegeben.
In einer bevorzugten Ausführungsform ist die Ausgabeeinrichtung dazu ausgebildet, den ersten und/oder zweiten Warnhinweis in optischer und/oder akustischer und/oder haptischer Form auszugeben. Auch eine andere Art der Ausgabe, beispielsweise als Steuerbefehl, durch den ein oder mehrere Funktionen des Messsystems gesteuert werden, ist möglich.
In einer bevorzugten Ausführungsform ist die Messvorrichtung in einem Stereoendoskop und/oder in einem Stereoexoskop und/oder in einem Stereomikroskop und/oder in einem Laryngoskop umfasst. Vorzugsweise ist die Messvorrichtung als Stereoendoskop und/oder als Stereoexoskop und/oder als Stereomikroskop und/oder als Laryngoskop ausgebildet.
In einer bevorzugten Ausführungsform umfasst die Ausgabeeinrichtung einen Bildschirm und/oder eine Brille oder eine 3D-Brille oder eine augmented reality Brille.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie anhand von lediglich schematischen Zeichnungen.
Es zeigen:

1: eine schematische Ansicht eines Ausführungsbeispiels einer erfindungsgemäßen Messvorrichtung;
2: ein erstes Flussdiagramm zur Darstellung eines beispielhaften Kalibriervorgangs eines Messsystems;
3: ein zweites Flussdiagramm zur Darstellung eines beispielhaften Kalibriervorgangs eines Messsystems;
4: eine beispielhafte, bildhafte Darstellung von Messpunkten an einem Messobjekt mit einer guten Kalibrierqualität;
5: eine beispielhafte, bildhafte Darstellung von Messpunkten an einem Messobjekt mit einer schlechten Kalibrierqualität;
6: eine schematische Darstellung eines für die Kalibrierung des Messsystems verwendeten Schachbrettmusters;
7: eine bildhafte Gegenüberstellung zweier störungsfreier Messbilder;
8: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen Erfassungsdefekt behafteten Messbildes;
9: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen zweiten Erfassungsdefekt behafteten Messbildes; und
10: eine bildhafte Gegenüberstellung eines störungsfreien Messbildes und eines durch einen dritten Erfassungsdefekt behafteten Messbildes.

Gleiche Elemente beziehungsweise Elemente mit gleicher Funktion sind in den Figuren mit den gleichen Bezugsziffern versehen.
1 zeigt in einer schematisch stark vereinfachten Blockdarstellung eine beispielhafte Ausgestaltung eines Messsystems 100. Das Messsystem 100 ist vorliegend als Stereo-Endoskop 102 ausgeführt. Das Messsystem 100 weist eine Bilderfassungsvorrichtung 104 mit einer Auswerteeinrichtung bzw. einer Kamerakontrolleinheit (Camera Control Unit, CCU) 106 auf. Ferner umfasst die Bilderfassungsvorrichtung 104 eine erste Bilderfassungseinrichtung 108 und eine zweite Bildererfassungseinrichtung 110. Vorzugsweise umfasst die Bilderfassungsvorrichtung 104 einen nicht näher gezeigten Speicher, der zumindest dazu eingerichtet ist, die Kalibrierparameter bzw. Kalibrierdaten der ersten und/oder zweiten Bilderfassungseinrichtung 108, 110 zu speichern. Es versteht sich, dass ein derartiger Speicher auch außerhalb der Bilderfassungsvorrichtung 104 angeordnet sein kann.
Die erste Bilderfassungseinrichtung 108 weist einen vorbestimmten Abstand von der zweiten Bilderfassungseinrichtung 110 auf, der eine Stereobasis der Stereo-Endoskops 102 definiert. Bei der ersten und der zweiten Bilderfassungseinrichtung 108, 110 handelt es sich vorzugsweise jeweils um eine Kamera. Die Auswerteeinrichtung 106 ist vorzugsweise dazu eingerichtet, von der ersten und der zweiten Bilderfassungseinrichtung 108, 110 Bilddaten in Form von Messbildern, vorliegend beispielsweise in Form zumindest eines ersten Messbildes 109 und zumindest eines zweiten Messbildes 111, zu empfangen. Besonders bevorzugt weist die Auswerteeinrichtung 106 zumindest einen nicht näher gezeigten Prozessor zur Bildverarbeitung auf. Es versteht sich, dass die Auswerteeinrichtung 106 in anderen Ausführungen vorzugsweise außerhalb der Bilderfassungsvorrichtung 104 angeordnet sein kann. Die Auswerteeinrichtung 106 ist vorzugsweise als eine sogenannten Kamerakontrolleinheit (Camera Control Unit, CCU) ausgebildet. Vorzugsweise kann eine Vorverarbeitung der erfassten Messbilder 109, 111 in der Bilderfassungseinrichtung 108, 110 stattfinden.
Der ersten und der zweiten Bilderfassungseinrichtung 108, 110 ist eine Objektivbaugruppe 114 vorgelagert. Die Objektivbaugruppe 114 umfasst beispielhaft ein Deckglas, beispielsweise eine Linse, und optische Einheiten 116, 118 mit Aperturen, die den Bilderfassungseinrichtungen 108, 110 zugeordnet sind. Die optischen Einheiten 116, 118 definieren das jeweilige Sichtfeld der Bilderfassungseinheiten 108, 110. Jede der beiden Bilderfassungseinheiten 108, 110 ist einem Beobachtungskanal 120, 122 zugeordnet. Die Beobachtungskanäle 120, 122 sind jeweils dazu ausgebildet, die Messbilder 109, 111 in Form von signalförmigen Bildinformationen an die Auswerteeinrichtung 106 zu übermitteln. Zur Bereitstellung der Bildinformationen ist jeder der Bilderfassungseinrichtungen 108, 110 ein Signalwandler 124, 126 zugeordnet. Die Signalwandler 124, 126 sind jeweils dazu eingerichtet, die optisch erfassten Messbilder 109, 111 in Bildinformationen umzuwandeln. Beispielhaft handelt es sich bei den Signalwandlern 124, 126 um Fotochips.
Die erste Bilderfassungseinrichtung 108 ist dazu eingerichtet, zumindest das erste Messbild 109 von einem Messobjekt 112 in einer Szene zu erfassen. Das Messobjekt 112 ist hier beispielhaft als ein Buchstabe P dargestellt. Allerdings handelt es sich bei dem Messobjekt 112 normalerweise vorzugsweise um ein menschliches oder tierisches Organ oder einen anderen Teil eines menschlichen oder tierischen Körpers oder um ein Bauteil. Die erste Bilderfassungseinrichtung 108 erfasst das zumindest erste Messbild 109 von dem Messobjekt 112 vorzugsweise aus einem ersten Blickwinkel.
Die zweite Bilderfassungseinrichtung 110 ist dazu eingerichtet, zumindest das zweite Messbild 111 des Messobjektes 112 zu erfassen. Die erste und die zweite Bilderfassungseinrichtung 108, 110 sind jeweils dazu eingerichtet, das erste und das zweite Messbild 109, 111 vorzugsweise zeitlich synchronisiert zu erfassen. Ein derartig erfasstes ersten und zweites Messbild 109, 111 bildet ein Stereobildpaar aus.
Die Auswerteeinrichtung 106 ist dazu ausgebildet, aus dem Stereobildpaar bzw. aus den signalbasierten Bildinformationen des ersten und zweiten Messbildes 109, 111 durch bekannte Methoden der Stereorekonstruktion Stereomessbildinformationen zu ermitteln. In den Stereomessbildinformationen sind zu jedem erfassten Bildpunkt des Messobjektes 112 Tiefeninformationen verfügbar, die beispielsweise dazu verwendet werden können, einen Abstand zwischen zwei Messpunkten an dem Messobjekt 112 im euklidischen Raum zu berechnen.
Die Stereomessbildinformationen können vorzugsweise über einen ersten und/oder einen zweiten Ausgabekanal 128, 130 an eine Ausgabevorrichtung 132 übertragen werden, durch die die Stereomessbildinformationen einem Benutzer als ein Stereomessbild bereitgestellt und vorzugsweise graphisch angezeigt werden. Die Ausgabevorrichtung 132 kann beispielsweise ein Display sein. Auf der Ausgabevorrichtung 132 wird das Messobjekt 112 in Form eines Beobachtungsobjektes 136 abgebildet. Ein Benutzer kann mithilfe einer Eingabevorrichtung (nicht gezeigt) vorzugsweise einen Cursor 138 relativ zu dem Beobachtungsobjektes 136 bzw. zu dem virtualisierten Messobjekt 112 verschieben, um beispielsweise einen Messpunkt in Bezug auf das Messobjekt zu bestimmen.
Es versteht sich, dass das Messsystem 100 dazu eingerichtet ist, grundsätzlich eine Vielzahl von Messbildern des Messobjektes 112 zu erfassen und somit eine Vielzahl von Stereomessbildern zu jedem Stereomessbildpaar zu erfassen bzw. bereitzustellen. Besonders bevorzugt ist es mit dem Messsystem 100 möglich, ein (Live-) Video von dem Messobjekt 112 aufzunehmen, das aus einer Vielzahl von Einzelbildpaaren zusammengesetzt ist, die in einem vordefinierten zeitlichen Abstand, bestimmt durch die Bildrate, gemessen in Bildern pro Sekunde (frames per second (fps)), hintereinander erfasst werden.
In den 2 und 3 sind beispielhafte Flussdiagramme bzw. Workflows eines Kalibrierverfahrens dargestellt, das nachfolgend näher erläutert wird. Während der Herstellung eines erfindungsgemäßen Messsystems 100 bzw. eines beispielhaften Stereo-Endoskops werden zur Kalibrierung Kalibrierbilder eines Schachbrettmusters 140 (beispielhaft gezeigt in 6) mit drei Punkten zur Erkennung eines jeweiligen (Feld-) Mittelpunkts aufgenommen (siehe oben links im Flussdiagramm). Auf diesen Kalibrierbildern werden sodann Schachbrettecken identifiziert und zur weiterführenden Berechnung der Kalibrierparameter verwendet. Die Kalibrierparameter umfassen typischerweise Verzerrungskorrektur-Parameter für beide Bilderfassungseinrichtungen bzw. Kameras, Brennweiten sowie einen Mittelpunkt einer optischen Achse der jeweiligen Bilderfassungseinrichtung 108, 110. Zudem wird eine Rotationsmatrix und ein Translationsvektor der beiden Bilderfassungseinrichtungen 108, 110 zueinander bestimmt. Hierzu ist es vorteilhaft, die Größe eines Schachbrettfeldes (vorab) präzise zu kennen.
Bei der Aufnahme eines derartigen Schachbrettes 140 ist zu beachten, dass mehrere Kalibrierbilder aus verschiedenen Blickwinkeln durch die erste und die zweite Bilderfassungseinrichtung 108, 110 aufgenommen werden. Die Kalibrierung erfolgt vorzugsweise für die erste und die zweite Bilderfassungseinrichtung 108, 110 separat. insbesondere ist es vorteilhaft, dass Kalibrierbilder aus „schrägen“ Blickwinkeln aufgenommen werden. Ferner ist darauf zu achten, dass die weißen Schachbrettflächen nicht überbelichtet sein dürfen und das Schachbrett 140 während der Kalibrierung möglichst homogen beleuchtet ist. Das Schachbrett 140 kann vorzugsweise real existieren oder alternativ auf einem Bildschirm dargestellt sein.
Die Kalibrierparameter werden vorzugsweise verwendet, um die aufgenommenen Kalibrierbilder der ersten und der zweiten Bilderfassungseinrichtung 108, 110 (oftmals bezeichnet als rechte und linke Kamera) zu transformieren. Dazu werden in den Kalibrierbildern zunächst Verzerrungseffekte korrigiert (sog. undistortion). Ferner werden die Kalibrierbilder transformiert, als ob sie von einem parallelen Kamerasystem aufgenommen worden wären (sog. rectification). In mathematischer Hinsicht wird dies durch den sogenannten Semi-Global-Matching (SGM-) Algorithmus umgesetzt, mit Hilfe dessen zu einem gegebenen Pixel in einem von der ersten Bilderfassungseinrichtung 108 erfassten Messbild ein passendes Pixel in einem durch die zweite Bilderfassungseinrichtung 110 erfassten Messbild gesucht wird. Der Algorithmus sucht dabei vorzugsweise lediglich entlang derselben horizontalen Linie, da dies durch die Epipolargeometrie vorgegeben ist.
Es ist zudem möglich, in den Kalibrierbildern die Disparität der Schach-brettecken in eine Tiefeninformation umzurechnen und auf Basis der Disparität einen Abstand zwischen zwei Schachbrettecken zu berechnen und diesen mit einem tatsächlichen, physikalischen Abstand zwischen den Schachbrettecken zu vergleichen. Andererseits wird überprüft, ob Schachbrettecken denselben vertikalen Tiefenwert bzw. Pixelwert hinsichtlich der beiden Bilderfassungseinrichtungen aufweisen. Außerdem kann überprüft werden, ob Schachbrettecken, die sich auf derselben Zeile oder Spalte des Schachbretts 140 befinden, tatsächlich in den erfassten Kalibrierbildern auf einer gemeinsamen Geraden liegen und somit einen akkurate Verzerrungskorrektur erfolgt ist.
Verändern sich nun im Laufe der Zeit optische Komponenten der ersten und/oder der zweiten Bilderfassungseinrichtung 108, 110, beschreibt die Kalibrierung nicht mehr korrekt die Eigenschaften der ersten und/oder der zweiten Bilderfassungseinrichtung 108, 110 und es kommt beim Prozess der Entzerrung und Rektifizierung dazu, dass identische Objekte auf unterschiedlichen horizontalen Linien abgebildet werden, wodurch eine korrekte Tiefenbestimmung mittels des SGM-Algorithmus erschwert und/oder unmöglich wird. In 6 wurden beispielsweise Kalibrierbilder eines 3D-Schachbrettbilds aufgenommen, entzerrt und rektifiziert. In 6 ist der vertikale Versatz in Pixeln angegeben. Der mittlere vertikale Versatz beträgt beispielhaft 0.4 Pixel, so dass die Kalibrierung als sehr gut anzunehmen ist.
Diese Problematik wird durch das erfindungsgemäße Messsystem gelöst, da die Qualität der Kalibrierung bzw. die Qualität eines erfassten Messbildes gegenüber einem Kalibrierbild fortlaufend und vorzugsweise in Echtzeit überprüft wird.
Erfindungsgemäß erfolgt vorzugsweise eine Evaluation bzw. Überprüfung der Kalibrierqualität parallel zur laufenden Anwendung des Messsystems 100. Erfindungsgemäß ist die Auswerteeinrichtung 106 dazu ausgebildet, einen Messbildzustand des zumindest ersten Messbildes 109 und/oder des zumindest zweiten Messbildes 111 auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen und die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung 108, 110 zu überprüfen.
Bei der Überprüfung der Kalibrierqualität wird insbesondere die Qualität der Rektifizierung evaluiert, die wie oben beschrieben einen großen Einfluss auf die Korrektheit der durch die Stereorekonstruktion ermittelten Tiefenkarten hat. Dabei wird für ein gegebenes 3D-Stereomessbild in dem zugehörigen ersten Messbild 109 nach Punkten 142 (siehe 4 und 5) gesucht, die möglichst einfach auf optische Weise nachzuverfolgen sind (d.h. sich beispielsweise an einer kontrastreichen Stelle in dem ersten Messbild 109 befinden). Eine Möglichkeit der mathematisch-optischen Nachverfolgung bietet die open-Source-Bibliothek openCV cv2.goodFeaturesToTrack.
Diese Punkte 142 werden möglichst homogen über das erste Messbild 109 bzw. innerhalb der gesamten Szene gesucht. Mittels eines opticalFlow-Algorithmus, z.B. openCV cv2. calcOpticalFlowPyrLK, werden diese Punkte 142 auf zweite Messbild 111 übertragen. Aus diesen Punktpaaren kann über mathematische Methoden der vertikale Versatz berechnet werden.
Für eine ideale Kalibrierung liegt dieser Versatz wie oben beschrieben bei null. Durch Fehler bei der optical-flow-Berechnung kann es sich anbieten, berechnete Versatzwerte von z. B. < 10 Pixel (px) noch nicht als qualitätskritisch zu erachten. Auch kann es vorteilhaft sein, über mehrere vertikale Versatzwerte einen mittleren Versatzfehler zu berechnen und diesen berechneten Versatzfehler vorzugsweise über mehrere aufeinanderfolgende erste und zweite Messbilder zeitlich zu mitteln.
Anwender- und/oder softwareseitig kann ein Qualitätsgrenzwert angegeben sein, bei welchem noch von einer akzeptablen Kalibrierung auszugehen ist. Liegt der berechnete und ggf. zeitlich gemittelte, mittlere Versatzfehler beispielsweise bei 5 Pixel und höher, kann hierdurch der Qualitätsgrenzwert angegeben sein, ab welchem dem Anwender beispielsweise ein zweiter Warnhinweis auf der Ausgabeeinrichtung 132 ausgegeben wird, dass eine Neukalibrierung notwendig wird. Es können im Zuge dessen auch einige Funktionen des Messsystems 100 zumindest zeitweise deaktiviert werden.
In 4 ist das erste und das zweite Messbild 109, 111, aufgenommen von der ersten Bilderfassungseinrichtung 108 bzw. von der zweiten Bilderfassungseinrichtung 110, nebeneinander dargestellt. Beide Messbilder 109, 111 zeigen das Messobjekt 112, vorliegend ein menschliches Organ, vor einem hellen Hintergrund. Der Hintergrund mitsamt dem Messobjekt 112 definiert die Szene. Auf der linken Seite ist das erste Messbild 109 dargestellt. Auf der rechten Seite ist das zweite Messbild 111 dargestellt. In dem ersten Messbild 109 wurde, wie vorstehend beschrieben, eine Vielzahl von Punkten 142 ausgewählt, die zur Berechnung des vertikalen Versatzes bzw. der Kalibrierqualität verwendet werden. Diese Punkte 142 (sog. Nachverfolgungspunkte) werden durch Methoden des optischen Flusses (optical Flow) auf das zweite Messbild übertragen, d. h. es werden zu den Punkten 142 des ersten Messbildes 109 jeweils dazu korrespondierende Bildpunkte 144 in dem zweiten Messbild 111 gesucht. Im Ergebnis ergibt sich als Kalibrierqualität ein mittlerer vertikaler Versatz zwischen den Punkten 142 und den jeweiligen dazu korrespondierenden Bildpunkten 144 (ohne eine Berücksichtigung von statistischen Ausreißern) von 0.9 Pixeln, so dass die Kalibrierqualität dieser beiden Messbilder 109, 111 und somit des daraus stereorekonstruierten Stereomessbildes sehr gut ist.
5 zeigt, ähnlich wie 4, eine Gegenüberstellung des ersten und zweiten Messbildes 109, 111. Allerdings wurde im Falle der 5 absichtlich eine falsche Kalibrierung, vorliegend eine Kalibrierung einer anderen Bilderfassungseinrichtung, verwendet.
Der mittlere vertikale Versatz steigt hierdurch deutlich an und beträgt im Mittel 5.4 Pixel, so dass der Anwender vor der schlechten Kalibrierung mittels des zweiten Warnsignals gewarnt werden kann. In diesem Fall ist also der vorbestimmte Qualitätsgrenzwert überschritten.
Erfindungsgemäß ist die Auswerteeinrichtung 106 dazu ausgebildet, einen Messbildzustand des zumindest ersten Messbildes 109 und/oder des zumindest zweiten Messbildes 111 auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen. Verschiedene Beispiele derartiger Erfassungsdefekte, die während eines bestimmungsgemäßen Gebrauchs des Messsystems auftreten können, sind in den 7 bis 10 veranschaulicht. Hierbei ist stets eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 110 gezeigt. Zudem ist in den Figuren stets eine überlagerte Tiefenkarte gezeigt, die aus dem ersten und dem zweiten Messbild 109, 110 in Form des Stereomessbildes über Stereorekonstruktion ermittelt wurde.
7 zeigt sowohl das erste Messbild 109 als auch das zweite Messbild 111 jeweils in einem störungsfreien Zustand, d. h. ohne, dass ein Erfassungsdefekt in dem ersten und/oder zweiten Messbild 109, 111 ermittelt wurde.
Gemäß 8 ist das zweite Messbild (untere Aufnahme) durch eine Verschmutzung der Linse der zweiten Bilderfassungseinrichtung 110 unscharf. Somit kann aus dem resultierenden Stereobildpaar keine akkurate Tiefenkarte ermittelt werden. Dies wird dem Anwender vorzugsweise durch den ersten Warnhinweis ausgegeben. Parallel zur Stereorekonstruktion zur Ermittlung der Tiefenkarte und/oder des Stereomessbildes, die zur Vermessung zwischen verschiedenen Messpunkten benutzt wird, wird erfindungsgemäß überprüft, ob eine oder beide Linsen der ersten bzw. zweiten Bilderfassungseinrichtung 108, 110 verunreinigt sind und dadurch die Qualität der Tiefenkarte über ein Maß, dass durch einen Schwellwert angegeben werden kann, abnimmt. Dazu werden beide Messbilder 109, 111 unabhängig voneinander durch die Auswerteeinrichtung 106 mit Hilfe eines Algorithmus beispielsweise auf verschmutzte Linsen hin klassifiziert. Dieser Algorithmus kann entweder ein KI-basierter Klassifikator oder ein klassischer Algorithmus sein, der beispielsweise die Kontrastverhältnisse in dem jeweiligen Messbild 109, 111 erkennt. Ist eine (oder beide) Linse verschmutzt, erscheint im Menü, vorzugsweise in graphischer Überlagerung, der erste Warnhinweis, durch den ggf. auch einzelne Messfunktionen des Messsystems deaktiviert werden. Analog hierzu ist es auch möglich, dass das erste und/oder zweite Messbild 109, 111 auf Rauch im Messbild und/oder auf Beschlagen der Bilderfassungseinrichtung(en) 108, 110 hin überprüft werden.
In 9 ist eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 111 gezeigt, bei dem aufgrund von Überbelichtung des ersten Messbildes 109 eine fehlerbehaftete Tiefenkarte stereorekonstruiert wird. Bildregionen, die über- oder unterbelichtet sind, können mit gängigen Stereorekonstruktionsalgorithmen nicht korrekt korrespondierenden Bildregionen bzw. Pixeln in einem anderen Messbild zugeordnet werden. Erfindungsgemäß kann vorzugsweise in Echtzeit eine Überprüfung des ersten und zweiten Messbildes 109, 111 auf dunkle oder helle Bildregionen erfolgen. Dies kann durch einfache Grenzwertbildung umgesetzt werden. Regionen, die als zu dunkel oder zu hell erkannt wurden, können entweder nicht für die Auswahl von Punkten bzw. Messpunkte 142 ausgewählt werden. Alternativ oder ergänzend kann der erste Warnhinweis ausgegeben werden, dass zumindest eine Region in dem ersten und/oder zweiten Messbild 109, 111 über- und/oder unterbelichtet ist.
In 10 ist eine Gegenüberstellung des ersten und des zweiten Messbildes 109, 111 gezeigt, bei dem aufgrund von Unschärfe, resultierend aus einem zu geringen Abstand der Bilderfassungseinrichtungen 108, 110 von dem Messobjekt 112, eine fehlerhafte Tiefenkarte ermittelt wurde. In der 10 ist die Unschärfe schematisch als ein Punktemuster dargestellt. Insbesondere im Gegensatz zu der 9 kann aufgrund der hier gezeigten Unschärfe eine Oberflächenstruktur eines Gewebematerials nicht aufgelöst werden.
Parallel zur Stereorekonstruktion kann überprüft werden, ob die beiden Messbilder 109, 111 unscharf sind. Eine Unschärfe tritt vor allem dann auf, wenn die Bilderfassungseinrichtungen 108, 110 außerhalb des Schärfebereichs positioniert werden oder wenn die Bilderfassungseinrichtungen 108, 110 zu schnell bewegt werden. Die Schärfe eines Messbildes kann mit klassischen Computer-Vision-Algorithmen untersucht werden (z.B. Laplace-Filter). Ggfs. ist eine Unterscheidung zwischen Unschärfe durch Bewegung und falschem Abstand möglich. Dies kann durch die Anwendung von Optical-Flow-Algorithmen umgesetzt werden. Wird ein unscharfes Messbild erkannt, kann dem Benutzer vorzugsweise der erste Warnhinweis eingeblendet werden, dass die Messung ungenau ist, weil die Stereokamera falsch positioniert wurde und/oder sich zu nahe am Messobjekt 112 befindet.
Neben der Erkennung von Unschärfe durch einen zu nahen Abstand des Messsystems, insbesondere der durch die erste und zweite Bilderfassungseinrichtung 108, 110 ausgebildeten Stereokamera, ist es möglich, einen zu nahen Abstand vorherzusagen. So kann durch laufende Berechnung der Tiefenkarte überprüft werden, ob sich die Kamera dem Messobjekt 112 nähert. Unterschreitet der Abstand einen Wert, bei dem der Abstand zwar noch berechenbar ist, aber das Bild bereits leicht unscharf ist, kann ein entsprechender Warnhinweis an den Benutzer ausgegeben werden. Dies ist insbesondere auch in der robotischen Anwendung relevant, wenn ein Roboter die Bewegung der Kamera ausführt und diese ggf. infolgedessen abbrechen kann.
Während der Berechnung von Abständen aus der Tiefenkarte wird aus der zeitlichen Abfolge von Messabständen ein Mittelwert und ein dazugehöriger Fehler errechnet und dem Benutzer angezeigt. Die Anzeige, dass Messwerte ungenau sind, kann durch die erfindungsgemäßen Detektionsalgorithmen dahingehend unterstützt werden, dass die Ursache für die Messungenauigkeit, d. h. die Art des Erfassungsdefektes, angezeigt wird. Entsprechend ist es vorteilhaft, die Anzeige der Ursache für einen Erfassungsdefekt an das Überschreiten eines vorbestimmten Schwellwerts zu knüpfen.
Gemäß der Erfindung ist es auch vorteilhaft, dass eine Überprüfung einer Belichtungsregelung des Messsystems und/oder ein Weißabgleich, ggf. mitsamt einer Anpassung einer Belichtungsregelung, erfolgt.
Im Allgemeinen erzeugen Stereoendoskope zwei Messbilder bzw. Messbildserien, die nicht zwangsläufig unter denselben Belichtungseinstellungen und/oder Weißabgleichsbedingungen aufgenommen werden. Je nach Stereorekonstruktionsalgorithmus können unterschiedlich aufgenommene Bilder zu Fehler in der Tiefenkarte führen. Entsprechend wird erfindungsgemäß parallel zur Stereorekonstruktion überprüft, ob eine Helligkeit und/oder Farbe in dem ersten und dem zweiten Messbild 109, 111 ähnlich zueinander ist. Hierzu kann bspw. ein Mittelwert pro Farbkanal über beide Messbilder 109, 111 bestimmt und jeweils verglichen werden. Dies kann vorzugsweise auch segment- und/oder abschnittsweise geschehen. Unterscheiden sich die derart gebildeten Mittelwerte über das Maß eines vorbestimmten Schwellwertes hinaus, liegen vermutlich unterschiedliche Aufnahmebedingungen vor und dem Benutzer kann durch den ersten Warnhinweis angezeigt werden, dass ein Weißabgleich notwendig ist. Hierbei können die Farbwerte und Belichtungsregelung wieder aufeinander abgestimmt werden.
Bezugszeichenliste

100: Messsystem
102: Stereo-Endoskop
104: Bilderfassungsvorrichtung
106: Auswerteeinrichtung
108: erste Bilderfassungseinrichtung
109: erstes Messbild
110: zweite Bilderfassungseinrichtung
111: zweites Messbild
112: Messobjekt
114: Objektivbaugruppe
116: optische Einheit
118: optische Einheit
120: Beobachtungskanal
122: Beobachtungskanal
124: Signalwandler
126: Signalwandler
128: erster Ausgabekanal
130: zweiter Ausgabekanal
132: Ausgabeeinrichtung
136: Beobachtungsobjekt
138: Cursor
140: Schachbrett
142: Punkte
144: korrespondierende Bildpunkte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2020/0242806 A1 [0012]
WO 2020/041717 A1 [0012]
EP 3656334 A1 [0013]
US 7048685 B2 [0014]
DE 1020161772 A1 [0014]
JP 2007167630 A [0014]
US 10523911 B2 [0014]

Claims

Messsystem zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend: eine erste Bilderfassungseinrichtung (108), die dazu eingerichtet ist, zumindest ein erstes Messbild (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel zu erfassen; eine von der ersten Bilderfassungseinrichtung (108) beabstandete zweite Bilderfassungseinrichtung (110), die dazu eingerichtet ist, zumindest ein zweites Messbild (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet, zu erfassen; eine Ausgabeeinrichtung (132); und eine Auswerteeinrichtung (106), die dazu ausgebildet ist, durch Stereorekonstruktion aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) ein Stereomessbild zu erzeugen, in dem zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu ausgebildet ist, einen Messbildzustand des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes zu überprüfen; und/oder die Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu überprüfen; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, einen ersten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert über- oder unterschreitet, einen zweiten Warnhinweis an die Ausgabevorrichtung (132) zu übermitteln, wobei die Ausgabevorrichtung (132) dazu eingerichtet ist, den ersten und/oder zweiten Warnhinweis auszugeben.
Messsystem nach Anspruch 1, dadurch gekennzeichnet, dass die erste und die zweite Bilderfassungseinrichtung (108, 110) jeweils dazu eingerichtet ist, eine fortlaufende Stereovideoaufnahme des Messobjektes (112) zu erzeugen, wobei das erste und das zweite Messbild (109, 111) jeweils als Einzelbilder der Stereovideoaufnahme ein zeitlich synchron erfasstes Stereobildpaar definieren, und dass die Auswerteinrichtung (106) dazu eingerichtet ist, den Messbildzustand und/oder die Kalibrierqualität, insbesondere fortlaufend, während der Stereovideoaufnahme zu überprüfen.
Messsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Stereorekonstruktion eine Korrektur von Verzerrungseffekten und/oder eine Rektifizierung zwischen dem zumindest ersten und dem zumindest zweiten Messbild (109, 111) und/oder eine pixelweise, insbesondere algorithmische, Auswertung von Tiefeninformationen umfasst.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Erfassungsdefekt eine zumindest teilweise Verschmutzung und/oder Verschmierung und/oder einen zumindest teilweisen Beschlag einer Linse der ersten Bilderfassungseinrichtung und/oder einer Linse der zweiten Bilderfassungseinrichtung; und/oder ein Vorhandensein eines Rauchgases in der Szene und/oder eine Über- oder Unterbelichtung der Szene und/oder eine unzureichende Tiefenschärfe der ersten Bilderfassungseinrichtung und/oder der zweiten Bilderfassungseinrichtung zur Erfassung des zumindest einen Messobjektes in der Szene; und/oder ein unzureichendes Licht- und/oder Farbverhältnis in der Szene beschreibt.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, das erste und/oder zweite Messbild (109, 111) auf das Vorhandensein des zumindest einen Erfassungsdefektes durch eine Mittelwertbildung des zumindest einen Erfassungsdefektes über zumindest ein vorbestimmtes Bildsegment in dem ersten und/oder zweiten Messbild (109, 111) zu überprüfen.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, das erste und/oder zweite Messbild (109, 111) bezüglich des Vorhandenseines des zumindest einen Erfassungsdefektes miteinander zumindest segmentweise zu vergleichen.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die Überprüfung des ersten und/oder zweiten Messbildes (109, 111) auf das Vorhandensein des zumindest einen Erfassungsdefektes auf Basis von künstlicher Intelligenz und/oder auf Basis einer algorithmischen Auswertung von Bilddaten des ersten und/oder zweiten Messbildes (109, 111) durchzuführen.
Messsystem nach Anspruch 2, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, durch Auswertung der Tiefeninformationen, die zeitlich aufeinanderfolgenden ersten Messbilder (109) und/oder die zeitlich aufeinanderfolgenden zweiten Messbilder (111) der Stereovideoaufnahme des zumindest einen Messobjektes (112) darauf zu überprüfen, ob die erste und/oder zweite Bilderfassungseinrichtung (108, 110) einen vorbestimmten Sicherheitsabstand zu dem zumindest einen Messobjekt (112) einhält.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die aus dem ersten und dem zweiten Messbild (109, 111) ermittelten Tiefeninformationen, vorzugsweise pixelweise, auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) auf ihre Plausibilität hin zu überprüfen.
Messsystem nach Anspruch 9, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, bei der Plausibilitätsprüfung die aus dem ersten und zweiten Messbild (109, 111) ermittelten Tiefeninformationen, vorzugsweise pixelweise, mit Tiefeninformationen zu vergleichen, die in einem ideal kalibrierten Zustand der ersten und/oder der zweiten Bilderfassungseinrichtung (108, 110) auf Basis der Kalibrierparameter der ersten und/oder zweiten Bilderfassungseinrichtung (108, 110) zu erwarten sind.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (106) dazu eingerichtet ist, die ermittelte Kalibrierqualität bei einer Anzeige zumindest eines Messergebnisses, das in Bezug auf das zumindest eine Messobjekt (112) anzuzeigen ist, mit einzuberechnen.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabe des ersten und/oder zweiten Warnhinweises zumindest umfasst, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems (100) zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, dass zumindest eine vorbestimmte Betriebsfunktion des Messsystems (100) zumindest zeitweise deaktiviert ist; und/oder dass eine Anzeige darüber erfolgt, welche Art von Erfassungsdefekt in welchem Bildsegment des ersten und/oder zweiten Messbildes (109, 111) vorhanden ist; und/oder dass eine Anzeige darüber erfolgt, wie ein Anwender den ermittelten Erfassungsdefekt beheben kann; und/oder dass eine Anzeige darüber erfolgt, in welchem Maß die Kalibrierqualität des ersten und/oder zweiten Messbildes (109, 111) gegenüber einem Idealzustand abweicht; und/oder dass eine Anzeige darüber erfolgt, dass eine Kalibrierung der ersten und/oder zweite Bilderfassungseinrichtung (108, 110) zu erfolgen hat.
Messsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabeeinrichtung (132) dazu ausgebildet ist, den ersten und/oder zweiten Warnhinweis in optischer und/oder akustischer und/oder haptischer Form auszugeben.
Messsystem nach einem der vorstehenden Ansprüche, das in einem Stereoendoskop (102) oder in einem Stereoexoskop oder in einem Stereomikroskop oder in einem Stereolaryngoskop umfasst ist.
Messverfahren zum Überprüfen eines Messbildzustandes und/oder einer Kalibrierqualität eines Stereomessbildes, umfassend die Schritte: Erfassen zumindest eines ersten Messbildes (109) von einem Messobjekt (112) in einer Szene aus einem ersten Blickwinkel; Erfassen zumindest eines zweiten Messbildes (111) von dem Messobjekt (112) in der Szene aus einem zweiten Blickwinkel, der sich von dem ersten Blickwinkel unterscheidet; und Erzeugen eines Stereomessbildes aus dem zumindest ersten Messbild (109) und dem zumindest zweiten Messbild (111) durch Stereorekonstruktion, wobei in dem Stereomessbild zu einzelnen Bildpunkten des Stereomessbildes Tiefeninformationen umfasst sind; gekennzeichnet durch die Schritte: Überprüfen eines Messbildzustandes des zumindest ersten Messbildes (109) und/oder des zumindest zweiten Messbildes (111) auf ein Vorliegen zumindest eines Erfassungsdefektes; und/oder Überprüfen der Kalibrierqualität des Stereomessbildes auf Basis von Kalibrierparametern; und, wenn der zumindest eine Erfassungsdefekt einen vorbestimmten Schwellwert über- oder unterschreitet, Anzeigen eines ersten Warnhinweises, und/oder wenn die Kalibrierqualität einen vorbestimmten Qualitätsgrenzwert unterschreitet, Anzeigen eines zweiten Warnhinweises.