DE112007003553T5 - Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen - Google Patents

Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen Download PDF

Info

Publication number
DE112007003553T5
DE112007003553T5 DE112007003553T DE112007003553T DE112007003553T5 DE 112007003553 T5 DE112007003553 T5 DE 112007003553T5 DE 112007003553 T DE112007003553 T DE 112007003553T DE 112007003553 T DE112007003553 T DE 112007003553T DE 112007003553 T5 DE112007003553 T5 DE 112007003553T5
Authority
DE
Germany
Prior art keywords
parametric
feature
area
interest
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112007003553T
Other languages
English (en)
Other versions
DE112007003553B4 (de
Inventor
Torsten Kludas
Nick Mein
Brendon Swann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trimble Jena GmbH
Original Assignee
Trimble Jena GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trimble Jena GmbH filed Critical Trimble Jena GmbH
Publication of DE112007003553T5 publication Critical patent/DE112007003553T5/de
Application granted granted Critical
Publication of DE112007003553B4 publication Critical patent/DE112007003553B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/04Adaptation of rangefinders for combination with telescopes or binoculars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Merkmalsdetektionsvorrichtung, umfassend
eine Eingabeeinheit zum Empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, der Teile eines Objekts umfasst;
eine Parameterbereichs-Definiereinheit zum Definieren von Bereichen von mindestens zwei Parametern einer in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet;
eine Parameterauswahleinheit zum Auswählen einer Kombination von Parameterwerten von den Parameterbereichen, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt; und
eine Ausgabeeinheit zum Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten zur Anzeige in dem digitalen Bild.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft eine Merkmalsdetektionsvorrichtung und -Verfahren zum Messen von Strukturen eines Objekts, und insbesondere eine Merkmalsdetektionsvorrichtung und -Verfahren zum Messen von Strukturen, wie zum Beispiel diffuse bzw. streuende reflektierende Strukturen.
  • HINTERGRUND
  • Optische Instrumente, wie zum Beispiel Vermessungsinstrumente, werden gewöhnlich verwendet zum Abstandsmessen und umfassen eine komplexe Anordnung von optischen und elektronischen Elementen.
  • In den letzten Jahren wurden Bildgebungsgeräte untersucht bei Vermessungsinstrumenten, die digitale Videodaten eines Objekts bereitstellen zusätzlich zu Abstandsmessinformation. Die Bildgebungs- und Abstandsmessinformation können horizontale und vertikale Winkel, einen Abstand zu dem Objekt und ein Bild des Objekts, das seine Strukturen zeigt, enthalten. Diese Information kann dann verwendet werden zum Erzeugen einer dreidimensionalen Darstellung des Objekts.
  • Jedoch kann aufgrund des Fortschritts in der Technik eine sehr große Datenmenge erhalten werden durch Bildgebung und Abstandsmessungen, die korrekt verarbeitet und analysiert werden muss.
  • Mehrere Arten wurden vorgeschlagen zum Erhalten eines Bildes mit einem optischen Instrument, und Messen des Abstands zu jedem Pixel in dem Bild zur gleichen Zeit durch beispielsweise sequentielles Scannen und Messen jeder Position entsprechend einem Punkt in einem dreidimensionalen Gitter.
  • Beispielsweise wurden optische Vermessungsinstrumente mit Bildgebung, Richtungs- und Abstandsmessfähigkeiten mit einem schnell rotierenden Polygonspiegel für Laserstrahlreflektionen vorgeschlagen, wobei ein Laserstrahl über ein Objekt gescant wird, während ein Abstand zu einer Position auf dem Objekt gemessen wird und die horizontalen und vertikalen Richtung zu der Position auf dem Objekt mit Bezug auf die Spiegelposition des Instruments aufgezeichnet werden.
  • Alternativ kann ein Bild mit einer Kamera im Voraus aufgezeichnet werden, und Positionen, die Pixel in dem Bild entsprechen, können dann abgeleitet und getrennt durch ein Abstandsmessgerät gemessen werden.
  • In jedem der oben angesprochenen optischen Instrumente wird eine große Menge von Abstands- und Winkelinformation erhalten, wobei oft der größte Teil der Daten von keinem wirklichen Interesse für den Benutzer ist, da sie sich nicht auf das gewünschte Objekt oder spezifische Objektmerkmale, die zu analysieren sind, beziehen. Dieser Teil der Information verringert die Geschwindigkeit der Messung und benötigt eine große Verarbeitungsleistung, so dass oft eine Echtzeitdatenverarbeitung nicht möglich ist.
  • Dies bedeutet, dass der Benutzer die aufgezeichneten Daten an einen getrennten Computer transferieren muss und die Daten von Interesse nach Datenerfassung auswählen muss.
  • Andererseits kann ein Spezifizieren der zu erfassenden Daten im Voraus vor der Datenerfassung durch den Benutzer zeitaufwendig und kompliziert sein, speziell in Bedingungen im freien Gelände, wie zum Beispiel Schnee, Regen und Wind, wo eine schnelle automatische Erfassung bevorzugt wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Deshalb gibt es einen Bedarf für eine Merkmalsdetektionsvorrichtung und -Verfahren, die eine Benutzerintervention und Betriebszeit minimieren, und eine schnelle und einfache Datenverarbeitung und -Erfassung ermöglichen.
  • Gemäß einer Ausführungsform umfasst eine Merkmalsdetektionsvorrichtung eine Eingabeeinheit zum Empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, umfassend Teile eines Objekts; eine Parameterbereichs-Definiereinheit zum Definieren von Bereichen von mindestens zwei Parametern einer parametrischen Form, die in das digitale Bild einzubringen ist, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet; eine Parameterauswahleinheit zum Auswählen einer Kombination von Parameterwerten von den Parameterbereichen, für die die parametrische Form eine Näherung an Objektmerkmale des Objekts in dem Bereich von Interesse darstellt; und eine Eingabeeinheit zum Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten für eine Anzeige in dem digitalen Bild. Demgemäß können Näherungen an Objektmerkmale schnell erhalten werden unter Verwendung von parametrischen Formen als Näherungen in einem begrenzten Bereich, wobei eine einfache Auswahl von möglichen Kombinationen von Parameterwerten für parametrische Formen erreicht wird durch Einstellen von einfachen Randbedingungen, die die Eingabe und Verarbeitungszeit verringern.
  • Gemäß einem vorteilhaften Beispiel ist die Eingabeeinheit ausgebildet zum Empfangen von Information, die die parametrische Form identifiziert, wobei die parametrische Form eine von einer Vielzahl von vorauswählbaren Kandidaten-Parametrischen-Formen darstellt. Demgemäß kann eine Verarbeitungszeit weiter verringert werden, da mögliche parametrische Formen als Näherungen an ein Objektmerkmal begrenzt sind.
  • Gemäß einem anderen vorteilhaften Beispiel ist die Parameterbereichs-Definiereinheit ausgebildet zum Definieren von Bereichen von Parametern einer Vielzahl von unterschiedlichen parametrischen Formen, für die jede der parametrischen Formen mindestens eine von den Bereichsindikatorlinien schneidet. Demgemäß kann die Parameterbereichs-Definiereinheit von verschiedenen Bereichen von Parametern von verschiedenen parametrischen Formen auswählen, so dass die Qualität der Annäherung an ein Objektmerkmal erhöht werden kann.
  • Gemäß einem anderen vorteilhaften Beispiel ist die Parameterauswahleinheit ausgebildet zum Auswählen der Kombination von Parameterwerten, so dass die parametrische Form eine Best-Fit-Näherung bzw. Ausgleichsnäherung an das Objektmerkmal des Objekts in dem Bereich von Interesse darstellt. Demgemäß können Näherungen an die Objektmerkmale erhalten werden, die die beste mögliche Kombination von Parameterwerten einer spezifischen parametrischen Form darstellen, so dass das Objektmerkmal in einfachen mathematischen Ausdrücken beschrieben werden kann ohne Ableiten von den tatsächlichen Merkmalen.
  • Gemäß einem anderen vorteilhaften Beispiel ist die Parameterbereichs-Definiereinheit ausgebildet zum Definieren von Teilbereichen von den mindestens zwei Parametern von mindestens einer parametrischen Form, für die die mindestens eine parametrische Form mindestens zwei Bereichsindikatorlinien schneidet. Demgemäß werden die Randbedingungen für die Auswahl der verschiedenen Parameterwerte von einer spezifischen parametrischen Form verändert, so dass die Anzahl der möglichen Kombinationen von Parameterwerten abnimmt, und ähnlich auch die Verarbeitungszeit.
  • Gemäß einem anderen vorteilhaften Beispiel ist die Eingabeeinheit ausgebildet zum Empfangen von mindestens zwei Indikatorpunkten zum Definieren der Endpunkte einer Indikatorlinie. Demgemäß kann eine Bereichsindikatorlinie einfach definiert werden durch zwei Punkte, die die Eingabe von solch einer Randbedingung vereinfachen.
  • Gemäß einem anderen vorteilhaften Beispiel basieren die mindestens zwei Bereichsindikatorlinien auf zwei Indikatorpunkten, wobei die Bereichsindikatorlinien sich durch die Indikatorpunkte erstrecken, so dass die Bereichsindikatorlinien einen im Wesentlichen rechteckigen Bereich von Interesse definieren. Demgemäß ist es möglich, einen Bereich von Interesse schnell zu definieren durch einfaches Verwenden von zwei Indikatorpunkten, so dass es nicht notwendig ist, vollständige Linien oder eine vollständige zweidimensionale Umrandung einzugeben, um einen Bereich von Interesse in dem digitalen Bild zu definieren.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst die Merkmalsdetektionsvorrichtung ferner eine Detektionseinheit zum Erhalten von Objektmerkmalspixel des Objektmerkmals in dem Bereich von Interesse durch Verarbeiten des Bereichs von Interesse unter Verwendung eines Detektionsalgorithmus, oder durch einen Betreiber zum Auswählen der Objektmerkmalspixel in dem Bereich von Interesse. Demgemäß können Pixel entsprechend zu den Positionen des Objektmerkmals automatisch und/oder schnell erhalten werden.
  • Gemäß einem vorteilhaften Beispiel umfasst die Merkmalsdetektionsvorrichtung ferner eine Berechnungseinheit zum Berechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel des Objektmerkmals. Demgemäß kann die Näherung direkt berechnet werden in der Merkmalsdetektionsvorrichtung, was die Geschwindigkeit der Berechnung erhöht.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst die Merkmalsdetektionsvorrichtung eine Filtereinheit zum Herausfiltern von den erhaltenen Objektmerkmalspixel Objektmerkmalspixel, die einen spezifischen Abstand zu der parametrischen Form überschreiten, auf Grundlage der ausgewählten Kombination von Parameterwerten, und eine Neuberechnungseinheit zum Neuberechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel, die die Objektmerkmalspixel, die den spezifischen Abstand überschreiten, nicht enthalten. Demgemäß kann eine akkuratere Näherung an das Objektmerkmal erhalten werden durch Bestimmen von Ausreißerpixeln und Neuberechnen der Näherung ohne diese Ausreißerpixel bzw. Außenseitenpixel.
  • Gemäß einem anderen vorteilhaften Beispiel wird die parametrische Form, die auf den ausgewählten Parameterwerten basiert, überlagert auf dem Objektmerkmal in dem digitalen Bild auf einer Anzeigeeinheit. Demgemäß ist es für einen Betreiber möglich, die Qualität der Näherung und die Leistungsfähigkeit des Systems schnell zu verifizieren und einzuschreiten, falls nötig.
  • Gemäß einem anderen vorteilhaften Beispiel ist die Parameterauswahleinheit ausgebildet zum Auswählen einer anderen Kombination von Parameterwerten für die Parameterbereiche, für die eine zweite parametrische Form eine Näherung an ein zweites Objektmerkmal in dem Bereich von Interesse darstellt, und wobei eine Zentrallinie zwischen den zwei parametrischen Formen berechnet wird. Demgemäß kann nicht nur der Umriss eines Objekts in einer zweidimensionalen Darstellung detektiert werden, aber es ist auch möglich, das Zentrum bzw. den Mittelpunkt eines Objekts zu bestimmen.
  • Gemäß einer anderen Ausführungsform wird ein optisches Instrument bereitgestellt, das die oben angesprochene Merkmalsdetektionsvorrichtung umfasst. Demgemäß kann die Merkmalsdetektionsvorrichtung integriert werden in einem optischen Instrument für eine verbesserte Datenverarbeitung.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst das optische Instrument ferner ein erstes Steuerelement zum Definieren auf der parametrischen Form eines Messpixels und Umwandeln des Messpixels in eine Näherung von Koordinaten einer Position der zu messenden Position unter Annahme eines Standardabstands zwischen der Position und dem optischen Instrument. Demgemäß kann der Abstand einer Position des Objekts gemessen werden mit dem Wissen der Koordinaten der Position.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst das optische Instrument ferner eine Linsenanordnung zum Anvisieren des Objekts, eine Positionierungseinheit zum Anpassen der optischen Achse der Linsenanordnung relativ zu mindestens einer Referenzachse, und ein zweites Steuerelement, ausgebildet zum Instruieren der Positionierungseinheit, die optische Achse der Linsenanordnung auf die zu messende Position anzupassen. Demgemäß kann die Näherung der Koordinaten einer Position des Objekts verwendet werden zum Anpassen der optischen Achse der Linsenanordnung auf die zu messende Position.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst das optische Instrument ferner eine Abstandsmesseinheit zum Messen eines Abstands zu dem Objekt entlang einer Messachse der Abstandsmesseinheit parallel zu der optischen Achse der Linsenanordnung, wobei das zweite Steuerelement ausgebildet ist zum Instruieren der Abstandsmesseinheit, den Abstand zu der zu messenden Position zu messen, und das erste Steuerelement ist ferner ausgebildet zum Neuberechnen der Koordinaten der Position auf Grundlage des gemessenen Abstands. Demgemäß können die Koordinaten der Position mit hoher Genauigkeit erhalten werden, da die Koordinaten iterativ erhalten werden, was Messfehler aufgrund von möglichen Anordnungs-Offsets in dem optischen Instrument eliminiert.
  • Gemäß einem anderen vorteilhaften Beispiel umfasst das optische Instrument ferner eine Kamera, ausgerichtet zu der optischen Achse der Linsenanordnung zum Erfassen des Bilds des Bereichs von Interesse, das Teile des Objekts umfasst. Demgemäß wird das Bild des Bereichs von Interesse und seine Positionsbeziehung mit Bezug auf das optische Instrument mit hoher Genauigkeit erhalten.
  • Gemäß einer anderen Ausführungsform umfasst ein Verfahren, empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, der Teile eines Objekts umfasst; Definieren von Bereichen von mindestens zwei Parametern einer in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet; Auswählen einer Kombination von Parameterwerten für die Parameterbereiche, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt; und Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten zum Anzeigen in dem digitalen Bild. Demgemäß können Näherungen an Objektmerkmale schnell erhalten werden durch Verwenden von parametrischen Formen als Näherungen in einem begrenzten Bereich, wobei eine vereinfachte Auswahl von möglichen Kombinationen von Parameterwerten für parametrische Formen erreicht wird durch Setzen von einfachen Randbedingungen, die die Eingabe und Verarbeitungszeit verringern.
  • Gemäß einer anderen Ausführungsform kann ein Programm bereitgestellt werden, das Instruktionen enthält, ausgebildet zum Hervorrufen in einem Datenverarbeitungsmittel, ein Verfahren mit den obigen Merkmalen auszuführen.
  • Gemäß einer anderen Ausführungsform kann ein computerlesbares Medium bereitgestellt werden, in dem ein Programm verkörpert ist, wobei das Programm einen Computer veranlasst, das Verfahren mit den obigen Merkmalen auszuführen.
  • Gemäß einer anderen Ausführungsform kann ein Computerprogrammprodukt bereitgestellt werden, das das computerlesbare Medium umfasst.
  • Weitere vorteilhafte Merkmale der Erfindung werden in den Ansprüchen offenbart.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 stellt eine Merkmalsdetektionsvorrichtung gemäß einer Ausführungsform der Erfindung dar.
  • 2 stellt Betriebsvorgänge zum Erhalten einer parametrischen Form auf Grundlage einer Kombination von Parameterwerten dar, die eine Näherung an ein Objektmerkmal darstellt, und ist ein Verfahren gemäß einer Ausführungsform der Erfindung.
  • 3A stellt ein Bild eines linearen Objekts und eine parametrische Form dar, die eine Näherung an ein Objektmerkmal des linearen Objekts darstellt.
  • 3B zeigt die Grundzüge zum Detektieren eines Objektmerkmals.
  • 4A zeigt die bekannten Grundzüge zum Detektieren einer idealen unverzerrten Ellipse.
  • 4B zeigt die Grundzüge zum Detektieren einer verzerrten Ellipse gemäß der Erfindung.
  • 5 zeigt Betriebsvorgänge einer Modifizierung des in 2 gezeigten Verfahrens.
  • 6 zeigt Betriebsvorgänge einer anderen Modifizierung des in 2 gezeigten Verfahrens.
  • 7 zeigt Betriebsvorgänge einer anderen Modifizierung des in 2 gezeigten Verfahrens.
  • 8 zeigt ein optisches Instrument gemäß einer anderen Ausführungsform der Erfindung.
  • 9 zeigt Betriebsvorgänge eines Verfahrens zum Erhalten von akkurater Abstands- und Bildinformation gemäß einer Ausführungsform der Erfindung, insbesondere darstellend Pre-Scan- bzw. Vor-Scan-Betriebsvorgänge.
  • 10A10E zeigen mehrere Beispiele, in denen die Merkmalsdetektionsvorrichtung und -Verfahren angewendet werden.
  • 11a11C zeigen praktische Anwendungen der Merkmalsdetektionsvorrichtung und -Verfahren.
  • 12 zeigt ein Arbeitsablaufdiagramm, das die unterschiedlichen Betriebsvorgänge des Merkmalsdetektionsverfahrens auf verschiedenen Ebenen zeigt.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Bevorzugte Ausführungsformen der Erfindung werden mit Bezug auf die Zeichnungen beschrieben. Es wird bemerkt, dass die folgende Beschreibung nur Beispiele enthält und nicht als die Erfindung begrenzend ausgelegt werden sollte.
  • Ausführungsformen der Erfindung betreffen im Allgemeinen ein Erhalten einer parametrischen Form auf Grundlage einer Kombination von Parameterwerten als Näherung an ein Objektmerkmal, und insbesondere ein Verbessern der Qualität von solch einer Näherung und der Geschwindigkeit, die benötigt wird zum Erhalten solch einer Näherung, durch intelligentes Kombinieren von einer Benutzerbetriebseingabe und automatischer Bildverarbeitung.
  • Kurz ausgedrückt, kann ein Bereich von Interesse, der Teile eines Objekts umfasst, definiert werden durch mindestens zwei einfache Striche, beispielsweise auf einem berührungsempfindlichen Bildschirm, die Bereichsindikatorlinien darstellen, wobei eine parametrische Form gefittet bzw. angepasst wird an ein Objektmerkmal des Objekts in dem Bereich von Interesse mit der Randbedingung, dass die parametrische Form mindestens eine der zwei Striche schneidet. Die parametrische Form kann definiert werden durch zwei Parameter oder mehr mit verschiedenen Bereichen, die alle die Randbedingung erfüllen. Von diesen Bereichen führen jedoch nur eine oder wenige Kombinationen von Parameterwerten zu einer guten Näherung der parametrischen Form an das Objektmerkmal. Letztendlich können mehrere Positionen von Exzellenzpunkten auf dem Objektmerkmal dann gemessen werden durch ein optisches Vermessungsinstrument.
  • 1 zeigt Elemente einer Merkmalsdetektionsvorrichtung 100 gemäß einer Ausführungsform der Erfindung, umfassend eine Eingabeeinheit 110, eine Parameterbereichs-Definiereinheit 120, eine Parameterauswahleinheit 130 und eine Ausgabeeinheit 140.
  • Diese Einheiten können alle individuelle Einheiten darstellen, die miteinander verbunden sind, oder können integriert sein in einer Einheit. Die Einheiten oder die integrierte Einheit kann realisiert werden durch eine Hardware-Anordnung, wie zum Beispiel verdrahtete Schaltungen oder ASIC (Application Specific Integrated Circuits bzw. anwendungsspezifische integrierte Schaltungen) oder Software oder irgendeine passende Kombination der Obigen. Die Funktionen, die durch die Eingabeeinheit 110 ausgeführt werden, sowie der Parameterbereichs-Definiereinheit 120, der Parameterauswahleinheit 130 und der Ausgabeeinheit 140 werden im Detail unten beschrieben.
  • Die Eingabeeinheit 110 ist ausgebildet zum Empfangen von Bereichsindikatorlinien zum Definieren in einem digitalen Bild des Bereichs von Interesse, umfassend Teile eines Objekts. Dies bedeutet, dass die Eingabeeinheit 110 eine Schnittstelle darstellt zum Empfangen von Information von einem Benutzer oder einem anderen Gerät. Es ist denkbar, dass Information über die Position von Bereichsindikatorlinien empfangen wird durch eine drahtlose Verbindung, wie zum Beispiel die Eingabeeinheit 110 empfängt Information über Bereichsindikatorlinien durch die Luftschnittstelle, wobei die Bereichsindikatorlinien eingegeben wurden auf einem unterschiedlichen Gerät und dann übertragen wurden durch einen Sender an die Eingabeeinheit. Ferner kann anstatt einer drahtlosen Übertragung auch eine feste Leitungsverbindung verwendet werden.
  • In einem einfachen Beispiel, wo ein digitales Bild gezeigt wird auf einem Bildschirm, wie zum Beispiel einem LCD-Bildschirm, kann die Eingabeeinheit 110 einen berührungsempfindlichen Bildschirm darstellen, auf dem die Bereichsindikatorlinien mit einem Zeigestift (Stylus) markiert werden. Jedoch kann, wie oben angedeutet, solch ein berührungsempfindlicher Bildschirm auch an einem entfernt liegenden Ort bereitgestellt werden, so dass die Eingabeeinheit 110 der Merkmalsdetektionsvorrichtung 100 nur eine Art von Schnittstelle ist, die die Information empfängt, die eingegeben wird in den berührungsempfindlichen Bildschirm durch eine drahtlose Technik oder feste Leitungsverbindungen.
  • Die Parameterbereichs-Definiereinheit 120 wird bereitgestellt zum Definieren von Bereichen von mindestens zwei Parametern der in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet. Wie oben diskutiert, umfasst das digitale Bild Teile des Objekts und wird beispielsweise aufgenommen durch eine Kamera, wie zum Beispiel eine CCD-Kamera, die Licht in elektrische Signale umwandelt.
  • Beispielsweise kann die parametrische Form eine gerade Linie sein, definiert durch zwei Parameter, wie zum Beispiel ax + b. Unter dieser Randbedingung, dass die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet, können Bereiche eines Parameters a und Parameters b erhalten werden, so dass unterschiedliche Werte von a und b diese Bedingung erfüllen.
  • Die parametrische Form ist bevorzugt nicht begrenzt auf eine lineare gerade Linie, aber kann auch dargestellt werden durch andere Funktionen, wie zum Beispiel eine Parabel, Hyperbel, Ellipse, etc. Deshalb kann die Parameterbereichs-Definiereinheit auch ausgebildet sein zum Definieren von Bereichen von Parametern einer Vielzahl von unterschiedlichen Formen, für die jede der parametrischen Formen mindestens eine der Bereichsindikatorlinien schneidet.
  • Die Parameterauswahleinheit 130 wird bereitgestellt zum Auswählen einer Kombination von Parameterwerten von den oben diskutierten Parameterbereichen, für die die Parameterform eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt. Mit anderen Worten ausgedrückt, fittet die Parameterauswahleinheit 130 Parameterformen des gleichen Typs aber unterschiedlicher Kombinationen von Parameterwerten an das Objektmerkmal, bis eine gute Näherung an das Objektmerkmal erhalten wird.
  • Beispielsweise kann die Parameterauswahleinheit 130 Information aufweisen über ein Objektmerkmal des Objekts, sowie Information über die Parameterbereiche von einer oder einer Vielzahl von parametrischen Formen, wobei die spätere erhalten wird von der Parameterbereichs-Definiereinheit 120. Dann wählt die Parameterauswahleinheit eine Kombination von Parameterwerten aus, so dass die Parameterform auf Grundlage dieser Parameterwerte eine gute Näherung an das Objektmerkmal darstellt durch Vergleichen von Abweichungen zwischen jeder einzelnen von mehreren parametrischen Formen auf Grundlage spezifischer Kombinationen von Parameterwerten mit dem Objektmerkmal, und Auswählen der Parameterform, so dass die Abweichung klein ist.
  • Bevorzugt wählt die Parameterauswahleinheit 130 die Kombination von Parameterwerten aus, so dass die parametrische Form eine Best-Fit-Näherung an das Objektmerkmal darstellt. Beispielsweise wird, wie oben beschrieben, die Abweichung zwischen dem Objektmerkmal und der parametrischen Form in dem Bereich von Interesse berechnet, und die Parameterwerte und verschiedene Parameterformen werden variiert, so dass die Abweichung minimiert wird. Jedoch sollte bemerkt werden, dass auch parametrische Formen, die nur eine wenig gute Näherung an ein Objektmerkmal darstellen, ausreichend sein können für mehrere Anwendungen, insbesondere da solche Kombinationen von Parameterwerten schneller erhalten werden können, und die grobe Form des Objektmerkmals ohne Abbilden desselben im Detail annähern können.
  • Die Ausgabeeinheit 140 stellt die parametrische Form bereit auf Grundlage der Kombination der Parameterwerte, die oben empfangen werden zur Anzeige in dem digitalen Bild. Mit anderen Worten ausgedrückt, bildet ähnlich zu der Eingabeeinheit, die die Eingabeschnittstelle bildet, die Ausgabeeinheit die Ausgabeschnittstelle. Dies bedeutet, dass die parametrische Form nicht angezeigt werden muss bei der Merkmalsdetektionsvorrichtung 100, aber einer anderen Einheit bereitgestellt werden kann, wie zum Beispiel eine Anzeigeeinheit, die sich in einem entfernten Ort befinden kann.
  • Hier kann wieder die Information über die parametrische Form und ihre Position relativ zu dem Objektmerkmal in dem Bereich von Interesse drahtlos oder durch eine feste Leitungsverbindung kommuniziert werden. Wie oben diskutiert, kann in einem sehr einfachen Beispiel die Ausgabeeinheit 140 ein Teil der Anzeigeeinheit sein, und die parametrische Form, die auf den ausgewählten Parameterwerten basiert, kann überlagert werden auf dem Objektmerkmal in dem digitalen Bild auf der Anzeigeeinheit. Jedoch ist ein Anzeigen nicht wesentlich, da die Daten auch in einem Speicher gespeichert werden können für eine weitere Verarbeitung oder Betrachtung zu einer späteren Zeit.
  • Während einem Betrieb der in 1 gezeigten Anordnung empfängt die Eingabeeinheit 110 zwei Bereichsindikatorlinien, so dass die Parameterbereichs-Definiereinheit 120 Bereiche von mindestens zwei Parametern der parametrischen Form definieren kann, die mindestens eine der Linien schneidet.
  • Sobald die Bereichsindikatorlinien und die möglichen Bereiche der Parameter der parametrischen Form bekannt sind, kann die Parameterauswahleinheit 130 dann eine Kombination von Parameterwerten auswählen, die für die die parametrische Form bevorzugt eine gute Näherung an ein Objektmerkmal darstellt, wobei die parametrische Form, basierend auf dieser Kombination, weiter bereitgestellt werden kann, um angezeigt oder gespeichert zu werden.
  • Deshalb kann, wie oben diskutiert, eine effiziente Kombination von Benutzerbetriebsvorgängen und automatischer Bildverarbeitung erhalten werden zum Definieren in einem digitalen Bild eines kleinen Bereichs von Interesse, in dem ein Objektmerkmal leichter detektiert wird, so dass Parameterwerte, für die eine parametrische Form eine Näherung darstellt, schnell ohne eine lange Eingabe und Verarbeitungszeit erhalten werden kann.
  • Im Folgenden werden Betriebe der Merkmalsdetektionsvorrichtung mit Bezug auf 2 beschrieben.
  • 2 stellt ein Flussdiagramm von Betrieben eines Merkmalsdetektionsverfahrens dar zum Erhalten einer parametrischen Form auf Grundlage einer Kombination von Parameterwerten, die eine Näherung an ein Objektmerkmal darstellt, wie zum Beispiel während einem Betrieb der Merkmalsdetektionsvorrichtung 100, gezeigt in 1.
  • In einem ersten Schritt 210, wenn ein Betrieb gestartet wird, werden mindestens zwei Bereichsindikatorlinien empfangen zum Definieren in einem digitalen Bild eines Bereichs von Interesse, der Teile eines Objekts umfasst. Wie oben diskutiert, können die Bereichsindikatorlinien empfangen werden auf verschiedene Arten, beispielsweise durch direktes Eingegebenwerden in die Eingabeeinheit 110 oder elektronisch oder optisch empfangen als Datenstrom.
  • In einem nachfolgenden Schritt 220 werden Bereiche von mindestens zwei Parametern einer parametrischen Form, die einzuführen ist in das digitale Bild, definiert, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet. Dieser Schritt kann automatisch starten, nachdem Information über die Bereichsindikatorlinien erhalten wird. Bevorzugt werden Parameterbereiche einer Vielzahl von parametrischen Formen definiert. Jedoch ist es auch möglich, eine oder mehrere parametrische Formen im Voraus vorauszuwählen, um die Anzahl der parametrischen Formen und ihre entsprechenden Parameterbereiche zu begrenzen, was die Zeit verringert, die benötigt wird zum Definieren der Bereich durch eine Parameterbereichs-Definiereinheit. Dies wird im Detail weiter unten beschrieben.
  • In einem Schritt 230, nachdem mindestens zwei Bereichsindikatorlinien empfangen werden, und Parameterbereiche gemäß der Schritte 210 und 220 definiert werden, wird eine Kombination von Parameterwerten ausgewählt von Bereichen, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts darstellt.
  • Beispielsweise wird, falls das Objektmerkmal in dem Bereich von Interesse eine gerade Linie ist, die parametrische Form einer geraden Linie, nämlich ax + b, ausgewählt mit Parameterwerten für a und b, so dass die parametrische Form und das Objektmerkmal dem Grunde nach aufeinander liegen, das heißt, ähnlichen Pixeln in einem digitalen Bild entsprechen.
  • Es wird nochmals bemerkt, dass ein digitales Bild selbst nicht notwendiger Weise angezeigt werden muss und von einem Benutzer betrachtet werden muss, da die vorliegende Erfindung auch anwendbar ist auf die zu Grunde legenden elektronischen Daten des digitalen Bildes und entsprechenden elektronischen Daten der parametrischen Form. Möglichkeiten zum Erhalten eines Objektmerkmals von elektronischen Daten, erfasst durch ein Bildgebungsgerät, werden später diskutiert.
  • Wie oben beschrieben, wird bevorzugt die Kombination der Parameterwerte derart ausgewählt, dass die parametrische Form eine Best-Fit-Näherung das Objektmerkmal des Objekts darstellt. Um dies zu erreichen, können bekannte Fitting- bzw. Anpassalgorithmen verwendet werden, wie zum Beispiel das kleinste-Quadrate-Fitten.
  • Letztendlich wird in einem Schritt 240 die parametrische Form auf Grundlage der Kombination von Parameterwerten bereitgestellt zur Anzeige in beispielsweise einem digitalen Bild einer Anzeigeeinheit. Bereitstellen der parametrischen Form kann bedeuten: Ausgeben der parametrischen Formdaten an einen Speicher oder entfernte Anzeigeeinheit, direkt an eine Anzeigeeinheit, an einen Prozessor, in dem sie weiter verarbeitet werden, oder an ein drahtloses oder fest verdrahtetes Netzwerk, so dass die Daten durch andere Geräte verwendet werden können.
  • Im Folgenden werden mit Bezug auf 3A und 3B Beispiele der vorhergehenden beschriebenen Betriebsvorgänge detaillierter beschrieben.
  • 3A zeigt ein Beispiel eines Bildschirms, der den Betrieb und Steuerung der Merkmalsdetektionsvorrichtung 100 zeigt. Ein Teil eines Objekts wird in Grau gezeigt in einem digitalen Bild auf dem Bildschirm, wobei das entsprechende Objektmerkmal 31 als zackige Linie in der Mitte des digitalen Bildes gezeigt wird. Bereichsindikatorlinien 32 werden gezeigt, im Wesentlichen orthogonal zu der zackigen Linie 31, die die zackige Linie am oberen Ende und am unteren Ende des gezeigten Bildes schneiden. Eine Näherung der zackigen Linie 31 ist gezeigt durch die gestrichelte Näherungslinie 33, die die Kante des Objekts interpoliert, nämlich das Objektmerkmal des in dem Bild gezeigten Objekts. Das Objekt, wie zum Beispiel eine Wand, ein Gebäude, ein Baum, eine Strasse, etc. ist oft eine nicht-reflektierende oder diffuse Struktur.
  • 3B beschreibt die Prinzipien des Prozesses zum Erhalten der gestrichelten Näherungslinie der 3A. Die Bereichsindikatorlinien 32 von 3A und 3B, die durch ein Zeigegerät bzw. Stylus auf einem berührungsempfindlichen Bildschirm gezeichnet wurden oder erhalten wurden durch ein anderes Verfahren, das oben diskutiert wurde, decken den Bereich von Interesse ab, in dem ein Objektmerkmal, beispielsweise eine zackige Kante eines Objekts, vorliegt.
  • Im Einzelnen zeigt 3B mehrere Strahlen, die definiert sind zum Detektieren einer gewissen Anzahl von Pixeln an der Objektkante, darstellend Objektmerkmalspixel. Solch eine Detektion kann durchgeführt werden durch einen Detektionsalgorithmus, der eine Kantendetektion in dem Bereich von Interesse ausführt, beispielsweise durch Analysieren der Grauwerte in dem Bild entlang eines Strahls. Dabei können mehrer Objektmerkmalspixel automatisch erhalten werden.
  • Mit anderen Worten ausgedrückt, sollte die parametrische Form oder Teile von ihr ungefähr innerhalb des Bereichs von Interesse lokalisiert sein, der definiert wird durch die Indikatorlinien. Ferner ist die parametrische Form ungefähr orthogonal zu Strahlen, die parallel zu den Indikatorlinien gezeichnet werden.
  • Es sollte bemerkt werden, dass anstatt eines Verwendens eines Detektionsalgorithmus, Objektmerkmalspixel auch gekennzeichnet werden können oder definiert werden können durch einen Benutzer direkt auf einer Anzeigeeinheit.
  • Sobald mehrere Objektmerkmalspixel auf der zackigen Kannte des Objekts definiert sind, können diese Pixel verwendet werden zum Berechnen einer Näherung an das Objektmerkmal auf Grundlage eines bekannten Fitting-Algorithmus.
  • In diesem Beispiel wird eine gerade Näherungslinie 33 an die Objektmerkmalspixel gefittet als lineare Näherung an das Objektmerkmal des Objekts. Im Einzelnen basiert die Näherungslinie 33 auf einer parametrischen Form, nämlich einer geraden Linie, die gegeben wird durch den mathematischen Ausdruck f(x) = ax + b. Auf der Näherungslinie kann ein Mess-Cursor bzw. Messkreuz 34 bewegt werden mit einem Operations-Cursor 35 durch beispielsweise eine Computermaus, Joystick, Trackball, Zeigestift in einer Umgebung eines berührungsempfindlichen Bildschirms, oder ähnlichem, oder der Mess-Cursor kann direkt auf der Näherungslinie mit einem der erwähnten Geräte bewegt werden ohne einen Operations-Cursor. Die oben erwähnten Geräte können auch verwendet werden zum Kennzeichnen der Bereichsindikatorlinien auf dem digitalen Bild.
  • Auf der rechten Seite von 3A und 3B sind Tasten gezeigt, die ein Menü darstellen zum Definieren einer Fitting-Betriebsart. Beispielsweise kennzeichnet die Taste 36a, wenn gedrückt oder anderweitig aktiviert, dass eine gerade Linie verwendet werden sollte zum Fitten. Deshalb kann Information, die die parametrische Form identifiziert, die zu verwenden ist, zum Erhalten der Näherungslinie, erhalten werden, wobei die parametrische Form eine von einer Vielzahl von vorausgewählten Kandidaten-Parametrischen-Formen darstellt. Deshalb können die Tasten als Teil einer Eingabeeinheit betrachtet werden.
  • Der Mess-Cursor 34 kann nach oben und unten auf der Näherungslinie 33 bewegt werden, wie oben beschrieben, und daher kann eine Position gekennzeichnet werden, für die eine Messung erhalten werden sollte.
  • Die Position des Mess-Cursors 34 entspricht einem Messpixel in dem Bild. Für Vermessungsinstrumente mit Bildgebungsfähigkeit wurden Verfahren beschrieben zum Umwandeln der Position eines Pixels in dem Bild zu den entsprechenden Koordinaten einer Position auf dem reellen Objekt, gekennzeichnet durch horizontale und vertikale Winkel.
  • Beispielsweise sind der horizontale und vertikale Winkel HA, VA am unteren Teil der 3A und 3B die Koordinaten der Position auf dem Objekt entsprechend dem Pixel in dem Zentrum des digitalen Bildes. Dies bedeutet, dass die Koordinaten die Richtung kennzeichnen, in der das gezeigte Bild aufgenommen ist durch eine Kamera mit Bezug auf ein Koordinatensystem der Kameraeinstellung oder optischem Instrument.
  • Sobald die Position des Objekts bekannt ist, kann eine Abstandsmesseinheit eines Vermessungsinstruments verwendet werden zum Erhalten des Abstands zu dieser Position, hier gekennzeichnet durch SD. Solch ein Messprozess wird ferner unten beschrieben.
  • Nachfolgend können andere ausgewählte Positionen gemessen werden auf der Näherungslinie mittels Bildverarbeitung und Umwandeln der Pixel in dem Bild zu entsprechenden Positionen auf dem Objekt und letztendlich Messen der entsprechenden Abstände. Diese Positionen können betrachtet werden als Exzellenzpunkte des Objekts, da schon einige dieser Positionen des Objekts ausreichen können zum Definieren des Objektmerkmals 31 und Beschreiben der Struktur des Objekts.
  • Da in dem oben diskutierten Verfahren nur eine gewisse Anzahl von Objektmerkmalspixel erhalten werden muss, und Außenseiter ignoriert oder herausgemittelt werden können, wie unten beschrieben wird, kann eine verlässliche Detektion eines Objektmerkmals, wie zum Beispiel einer spezifischen Struktur des Objekts, erhalten werden. Erhalten einer sehr großen Menge von Objektmerkmalspixel entsprechend dem Objektmerkmal ist zeitaufwendig und fehleranfällig, speziell für nicht-reflektierende oder diffuse Strukturen, für die das Objektmerkmal schwer zu detektieren ist durch Analysieren einer Grauskalaänderung in dem Bild. Durch im Grunde nach Bereitstellen einer Annahme, wie das Objektmerkmal aussehen sollte, beispielsweise in 3A und 3B eine gerade Linie 33, kann eine gute Näherung der gezackten bzw. zackigen Kante des Objekts, darstellend das Objektmerkmal in diesem Fall, erhalten werden.
  • 4A und 4B erklären die Anwendung des Merkmalsdetektionsverfahrens einer Ausführungsform der Erfindung mit Bezug auf eine nicht-lineare oder elliptische Form.
  • 4A beschreibt die Grundzüge zum Messen eines Zentrumspunkts bzw. Mittelpunkts 41 eines idealen oder unverzerrten runden Objekts, das, wenn aufgenommen durch ein Bildgebungsgerät, tatsächlich elliptisch aussehen kann. Das gezeigte Prinzip ist bekannt von der Literatur und wird verwendet zum Messen von retroreflektiven Zielen in industriellen Anwendungen beispielsweise. Hier wird ein Beispiel gezeigt, in dem der Benutzer eine parametrische Form mit der Taste 46e wählt, und einen Punkt 42 ungefähr in dem Mittelpunkt der Ellipse markiert, von dem eine gewisse Anzahl von Strahlen berechnet werden. Entlang dieser Strahlen kann ein Detektionsalgorithmus mehrere Objektmerkmalspixel detektieren, und der tatsächliche Mittelpunkt 41 der Ellipse kann dann berechnet werden unter Verwendung dieser Pixel.
  • Jedoch ist das oben diskutierte Prinzip nur effektiv für ideale und unverzerrte Ellipsen. Wenn versucht wird, ein Objekt zu detektieren mit mehr oder weniger Variationen in der Grauskala, wie zum Beispiel ein natürlich strukturiertes rundes Objekt, wie in 4B gezeigt, funktioniert das bekannte Prinzip nicht gut, weil der Detektionsalgorithmus falsche Objektmerkmalspixel irgendwo in der Ellipse detektiert. Deshalb sollte, um ein besseres Ergebnis zu erhalten, der Bereich von Interesse spezifiziert werden, und näher sein zu dem wirklichen Objektmerkmal.
  • In dem Beispiel von 4B sind vier Bereichsindikatorlinien 32 gezeigt, die verwendet werden zum Berechnen von zwei Grenzellipsen (gestrichelte Ellipsen) zwischen denen Strahlen für eine Kantendetektion definiert werden. In diesem Beispiel kann die Taste 46f, die eine Ellipse mit Variationen in Grauskala kennzeichnet, ausgewählt werden. Deshalb ist es leichter, da die mehreren Randbedingungen ausgewählt wurden, wie zum Beispiel die Bereichsindikatorlinien und die Auswahl einer Ellipse als parametrische Form, für den Detektionsalgorithmus, korrekte Objektmerkmalspixel zu detektieren, die tatsächlich den Objektmerkmalspositionen entsprechen. Deshalb kann eine gute Näherung an das elliptische oder runde Objekt und sein berechnet Zentrum bzw. Mittelpunkt 41 erreicht werden.
  • Deshalb kann das Merkmalsdetektionsverfahren, das hierin beschrieben wird, auch angewandt werden auf diffuse, nicht-ideale und verzerrte Strukturen, die keine klaren Übergänge aufweisen, da der Bereich von Interesse abnimmt, was nur einige zu verwendende parametrische Strukturen erlaubt. Dies bedeutet, dass in diesem Fall, es nicht einmal notwendig sein muss, die parametrische Form durch die Taste 46f für eine gute Annäherung an eine Ellipse vorzuwählen, da die Bereichsindikatorlinien 32 schon solch eine Form kennzeichnen.
  • Im Folgenden werden vorteilhafte Modifizierungen des Merkmalsdetektionsverfahrens mit Bezug auf 5, 6 und 7 beschrieben, das oben beschrieben wurde.
  • 5 beschreibt eine Modifizierung des beschriebenen Verfahrens mit Bezug auf 2. Die ersten zwei Schritte 210 und 220 von 2 werden in dem Beispiel von 5 aufrechterhalten und daher werden sie nicht weiter diskutiert, um eine unnötige Wiederholung zu vermeiden.
  • In einem Schritt 525, gefolgt von dem Schritt 220, wird Information, die eine parametrische Form identifiziert, empfangen, wobei die parametrische Form eine von einer Vielzahl von vorauswählbaren Kandidaten-Parametrischen-Formen darstellt. Mit anderen Worten ausgedrückt, ist eine Vielzahl von parametrischen Formen, wie zum Beispiel eine Parabel, Hyperbel, Ellipse, etc., verfügbar zum Bereitstellen einer Näherung an ein Objektmerkmal, was daher vorauswählbare Kandidatenformen darstellt.
  • Jedoch wird, wenn Information empfangen wird, die eine bestimmte parametrische Form identifiziert, eine Randbedingung für die parametrische Form derart eingestellt, dass eine Fitting-Prozedur zum Erhalten einer guten Näherung an ein Objektmerkmal nur eine Kombination von Parameterwerten von den Parameterbereichen für diese Parameterform ausgewählt werden kann. Deshalb wird die Verarbeitungszeit zum Auffinden einer guten Näherung verringert.
  • 6 beschreibt eine andere Modifizierung des Merkmalsdetektionsverfahrens. Hier ist Schritt 210 der gleiche, wie mit Bezug auf 2 beschrieben. In dem folgenden Schritt 620 sind Bereiche von mindestens zwei Parametern von einer Vielzahl von unterschiedlichen parametrischen Formen definiert, für die jede von den parametrischen Formen mindestens eine von den Bereichsindikatorlinien schneidet. Grundlegend wird eine Vielzahl von Bereichen von einer Vielzahl von unterschiedlichen parametrischen Formen definiert, wobei jede parametrische Form mindestens zwei Parameter aufweist.
  • Mit anderen Worten ausgedrückt, wird in dieser Modifizierung die Parameterbereichs-Definiereinheit ausgebildet zum Definieren von Bereichen von Parametern von mehr als einer Art von parametrischen Formen. Deshalb werden beispielsweise Bereiche von Parametern berechnet für eine gerade Linie, eine Hyperbel, eine Parabel, eine Ellipse, etc., so dass es eine Vielzahl von parametrischen Formen gibt zum Auswählen, wenn nach einer guten Näherung an Objektmerkmal gesucht wird. Obwohl ein Definieren mehrerer Bereiche für verschiedene parametrische Formen zu einer erhöhten Verarbeitungszeit führen kann, erhöht sich die Genauigkeit und Qualität der Näherung.
  • Der nächste Schritt ist im Grunde nach identisch zu Schritt 230, wobei nun eine parametrische Form von der Vielzahl der unterschiedlichen parametrischen Formen ausgewählt wird und eine passende Kombination von Parameterwerten, so dass eine gute Näherung an ein Objektmerkmal erhalten wird.
  • Im Schritt 240 wird die ausgewählte parametrische Form auf Grundlage der ausgewählten Kombination von Parameterwerten dann ausgegeben.
  • Es ist auch denkbar, die mit Bezug auf 5 und 6 beschriebenen Schritte zu kombinieren, wobei in einer Standardeinstellung, bis keine Information, die eine spezifische parametrische Form identifiziert, empfangen wird, Bereiche von Parametern einer Vielzahl von unterschiedlichen parametrischen Formen berechnet werden. Nachdem eine einen parametrischen Formtyp identifizierende Information empfangen wird, kann leicht auf die schon definierten Bereiche der identifizierten parametrischen Formart bzw. Typ Bezug genommen werden.
  • In diesem Kontext kann hinzugefügt werden, dass die Parameterbereichs-Definiereinheit ferner Teilbereiche von den mindestens zwei Parametern von der mindestens einen parametrischen Form definieren kann, für die die mindestens eine parametrische Form mindestens zwei Bereichsindikatorlinien schneidet. Durch Einstellen dieser zusätzlichen Randbedingung, verringert die Menge von möglichen parametrischen Formen und Kombinationen von Parameterwerten, die mindestens zwei Bereichsindikatorlinien schneiden, die möglichen Kombinationen von parametrischen Formen und Parameterwerten.
  • Als Nächstes wird in 7 detaillierter diskutiert, wie die parametrische Form auf Grundlage einer spezifischen Kombination von Parameterwerten ausgewählt wird. Die ersten zwei Schritte 210 und 220 sind identisch zu den Schritten 210 und 220 von 2.
  • In dem nächsten Schritt 725 werden Objektmerkmalspixel des Objektmerkmals erhalten durch Verarbeiten des Bereichs von Interesse unter Verwendung eines Detektionsalgorithmus. Hierbei wird, wie schon mit Bezug auf 3B bemerkt, ein Detektionsalgorithmus angewandt auf den Bereich von Interesse, definiert durch die Bereichsindikatorlinien 32.
  • Beispielsweise kann der Detektionsalgorithmus empfindlich sein auf Grauskalenänderungen, so dass Grauskalenänderungen überwacht werden in dem Bereich von Interesse. Wie in 3 beschrieben, wird eine gewissen Anzahl von Strahlen, die im Wesentlichen parallel zu den Bereichsindikatorlinien ausgewählt werden können, da es erwartet wird, dass die Bereichsindikatorlinien das Objektmerkmal schneiden, definiert zum Detektieren von Objektmerkmalspixeln. Die Anzahl der Strahlen ist abhängig von dem Abstand von einer Bereichsindikatorlinie zu der anderen und von der benötigten Auflösung. Im Allgemeinen müssen, wenn die parametrische Form vorausgewählt wird, beispielsweise durch die Taste 36a, nur wenige Objektmerkmalspixel erhalten werden zum Definieren der allgemeinen Richtung der parametrischen Form, wie zum Beispiel in 3b der geraden Linie.
  • In Schritt 730 wird die Kombination von Parameterwerten von den Parameterbereichen, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts darstellt, ausgewählt, beispielsweise durch Berechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel des Objektmerkmals.
  • Mit anderen Worten ausgedrückt, wird die Abweichung zwischen der parametrischen Form auf Grundlage einer Kombination von Parameterwerten zu den Objektmerkmalspixeln berechnet. Hierdurch können unterschiedliche Abweichungen erhalten werden für unterschiedliche Kombinationen von Parameterwerten für eine spezifische Parameterformart bzw. Parameterformtyp, und ein Fit-Prozess kann verwendet werden, um mehrere Kombinationen von Parameterwerten auszuprobieren, bis die parametrische Form auf Grundlage einer spezifischen Kombination von Parameterwerten die beste Fit-Näherung an das Objektmerkmal darstellt.
  • Letztendlich kann diese parametrische Form wieder ausgegeben werden in Schritt 240, wie oben beschrieben.
  • Um weiter die Qualität der Näherung zu verbessern, kann es notwendig sein, von den erhaltenen Objektmerkmalspixeln Objektmerkmalspixel auszufiltern, die einen spezifischen Abstand zu der parametrischen Form überschreiten. In einem einfachen Beispiel kann dies angesehen werden wie ein iterativer Prozess, in dem in einem ersten Schritt eine erste parametrische Form zu allen Objektmerkmalspixeln erhalten wird und in einem zweiten Schritt eine zweite parametrische Form erhalten wird auf Grundlage von Objektmerkmalspixeln, die nicht die Objektmerkmalspixel enthalten, die den spezifischen Abstand zu der parametrischen Form überschreiten, beispielsweise vorbestimmt durch den Bediener oder das System, und die daher Außenseiter darstellen. Mit anderen Worten ausgedrückt, wird die gleiche Fit-Prozedur wiederholt durch Neuberechnen der Näherung an das Objektmerkmal auf Grundlage eines unterschiedlichen Satzes von Objektmerkmalspixeln, nämlich den erhaltenen Objektmerkmalspixeln, die nicht die Objektmerkmalspixel enthalten, die den spezifischen Abstand zu der parametrischen Form überschreiten. Jedoch kann der Abstand, über den hinaus ein Pixel als ein Außenseiter betrachtet wird, auch bestimmt werden durch Prüfen des gesamten Satzes von Objektmerkmalspixeln, einschließlich von Außenseitern, und so wird der Abstand tatsächlich bestimmt als Teil der Berechnung.
  • Ein Weg eines Vermeidens mit den Begrenzungen des Detektionsalgorithmus zu arbeiten und Außenseiter zu erhalten, ist es, die Objektmerkmalspixel in dem Bereich von Interesse durch den Benutzer auszuwählen. Beispielsweise kann der Benutzer zeigen oder klicken auf unterschiedliche Pixel mit dem Betriebs-Cursor oder der Computermaus oder kann nur ein Zeigegerät bzw. Stylus auf einem berührungsempfindlichen Bildschirm verwenden zum Aufzeigen der Objektmerkmalspixel.
  • Eine weitere Möglichkeit, die automatische Detektion und die Auswahl durch einen Benutzer zu kombinieren ist, dass der Benutzer aufzeigt, welche Objektmerkmalspixel er/sie als Außenseiter ansieht, nach einem Detektieren der Objektmerkmalspixel.
  • Bis jetzt wurden die unterschiedlichen Einheiten und die Schritte der Merkmalsdetektionsvorrichtung 100 im Detail diskutiert, und es wurde auf optische Vermessungsinstrumente mit Bildgebungsfähigkeiten Bezug genommen, wie zum Beispiel Videotacheometer oder Videototalstationen, wenn es nützlich erschien, um Beispiele für mögliche Verwendungsbereiche aufzuzeigen.
  • Als Nächstes wird diskutiert, wie eine Merkmalsdetektionsvorrichtung in einem optischen Instrument integriert werden kann, wie zum Beispiel in einem Vermessungsinstrument mit Bildgebungsfähigkeit. Hierbei wird auf 8 Bezug genommen, in der ein optisches Instrument mit einer integrierten Merkmalsdetektionsvorrichtung 100 gezeigt ist.
  • 8 stellt ein optisches Instrument 800 gemäß einer anderen Ausführungsform dar, das die Merkmalsdetektionsvorrichtung 100, die oben beschrieben wurde, enthält.
  • In dieser Ausführungsform wird die Merkmalsdetektionsvorrichtung 100 von 1 mit weiteren optionalen Einheiten gezeigt, das heißt, einer Detektionseinheit 850, Berechnungseinheit 860, Filtereinheit 870 und Neuberechnungseinheit 880, die mit gestrichelten Linien gezeigt sind.
  • Zusätzlich zu der Merkmalsdetektionsvorrichtung 100 umfasst das optische Instrument 800 auch eine Steuereinheit 801 mit einem ersten Steuerelement 802 und einem zweiten Steuerelement 804, eine Erfassungseinheit 805, eine Speichereinheit 890 und eine Anzeigeeinheit 895.
  • Die Steuereinheit 801 ist verbunden mit der Erfassungseinheit 805 zum Austauschen von Daten, beispielsweise kann die Steuereinheit die Erfassungseinheit 805 instruieren, Daten zu erfassen, und die erfassten Daten werden an die Steuereinheit 801 gesendet. Irgendeine Art von Datenübertragung ist denkbar, wie zum Beispiel festverdrahtete oder drahtlose Datenübertragung, elektronisch oder optisch.
  • Die Steuereinheit 801 mit dem ersten Steuerelement 802 und dem zweiten Steuerelement 804 können realisiert werden durch eine Hardware-Anordnung, wie zum Beispiel durch festverdrahtete Schaltungen, oder ASICs oder Software oder irgendeine passende Kombination von dem obigen.
  • Die Erfassungseinheit 805 umfasst eine Linsenanordnung 810, eine Kamera 820, eine Abstandsmesseinheit 830 und eine Positionierungseinheit 840, wobei die Schritte dieser Elemente gesteuert werden durch die Steuereinheit 801.
  • Im Einzelnen umfasst die Linsenanordnung 810 mindestens zwei Linsen 814 und 816, die bevorzugt entfernbar in einem Gehäuse zum Bilden eines Geräts, wie zum Beispiel einem Teleskop, platziert sind. Die optische Achse 812 der Linsenanordnung 810 ist rechtwinklig zu einer Kamera 820 gezeigt, und fällt optimaler Weise mit der optischen Achse der Kamera 820 zusammen.
  • In einem Beispiel ist die Linsenanordnung 810 ausgebildet zum Fokussieren auf ein Objekt zum Anvisieren des Objekts, und die Kamera ist angeordnet mit der optischen Achse 812 der Linsenanordnung 810, die ein Bild von mindestens einem Teil des Objekts erfasst, und es bevorzugt positioniert hinter der Linsenanordnung in der Bildebene.
  • Die Kamera 820 kann dargestellt werden durch ein passendes Bildgebungsgerät, beispielsweise einen zweidimensionalen Array von Sensorelementen, das in der Lage ist, Bildinformation zu erzeugen mit einer Anzahl von Pixeln, die im Allgemeinen der Anzahl von Elementen des Arrays entsprechen, wie zum Beispiel einer CCD-Kamera (Charge Coupled Device Camera) oder CMOS-Kamera (Complimentary Metal-Oxide Semiconductor Camera). Solch ein Sensor-Array kann zusammengesetzt sein aus 1000 × 1000 Sensorelementen zum Erzeugen von digitalen Bildern mit 106 Bildpixeln. In einem optischen Instrument, wie zum Beispiel einem Videotachometer oder Tacheometer, kann die tatsächliche Beobachtungsrichtung definiert werden durch eine Sichtlinie von einem Punkt auf oder durch eines von den Elementen der zweidimensionalen Anordnung der Sensorelemente, beispielsweise nahe oder im Zentrum des Arrays und durch mindestens eine Linse.
  • Die Abstandsmesseinheit 830 der Erfassungseinheit 805 wird bereitgestellt zum Messen eines Abstands von dem optischen Instrument zu dem Objekt entlang einer Messachse 818 der Abstandsmesseinheit parallel zu der optischen Achse 812 der Linsenanordnung. Alternativ kann die Messachse auch mit der optischen Achse zusammenfallen.
  • Die Abstandsmesseinheit 830 stellt einen entsprechenden Messwert der Steuereinheit 801 bereit. Beispielsweise enthält die Abstandsmesseinheit 830 eine kohärente Lichtquelle, wie zum Beispiel einen Infrarotlaser oder ein anderes passendes Laserabstands-Messgerät, wie in der Technik bekannt, und bevorzugt einen schnellen reflektorlos arbeitenden EDM.
  • Die Positionierungseinheit 840 wird bereitgestellt zum Justieren bzw. Anpassen der optischen Achse der Linsenanordnung relativ zu mindestens einer Referenzachse. Beispielsweise wird die Positionierungseinheit 840 realisiert durch eine elektromechanische Anordnung, die bevorzugt Magnetservoantriebe oder irgendwelche anderen schnellen Antriebe umfasst zum präzisen Positionieren der Erfassungseinheit 805.
  • Es wird bemerkt, dass die Positionierungseinheit 840 in 8 gezeigt ist als ein Teil der Erfassungseinheit 805 zu bilden, aber die Positionierungseinheit kann auch unabhängig in dem optischen Instrument bereitgestellt werden, da sie zum Bewegen der Linsenanordnung 810, Kamera 820 und Abstandsmesseinheit 830 auf eine Position dient, die ein Anvisieren des Objekts ermöglicht, und optional eine Abstandsmessung dieser Position des Objekts aufnimmt.
  • Da die Positionierungseinheit 840 bewegbare Komponenten, wie zum Beispiel Antriebe, enthält, halten Teile der Positionierungseinheit 840 ihre Position im Raum aufrecht, das heißt, ihre Position ist fest mit Bezug auf beispielsweise ein Stativ, auf dem das optische Instrument platziert ist, und Teile der Positionierungseinheit 840 bewegen sich im Raum mit Bezug auf ein festes Koordinaten System, beispielsweise definiert durch einen Schnittpunkt von allen drei Achsen des optischen Instruments, bezogen auf den Ursprung, und seine Anordnung mit einer Basis, wie zum Beispiel einem Stativ, Tripod oder anderer Unterstützung (nicht gezeigt).
  • Während einem Betrieb des optischen Instruments, gezeigt in 8, steuert die Steuereinheit 801 die Erfassungseinheit 805, wodurch das erste Steuerelement 802 in einem erfassten Bild einen zu scannenden Bereich definieren kann, ein Objektmerkmal erhalten kann und die Daten mit der Merkmalsdetektionsvorrichtung 100 kommunizieren kann.
  • Dann kann das erste Steuerelement 802 eine Position auf dem Objekt definieren, wie zum Beispiel einen Exzellenzpunkt, eine spezielle Position auf dem Objektmerkmal entsprechend einem spezifischen Messpixel in dem Bild, kann das Messpixel in eine Näherung von Koordinaten dieser Position umwandeln hinsichtlich horizontaler und vertikaler Winkel, und kann diese Information an das zweite Steuerelement 804 übertragen.
  • Nachfolgend kann das zweite Steuerelement 804 die Positionierungseinheit instruieren, die optische Achse der Linsenanordnung 805 auf diese Position auf dem Objekt anzupassen, und bevorzugt auf das Objektmerkmal, und kann die Abstandsmesseinheit instruieren, den Abstand zu dieser Position auf dem Objekt zu messen.
  • Eine detailliertere Beschreibung von solch einem optischen Instrument kann in der internationalen Patentanmeldung PCT/EP2007/000706 gefunden werden, die hier durch Bezugnahme enthalten ist.
  • Im Folgenden wird die Merkmalsdetektionsvorrichtung 100, die in dem optischen Instrument 800 enthalten ist, detaillierter beschrieben, insbesondere mit Bezug auf die Schnittstelle und Datenaustausch mit der Steuereinheit 801.
  • Wie oben beschrieben, erfasst die Kamera 820 ein digitales Bild von einem Bereich von Interesse, umfassend Teile eines Objekts. Diese digitalen Daten werden dann der Merkmalsdetektionsvorrichtung 100, beispielsweise durch die Steuereinheit 801, bereitgestellt, wodurch die Übertragung der Daten instruiert wird. Ferner können diese Daten auch bereitgestellt werden an die Anzeigeeinheit 895, wobei das digitale Bild angezeigt werden kann.
  • In diesem Beispiel kann die Anzeigeeinheit 895 eine Anzeigeeinheit mit Fähigkeiten eines berührungsempfindlichen Bildschirms sein, so dass auch Information eingegeben werden kann in die Anzeigeeinheit 895.
  • Indessen empfängt die Eingabeeinheit 110 mindestens zwei Bereichsindikatorlinien zum Definieren eines Bereichs von Interesse, beispielsweise können die Bereichsindikatorlinien markiert sein auf den berührungsempfindlichen Bildschirm der Anzeigeeinheit 895 durch einfache Striche durch einen Benutzer, worauf diese Information an die Eingabeeinheit 110 gesendet wird.
  • Sobald die Merkmalsdetektionsvorrichtung 100 die gesamte Information über ein digitales Bild und die Position von mindestens zwei Bereichsindikatorlinien erhalten hat, definiert die Parameterbereichs-Definiereinheit 120 Bereiche von mindestens zwei Parametern von einer in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet. Dieser Betrieb wurde im Detail vorher diskutiert, und es wird Bezug genommen auf vorherige Abschnitte, um eine unnötige Wiederholung zu vermeiden.
  • Als Nächstes wählt die Parameterauswahleinheit 130 eine Kombination von Parameterwerten von den Parameterbereichen aus, die vorher definiert wurden, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt.
  • Es wurde vorher diskutiert, dass, um eine gute Näherung an ein Objektmerkmal zu erhalten, es notwendig ist, mehrere Pixel des Objektmerkmals in dem digitalen Bild zu detektieren, nämlich Objektmerkmalspixel müssen verlässlich detektiert werden. In der Ausführungsform von 8 kann dies durchgeführt werden durch die Detektionseinheit 850 durch Verarbeiten des Bereichs von Interesse unter Verwendung eines Detektionsalgorithmus, beispielsweise eines bekannten Kantendetektionsalgorithmus des Stands der Technik, der Grauskalenänderungen oder ähnliches detektiert.
  • Nachfolgend wird eine Kombination von Parameterwerten, für die parametrische Form eine Näherung an das Objektmerkmal darstellt, ausgewählt durch Berechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel, was im Detail oben beschrieben wurde. Diese Berechnung kann durchgeführt werden durch die Berechnungseinheit 860, kann aber alternativ auch durchgeführt werden durch die Steuereinheit 801.
  • Es sollte verstanden werden, dass die Detektionseinheit 850 und Berechnungseinheit 860 optional auch getrennt von der Merkmalsdetektionsvorrichtung 100 sein können, und nur über Schnittstelle verbunden werden mit der Steuereinheit 801 oder direkt mit der Merkmalsdetektionsvorrichtung 100. Alternativ können die Funktionen der Detektionseinheit 850 und der Berechnungseinheit 860 auch ausgeführt werden durch unterschiedliche Einheiten, wie zum Beispiel direkt durch die Steuereinheit 801.
  • Bevorzugt umfasst die Merkmalsdetektionsvorrichtung 100 auch eine Filtereinheit und eine Neuberechnungseinheit 880 zum Ausfiltern von den erhaltenen Objektmerkmalspixeln der Objektmerkmalspixel, die einen spezifischen Abstand zu der parametrischen Form überschreiten, so dass die Neuberechnungseinheit die Näherung an das Objektmerkmal neu berechnen kann auf Grundlage der erhaltenen Objektmerkmalspixel, nicht einschließend die Objektmerkmalspixel, die den spezifischen Abstand zu der parametrischen Form überschreiten.
  • Dann gibt die Ausgabeeinheit 140 die parametrische Form aus auf Grundlage der Kombination der Parameterwerte an die Anzeigeeinheit 895 oder Speichereinheit 890.
  • Beispielsweise zeigt die Anzeigeeinheit 895 die parametrische Form an auf Grundlage der ausgewählten Parameterwerte, überlagert auf dem Objektmerkmal in dem digitalen Bild, so dass ein Benutzer die Qualität der Näherung verifizieren kann.
  • Der Benutzer kann dann ein Messpixel entsprechend einer zu messenden Position definieren, das ein Exzellenzpunkt des Objekts sein kann, nämlich eine Position auf einem Objektmerkmal.
  • Dann wird der Pixelort der Messpixel umgewandelt in eine Näherung von Koordinaten der Position auf dem zu messenden Objekt. Ein Verfahren zum Kalibrieren des Instruments und Umwandeln von Pixeln eines Bildes in Koordinaten einer Position auf einem Objekt, was eine Annahme eines Standardabstands zu der Position benötigt, wird beschrieben in WO 2005/059473 A2 , die hiermit durch Bezugnahme enthalten ist.
  • Mit Kenntnis der Koordinaten oder mindestens einer guten Näherung der Koordinaten der zu messenden Position, das heißt, dem horizontalen Winkel und dem vertikalen Winkel mit Bezug auf ein Koordinatensystem des optischen Instruments, kann die Positionierungseinheit 840 die optische Achse der Linsenanordnung 810 auf die zu messende Position anordnen.
  • Als Nächstes kann dann die Abstandsmesseinheit 830 instruiert werden, den Abstand durch bekannte Abstandsmessverfahren zu messen, wie zum Beispiel das Pulsverfahren, in dem die Ausbreitungszeit eines Signals gemessen wird, was direkt proportional zu dem Abstand ist, da die Lichtgeschwindigkeit und der Brechungsindex des Mediums bekannt sind, oder dem Phasenverfahren, in dem die Phase einer übertragenen Welle von dem Instrument und der Phase einer zurückreflektierten Welle verglichen werden.
  • Da die Pixel zur Koordinatenumwandlung eine Annahme eines Standardabstands zu dem Objekt benötigen kann, ist es möglich, exaktere Koordinaten entsprechend zu den Messpixeln zu erhalten, durch Neuberechnen der Koordinaten der Position auf Grundlage des gemessenen Abstands, was durch die Steuereinheit 801 ausgeführt werden kann. Nachfolgend können die neu berechneten Koordinaten gespeichert oder angezeigt werden, oder die optische Achse der Linsenanordnung 805 kann angepasst werden auf die neue zu messende Position unter Verwendung der neuberechneten Koordinaten und optional kann der Abstand zu der neuen Position wieder gemessen werden.
  • Deshalb ist es möglich, den horizontalen und vertikalen Winkel sowie den Abstand zu einer vorbestimmten Position des Objekts sehr genau zu messen, und daher dreidimensionale Daten zu erhalten. Diese Daten können gespeichert oder angesehen werden als dreidimensionale Daten in dem Koordinatensystem des optischen Instruments oder einem Objektkoordinatensystem, wobei der Ursprung nicht in dem Instrument aber in dem Objekt liegt.
  • Hier kann bemerkt werden, dass eine Position auf dem Objekt durch kartesische Koordinaten definiert werden kann, die definiert sind mit Bezug auf ein kartesisches Koordinatensystem mit Achsen orthogonal zueinander. Für eine Messposition können jedoch sphärische Koordinaten in manchen Fällen passender sein.
  • Im Einzelnen kann die Position des Objekts in sphärischen Koordinaten definiert werden durch ihren Abstand zu einem Ursprung eines orthogonalen Koordinatensystems, eines Winkels (horizontaler Winkel) zwischen einem von der horizontalen Achse des Koordinatensystems und einer Linie, die den Ursprung des Koordinatensystems mit einer Projektion der Position auf die horizontale Ebene verbindet, und letztendlich einem vertikalen Winkel zwischen der Koordinatensystemachse orthogonal zu der horizontalen Ebene und einer Linie, die den Ursprung des Koordinatensystems und die Position verbindet. Kartesische Koordinaten können transformiert werden in sphärische Koordinaten und umgekehrt. Gewöhnlich wird der Ursprung des Koordinatensystems in dem optischen Instrument platziert, optimal auch übereinstimmend mit dem Projektionszentrum der Kamera.
  • In einem idealen optischen Instrument mit einer Kamera und einer Abstandsmesseinheit, ist das Projektionszentrum einer Kamera identisch mit dem Überschneidungspunkt aller drei Achsen des optischen Instruments, und die Abstandsmessung wird genommen von dem Schnittpunkt entlang einer Richtung orthogonal zu der Bildebene. Dann wird das Zentrum der Bildebene, beispielsweise einem Pixel, das exakte Bild der Position, die durch Laserlicht der Abstandsmesseinheit getroffen wird. Idealerweise ist es daher auch möglich, zu jeder Position im echten Raum um das optische Instrument ein Pixel in der Bildebene zuzuordnen, wobei das Pixel das gleiche sein kann für mehrere Positionen, da die Bildebene eine zweidimensionale Darstellung des dreidimensionalen Raums ist.
  • Da die Kamera 820 drehbar ist um eine vertikale Achse zum Schwenken fest mit Bezug auf die Basis des Instruments, beispielsweise ein Dreibein oder andere Stütze, und drehbar ist um eine Neigungsachse, können Bilder von einer Sphäre um das Instrument aufgenommen werden. Beispielsweise können Panoramabilder aufgenommen werden durch Aneinanderfügen von einzelnen Bildern.
  • Ferner sollte die optische Achse einer idealen Kamera rechtwinklig sein zu der Bildebene und sollte übereinstimmen mit der optischen Achse eines optischen Systems, wie zum Beispiel der Linsenanordnung, und das optische System sollte frei von Aberrationen und Verzerrungen sein.
  • Jedoch stellt das obige nur eine Idealisierung eins optischen Instruments mit einer idealen Kamera dar, und solche idealen Bedingungen können nicht immer angenommen werden. Deshalb gibt es einen Bedarf für eine verbesserte Abbildung zwischen Positionen im Raum und entsprechenden Pixeln in dem Bild, und die Kamera muss mit Bezug auf das Achsensystem des optischen Instruments mit einer bekannten inneren Kameraorientierung kalibriert werden.
  • Beispielsweise wurde solch ein Verfahren zur Kalibrierung und Umwandlung in WO 2005/059473 A2 diskutiert, das hierbei durch Bezugnahme enthalten ist, wobei die innere und äußere Orientierung einer Kamera in einem optischen Instrument präzise definiert wurden.
  • Deshalb können, durch Kenntnis der Inneren-Kamera-Orientierung, das heißt, Länge des Fokus, Hauptpunkt und Verzerrung, sowie Äußere-Kamera-Orientierung, das heißt, Position des bildgebenden Arrays mit Bezug auf das Achsensystem des optischen Instruments, gute Ergebnisse zum Umwandeln von Pixeln des digitalen Bildes in Positionen erreicht werden, beispielsweise mit dem Verfahren von WO 2005/059473 A2 .
  • Deshalb kann durch iteratives, in diesem Beispiel zweimal Bestimmen der zu messenden Position auf dem Objekt, die Genauigkeit der Koordinaten und Abstand der Position verbessert werden.
  • Als Alternative zu Umwandlungsalgorithmen können Umwandlungstabellen definiert werden zum Nachschlagen einer spezifischen Position, die einem Pixel in dem Bild entspricht, wobei verschiedene Tabellen für verschiedene Abstände von dem Instrument zu dem zu messenden Objekt definiert werden können. In diesem Fall wird auch ein iterativer Ansatz bevorzugt, da optimalerweise unterschiedliche Umwandlungstabellen bereitgestellt werden müssen für verschiedene Abstände, wobei für die erste ”ungefähre” Umwandlung eine Umwandlungstabelle eines Standards oder eines angenommenen Abstands verwendet werden muss. Nachfolgend kann eine Umwandlungstabelle für den gemessenen Abstand verwendet werden.
  • Im Folgenden werden die Schritte von 9 im Einzelnen aufgezeigt. Die Schritte von 9 können ausgeführt werden durch das optische Instrument 800 und sind ähnlich zu den diskutierten Schritten, als 8 beschrieben wurde.
  • Das Verfahren von 9 startet mit den Schritten 210 bis 230, die im Einzelnen mit Bezug auf 2 diskutiert wurden. Deshalb wird das Verfahren dieser Ausführungsform beschrieben, indem mit Schritt 240 angefangen wird, und es wird angenommen, dass eine Kombination von Parameterwerten einer parametrischen Form, für die die parametrische eine Näherung an ein Objektmerkmal darstellt, ausgewählt wird gemäß der oben diskutierten Verfahren.
  • In Schritt 240 wird die erhaltene parametrische Form auf Grundlage der Kombination der Parameterwerte dann zum Anzeigen in dem digitalen Bild bereitgestellt. Wie oben beschrieben, kann das digitale Bild angezeigt werden in einer Anzeigeeinheit 895, und die parametrische Form kann überlagert werden auf dem digitalen Bild, und insbesondere auf einem Objektmerkmal eines in dem digitalen Bild gezeigten Objekts.
  • In Schritt 950 wird ein Messpixel definiert auf der parametrischen Form. Genauer ausgedrückt, kann ein Benutzer ein Messpixel entsprechend zu einer Position auf dem Objekt definieren, für das dreidimensionale Positionsinformation erhalten werden sollte.
  • Alternativ können Messpixel auch automatisch auf der parametrischen Form definiert werden, beispielsweise kann die Steuereinheit 801 auf der parametrischen Form zwischen den Bereichsindikatorlinien Messpixel definieren, die beabstandet sind durch einen vorbestimmten Abstand gemäß Auflösungserfordernissen.
  • In Schritt 960 wird das Messpixel umgewandelt in eine Näherung von Koordinaten einer zu messenden Position unter Annahme eines Standardabstands zu der Position. Dabei können bekannte Umwandlungsalgorithmen oder Tabellen verwendet werden, wie zum Beispiel die oben erwähnten, die die innere Anordnung der Elemente des optischen Instruments in Betracht ziehen, sowie einen angenommenen Abstand zu dem Objekt.
  • Im Schritt 970 wird die optische Achse der Linsenanordnung 810 angepasst auf die zu messenden Position. Diese Anpassung ist durch die Positionierungseinheit 840 auszuführen, wie oben beschrieben, was ein physikalisches Bewegen der Erfassungseinheit 805 enthält, so dass die optische Achse der Linsenanordnung 810 zu der zu messenden Position zeigt.
  • Da die Abstandsmesseinheit 830 auch in der Erfassungseinheit 805 enthalten ist, die durch die Positionierungseinheit 840 bewegt wurde, zeigt auch die optische Achse 818 der Abstandsmesseinheit 830 zu der zu messenden Position. Deshalb kann in Schritt 980 der Abstand zu der zu messenden Position gemessen werden mit der Abstandsmesseinheit 830 unter Verwendung der oben beschriebenen Abstandsmessverfahren.
  • In Schritt 990 wird der gemessene Abstand verwendet zum Neuberechnen der Koordinaten der Position. Für die Neuberechnung der Koordinaten wird der gleiche Umwandlungsalgorithmus verwendet, wie in Schritt 960, jedoch wird nun der Standardabstand ersetzt durch den gemessenen Abstand, so dass sogar bessere Ergebnisse für die Koordinaten der zu messenden Position erreicht werden.
  • Im Folgenden beschreiben 10A bis 10E konkrete Beispiele der Schritte, die ausgeführt werden durch die Merkmalsdetektionsvorrichtung.
  • In 10A wird eine baumähnliche Struktur gezeigt in einem digitalen Bild eines Bildschirms. Ferner definieren zwei Bereichsindikatorlinien 32 den Bereich von Interesse. Deshalb können gemäß den vorherigen Ausführungsformen Parameterbereiche einer parametrischen Form definiert werden, so dass mindestens eine der Bereichsindikatorlinien geschnitten wird.
  • In diesem Beispiel basiert eine Bereichsindikatorlinie auf zwei Indikatorpunkten, die am linken und rechten Ende der oberen Bereichsindikatorlinie 32 gezeigt sind. Diese zeigen an, dass anstatt eines Bereitstellens einer Bereichsindikatorlinie die Eingabeeinheit 110 einfach ausgebildet werden kann zum Empfangen von mindestens zwei Indikatorpunkten zum Definieren der Endpunkte einer Bereichsindikatorlinie.
  • Ferner ist es auch möglich, zwei Bereichsindikatorlinien von zwei Indikatorpunkten (nicht gezeigt) abzuleiten, jeder auf jeder Bereichsindikatorlinie, wobei die Bereichsindikatorlinien sich entsprechend durch die Indikatorpunkte erstrecken, so dass die Bereichsindikatorlinien einen im wesentlichen rechtwinkligen von Interesse definieren.
  • In diesem Fall kann es nun notwendig sein, eine Länge einer Bereichsindikatorlinie vorzudefinieren, um den rechtwinkligen Bereich von Interesse klar zu definieren, da, wie in den Beispielen von 10A bis 10E gezeigt, die Indikatorlinien sich immer ungefähr gegenüberstehen sollten und im Wesentlichen parallel sein sollten, um ein im wesentlichen rechtwinkligen Bereich oder rechteckigen Bereich zu bilden. Demgemäß kann das Bereitstellen von zwei Indikatorpunkten, durch beispielsweise einen Benutzer ausreichend sein, um einen Bereich von Interesse zu definieren.
  • In dem spezifischen Beispiel von 10A gibt es zwei Objektmerkmale des Objekts, nämlich die rechte Seite und die linke Seite des Baumstamms der baumähnlichen Struktur. Deshalb werden zwei Objektmerkmale, die zu interpolieren sind, empfangen nach einer Analyse des Detektionsalgorithmus. Zum Vereinfachen der Detektion durch den Detektionsalgorithmus, kann Information bereitgestellt werden, um anzuzeigen, dass zwei lineare Objektmerkmale in dem Bereich von Interesse vorliegen. Diese Information kann mit der Taste 36b bereitgestellt werden. Ferner zeigt diese Information auch an, dass für Zwecke eines Fittens zwei lineare parametrische Formen verwendet werden sollten, die in 10A als gestrichelte Näherungslinien 33 gezeigt sind.
  • In diesem Beispiel wird die Parameterauswahleinheit 130 ausgebildet, um eine andere, in diesem Fall zweite, Kombination von Parameterwerten von den Parameterbereichen auszuwählen, für die die zweite parametrische Form auf Grundlage der zweiten Kombination der Parameterwerte eine Näherung an das zweite Objektmerkmal in dem Bereich von Interesse darstellt. Ferner kann eine zentrale Linie 33b zwischen zwei parametrischen Formen berechnet werden, wie in 10 gezeigt.
  • Ähnlich zu dem Obigen kann ein Mess-Cursor 34 bewegt werden durch einen Betriebs-Cursor 35, um die zu messende Position zu definieren.
  • 10B ist ein Beispiel, dass die Messung einer Ecke einer quadratischen Struktur durch Interpolieren der Objektmerkmale 31a, 31b beschreibt, und den Schnittpunkt von beiden Objektmerkmalen bestimmt. In diesem Beispiel sind vier Bereichsindikatorlinien 32a, 32b gezeigt, die zwei Bereiche von Interesse definieren. In jedem Bereich von Interesse gibt es ein Objektmerkmal 31a, 31b. Deshalb werden für den ersten Bereich von Interesse erste Parameterbereiche definiert, für die die parametrische Form mindestens eine der Bereichsindikatorlinien 32a schneidet, und für den zweiten Bereich von Interesse werden zwei Parameterbereiche definiert, für die die zweite parametrische Form mindestens eine der Bereichsindikatorlinien 32b schneidet.
  • Als Nächstes wird eine erste Kombination von Parameterwerten, für die die erste parametrische Form eine erste Näherung 33a zu dem ersten Objektmerkmal 31a darstellt, ausgewählt, und eine zweite Kombination von Parameterwerten, für die die zweite parametrische Form eine zweite Näherung 33b zu dem zweiten Objektmerkmal 31b darstellt, wird ausgewählt.
  • Letztendlich kann der Schnittpunkt, nämlich die Ecke, wo die zweite Objektmerkmale sich treffen, leicht berechnet werden als der Schnittpunkt 38 der zwei parametrischen Formen, die die zwei Näherungen darstellen.
  • Zum weiteren Verbessern der Leistungsfähigkeit der Vorrichtung kann Information, die eine Kantenmessung zeigt, bereitgestellt werden durch Aktivieren der Taste 36c, ähnlich wie in 10A diskutiert.
  • 10C beschreibt im Wesentlichen eine Kombination von den mit Bezug auf 10A und 10B diskutierten Schritten.
  • Hier werden wieder zwei Bereiche von Interesse gezeigt durch vier Bereichsindikatorlinien 32a, 32b. Ferner können zwei Objektmerkmale in jedem Bereich von Interesse gefunden werden. Deshalb werden in jedem Bereich von Interesse zwei Kombinationen von Parameterwerten von zwei parametrischen Formen, die zwei Näherungen an zwei Objektmerkmale darstellen, ausgewählt, wie zum Beispiel die zwei Näherungslinien 33a des ersten Bereichs und die zwei Näherungslinien 33b des zweiten Bereichs.
  • Ferner kann eine Mittellinie 37a zwischen zwei parametrischen Formen des ersten Bereichs und eine Mittellinie 37b zwischen den zwei parametrischen Formen des zweiten Bereichs berechnet werden. Zusätzlich kann auch der Schnittpunkt 38 der Überschneidung der zwei Mittellinien 37a, 37b berechnet werden. Durch Aktivieren der Taste 36d in 10C kann angezeigt werden, dass zwei Bereiche von Interesse, die jeweils zwei Objektmerkmale aufweisen, in dem digitalen Bild vorliegen.
  • Es sollte bemerkt werden, dass in 10A bis 10C es nicht nötig ist, dass das Objektmerkmal und die Bereichsindikatorlinie sich schneiden, da das Objektmerkmal einfach extrapoliert werden kann durch die Parametrische-Form-Näherung, die dann die Bereichsindikatorlinie schneidet.
  • 10D zeigt wieder ein quadratisches Objekt mit zwei Objektmerkmalen ähnlich zu 10B. Jedoch werden in diesem Fall nur zwei Bereichsindikatorlinien 32 bereitgestellt, so dass nur ein Bereich von Interesse definiert wird. Hier wird das Objektmerkmal 31 angenähert durch die Näherungslinie 33, die eine lineare parametrische Form aufweist. Wie gesehen werden kann, wird die Näherungslinie extrapoliert, um eine Verlängerung des Objektmerkmals 31 zu sein. Der Mess-Cursor 34 kennzeichnet, dass auch Messungen ausgeführt werden können auf Punkten, die nicht positioniert sind auf dem Objekt selbst. Die Taste 36a zeigt an, dass nur ein Objektmerkmal vorliegt, und eine lineare parametrische Form zur Näherung verwendet werden sollte.
  • 10E zeigt ein Beispiel, in dem ein quadratisches Objekt, ähnlich zu dem in 10B gezeigten, teilweise hinter einer baumähnlichen Struktur versteckt ist. Das quadratische Objekt hat zwei Objektmerkmale 31a, 31b. Wie in 10B, werden vier Bereichsindikatorlinien, zwei für jeden Bereich von Interesse, gezeigt. In diesem Fall kann angenommen werden, dass das quadratische Objekt eine Wand repräsentiert, die sich hinter einem Baum befindet.
  • Obwohl der Schnittpunkt 38, nämlich die Ecke des quadratischen Objekts, wo die zwei Objektmerkmale sich treffen, nicht sichtbar ist, ist es noch immer möglich, die dreidimensionale Position des Schnittpunkts zu berechnen. Unter Verwendung von zwei parametrischen Formen mit ausgewählten Parameterwerten, können die zwei Objektmerkmale angenähert werden, wie durch die Näherungslinien 33a, 33b gezeigt ist. Deshalb kann ein Schnittpunkt in zwei Dimensionen, nämlich auf dem Bild, rekonstruiert werden.
  • Wie oben definiert, ist es möglich, die Pixel entsprechend zu diesem Schnittpunkt in dem digitalen Bild umzuwandeln in einen horizontalen und vertikalen Winkel, nämlich Richtungskoordinaten der Position des Schnittpunkts des realen Objekts. Ferner wird durch einfaches Annehmen, dass die Wand im Wesentlichen rechtwinklig zu der Erde ist, eine gute Näherung des Abstands der Ecke 38 erhalten durch einfaches Messen des Abstands einer Position gerade unter des versteckten Teils der Wand, gekennzeichnet durch Bezugszeichen 34.
  • Im Folgenden werden 11A bis 11C beschrieben, die praktische Anwendungen der vorher diskutierten Ausführungsformen repräsentieren. In diesen Figuren werden nicht-lineare Objekte gezeigt, wie sie oft in der Realität auftauchen.
  • In 11a wird ein nicht-lineares Objekt, wie eine Kurve, gezeigt. Dieses Beispiel ist ähnlich zu dem in 2 gezeigten, wobei jedoch eine einfache Näherung mit einer linearen parametrischen Form nicht möglich ist.
  • Im Einzelnen wird der Bereich von Interesse wieder definiert durch zwei Bereichsindikatorlinien 32, und das Objektmerkmal wird angenähert durch eine nicht-lineare parametrische Form mit passenden Parameterwerten. Ein Mess-Cursor ist gezeigt auf der parametrischen Form, die zu verschiedenen Positionen, die zu messen sind, bewegt werden kann. Taste 36i zeigt an, dass eine nicht-lineare parametrische Form verwendet werden sollte in der Fit-Prozedur, und kann aktiviert werden zum Verbessern und Beschleunigen des Fittens.
  • 11B ist ähnlich zu 4B und zeigt ein realistisches Beispiel einer Ellipse, wie zum Beispiel einem Schachtdeckel auf der Straße.
  • In einem digitalen Bild, das bei einem Winkel erfasst wird, hat der übliche runde Schachtdeckel eine elliptische Form. Ferner ist es schwer, wie durch die Grauskala in dem Bild gekennzeichnet, zwischen dem Schachtdeckel und der Straße zu unterscheiden, das heißt, die Ellipse ist nicht ideal und verzerrt.
  • Jedoch ist es möglich, wie in 11B gezeigt, mit dem Verfahren und der oben diskutierten Vorrichtung, eine sehr gute Näherung des Schachtdeckels zu erhalten. In diesem Beispiel werden vier Bereichsindikatorlinien 32 gezeigt, die den Bereich von Interesse begrenzen. Als weitere Begrenzung oder Randbedingung ist es möglich, eine Taste 36f auszuwählen, die dem System mitteilt, dass das Objektmerkmal, das zu finden ist, und anzunähern ist, eine Ellipse ist.
  • Ein anderes Beispiel, das eine nicht-lineare Struktur zeigt, wird mit Bezug auf 11C beschrieben.
  • In 11C wird ein Relief auf einer Wand eines Hauses gezeigt.
  • Der Umriss des Reliefs wird durch eine gestrichelte Linie gezeigt. Da der Umriss des Reliefs sehr kantig bzw. zackig ist, und seine Form oft ändert, können mehrere Bereichsindikatorlinien benötigt werden, um eine gute Näherung in jedem Teilbereich von Interesse zu erhalten, der definiert wird durch zwei Bereichsindikatorlinien, wie zum Beispiel dem Teilbereich von Interesse zwischen Bereichsindikatorlinie 32a und Bereichsindikatorlinie 32b oder dem Teilbereich von Interesse zwischen Bereichsindikatorlinie 32b und Bereichsindikatorlinie 32c.
  • Es sollte bemerkt werden, dass eine parametrische Form im Sinne dieser Anmeldung nicht ein funktioneller mathematischer Ausdruck sein muss, aber es ist auch denkbar, Grundformen einer spezifischen Form bereitzustellen, die gestreckt und gepresst werden können, beispielsweise durch passende Multiplizierer, um gute Näherungen an ein Objektmerkmal in dem Bereich von Interesse darzustellen.
  • Ferner kann die parametrische Form, die zum Fitten des Objektmerkmals verwendet wird, eine lineare oder nicht-lineare Kombination von verschiedenen parametrischen Formen oder Grundformen sein, so dass eine große Vielzahl von nicht-linearen Objektmerkmalen angenähert werden kann. In jedem Fall ist es auch denkbar, das Objektmerkmal zu detektieren unter Verwendung von nur dem Detektionsalgorithmus, so dass irgendein gewünschtes Objektmerkmal detektiert werden kann.
  • Nach einem Detektieren des Umrisses des Reliefs 31 können Positionen in dem Relief oder an den Kanten desselben automatisch gemessen und gescant werden durch das optische Instrument.
  • Im Folgenden wird ein Arbeitsablaufdiagramm diskutiert mit Bezug auf 12, das die vorher beschriebenen Schritte zusammenfasst.
  • In Schritt 1205 werden zwei Bereichsindikatorlinien definiert in einem digitalen Bild auf der Benutzerebene. Im Schritt 1210 wird der Bereich von Interesse für eine Bildverarbeitung in dem Bildkoordinatensystem definiert auf einer hohen Ebene. Dann werden im Schritt 1215 Objektmerkmalspixel detektiert in dem definierten Bereich von Interesse auf einer Betriebsebene.
  • In Schritt 1220 wird eine Kombination von Parameterwerten ausgewählt zum Erhalten einer parametrischen Form, welches eine Näherung für einen besten Fit an das Objektmerkmal ist unter Verwendung der detektierten Objektmerkmalspixel. Nachfolgend wird in Schritt 1225 die parametrische Form transformiert in das Bild-(Pixel)-Koordinatensystem und kann angezeigt werden zusammen mit einem Mess-Cursor auf der parametrischen Form. Dieser Mess-Cursor kann dann bewegt werden entlang der parametrischen Form zum Definieren einer zu messenden Position in Schritt 1230.
  • In Schritt 1235 wird ein Pixel in dem Bild ausgewählt, das der zu messenden Position entspricht. Auf Grundlage dieses Messpixels werden ein horizontaler Winkel und ein vertikaler Winkel der Position in dem Instrumentenkoordinatensystem dann in Schritt 1240 berechnet. In Schritt 1245 wird die optische Achse der Linsenanordnung 810 angepasst auf die zu messende Position.
  • Sobald die optische Achse angepasst ist, kann der Abstand zu dieser Position gemessen werden in Schritt 1250. Von diesem Abstand können die neuen Koordinaten der Position, nämlich ein neuer horizontaler Winkel und vertikaler Winkel neu berechnet werden, wie oben diskutiert, falls erwünscht, oder der vorher berechnete horizontale Winkel und vertikale Winkel kann aufrechterhalten werden.
  • Die Kombination des horizontalen Winkels, vertikalen Winkels und des Abstands wird dann verwendet zum Berechnen der dreidimensionalen Koordinaten der Position in dem dreidimensionalen Koordinatensystem, und die gemessene Position kann angezeigt werden durch graphisches Überlappen in Schritt 1255. Letztendlich kann in Schritt 1260 eine Positionsnummer eingegeben werden, und die Position kann beispielsweise in der Speichereinheit 890 gespeichert werden.
  • Gemäß einer anderen Ausführungsform kann ein Programm bereitgestellt werden, das Instruktionen enthält, ausgebildet zum Hervorrufen in einem Datenprozessor, der in der Merkmalsdetektionsvorrichtung 100 enthalten sein kann, oder der Steuereinheit 801, dass Kombinationen der obigen Schritte ausgeführt werden.
  • Das Programm oder Elemente desselben können in einem Speicher, wie zum Beispiel der Speichereinheit 890 des optischen Instruments gespeichert werden, und wiedererlangt werden durch den Prozessor zur Ausführung.
  • Über dies hinaus kann ein computerlesbares Medium bereitgestellt werden, in dem das Programm verkörpert ist. Das computerlesbare Medium kann gegenständlich sein, wie zum Beispiel eine Disk oder ein anderer Datenträger oder kann dargestellt werden durch Signale, die passend sind für eine elektronische, optische oder eine andere Art von Übertragung. Ein Computerprogrammprodukt kann das computerlesbare Medium umfassen.
  • Es sollte verstanden werden, dass die hierin beschriebenen Schritte nicht inhärent bezogen sind auf eine bestimmte Vorrichtung oder Instrument, und durch irgendeine passende Kombination von Komponenten implementiert werden können. Die Merkmalsdetektionsvorrichtung, dargestellt in 1, und das optische Instrument, dargestellt in 8, und im Detail oben beschrieben, stellen bevorzugte Ausführungsformen dar zum Ausführen der Schritte der beschriebenen Verfahren. Jedoch ist dies nicht auf dieselben begrenzt.
  • Es wird von dem Fachmann verstanden werden, dass verschiedene Modifizierungen und Variierungen durchgeführt werden können in den Instrumenten und Verfahren der Erfindung, sowie in dem Aufbau dieser Erfindung, ohne den Umfang oder Geist der Erfindung zu verlassen.
  • Die Erfindung wurde in Bezug auf bestimmte Beispiele beschrieben, die in allen Aspekten als darstellhaft und nicht beschränkend vorgesehen sind. Der Fachmann wird verstehen, dass viele verschiedene Kombinationen von Hardware, Software und Firmware passend sein werden zum Ausführend der vorliegenden Erfindung.
  • Über dies hinaus werden andere Implementierungen der Erfindung dem Fachmann ersichtlich bei Betrachtung der Spezifizierung und Ausführung der hierin beschriebenen Erfindung. Es ist vorgesehen, dass die Spezifizierung und die Beispiele als beispielhaft nur betrachtet werden. Daher sollte verstanden werden, dass erfinderische Aspekte in weniger als allen Merkmalen der einzelnen vorhergehenden offenbarten Implementierung oder Konfigurierung liegen. Somit wird der wahre Umfang und Geist der Erfindung durch die folgenden Ansprüche gekennzeichnet.
  • ZUSAMMENFASSUNG
  • Eine Merkmalsdetektionsvorrichtung und -Verfahren zum Erhalten in einem definierten Bereich von Interesse einer parametrischen Form auf Grundlage einer ausgewählten Kombination von Parameterwerten, darstellend eine Näherung eines Objektmerkmals, werden offenbart, die eine Eingabe und eine Verarbeitungszeit, die benötigt wird, minimieren. Die Merkmalsdetektionsvorrichtung umfasst eine Eingabeeinheit zum Empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, eine Parameterbereichs-Definiereinheit zum Definieren von Bereichen von mindestens zwei Parametern einer parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet; eine Parameterauswahleinheit zum Auswählen einer Kombination von Parameterwerten für die Parameterbereiche, für die die Parameterform eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt; und eine Ausgabeeinheit zum Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten für eine Anzeige in dem digitalen Bild.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - EP 2007/000706 [0133]
    • - WO 2005/059473 A2 [0147, 0158, 0159]

Claims (36)

  1. Merkmalsdetektionsvorrichtung, umfassend eine Eingabeeinheit zum Empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, der Teile eines Objekts umfasst; eine Parameterbereichs-Definiereinheit zum Definieren von Bereichen von mindestens zwei Parametern einer in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet; eine Parameterauswahleinheit zum Auswählen einer Kombination von Parameterwerten von den Parameterbereichen, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt; und eine Ausgabeeinheit zum Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten zur Anzeige in dem digitalen Bild.
  2. Merkmalsdetektionsvorrichtung nach Anspruch 1, wobei die Eingabeeinheit ausgebildet ist zum Empfangen von Information, die die parametrische Form identifiziert, wobei die parametrische Form eine von einer Vielzahl von vorausgewählten Kandidaten-Parametrischen-Formen darstellt.
  3. Merkmalsdetektionsvorrichtung nach Anspruch 1 oder 2, wobei die Parameterbereichs-Definiereinheit ausgebildet ist zum Definieren von Bereichen von Parametern einer Vielzahl von verschiedenen parametrischen Formen, für die jede der parametrischen Formen mindestens eine der Bereichsindikatorlinien schneidet.
  4. Merkmalsdetektionsvorrichtung nach Anspruch 1, 2 oder 3, wobei die Parameterauswahleinheit ausgebildet ist zum Auswählen der der Kombination von Parameterwerten, so dass die parametrische Form eine Näherung eines besten Fits darstellt an das Objektmerkmal des Objekts in dem Bereich von Interesse.
  5. Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 4, wobei die Parameterbereichs-Definiereinheit ausgebildet ist zum Definieren von Teilbereichen von den mindestens zwei Parametern von mindestens einer parametrischen Form, für die die mindestens eine parametrische Form mindestens zwei Bereichsindikatorlinien schneidet.
  6. Merkmalsdetektionsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Eingabeeinheit ausgebildet ist zum Empfangen von mindestens zwei Indikatorpunkten zum Definieren der Endpunkte einer Bereichsindikatorlinie.
  7. Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 5, wobei die mindestens zwei Bereichsindikatorlinien auf zwei Indikatorpunkten basieren, wobei die Bereichsindikatorlinien sich durch die Indikatorpunkte derart erstrecken, dass die Bereichsindikatorlinien einen im Wesentlichen rechtwinkligen Bereich von Interesse definieren.
  8. Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 7, ferner umfassend eine Detektionseinheit zum Erhalten von Objektmerkmalspixeln des Objektmerkmals in dem Bereich von Interesse durch Verarbeiten des Bereichs von Interesse unter Verwendung eines Detektionsalgorithmus oder durch einen Betreiber zum Auswählen der Objektmerkmalspixel in dem Bereich von Interesse.
  9. Merkmalsdetektionsvorrichtung nach Anspruch 8, ferner umfassend eine Berechnungseinheit zum Berechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel des Objektmerkmals.
  10. Merkmalsdetektionsvorrichtung nach Anspruch 8 oder 9, ferner umfassend eine Filtereinheit zum Ausfiltern von den erhaltenen Objektmerkmalspixeln von Objektmerkmalspixel, die einen spezifischen Abstand zu der parametrischen Form überschreiten, und eine Neuberechnungseinheit zum Neuberechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel, nicht einschließend die Objektmerkmalspixel, die den spezifischen Abstand überschreiten.
  11. Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 10, wobei die parametrische Form auf Grundlage der ausgewählten Parameterwerte überlagert wird auf dem Objektmerkmal in dem digitalen Bild auf einer Anzeigeeinheit.
  12. Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 11, wobei die Parameterauswahleinheit ausgebildet ist zum Auswählen einer anderen Kombination von Parameterwerten von den Parameterbereichen, für die eine zweite parametrische Form eine Näherung darstellt an ein zweites Objektmerkmal in dem Bereich von Interesse, und wobei eine Mittellinie zwischen den zwei parametrischen Formen berechnet wird.
  13. Optisches Instrument, umfassend die Merkmalsdetektionsvorrichtung nach mindestens einem der Ansprüche 1 bis 12.
  14. Optisches Instrument nach Anspruch 13, ferner umfassend ein erstes Steuerelement zum Definieren auf der parametrischen Form eines Messpixels und Umwandeln des Messpixels in eine Näherung von Koordinaten einer Position des zu messenden Objekts unter Annahme eines Standardabstands zwischen der Position und dem optischen Instrument.
  15. Optisches Instrument nach Anspruch 14, ferner umfassend eine Linsenanordnung zum Anvisieren des Objekts; eine Positionierungseinheit zum Anpassen der optischen Achse der Linsenanordnung relativ zu mindestens einer Referenzachse; und ein zweites Steuerelement, ausgebildet zum Instruieren der Positionierungseinheit, die optische Achse der Linsenanordnung auf die zu messende Position anzupassen.
  16. Optisches Instrument nach Anspruch 15, ferner umfassend eine Abstandsmesseinheit zum Messen eines Abstands des Objekts entlang einer Messachse der Abstandmesseinheit parallel zu der optischen Achse der Linsenanordnung, wobei das zweite Steuerelement ausgebildet ist zum Instruieren der Abstandsmesseinheit, den Abstand zu der zu messenden Position zu messen, und das erste Steuerelement ferner ausgebildet ist zum Neuberechnen der Koordinaten der Position auf Grundlage des gemessenen Abstands.
  17. Optisches Instrument nach Anspruch 15 oder 16, ferner umfassend eine Kamera, angeordnet mit der optischen Achse der Linsenanordnung zum Aufnehmen des Bilds des Bereichs von Interesse, der Teile des Objekts umfasst.
  18. Merkmalsdetektionsverfahren, umfassend Empfangen von mindestens zwei Bereichsindikatorlinien zum Definieren in einem digitalen Bild eines Bereichs von Interesse, der Teile eines Objekts umfasst; Definieren von Bereichen von mindestens zwei Parametern einer in das digitale Bild einzuführenden parametrischen Form, für die die parametrische Form mindestens eine der Bereichsindikatorlinien schneidet; Auswählen einer Kombination der Parameterwerte von den Parameterbereichen, für die die parametrische Form eine Näherung an ein Objektmerkmal des Objekts in dem Bereich von Interesse darstellt; und Bereitstellen der parametrischen Form auf Grundlage der Kombination von Parameterwerten zur Anzeige in dem digitalen Bild.
  19. Merkmalsdetektionsverfahren nach Anspruch 18, ferner umfassend Empfangen von Information, die die parametrische Form identifiziert, wobei die parametrische Form eine einer Vielzahl von vorausgewählten Kandidaten-Parametrischen-Formen darstellt.
  20. Merkmalsdetektionsverfahren nach Anspruch 18 oder 19, ferner umfassend Definieren von Bereichen von Parametern einer Vielzahl von unterschiedlichen parametrischen Formen, für die jede der parametrischen Formen mindestens eine der Bereichsindikatorlinien schneidet.
  21. Merkmalsdetektionsverfahren nach Anspruch 18, 19 oder 20, ferner umfassend Auswählen der Kombination von Parameterwerten, so dass die parametrische Form eine Näherung eines besten Fits an das Objektmerkmal des Objekts in dem Bereich von Interesse darstellt.
  22. Merkmalsdetektionsverfahren nach mindestens einem der Ansprüche 18 bis 21, ferner umfassend Definieren von Teilbereichen von den mindestens zwei Parametern von mindestens einer parametrischen Form, für die die mindestens eine parametrische Form mindestens zwei Bereichsindikatorlinien schneidet.
  23. Merkmalsdetektionsverfahren nach einem der Ansprüche 18 bis 22, ferner umfassend Empfangen von mindestens zwei Indikatorpunkten zum Definieren der Endpunkte einer Bereichsindikatorlinie.
  24. Merkmalsdetektionsverfahren nach mindestens einem der Ansprüche 18 bis 22, wobei die mindestens zwei Bereichsindikatorlinien auf zwei Indikatorpunkten basieren, und die Bereichsindikatorlinien sich durch die Indikatorpunkte derart erstrecken, dass die Bereichsindikatorlinien einen im Wesentlichen rechtwinkligen Bereich von Interesse definieren.
  25. Merkmalsdetektionsverfahren nach einem der Ansprüche 18 bis 24, ferner umfassend Erhalten von Objektmerkmalspixeln des Objektmerkmals in dem Bereich von Interesse durch Verarbeiten des Bereichs von Interesse unter Verwendung eines Detektionsalgorithmus oder durch einen Betreiber zum Auswählen der Objektmerkmalspixel in dem Bereich von Interesse.
  26. Merkmalsdetektionsverfahren nach Anspruch 25, ferner umfassend Berechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel des Objektmerkmals.
  27. Merkmalsdetektionsverfahren nach Anspruch 25 oder 26, ferner umfassend Ausfiltern von den erhaltenen Objektmerkmalspixeln von Objektmerkmalspixel, die einen spezifischen Abstand zu der parametrischen Form überschreiten, und Neuberechnen der Näherung an das Objektmerkmal auf Grundlage der erhaltenen Objektmerkmalspixel, nicht enthaltend die Objektmerkmalspixel, die den spezifischen Abstand überschreiten.
  28. Merkmalsdetektionsverfahren nach mindestens einem der Ansprüche 18 bis 27, wobei die parametrische Form auf Grundlage der ausgewählten Parameterwerte auf dem Objektmerkmal in dem digitalen Bild auf einer Anzeigeeinheit überlagert wird.
  29. Merkmalsdetektionsverfahren nach mindestens einem der Ansprüche 18 bis 28, ferner umfassend Auswählen einer anderen Kombination von Parameterwerten von den Parameterbereichen, für die eine zweite parametrische Form eine Näherung an ein zweites Objektmerkmal in dem Bereich von Interesse darstellt, und Berechnen einer Mittellinie zwischen den zwei parametrischen Formen.
  30. Merkmalsdetektionsverfahren nach mindestens einem der Ansprüche 18 bis 29, ferner umfassend Definieren auf der parametrischen Form eines Messpixels; und Umwandeln des Messpixels in eine Näherung von Koordinaten einer Position des zu messenden Objekts unter Annahme eines Standardabstands zu der Position.
  31. Merkmalsdetektionsverfahren nach Anspruch 30, ferner umfassend Anvisieren des Objekts mit einer Linsenanordnung; und Anpassen der optischen Achse der Linsenanordnung auf die zu messende Position.
  32. Merkmalsdetektionsverfahren nach Anspruch 31, ferner umfassend Messen eines Abstands zu der zu messenden Position entlang einer Messachse; und Neuberechnen der Koordinaten der Position auf Grundlage des gemessenen Abstands.
  33. Merkmalsdetektionsverfahren nach Anspruch 30, 31 oder 32, ferner umfassend Aufnehmen des Bilds des Bereichs von Interesse, das Teile des Objekts umfasst.
  34. Ein Programm, das Instruktionen enthält, ausgebildet zum Hervorrufen in einer Datenverarbeitungseinrichtung, das Verfahren nach mindestens einem der Ansprüche 18–33 auszuführen.
  35. Ein computerlesbares Medium, in dem ein Programm verkörpert ist, wobei das Programm einen Computer dazu bringt, das Verfahren nach mindestens einem der Ansprüche 18 bis 33 auszuführen.
  36. Ein Computerprogrammprodukt, das das computerlesbare Medium nach Anspruch 35 umfasst.
DE112007003553.6T 2007-07-02 2007-07-02 Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen Active DE112007003553B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/056633 WO2009003515A1 (en) 2007-07-02 2007-07-02 Feature detection apparatus and metod for measuring object distances

Publications (2)

Publication Number Publication Date
DE112007003553T5 true DE112007003553T5 (de) 2010-08-26
DE112007003553B4 DE112007003553B4 (de) 2018-09-13

Family

ID=38983934

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112007003553.6T Active DE112007003553B4 (de) 2007-07-02 2007-07-02 Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen

Country Status (4)

Country Link
US (1) US8633983B2 (de)
CN (1) CN101720476B (de)
DE (1) DE112007003553B4 (de)
WO (1) WO2009003515A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934766B2 (en) 2010-05-25 2015-01-13 Canon Kabushiki Kaisha Image pickup apparatus
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
KR101817653B1 (ko) * 2011-09-30 2018-01-12 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US9183458B2 (en) * 2012-07-19 2015-11-10 Qualcomm Incorporated Parameter selection and coarse localization of interest regions for MSER processing
US10262460B2 (en) * 2012-11-30 2019-04-16 Honeywell International Inc. Three dimensional panorama image generation systems and methods
US9355495B2 (en) * 2013-10-09 2016-05-31 Trimble Navigation Limited Method and system for 3D modeling using feature detection
EP3489719B1 (de) 2017-11-23 2023-09-20 Trimble AB Verbesserter elektronischer entfernungsmesser
US10759051B2 (en) * 2018-04-23 2020-09-01 General Electric Company Architecture and methods for robotic mobile manipulation system
DE102018113723A1 (de) * 2018-06-08 2019-12-12 Endress+Hauser Flowtec Ag Feldgerät der Mess- und Automatisierungstechnik
CN111028149B (zh) * 2019-11-27 2023-03-24 航天精一(广东)信息科技有限公司 地图实时纠偏方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005059473A2 (en) 2003-12-16 2005-06-30 Trimble Jena Gmbh Calibration of a surveying instrument
WO2008089791A1 (en) 2007-01-26 2008-07-31 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642285A (en) * 1995-01-31 1997-06-24 Trimble Navigation Limited Outdoor movie camera GPS-position and time code data-logging for special effects production
FR2740220B1 (fr) 1995-10-18 1997-11-21 Snecma Procede de detection automatique des zones expertisables dans des images de pieces mecaniques
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6147598A (en) * 1997-07-03 2000-11-14 Trimble Navigation Limited Vehicle theft system including a handheld computing device
DE19922321C2 (de) 1999-05-14 2002-07-18 Zsp Geodaetische Sys Gmbh Verfahren und Anordnung zur Durchführung von geodätischen Messungen mittels Videotachymeter
US6614452B1 (en) 1999-11-15 2003-09-02 Xenogen Corporation Graphical user interface for in-vivo imaging
DE10017551C2 (de) 2000-04-08 2002-10-24 Carl Zeiss Vision Gmbh Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
DE10066379B4 (de) * 2000-05-20 2008-07-10 Trimble Jena Gmbh Verfahren und Einrichtung zur Realisierung eines Informations- und Datenflusses für geodätische Geräte
FR2827399A1 (fr) * 2001-07-12 2003-01-17 Bruno Regnier Ardoise de mesure a ecran tactile
JP4253239B2 (ja) * 2003-10-07 2009-04-08 富士重工業株式会社 画像認識を用いた航法装置
JP4522754B2 (ja) * 2004-06-14 2010-08-11 株式会社トプコン 測量機
JP4374303B2 (ja) * 2004-09-29 2009-12-02 株式会社日立ハイテクノロジーズ 検査方法及びその装置
US7541974B2 (en) * 2005-12-15 2009-06-02 Trimble Navigation Limited Managed traverse system and method to acquire accurate survey data in absence of precise GPS data
ATE459858T1 (de) * 2005-09-12 2010-03-15 Trimble Jena Gmbh Vermessungsinstrument und verfahren zur bereitstellung von vermessungsdaten mithilfe des vermessungsinstruments
US7719467B2 (en) * 2007-03-08 2010-05-18 Trimble Navigation Limited Digital camera with GNSS picture location determination
WO2009106141A1 (en) 2008-02-29 2009-09-03 Trimble Ab Determining coordinates of a target in relation to a survey instrument having at least two cameras
US8345928B2 (en) 2008-02-12 2013-01-01 Trimble Ab Localizing a surveying instrument in relation to a ground mark
DE112008003711B4 (de) * 2008-02-22 2024-01-25 Trimble Jena Gmbh Winkelmessgerät und -verfahren
US8897482B2 (en) * 2008-02-29 2014-11-25 Trimble Ab Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
US20090262974A1 (en) * 2008-04-18 2009-10-22 Erik Lithopoulos System and method for obtaining georeferenced mapping data
CN102341812B (zh) 2009-01-08 2014-08-27 天宝导航有限公司 用于确定点的角度和位置的方法和***
US8379929B2 (en) * 2009-01-08 2013-02-19 Trimble Navigation Limited Methods and apparatus for performing angular measurements
US7991575B2 (en) * 2009-01-08 2011-08-02 Trimble Navigation Limited Method and system for measuring angles based on 360 degree images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005059473A2 (en) 2003-12-16 2005-06-30 Trimble Jena Gmbh Calibration of a surveying instrument
WO2008089791A1 (en) 2007-01-26 2008-07-31 Trimble Jena Gmbh Optical instrument and method for obtaining distance and image information

Also Published As

Publication number Publication date
CN101720476A (zh) 2010-06-02
US20100165101A1 (en) 2010-07-01
US8633983B2 (en) 2014-01-21
WO2009003515A1 (en) 2009-01-08
DE112007003553B4 (de) 2018-09-13
CN101720476B (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
DE112007003553B4 (de) Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen
DE112007003284T5 (de) Optisches Instrument und Verfahren zum Erhalten von Abstands- und Bildinformation
DE112007003293T5 (de) Optisches Instrument und Verfahren zum Erhalten von Abstands- und Bildinformation
EP3034995B1 (de) Verfahren zum bestimmen eines position- und orientierungsversatzes eines geodätischen vermessungsgeräts und ebensolches vermessungsgerät
DE60202198T2 (de) Vorrichtung und verfahren zur erzeugung von dreidimensionalen positionsdaten aus einem erfassten zweidimensionalen bild
DE112014005866B4 (de) Verbesserung der plenoptischen Kameraauflösung
DE69826753T2 (de) Optischer Profilsensor
EP1606581B1 (de) VERFAHREN UND VORRICHTUNG ZUR BILDVERARBEITUNG IN EINEM GEODÄTISCHEN MESSGER T
DE60310226T2 (de) Verfahren zur linearen raumabtastung und vorrichtung zur erzeugung eines numerischen 3d modells
DE602005002176T2 (de) Vorrichtung und Verfahren zur dreidimensionalen Bildvermessung
DE112013004489T5 (de) Laserscanner mit Dynamischer Einstellung der Winkel-Abtastgeschwindigkeit
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE19922321C2 (de) Verfahren und Anordnung zur Durchführung von geodätischen Messungen mittels Videotachymeter
DE60206320T2 (de) Vorrichtung und Verfahren zur perspektivischen Projektionbilderzeugung
DE112010002843T5 (de) Oberflächenverfolgung auf Bildbasis
DE102013211492B4 (de) Bestimmung eines Messfehlers
DE102010043136A1 (de) Messgerät für eine berührungslose Messung von Abständen bei einem Zielobjekt
DE102009023896A1 (de) Vorrichtung und Verfahren zum Erfassen einer Pflanze
DE102013209415A1 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102009015921A1 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE112010000812T5 (de) Verfahren und Systeme zum Bestimmen von Winkeln und Orten von Punkten
DE102017109039A1 (de) Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
DE102017102227A1 (de) Verfahren und Vorrichtung zur automatischen Identifizierung einer interessierenden Stelle in einer Tiefenmessung an einem betrachteten Objekt
DE10058244A1 (de) Messverfahren zur Ermittlung der Position eines Objektes vor einem Bildschirm und Vorrichtung zur Durchführung des Verfahrens
DE112007003515T5 (de) Nivelliergerät und -Verfahren

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009030000

Ipc: G06V0030120000