DE102021202993A1 - Method for determining a calibration quality of an optical sensor - Google Patents
Method for determining a calibration quality of an optical sensor Download PDFInfo
- Publication number
- DE102021202993A1 DE102021202993A1 DE102021202993.0A DE102021202993A DE102021202993A1 DE 102021202993 A1 DE102021202993 A1 DE 102021202993A1 DE 102021202993 A DE102021202993 A DE 102021202993A DE 102021202993 A1 DE102021202993 A1 DE 102021202993A1
- Authority
- DE
- Germany
- Prior art keywords
- information
- calibration
- image
- pair
- data sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Es wird ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors (1) vorgeschlagen. Das Verfahren umfasst die Schritte:- Aufnehmen eines ersten Bildes (2) mittels des optischen Sensors (1),- Verwenden- einer ersten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen ersten Raumpunktes (3) und- einer zweiten Information über die Position (x', y') eines zum ersten Raumpunkt (3) korrespondierenden ersten Bildpunktes (3'), sowie- einer dritten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen zweiten Raumpunktes (4) und- einer vierten Information über die Position (x', y') eines zum zweiten Raumpunkt korrespondierenden zweiten Bildpunktes (4'),zur Erstellung eines ersten Informationspaares aus der ersten und zweiten Information und eines zweiten Informationspaares aus der dritten und vierten Information,- Erstellen einer Mehrzahl (5) Datensätze (51, 52, 53) jeweils umfassend eine unterschiedliche Permutation, insbesondere mit Wiederholung, aus dem ersten Informationspaar (33) und dem zweiten Informationspaar (44), und- Ermitteln einer Kalibrierungsgüte auf Basis der Mehrzahl (5) Datensätze.A method for determining a calibration quality of an optical sensor (1) is proposed. The method comprises the steps: - recording a first image (2) by means of the optical sensor (1), - using first information about the spatial position (x, y, z) of a characteristic first spatial point represented in the first image (2). (3) and - second information about the position (x', y') of a first image point (3') corresponding to the first spatial point (3), and - third information about the spatial position (x, y, z) of a characteristic second spatial point (4) represented in the first image (2) and fourth information about the position (x', y') of a second image point (4') corresponding to the second spatial point, for creating a first information pair from the first and second information and a second pair of information from the third and fourth information,- creating a plurality (5) data sets (51, 52, 53), each comprising a different permutation, in particular with repetition, from the first information onspaar (33) and the second pair of information (44), and determining a calibration quality based on the plurality (5) data sets.
Description
Stand der TechnikState of the art
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors. Insbesondere betrifft die vorliegende Erfindung einen verminderten Handhabungs- und Berechnungsaufwand bei der Ermittlung einer Kalibrierungsgüte.The present invention relates to a method for determining a calibration quality of an optical sensor. In particular, the present invention relates to a reduced outlay on handling and calculation when determining a calibration quality.
Voraussetzung für die Verwendung von Kamera-Systemen als messende Instrumente ist, dass ihr geometrisches Abbildungsverhalten genauestens bekannt ist. Konkret bedeutet dies, dass die Abbildungsfunktion (Projektion) eines Punktes aus der dreidimensionalen Welt in das zweidimensionale Bild bekannt sein muss. Die Bestimmung dieser Abbildungsfunktion sowie die genaue Schätzung der zugehörigen Modellparameter erfolgen innerhalb der Kamerakalibrierung.A prerequisite for the use of camera systems as measuring instruments is that their geometric imaging behavior is precisely known. In concrete terms, this means that the mapping function (projection) of a point from the three-dimensional world into the two-dimensional image must be known. This mapping function is determined and the associated model parameters are precisely estimated within the camera calibration.
Fehler während der Kamerakalibrierung, wie falsche Annahmen über den Kalibrierkörper (bspw. angenommene Planarität oder Größen/Abstände), die Wahl eines ungeeigneten Kamera-Abbildungsmodells, oder unzureichend viele Kalibrier-Aufnahmen, können die Güte der Kalibrierung beliebig stark degradieren, was einen negativen Einfluss auf alle auf die Kalibrierung aufbauenden Funktionen hat. Aus diesem Grund werden typischerweise Gütemaße bestimmt, auf deren Basis solche Fehler zu erkennen sind. Ein solches Gütemaß ist die Kovarianzmatrix der geschätzten Modellparameter, welche die verbleibende Restunsicherheit der Modellparameter quantifiziert. Die klassische Art der Berechnung der Kovarianzmatrix macht diese sehr anfällig für kleine Modellverletzungen (wie oben beschrieben) und führt unter realen Bedingungen zu einer, mitunter signifikanten, Unterschätzung der Parameter-Unsicherheit. In anderen Worten, es wird fälschlicherweise angenommen, dass die Modellparameter deutlich genauer bekannt sind, als dies tatsächlich der Fall ist. Im schlimmsten Fall würde eine Kamera bspw. fälschlicherweise eine Qualitätskontrolle bestehen, oder die Ursache für Messabweichungen würde an anderer Stelle (als den Modellparametern) vermutet.Errors during camera calibration, such as incorrect assumptions about the calibration body (e.g. assumed planarity or sizes/distances), the choice of an unsuitable camera imaging model, or an insufficient number of calibration images, can degrade the quality of the calibration to any degree, which has a negative impact on all functions based on the calibration. For this reason, quality measures are typically determined, on the basis of which such errors can be identified. Such a quality measure is the covariance matrix of the estimated model parameters, which quantifies the remaining uncertainty of the model parameters. The classic way of calculating the covariance matrix makes it very susceptible to small model violations (as described above) and under real conditions leads to a sometimes significant underestimation of the parameter uncertainty. In other words, it is wrongly assumed that the model parameters are known much more accurately than is actually the case. In the worst case, a camera would, for example, incorrectly pass a quality check, or the cause of measurement deviations would be assumed to be somewhere else (than the model parameters).
Um die Unsicherheit der geschätzten Parameter zu beurteilen, wird typischerweise die Kovarianzmatrix Σθ der Parameter θ aus der Optimierung genutzt: Je kleiner die Varianz eines Parameters, desto sicherer ist man sich bzgl. seines Wertes. Dabei wird die Kovarianzmatrix aus dem Verlauf der Kostenfunktion der Optimierung bestimmt: Als Kosten wird hier die Abweichung zwischen Beobachtung, bspw. der gemessenen Position einer Schachbrettecke im Bild, und der Prädiktion, bspw. der vorhergesagten Position der Schachbrettecke im Bild auf Basis der geschätzten Modellparameter, bezeichnet. Die Kostenfunktion quantifiziert diese Abweichung. Im einfachsten Fall könnte dies bspw. der Abstand in Pixel zwischen Messung und Prädiktion sein. In der Praxis wird typischerweise eine robuste Kostenfunktion verwendet, welche grobe Fehlmessungen geringer gewichtet, da sie sonst die Kalibrierung verfälschen würden. Kleinere Modellfehler können damit jedoch typischerweise nicht erkannt/geringer gewichtet werden. Das Optimum liegt dann im Minimum der Kostenfunktion und die zugehörigen (geschätzten) Kalibrierparameter sind 9. Je steiler der Anstieg der Kosten um das Optimum herum, desto geringer ist die Unsicherheit.In order to assess the uncertainty of the estimated parameters, the covariance matrix Σθ of the parameter θ from the optimization is typically used: the smaller the variance of a parameter, the more certain one is about its value. The covariance matrix is determined from the course of the cost function of the optimization: The deviation between the observation, e.g. the measured position of a chessboard corner in the image, and the prediction, e.g. the predicted position of the chessboard corner in the image based on the estimated model parameters, is used as the cost , designated. The cost function quantifies this deviation. In the simplest case, this could be the distance in pixels between measurement and prediction. In practice, a robust cost function is typically used, which weights gross incorrect measurements less, since they would otherwise falsify the calibration. Smaller model errors, however, typically cannot be recognized/weighted less. The optimum then lies in the minimum of the cost function and the associated (estimated) calibration parameters are 9. The steeper the increase in costs around the optimum, the lower the uncertainty.
Mathematisch erfolgt die Berechnung der Kovarianzmatrix daher über die Jacobi-Matrix J der Kostenfunktion, welche die Ableitung der Kostenfunktionen nach den Modellparametern θ beschreibt, als:
Diese Standardmethode (std) zur Schätzung der Kovarianzmatrix basiert auf idealen Annahmen. Es ist bekannt und wird auch im Proof-of-Concept noch einmal gezeigt, dass diese Bedingungen in der Praxis selten erfüllt sind, was typischerweise zu Unterschätzung der Kovarianzmatrix zur Folge hat, d.h. zu einer Unterschätzung der Unsicherheit führt.This standard (std) method for estimating the covariance matrix is based on ideal assumptions. It is known and is also shown again in the proof-of-concept that these conditions are rarely met in practice, which typically results in the covariance matrix being underestimated, i.e. leading to an underestimation of the uncertainty.
Eine gängige Praxis der nichtparametrischen Statistik sind sogenannte Resampling Methoden. Ziel dieser Methoden ist es, Aussagen über die Verteilung stichprobenbasierter Schätzungen zu treffen (z.B. Konfidenzintervalle anzugeben), ohne dabei auf parametrische Annahmen zurückzugreifen. Dies ist insbesondere dann von Nutzen, wenn nicht bekannt ist, welche Verteilung einem Datensatz zugrunde liegt. Die einzige Annahme, die diese Resampling Methoden treffen, ist, dass die vorhandene Stichprobe repräsentativ ist für die Gesamtverteilung (Population). Zu den am häufigsten verwendeten Resampling Methoden zählen Bootstrapping im Allgemeinen und bspw. Jackknife im Speziellen. Bei diesen Methoden werden aus den Daten im originalen Datensatz vielfach neue Datensätze mit verschiedener Zusammensetzung gebildet (Resampling). Für alle diese Datensätze erfolgt dann jeweils eine Parameterschätzung. Schließlich wird die Verteilung der vielen geschätzten Parameter analysiert. Dieses Vorgehen weicht deutlich von der oben beschriebenen Standardmethode ab.A common practice of non-parametric statistics are so-called resampling methods. The aim of these methods is to make statements about the distribution of sample-based estimates (e.g. to specify confidence intervals) without resorting to parametric assumptions. This is particularly useful when the distribution underlying a data set is not known. The only assumption these resampling methods make is that the existing sample is representative of the overall distribution (population). The most commonly used resampling methods include bootstrapping in general and jackknife in particular. With these methods, new data sets with different composition are created from the data in the original data set (resampling). A parameter estimation is then carried out for each of these data sets. Finally, the distribution of the many estimated parameters is analyzed. This procedure differs significantly from the standard method described above.
Eine Aufgabe der Erfindung ist die Bestimmung verlässlicher Parameterunsicherheiten einer Kamerakalibrierung unter realen, nicht-idealen Bedingungen.One object of the invention is to determine reliable parameter uncertainties of a camera calibration under real, non-ideal conditions.
Gemäß der vorliegenden Erfindung wird ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors vorgeschlagen. Der optische Sensor kann beispielsweise ein Kamerasensor (CCD-Sensor o.ä.) umfassen. Der Sensor ist nicht auf die Funktionsweise im optisch sichtbaren Bereich des elektromagnetischen Spektrums beschränkt. Vielmehr ist er jedoch für die exakte räumliche Abbildung aus der 3D-Welt in eine mittels des Sensors erstellte 2D- oder 3D-Welt verwendbar. Hierzu sind exakte Informationen über die räumliche Korrespondenz zwischen der realen Welt und der abgebildeten Welt erforderlich, welche Ergebnis einer exakten Kalibrierung sein sollen. In einem ersten Schritt wird ein erstes Bild mittels des optischen Sensors aufgenommen. Mit anderen Worten wird die reale Welt mittels des zu untersuchenden optischen Sensors abgelichtet/abgebildet. Dieser Schritt kann im Zuge einer Kalibrierung bereits erfolgt sein oder zum Zwecke der Überprüfung der Kalibrierung in erfindungsgemäßer Weise (erneut) ausgeführt werden. Alternativ kann in dem ersten Schritt das erste Bild bereits erfasst und in Form von Daten vorliegen, wobei die das erste Bild repräsentierenden Daten für die weiteren Verfahrensschritte bereitgestellt werden. In diesem Fall handelt es sich bei dem Verfahren um ein computerimplementiertes Verfahren. Anschließend werden Informationen über die reale Welt und im Sensorbild enthaltene Informationen in erfindungsgemäßer Weise zueinander in Beziehung gesetzt. Hierzu wird eine erste Information über die räumliche Lage eines im ersten Bild repräsentierten charakteristischen ersten Raumpunktes verwendet. Mit anderen Worten werden Kenntnisse über die tatsächliche Lage des Raumpunktes in dreidimensionalem Umfeld des optischen Sensors ermittelt. Zudem wird eine zweite Information über die Position eines zum ersten Raumpunkt korrespondierenden ersten Bildpunktes verwendet. Mit anderen Worten stellt der erste Bildpunkt eine Abbildung des ersten Raumpunktes dar. Er befindet sich in der gebildeten (virtuellen) bzw. datentechnischen Domäne. Diese Domäne kann eine 2D-Abbildung der realen 3D-Welt sein. Zudem wird eine dritte Information über die räumliche Lage eines im ersten Bild repräsentierten charakteristischen zweiten Raumpunktes und eine vierte Information über die Position eines zum zweiten Raumpunkt korrespondierenden zweiten Bildpunktes verwendet, um zwei Informationspaare zu erstellen. Das erste Informationspaar umfasst die erste und zweite Information, während das zweite Informationspaar die dritte und vierte Information umfasst. Durch die Bildung der Informationspaare werden zueinander korrespondierende Informationen über Raumpunkte und korrespondierende Bildpunkte zueinander in Beziehung gesetzt. Anschließend wird eine Mehrzahl Datensätze aus dem ersten Informationspaar und dem zweiten Informationspaar erzeugt. Die Datensätze umfassen jeweils unterschiedliche Permutationen (z.B. mit Wiederholung „Ziehen mit Zurücklegen“), wobei im Beispiel drei unterschiedliche Permutationen möglich sind: Zweimal das erste Informationspaar, zweimal das zweite Informationspaar und einmal das erste und einmal das zweite Informationspaar. Auf diese Weise wird eine künstliche Steigerung derjenigen Informationen, welche zur Ermittlung der Kalibrierungsgüte zur Verfügung stehen, geschaffen, obwohl lediglich zwei Raumpunkte und zwei Bildpunkte innerhalb ein und desselben Fotos sensorisch sowie datentechnisch erstellt worden sind und zu handhaben sind. Insbesondere sind Wiederholungen von Informationspaaren möglich, wenn die Mehrzahl Datensätze erstellt wird. Dies schließt jedoch nicht aus, dass in jedem Datensatz jeweils jedes Informationspaar enthalten sein muss. Vielmehr kann in einem Datensatz ein einzelnes Informationspaar oder (bei mehreren Informationspaaren) auch mehrere Informationspaare im jeweiligen Datensatz fehlen. Insbesondere werden die Informationspaare nur auf Basis ein und desselben Bildes ermittelt. Die auf Basis der Informationspaare zu erstellenden Datensätze hingegen können - sofern mehrere Bilder aufgenommen wurden - optional bildübergreifend ermittelt werden. In den Permutationen der Datensätze sind gegebenenfalls Informationen einzelner Bilder nicht enthalten. Dies stellt insbesondere einen Unterschied zu den bisherigen, im Stand der Technik bekannten Verfahrensweisen bei der Kalibrierung dar:
- Erfindungsgemäß sind nun mehrere Informationspakete (Datensätze) aus den verfügbaren Daten (Informationspaaren) erzeugt und wiederholtermaßen für die Ermittlung vorbereitet werden, während im Stand der Technik stets alle Daten zusammen nur einmal ausgewertet werden. Mit anderen Worten wird im Stand der Technik ein Raumpunkt der realen Welt genauso oft bei der Kalibrierung verwendet, wie er mittels des zu kalibrierenden Sensors abgelichtet worden ist (üblicherweise also genau einmal).
- According to the invention, several information packets (data sets) are now generated from the available data (information pairs) and repeatedly prepared for the determination, while in the prior art all data are always evaluated together only once. In other words, in the prior art, a point in space in the real world is used in the calibration just as often as it was photographed using the sensor to be calibrated (ie usually exactly once).
Diese Informationen (also die Informationspaare, insbesondere die Mehrzahl Datensätze) können genutzt werden, um die Güte und Präzision einer Kalibrierung zu bewerten. Dabei soll die Methode die Standardmethode (Gleichung 1) ersetzen, welche die Parameterunsicherheit in der Praxis teilweise deutlich unterschätzt.This information (ie the information pairs, in particular the majority of data sets) can be used to evaluate the quality and precision of a calibration. The method is intended to replace the standard method (equation 1), which sometimes significantly underestimates the parameter uncertainty in practice.
Anders ausgedrückt ist Gegenstand dieser Erfindung eine alternative Methode zur Bestimmung der verbleibenden Parameterunsicherheiten, die robust gegen kleine Modellfehler, wie z.B. kleinste Fehler im Kalibrierkörper (welche in der Praxis nahezu unvermeidbar sind), ist. Die Parameterunsicherheiten können dann bspw. wieder durch eine Kovarianzmatrix ausgedrückt werden. Diese spiegelt die tatsächliche Parameterunsicherheit jedoch deutlich besser wider als die klassische Methode und führt im Mittel zu einer konsistenten Unterschätzung der Unsicherheit.In other words, the subject matter of this invention is an alternative method for determining the remaining parameter uncertainties that is robust to small model errors, such as the smallest Errors in the calibration body (which are almost unavoidable in practice) is. The parameter uncertainties can then be expressed again, for example, by a covariance matrix. However, this reflects the actual parameter uncertainty much better than the classic method and, on average, leads to a consistent underestimation of the uncertainty.
Im Folgenden werden die Methode, sowie eine deutlich effizientere Approximation der Methode, im Detail beschrieben. Außerdem wird in einem Proof-of-Concept demonstriert, dass die Ergebnisse der Standardmethode in der Praxis meist nicht verlässlich sind, während sowohl die hier vorgeschlagene Grundmethode, als auch deren Approximation, stets konsistente Ergebnisse liefern.The method and a much more efficient approximation of the method are described in detail below. In addition, a proof-of-concept demonstrates that the results of the standard method are usually not reliable in practice, while both the basic method proposed here and its approximation always deliver consistent results.
Über Propagation dieser Parameterunsicherheiten können darüber hinaus Fehler im Bild, sowie Fehler in darauffolgenden Anwendungen der Kamera (z.B. Selbstlokalisierung, Triangulation, etc.) abgeschätzt werden. Außerdem können die bestimmten Parameterunsicherheiten als direktes Feedback während der Kalibrierung genutzt werden, um bestmögliche zusätzliche Messungen anzufordern. Schließlich kann eine verlässliche Bestimmung der Parameterunsicherheiten auch dafür eingesetzt werden bestehende oder neue Kalibrierverfahren und -aufbauten grundsätzlich zu bewerten.Errors in the image and errors in subsequent camera applications (e.g. self-localization, triangulation, etc.) can also be estimated by propagating these parameter uncertainties. In addition, the determined parameter uncertainties can be used as direct feedback during calibration to request the best possible additional measurements. Finally, a reliable determination of the parameter uncertainties can also be used to fundamentally evaluate existing or new calibration methods and setups.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.
Das erfindungsgemäße Verfahren kann bevorzugt durch die Ermittlung einer Vielzahl Parameterschätzungen weitergebildet werden. Gemäß einer ersten Alternative wird durch das Ausführen einer Vielzahl Kalibrierungen des Sensors die Vielzahl Parameterschätzungen ermittelt, wobei jede Kalibrierung auf einem Datensatz der Mehrzahl Datensätze basiert. Hierbei kann die Mehrzahl Datensätze ausschließlich unterschiedliche Datensätze aufweisen, so dass jeder Datensatz von einem jeden weiteren Datensatz in der Mehrzahl Datensätze unterschiedlich ist. Es können aber auch gleiche Datensätze mehrfach vorkommen. Das Ermitteln der Vielzahl Parameterschätzungen kann alternativ oder zusätzlich durch die folgenden Schritte erfolgen:
- Zum Ermitteln der Vielzahl an Parameterschätzungen wird eine Vielzahl approximierter Kalibrierungen des Sensors ausgeführt. Dies erfolgt auf Basis optimaler Parameter der Kalibrierung des Sensors. Hiermit kann in einer ersten Alternative die zu einem früheren Zeitpunkt erfolgte (z.B. erstmalige) Kalibrierung des Sensors gemeint sein. Alternativ oder zusätzlich kann auf Basis einer Jacobi-Matrix an der Stelle der optimalen Parameter und alternativ oder zusätzlich auf Basis eines Residuen-Vektors an der Stelle der optimierten Parameter und alternativ oder zusätzlich auf Basis einer Verwendung eines Ergebnisses einer Kalibrierung des Sensors die Vielzahl approximierter Kalibrierungen des Sensors ausgeführt werden. Anschließend wird als Bestandteil der zweiten Alternative eine Vielzahl aktualisierter Jacobi-Matrizen auf Basis in der Mehrzahl Datensätze enthaltener Informationspaare erstellt. Mit anderen Worten wird zu jedem Datensatz eine Jacobi-Matrix entsprechend den Informationspaaren erstellt. Alternativ oder zusätzlich wird eine Vielzahl aktualisierter Residuen-Vektoren auf Basis in der Mehrzahl Datensätze enthaltener Informationspaare erstellt. Mit anderen Worten wird zu jedem Datensatz eine Residuen-Vektor entsprechend den Informationspaaren erstellt. Anschließend wird als Bestandteil der zweiten Alternative eine oder mehrere Optimierungsschritte (insbesondere Gauß-Newton-Iteration(en)) zum Ermitteln der Vielzahl Parameterschätzungen ausgeführt. Anschließend erfolgt sowohl im Rahmen der ersten Alternative als auch im Rahmen der zweiten Alternative eine Ermittlung einer Kalibrierungsgüte auf Basis der Vielzahl Parameterschätzungen. Auf diese Weise kann die Ermittlung der Kalibrierungsgüte verbessert werden.
- A large number of approximate calibrations of the sensor are carried out to determine the large number of parameter estimates. This is done on the basis of optimal parameters of the calibration of the sensor. In a first alternative, this can mean the calibration of the sensor that took place at an earlier point in time (eg for the first time). Alternatively or additionally, based on a Jacobian matrix at the point of the optimal parameters and alternatively or additionally based on a residual vector at the point of the optimized parameters and alternatively or additionally based on using a result of a calibration of the sensor, the plurality of approximated calibrations of the sensor are executed. Subsequently, as part of the second alternative, a large number of updated Jacobian matrices are created on the basis of information pairs contained in the plurality of data sets. In other words, a Jacobian matrix is created for each data set according to the information pairs. Alternatively or additionally, a large number of updated residual vectors are created on the basis of information pairs contained in the plurality of data sets. In other words, a residual vector corresponding to the information pairs is created for each data set. Subsequently, as part of the second alternative, one or more optimization steps (in particular Gauss-Newton iteration(s)) are carried out to determine the large number of parameter estimates. A calibration quality is then determined on the basis of the large number of parameter estimates both in the context of the first alternative and in the context of the second alternative. In this way, the determination of the calibration quality can be improved.
Weiter verbessert werden kann die Ermittlung der Güte der Kalibrierung durch Ermitteln einer Standardabweichung und/oder einer Varianz der Vielzahl der Parameterschätzungen. In entsprechender Weise kann auch ein Konfidenz-Intervall bzw. eine Vielzahl Konfidenz-Intervalle auf Basis der Vielzahl Parameterschätzungen ermittelt werden. Die Größe der Varianz und/oder Standardabweichung und/oder Konfidenz-Intervalle ist ein direktes Maß für die Parameterunsicherheit.The determination of the quality of the calibration can be further improved by determining a standard deviation and/or a variance of the large number of parameter estimates. In a corresponding manner, a confidence interval or a large number of confidence intervals can also be determined on the basis of the large number of parameter estimates. The size of the variance and/or standard deviation and/or confidence intervals is a direct measure of the parameter uncertainty.
Zur weiteren Verbesserung des erfindungsgemäßen Verfahrens kann ein Median und/oder ein Mittelwert der Parameterschätzungen zur Bestimmung eines systematischen Fehlers in der Kalibrierung ermittelt werden. Eine deutliche Abweichung zwischen den optimalen Parametern der zu bewertenden Kalibrierung und dem Median und/oder Mittelwert der Parameterschätzungen deutet auf systematische Fehler hin.To further improve the method according to the invention, a median and/or a mean value of the parameter estimates can be determined to determine a systematic error in the calibration. A significant deviation between the optimal parameters of the calibration to be evaluated and the median and/or mean of the parameter estimates indicates systematic errors.
Der erste und der zweite Bildpunkt können insbesondere auf Basis eines im ersten Bild repräsentierten vordefinierten (beispielsweise planaren und/oder dreidimensionalen) Kalibrierkörpers liegen. Mit anderen Worten ist in dem ersten Bild ein erster Kalibrierkörper abgebildet, auf welchen auch die beiden Raumpunkte gelegen sind, welche wie oben ausgeführt mittels des Sensors erfasst und zur Erstellung der Informationspaare verwendet werden. In der Praxis haben sich Schachbrettmuster als Kalibrierkörper bewährt, da sie einen starken Kontrast und klare, einfach mathematisch zu beschreibende Geometrien aufweisen.The first and the second image point can in particular be based on a predefined (for example planar and/or three-dimensional) calibration body represented in the first image. In other words, a first calibration body is shown in the first image, on which the two spatial points are also located, which are detected by the sensor as explained above and used to create the information pairs. In practice, chessboard patterns have proven themselves as calibration objects, as they have a strong contrast and clear geometries that are easy to describe mathematically.
Die Mehrzahl Datensätze kann wie oben beschrieben erweitert werden, um die Informationsbasis für die Ermittlung der Kalibrierungsgüte zu vergrößern. Hierzu kann ein dritter Punkt auf dem Kalibrierkörper oder auf einem anderen Gegenstand innerhalb der 3D-Umgebung abgelichtet werden und zu einem dritten Bildpunkt im Bild des Sensors führen. Somit wird ein vierter Datensatz gebildet, welcher einmal das erste Informationspaar und einmal ein drittes Informationspaar bzw. das dritte Informationspaar umfasst. In entsprechender Weise kann auch ein fünfter Datensatz gebildet werden, welcher einmal das zweite Informationspaar und einmal das dritte Informationspaar aufweist. In entsprechender Weise kann ein sechster Datensatz, aufweisend zweimal das dritte Informationspaar, ermittelt werden, so dass nun sechs unterschiedliche Datensätze vorliegen und als Basis der Ermittlung der Kalibrierungsgüte dienen.As described above, the plurality of data sets can be expanded in order to increase the information base for determining the calibration quality. For this purpose, a third point on the calibration body or on another object within the 3D environment can be photographed and lead to a third pixel in the image of the sensor. A fourth data set is thus formed, which includes the first pair of information and a third pair of information or the third pair of information. A fifth data set can also be formed in a corresponding manner, which has the second information pair and the third information pair. A sixth data set containing the third information pair twice can be determined in a corresponding manner, so that six different data sets are now available and serve as the basis for determining the calibration quality.
Selbstverständlich kann auch eine zweite Aufnahme mittels des Sensors dazu verwendet werden, um die Informationsbasis für die Ermittlung der Kalibrierungsgüte zu vergrößern. Hierzu wird ein Abstand zwischen dem Sensor und dem ersten und zweiten Raumpunkt bzw. eine Ausrichtung des Sensors zum ersten und zweiten Raumpunkt verändert. Anschließend wird ein zweites Bild für die Ermittlung der Kalibrierungsgüte aufgenommen, mit welchem in zum ersten Bild entsprechender Weise verfahren werden kann.Of course, a second recording by means of the sensor can also be used to increase the information basis for determining the calibration quality. For this purpose, a distance between the sensor and the first and second point in space or an orientation of the sensor to the first and second point in space is changed. A second image is then recorded for determining the calibration quality, which can be used in a manner corresponding to the first image.
Sofern wie vorstehend ausgeführt ein zweites Bild aufgenommen worden ist, kann sichergestellt werden, dass in auf Basis des ersten Bildes erstellten Datensätzen sämtliche auf Basis des ersten Bildes erstellten Informationspaare enthalten sind. In entsprechender Weise kann sichergestellt werden, dass in auf Basis des zweiten Bildes erstellten Datensätzen sämtliche auf Basis des zweiten Bildes erstellten Informationspaare enthalten sind. In auf Basis des ersten Bildes erstellten Datensätzen brauchen keine Informationspaare enthalten zu sein, welche auf Basis des zweiten Bildes erstellt worden sind, und anders herum.If a second image has been taken as explained above, it can be ensured that all pairs of information created on the basis of the first image are contained in data sets created on the basis of the first image. In a corresponding manner, it can be ensured that all pairs of information created on the basis of the second image are contained in data sets created on the basis of the second image. Data sets created on the basis of the first image need not contain any information pairs which were created on the basis of the second image and vice versa.
Wie oben beschrieben, können mehrere Kalibrierkörper verwendet werden bzw. ein Kalibrierkörper in unterschiedlichen Ausrichtungen im Bildmaterial repräsentiert werden. So kann das erste Bild auch einen zweiten, insbesondere planaren oder dreidimensionalen, Kalibrierkörper repräsentieren und in auf Basis des im ersten Bild repräsentierten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis der Repräsentation des Kalibrierkörpers erstellten Informationspaare enthalten sein. Zudem können in auf Basis des im ersten Bild repräsentierten zweiten Kalibrierkörper erstellten Datensätzen sämtliche auf Basis der Repräsentation des zweiten Kalibrierkörpers erstellten Informationspaare enthalten sein. Mit anderen Worten gilt für die beiden Bilder, welche wie oben beschrieben zeitlich aufeinanderfolgend aufgenommen worden sein können, das entsprechende, wie wenn zwei Kalibrierkörper in ein und demselben Bild enthalten sind und jeweils in den Informationspaaren repräsentiert sind. Somit wird mit anderen Worten auch ein Verfahren vorgeschlagen, gemäß welchem jeder Bildpunkt auf einem der Abbilder einer Vielzahl von im Bild repräsentierten vordefinierten Kalibrierkörpers liegt, wobei in auf Basis des ersten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis des ersten Kalibrierkörpers erstellten Informationspaare und in auf Basis des zweiten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis des zweiten Kalibrierkörpers erstellten Informationspaare enthalten sind. Dies erweitert die Informationsbasis zur Ermittlung der Kalibrierungsgüte.As described above, several calibration bodies can be used or a calibration body can be represented in different alignments in the image material. The first image can thus also represent a second, in particular planar or three-dimensional, calibration body and all pairs of information created on the basis of the representation of the calibration body can be contained in data sets created on the basis of the calibration body represented in the first image. In addition, all pairs of information created on the basis of the representation of the second calibration body can be contained in data sets created on the basis of the second calibration body represented in the first image. In other words, the same applies to the two images, which as described above may have been recorded in chronological succession, as when two calibration bodies are contained in one and the same image and are each represented in the information pairs. In other words, a method is also proposed according to which each pixel lies on one of the images of a large number of predefined calibration bodies represented in the image, with all pairs of information created on the basis of the first calibration body being stored in data sets based on the first calibration body and in data sets based on the second calibration body created data sets contain all information pairs created on the basis of the second calibration body. This expands the information base for determining the calibration quality.
Um Informationen über die Raumpunkte zu erhalten, kann insbesondere ein weiterer optischer Sensor, insbesondere ein Laser und/oder eine Kamera, verwendet werden. Über diese wird die Ermittlung der ersten und der dritten Information zur Ermittlung der ersten beiden Informationspaare automatisiert. Mittels eines Lasers kann beispielsweise auch ein Raumpunkt auf dem Kalibrierkörper oder abseits eines vordefinierten Kalibrierkörpers definiert werden, welcher sich aufgrund der Reflexion des Lasers auch im zu kalibrierenden (ersten) Sensor wiederfindet. In entsprechender Weise können mehrere Laserpunkte in die Umgebung des zu kalibrierenden ersten Sensors projiziert werden, welche den jeweiligen Raumpunkt und seine datentechnische Entsprechung im Bildmaterial des zu kalibrierenden Sensors darstellen. Insbesondere dann, wenn die Ausrichtung des Lasers und eine Entfernung der Projektion vom Laser datentechnisch, insbesondere automatisch, in Erfahrung gebracht werden kann, kann das erfindungsgemäße Verfahren eine schnelle und sichere Erstellung der ersten und dritten Information bzw. der ersten und zweiten Informationspaare aufweisen.In order to obtain information about the points in space, a further optical sensor, in particular a laser and/or a camera, can be used. This automates the determination of the first and the third information for determining the first two information pairs. A laser can also be used, for example, to define a point in space on the calibration body or away from a predefined calibration body, which is also found in the (first) sensor to be calibrated due to the reflection of the laser. Correspondingly, several laser points can be projected into the environment of the first sensor to be calibrated, which represent the respective point in space and its data-technical correspondence in the image material of the sensor to be calibrated. In particular when the alignment of the laser and a distance of the projection from the laser can be found out by data technology, in particular automatically, the method according to the invention can have a quick and reliable creation of the first and third information or the first and second information pairs.
Selbstverständlich kann in Abhängigkeit der ermittelten Kalibrierungsgüte automatisch eine erneute Kalibrierung (Re-Kalibrierung) angestoßen werden. Mit anderen Worten kann eine Abweichung der ermittelten Kalibrierungsgüte um ein vordefiniertes Maß von einer minimal zulässigen Kalibrierungsgüte die Kalibrierung des Sensors erneuert werden. Hierbei können die im Zuge der Ermittlung der Kalibrierungsgüte ermittelten Informationen zur erneuten Kalibrierung verwendet werden. Für den Fall, dass ein Sensor während des Betriebes mehrfach, insbesondere in regelmäßigen Abständen und/oder ereignisbasiert hinsichtlich seiner Kalibrierung zu überprüfen ist, kann das erfindungsgemäße Verfahren entsprechen regelmäßig bzw. ereignisbasiert ausgeführt werden.Of course, a new calibration (re-calibration) can be triggered automatically depending on the determined calibration quality. In other words, if the determined calibration quality deviates by a predefined amount from a minimum permissible calibration quality, the calibration of the sensor can be renewed. In this case, the information ascertained in the course of ascertaining the calibration quality can be used for renewed calibration. In the event that a sensor is used several times during operation, esp is to be checked in terms of its calibration at regular intervals and/or based on events, the method according to the invention can be carried out correspondingly on a regular basis or based on events.
Die zuvor genannten Vorteile gelten in entsprechender Weise auch für eine Vorrichtung, insbesondere Computervorrichtung, zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors, wobei die Vorrichtung eingerichtet ist, das Verfahren gemäß einer der zuvor beschriebenen Ausführungen durchzuführen. Bevorzugt weist die Vorrichtung einen optischen Sensor, insbesondere eine Kamera, auf, um wenigstens ein erstes Bild zu erfassen bzw. aufzunehmen.The aforementioned advantages also apply in a corresponding manner to a device, in particular a computer device, for determining a calibration quality of an optical sensor, the device being set up to carry out the method according to one of the versions described above. The device preferably has an optical sensor, in particular a camera, in order to capture or record at least one first image.
Die zuvor genannten Vorteile gelten in entsprechender Weise auch für ein System aufweisend eine Vorrichtung, insbesondere Computervorrichtung, zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors und einen optischen Sensor, wobei die Vorrichtung und der optische Sensor räumlich getrennt voneinander angeordnet sind und signaltechnisch miteinander verbunden sind. Hierbei erfasst der optische Sensor das wenigstens eine erste Bild und stellt es der Vorrichtung als Daten bereit.The aforementioned advantages also apply correspondingly to a system having a device, in particular a computer device, for determining a calibration quality of an optical sensor and an optical sensor, the device and the optical sensor being arranged spatially separate from one another and being connected to one another in terms of signals. In this case, the optical sensor captures the at least one first image and makes it available to the device as data.
Die zuvor genannten Vorteile gelten in entsprechender Weise auch für ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Verfahrens durch einen Computer, insbesondere durch eine Vorrichtung gemäß einer der zuvor beschriebenen Ausführungsformen, bewirken, dass der Computer das Verfahren nach einer der vorstehend beschriebenen Ausführungsformen ausführt.The advantages mentioned above also apply in a corresponding manner to a computer program, comprising instructions which, when the method is executed by a computer, in particular by a device according to one of the embodiments described above, cause the computer to carry out the method according to one of the embodiments described above executes
Von Vorteil ist auch ein computerlesbares Medium, auf dem das zuvor genannte Computerprogramm gespeichert ist.A computer-readable medium on which the aforementioned computer program is stored is also advantageous.
Nachfolgend werden weitere Merkmale und Gegenstände der vorliegenden Erfindung geschildert, ohne die obigen Ausführungen oder den Schutzbereich der beigefügten Ansprüche einzuschränken:
- Startpunkt kann eine kalibrierkörperbasierte Kamerakalibrierung sein, bei der Bilder eines (oder mehrerer) Kalibrierkörpers aus verschiedenen Perspektiven aufgenommen werden. Auf Grundlage dieser Bilder werden (i) die Lage der Kamera relative zu (mehreren) Kalibrierkörpern in jedem Bild (extrinsische Parameter) und (ii) die Modellparameter der Kamera (intrinsiche Parameter θ) geschätzt. Die Schätzung erfolgt über ein sogenanntes Bundle Adjustment, wobei eine Kalibrierkostenfunktion mithilfe einer nichtlinearen kleinste Quadrate Methode optimiert wird. Aus der Optimierung ergeben sich die geschätzten Modellparameter θ̂, die Residuen r, sowie die Jacobi-Matrix J der Kalibrierkostenfunktion im Optimum. Im Anschluss an eine solche Standard-Kamerakalibrierung wird die Kovarianzmatrix nun über die erfindungsgemäße Methode bestimmt.
- The starting point can be a calibration body-based camera calibration, in which images of one (or more) calibration bodies are recorded from different perspectives. Based on these images, (i) the position of the camera relative to (multiple) calibration bodies in each image (extrinsic parameters) and (ii) the model parameters of the camera (intrinsic parameters θ) are estimated. The estimation is carried out using a so-called bundle adjustment, whereby a calibration cost function is optimized using a non-linear least squares method. The optimization results in the estimated model parameters θ̂, the residuals r, and the Jacobian matrix J of the calibration cost function in the optimum. Following such a standard camera calibration, the covariance matrix is now determined using the method according to the invention.
Sei F = {Bi}i=1,...,N der Kalibrierdatensatz, d.h. ein Set von N Bildern Bi. Aus diesem Set von Bildern werden nun nBS-mal N Bilder mit Zurücklegen gezogen, sodass nBS neue Datensätze {FBS,j}j=1,...,nBS entstehen. Diese Datensätze können jeweils die gleichen Bilder mehrfach enthalten, und andere Bilder gar nicht. Nun wird mit jedem dieser Datensätze FBS,j die vollständige Kalibrierung durchgeführt, wobei sich jeweils geschätzte Parameter θ̂BS,j ergeben. Schließlich wird aus der Menge der geschätzten Parameter {θ̂BS,j}j=1,...,nBS die Kovarianzmatrix der Parameter bestimmt:
Die oben beschriebene erfindungsgemäße Methode führt zu einer verlässlicheren Schätzung der Kovarianzmatrix als die Standardmethode. Ein entscheidender Nachteil liegt jedoch in der benötigten Rechenzeit: um Σ̂θ,BS zu bestimmen, muss die vollständige Kalibrierung nBS-mal durchgeführt werden. Je nach Größe des Datensatzes kann jede Kalibrierung mehrere Minuten dauern, sodass die Kovarianzmatrixschätzung für die Praxis zu lange braucht.The inventive method described above leads to a more reliable estimation of the covariance matrix than the standard method. However, a decisive disadvantage lies in the computing time required: in order to determine Σ̂ θ,BS , the complete calibration must be carried out nBS times. Depending on the size of the data set, each calibration can take several minutes, making the covariance matrix estimation too long for practical purposes.
Um die Rechenzeit zu verkürzen, wird eine approximierte Resampling Methode vorgeschlagen. Anstatt die komplette Kalibrierung mit jedem der Datensätze {FBS,j}j=1,...nBS durchzuführen, wird nur ein letzter Schritt der Optimierung durchgeführt, wie im Folgenden genauer erklärt wird.In order to shorten the computing time, an approximate resampling method is proposed. Instead of performing the complete calibration with each of the data sets {F BS,j } j=1,...nBS , only a final step of the optimization is performed, as will be explained in more detail below.
Bei der nichtlinearen kleinste-Quadrate Methode, welche bei Kamerakalibrierung verwendet wird, wird das Optimum iterativ gefunden, wobei in jeder Iteration die Kostenfunktion lokal linear approximiert wird, und dann ein sogenannter Gauß-Newton Schritt in Richtung geringerer Kosten durchgeführt wird. Konkret berechnet sich der Schritt über
Die approximierte Resampling Methode setzt nun nach dem letzten Schritt der originalen, zu bewertenden Kalibrierung an. Gegeben sind also die geschätzten Parameter θ̂, sowie die Jacobimatrix J am Optimum und die Residuen r am Optimum. Jede Zeile der Jacobimatrix gehört zu einer Beobachtung bzw. einem Residuum. Wie in der oben beschriebenen herkömmlichen Resampling Methode werden nun neue Datensätze {FBS,j}j=1,...,nBS gezogen, wobei jeder der neuen Datensätze jeweils einige Bilder mehrfach enthalten kann, und andere Bilder gar nicht. Für jeden dieser Datensätze FBS,j werden nun die Zeilen der Jacobimatrix J und des Residuenvektors r entsprechend der enthaltenen Bilder neu zusammengesetzt. Für jeden Datensatz ergibt sich also ein Triplet (JBS,j , rBS,j , Σo,BS,j), welches einige der Zeilen der originalen Jacobimatrix und des originalen Residuenvektors mehrfach enthalten kann und andere gar nicht. Für einen beispielhaften ersten Datensatz FBS,1 (j = 1), bei dem das erste Bild doppelt und das zweite Bild nicht vorkommt, ergibt sich
Dabei stellen die Ji, ri und Σo,i die Jacobi-Matrix, die Residuen und die Beobachtungsunsicherheiten zu Bild i dar. Hingegen stellen J̃, r̃ und Σ̃ potentiell weitere Jacobi-Matrizen, Residuen und die Beobachtungsunsicherheiten weiterer Beobachtungen bzw. Parameter dar, welche bspw. die Nichtplanarität eines Kalibrierkörpers beschreiben und jeweils mitgeschätzt werden müssen.The J i , r i and Σ o,i represent the Jacobi matrix, the residuals and the observation uncertainties for image i. In contrast, J̃, r̃ and Σ̃ represent potentially further Jacobi matrices, residuals and the observation uncertainties of further observations or parameters which, for example, describe the non-planarity of a calibration body and must also be estimated in each case.
Anschließend wird für jeden Datensatz der letzte Gauß-Newton Schritt durchgeführt:
Es ergeben sich also wieder für jeden Datensatz FBS,j optimale Parameter θ̂aBS,j . Schließlich wird, wie bei der herkömmlichen Resampling Methode, aus der Menge der geschätzten optimalen Parameter {θ̂aBS,j}j=1,...,nBS die Kovarianzmatrix Σ̂θ,aBS der Parameter bestimmt.There are therefore again optimal parameters θ̂ aBS,j for each data set F BS, j . Finally, as with the conventional resampling method, the covariance matrix Σ̂ θ,aBS of the parameters is determined from the set of estimated optimal parameters {θ ̂aBS,j } j=1,...,nBS .
Ganz allgemein beschreibt der Begriff „Resampling“ die Erzeugung von neuen Stichproben aus einer existierenden Stichprobe. Angewandt auf Kamerakalibrierung bedeutet dies die Erzeugung von neuen Kalibrierdatensätzen aus dem originalen Kalibrierdatensatz.In general, the term "resampling" describes the generation of new samples from an existing sample. Applied to camera calibration, this means the generation of new calibration data sets from the original calibration data set.
Generell sind dabei viele Strategien zur Bildung der neuen Stichproben denkbar: Es kann systematisch immer ein Bild weggelassen werden (‚leave-one-out‘), es können systematisch immer einige Bilder mehrfach eingebracht werden, und andere gar nicht - oder, wie beim klassischen Bootstrapping, rein zufällige neue Datensätze durch zufälliges Ziehen mit Zurücklegen generiert werden. Prinzipiell sind aber viele alternative Resampling-Strategien denkbar. Ein sehr konkretes Schema könnte z.B. lauten
- - Startpunkt ist der originale Kalibrierdatensatz bestehend aus N Bildern. Beispielsweise gilt dabei N ≥ 10, wie unten genauer erklärt wird.
- - Gemäß dem klassischen Bootstrapping werden nun z.B. nBS = 100 zufällige Datensätze generiert.
- - D.h. für jeden der nBS Datensätze werden zufällig N Bilder mit Zurücklegen aus dem originalen Datensatz gezogen.
- - Man erhält also nBS zufällige Datensätze, die jeweils genauso groß sind wie der originale Datensatz, die aber jeweils einige Bilder mehrfach und andere Bilder gar nicht enthalten.
- - The starting point is the original calibration data set consisting of N images. For example, N≧10 applies here, as will be explained in more detail below.
- - According to the classic bootstrapping, eg nBS = 100 random data sets are now generated.
- - Ie for each of the nBS datasets, N images with replacement are randomly drawn from the original dataset.
- - You get nBS random datasets, each of which is the same size as the original dataset, but which contain some images multiple times and other images not at all.
Für die Anzahl nBS an neuen Datensätzen gilt: je mehr, desto genauer die Unsicherheitsschätzung. Ein häufig verwendeter Richtwert für Bootstrapping-Verfahren ist nBS ~ 1000. In der Praxis sollte dabei Rechenzeit gegen Genauigkeit abgewogen werden. Untersuchungen legen nahe, dass ein deutlich kleinerer Wert von nBS = 50 meist ausreicht und schnell berechenbar ist. Als untere Schranke kann nBS ≥ 2n + 1 verwendet werden, wobei n die Anzahl intrinsischer Parameter θ̂ beschreibt. Für präzise Schätzungen ist eine Größenordnung von nBS ~ 1000 empfehlenswert.The following applies to the number nBS of new data sets: the more, the more accurate the uncertainty estimate. A frequently used guide value for bootstrapping methods is nBS ~ 1000. In practice, calculation time should be weighed against accuracy. Studies suggest that a much smaller value of nBS = 50 is usually sufficient and can be calculated quickly. nBS ≥ 2n + 1 can be used as the lower bound, where n describes the number of intrinsic parameters θ̂. For precise estimates, an order of magnitude of nBS ~ 1000 is recommended.
Wichtig ist für das Verfahren, dass der originale Kalibrierdatensatz ausreichend groß ist (ausreichend viele Bilder N). Die Grundannahme der Resampling Verfahren ist, dass der Datensatz repräsentativ ist für die Gesamtpopulation. Hinzu kommt, dass für kleine N oft Datensätze aus nur ein und demselben Bild entstehen, für die eine Kalibrierung nicht verlässlich möglich ist - es kommt daher zu einer Überschätzung der Unsicherheit. Als Orientierung kann N ≥ 10 herangezogen werden. In der Praxis ist dies jedoch keine relevante Limitierung, da üblicherweise deutlich größere Datensätze verwendet werden.It is important for the method that the original calibration data set is sufficiently large (sufficient number of images N). The basic assumption of the resampling procedure is that the data set is representative of the entire population. In addition, for small N, data sets are often created from just one and the same image, for which calibration is not reliably possible - this leads to an overestimation of the uncertainty. N ≥ 10 can be used as a guide. In practice, however, this is not a relevant limitation, since significantly larger data sets are usually used.
Durch das Resampling ergibt sich eine Verteilung an geschätzten Parametern {θ̂BS,j}j=1,...,nBS . Auf Grundlage dieser Verteilung kann nicht nur die Kovarianzmatrix ermittelt werden, sondern auch zahlreiche Metriken und Analysen durchgeführt werden. Einige Beispiele sind:
- - Die Kovarianzmatrix der Parameter kann ermittelt werden.
- - Alternativ können auch robuste Verfahren zur Bestimmung der Kovarianzmatrix wie bspw. Orthogonalized Gnanadesikan-Kettenring (OGK) eingesetzt werden.
- - Es können Konfidenzintervalle für alle Parameter angegeben werden.
- - Es kann geprüft werden, ob die Parameter tatsächlich einer klassischen Annahme einer Normalverteilung folgen (z.B. über statistische Tests für Normalverteilungen oder über die Kullback-Leibler-Divergenz).
- - Folgen die Parameter keiner Normalverteilung, kann über die Analyse der Verteilung (z.B. Modendetektion) auf bestimmte systematische Fehler geschlossen werden.
- - Die Mittelwerte oder Mediane der Verteilung können ermittelt und mit der originalen Parameterschätzung verglichen werden. Starke Abweichung deuten dabei auf mögliche Fehler hin.
- - Die Mittelwerte oder Mediane der Verteilung können genutzt werden, um die originale Parameterschätzung zu korrigieren.
- - The covariance matrix of the parameters can be determined.
- - Alternatively, robust methods for determining the covariance matrix such as orthogonalized Gnanadesikan chain ring (OGK) can also be used.
- - Confidence intervals can be specified for all parameters.
- - It can be checked whether the parameters actually follow a classical assumption of a normal distribution (e.g. using statistical tests for normal distributions or using the Kullback-Leibler divergence).
- - If the parameters do not follow a normal distribution, certain systematic errors can be determined by analyzing the distribution (e.g. mode detection).
- - The means or medians of the distribution can be determined and compared with the original parameter estimate. Large deviations indicate possible errors.
- - The means or medians of the distribution can be used to correct the original parameter estimate.
Ein Kern der Erfindung liegt in der
- 1. Erzeugung einer Menge bzw. eines Sets von Modellparameterschätzungen, deren Verteilung die tatsächliche Parameterunsicherheit besser als bisherige Verfahren wiederspiegelt,
- 2. einem Vorschlag zur Erstellung neuer Datensätze aus dem originalen Datensatz,
- 3. einer Approximation des Verfahrens zur Beschleunigung der Berechnung,
- 4. einem Vorschlag zur Berechnung einer finalen Unsicherheitsmetrik in Form einer Kovarianzmatrix.
- 1. Generation of a quantity or a set of model parameter estimates, the distribution of which reflects the actual parameter uncertainty better than previous methods,
- 2. a proposal to create new datasets from the original dataset,
- 3. an approximation of the method to speed up the calculation,
- 4. A proposal for calculating a final uncertainty metric in the form of a covariance matrix.
Die hier vorgeschlagene Methode liefert eine Schätzung der Unsicherheit von Kameraparametern, welche insbesondere auch unter realen, nicht-idealen Bedingungen verlässlich ist.The method proposed here provides an estimate of the uncertainty of camera parameters, which is particularly reliable under real, non-ideal conditions.
Anders als bei der Standardmethode kommt es nicht zu einer systematischen Unterschätzung der Unsicherheit. Eine solche Unterschätzung von Fehlern ist besonders kritisch, da sie zu falschen Annahmen bezüglich der Genauigkeit eines Kamerasystems führt. Die hier vorgeschlagene Methode ist frei von Modellannahmen und liefert daher verlässliche Information, auch in nicht-idealen Settings. Im Folgenden sind weitere Vorteile im Detail aufgeführt:
- - Durch die effiziente Approximation des Resamplings ist die Methode in der Praxis auch bei großen Datensätzen problemlos anwendbar.
- - Auch andere auf der Kovarianzmatrix basierende Maße können auf Grundlage unserer Methode korrekt bestimmt werden. Dies umfasst z.B. den expected mapping error (EME), maxERE, und die Beobachtbarkeitsmetrik.
- - Verfahren zur Vorhersage bestmöglicher zusätzlicher Messungen werden durch die vorgeschlagene Kovarianzmatrixschätzung verlässlicher, da sie nicht mehr den Bias der Standardmethode enthalten.
- - Due to the efficient approximation of the resampling, the method can be used in practice without any problems, even with large data sets.
- - Other measures based on the covariance matrix can also be determined correctly based on our method. This includes, for example, the expected mapping error (EME), maxERE, and the observability metric.
- - Methods for predicting the best possible additional measurements become more reliable with the proposed covariance matrix estimation, since they no longer contain the bias of the standard method.
Zudem werden folgende Variationen vorgeschlagen:
- - Anstelle des Bootstrap Verfahrens kann auch das Jackknife Verfahren treten. Prinzipiell ist ein beliebiges sinnvolles Resampling-Schema anwendbar.
- - Oben werden die Beobachtungen auf Basis der Bilder resampled, d.h. die Gruppierung der Beobachtungen im Bild blieb erhalten. Je nach Kalibrieraufbau können andere Gruppierungen (z.B. auf Basis der Kalibrierkörper oder auf der Ebene der Beobachtungen) sinnvoll sein.
- - Anstelle der Kovarianzmatrix können aus der Sampling-Verteilung der Parameter auch beliebige andere Maße gezogen werden (z.B. Konfidenzintervalle).
- - Die Sampling-Verteilung der Parameter kann genutzt werden, um die tatsächliche Parameterschätzung zu korrigieren (an die Stelle der optimalen Parameter treten dann die Mittelwerte oder Mediane der Resampling Verteilung)
- - Die Methode ist auch bei der Kalibrierung von Stereo-bzw. Multikamerasystemen einsetzbar. Das Resampling muss entsprechend angepasst werden, die Grundidee bleibt dieselbe.
- - Die Methode ist grundsätzlich nicht auf Kamerakalibrierung beschränkt. Ganz allgemein kann die Methode zur robusten Schätzung der Kovarianzmatrix von Parametern aus einer nichtlinearen Optimierung verwendet werden.
- - Bei der approximierten Resampling Methode können anstelle eines letzten Gauß-Newton Schritts auch mehrere weitere Gauß-Newton Schritte gemacht werden.
- - Beim Resampling Verfahren können anstelle des freien Bootstrappings zusätzliche Kriterien angewandt werden: Es kann gefordert werden, dass die generierten Datensätze ausreichend divers sind (z.B. den Bildbereich gut abdecken), um eine Überschätzung der Unsicherheit durch besonders schlechte generierte Datensätze zu vermeiden. Andersherum, um eine besonders konservative Schätzung der Unsicherheit zu bekommen (z.B. um eine obere Grenze anzugeben), können explizit wenig diverse Datensätze gefordert werden.
- - The jackknife method can also be used instead of the bootstrap method. In principle, any sensible resampling scheme can be used.
- - Above, the observations are resampled on the basis of the images, ie the grouping of the observations in the image was preserved. Depending on the calibration setup, other groupings (e.g. based on the calibration body or on the level of the observations) can be useful.
- - Instead of the covariance matrix, any other measure can be taken from the sampling distribution of the parameters (eg confidence intervals).
- - The sampling distribution of the parameters can be used to correct the actual parameter estimate (the mean values or medians of the resampling distribution then take the place of the optimal parameters)
- - The method can also be used when calibrating stereo or Multi-camera systems can be used. The resampling has to be adjusted accordingly, the basic idea remains the same.
- - The method is basically not limited to camera calibration. In general, the method can be used for the robust estimation of the covariance matrix of parameters from a nonlinear optimization.
- - With the approximate resampling method, instead of one last Gauss-Newton step, several further Gauss-Newton steps can be made.
- - In the case of the resampling method, additional criteria can be used instead of free bootstrapping: It can be required that the generated datasets are sufficiently diverse (e.g. cover the image area well) in order to avoid an overestimation of the uncertainty due to particularly poorly generated datasets. Conversely, in order to get a particularly conservative estimate of the uncertainty (e.g. to specify an upper limit), a few diverse data sets can be explicitly required.
Figurenlistecharacter list
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
-
1 eine schematische Darstellung von Verfahrensschritten gemäß einem Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors; -
2 eine schematische Darstellung von Verfahrensschritten gemäß einem weiteren Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors; -
3 eine alternative Veranschaulichung von Verfahrensschritten eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors; und -
4 Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors.
-
1 a schematic representation of method steps according to an embodiment of a method according to the invention for determining a calibration quality of an optical sensor; -
2 a schematic representation of method steps according to a further exemplary embodiment of a method according to the invention for determining a calibration quality of an optical sensor; -
3 an alternative illustration of method steps of an embodiment of a method according to the invention for determining a calibration quality of an optical sensor; and -
4 Method steps of an exemplary embodiment of a method according to the invention for determining a calibration quality of an optical sensor.
Ausführungsformen der ErfindungEmbodiments of the invention
Anhand von echten Kamerakalibrierungen und/oder Simulationen kann beispielhaft das Verhalten der Standardmethode, der Resampling Methode und der approximierten Resampling Methode gezeigt werden.The behavior of the standard method, the resampling method and the approximated resampling method can be shown by way of example using real camera calibrations and/or simulations.
Als Vergleich bzw. Ground-truth werden die Varianzen der geschätzten Parameter über Kalibrierungen mit verschiedenen gleichartigen Datensätze genutzt. Eine korrekt geschätzte Kovarianzmatrix sollte genau diese Streuung beschreiben. Um alle Einträge der Kovarianzmatrix auf eine einzelne Zahl zu reduzieren, wird der sogenannte EME, welcher den mittleren Fehler eines Bildpunktes als Folge der Varianz der Kameraparameter beschreibt, verglichen.The variances of the estimated parameters via calibrations with different similar data sets are used as a comparison or ground truth. A correctly estimated covariance matrix should accurately describe this spread. In order to reduce all entries of the covariance matrix to a single number, the so-called EME, which describes the average error of a pixel as a result of the variance of the camera parameters, is compared.
Bei einer simulierten, idealen Kalibrierung liefern alle drei Methoden eine sinnvolle Schätzung der Fehlervorhersage. Simuliert man jedoch einen kleinen Modellfehler, so kommt es mit der Standardmethode zu einer Unterschätzung des Fehlers.For a simulated ideal calibration, all three methods provide a reasonable estimate of the error prediction. However, if you simulate a small If there is a model error, the error is underestimated with the standard method.
Ähnlich verhält es sich mit den echten Kalibrierungen. Trotz guter Laborbedingungen (hochgenaues Kalibriertarget, verzeichnungsarme Kameralinsen) sind offenbar nicht alle Bedingungen für die Standardmethode erfüllt. Wie beim simulierten Modellfehler kommt es zu einer signifikanten Unterschätzung der Parameterunsicherheit.The real calibrations are similar. Despite good laboratory conditions (high-precision calibration target, low-distortion camera lenses), not all the conditions for the standard method are evidently met. As with the simulated model error, there is a significant underestimation of the parameter uncertainty.
Die hier vorgeschlagene Methode liefert eine Schätzung der Unsicherheit von Kameraparametern, welche insbesondere auch unter realen, nicht-idealen Bedingungen verlässlich ist.The method proposed here provides an estimate of the uncertainty of camera parameters, which is particularly reliable under real, non-ideal conditions.
Anders als bei der Standardmethode kommt es nicht zu einer systematischen Unterschätzung der Unsicherheit. Eine solche Unterschätzung von Fehlern ist besonders kritisch, da sie zu falschen Annahmen bezüglich der Genauigkeit eines Kamerasystems führt. Die hier vorgeschlagene Methode ist frei von Modellannahmen und liefert daher verlässliche Information, auch in nicht-idealen Settings.Unlike the standard method, there is no systematic underestimation of the uncertainty. Such an underestimation of errors is particularly critical as it leads to false assumptions about the accuracy of a camera system. The method proposed here is free of model assumptions and therefore provides reliable information, even in non-ideal settings.
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021202993.0A DE102021202993A1 (en) | 2021-03-26 | 2021-03-26 | Method for determining a calibration quality of an optical sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021202993.0A DE102021202993A1 (en) | 2021-03-26 | 2021-03-26 | Method for determining a calibration quality of an optical sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021202993A1 true DE102021202993A1 (en) | 2022-09-29 |
Family
ID=83192578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021202993.0A Pending DE102021202993A1 (en) | 2021-03-26 | 2021-03-26 | Method for determining a calibration quality of an optical sensor |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021202993A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110157373A1 (en) | 2009-12-24 | 2011-06-30 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
US20170032537A1 (en) | 2015-07-31 | 2017-02-02 | Cognex Corporation | Machine vision system calibration |
DE102017109039A1 (en) | 2017-04-27 | 2018-10-31 | Sick Ag | Method for calibrating a camera and a laser scanner |
DE102017213362A1 (en) | 2017-08-02 | 2019-02-07 | Siemens Aktiengesellschaft | Evaluate a calibration of a sensor system |
US10733718B1 (en) | 2018-03-27 | 2020-08-04 | Regents Of The University Of Minnesota | Corruption detection for digital three-dimensional environment reconstruction |
DE112018007660T5 (en) | 2018-06-29 | 2021-03-18 | Komatsu Ltd. | CALIBRATION DEVICE FOR IMAGING DEVICE, MONITORING DEVICE, WORKING MACHINE AND CALIBRATION METHOD |
-
2021
- 2021-03-26 DE DE102021202993.0A patent/DE102021202993A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110157373A1 (en) | 2009-12-24 | 2011-06-30 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
US20170032537A1 (en) | 2015-07-31 | 2017-02-02 | Cognex Corporation | Machine vision system calibration |
DE102017109039A1 (en) | 2017-04-27 | 2018-10-31 | Sick Ag | Method for calibrating a camera and a laser scanner |
DE102017213362A1 (en) | 2017-08-02 | 2019-02-07 | Siemens Aktiengesellschaft | Evaluate a calibration of a sensor system |
US10733718B1 (en) | 2018-03-27 | 2020-08-04 | Regents Of The University Of Minnesota | Corruption detection for digital three-dimensional environment reconstruction |
DE112018007660T5 (en) | 2018-06-29 | 2021-03-18 | Komatsu Ltd. | CALIBRATION DEVICE FOR IMAGING DEVICE, MONITORING DEVICE, WORKING MACHINE AND CALIBRATION METHOD |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112014005866B4 (en) | Improvement of plenoptic camera resolution | |
DE102017009128B4 (en) | Projection pattern making device and three-dimensional measuring device | |
DE102016013274A1 (en) | IMAGE PROCESSING DEVICE AND METHOD FOR RECOGNIZING AN IMAGE OF AN OBJECT TO BE DETECTED FROM ENTRY DATA | |
DE102015210442A1 (en) | Inspection device, inspection procedure and program | |
EP2886043A1 (en) | Method for continuing recordings to detect three-dimensional geometries of objects | |
DE112006003361T5 (en) | Method and apparatus for recording / displaying three-dimensional shape data and method and apparatus for measuring a three-dimensional shape | |
DE112017005640T5 (en) | Information processing apparatus and information processing method | |
DE102011003653A1 (en) | A method for obtaining a 3D image data set to a picture object | |
DE19633693C1 (en) | Method of detecting target pattern in static or dynamic systems | |
DE102018004592A1 (en) | Measuring apparatus for three-dimensional geometry and measuring method for three-dimensional geometry | |
DE69922903T2 (en) | Eye fundus measuring device and storage carrier with eye fundus measuring program | |
DE112016007408T5 (en) | THREE DIMENSIONAL CAMERA CALIBRATION IN REAL TIME | |
Sandri et al. | Comparison of methods for determining cloddiness in seedbed preparation | |
DE102012222361B4 (en) | Environment recognition device | |
DE19951146A1 (en) | Noise reduction in signal from imaging apparatus e.g. for semiconductor device manufacture by replacing gray scale values for pixels lying outside region of acceptable values | |
DE69920820T2 (en) | Apparatus for extrapolating cone beam projection data | |
DE102021202993A1 (en) | Method for determining a calibration quality of an optical sensor | |
DE102020211502A1 (en) | Procedure for evaluating a camera calibration | |
DE10329250A1 (en) | Method and device for extracting three-dimensional spatial data of an object using an electron microscope | |
DE102018210683B4 (en) | Method, device, computer program and computer program product for normalizing an internal quality measure of a sensor of a vehicle and for determining a probability of existence | |
EP1626256A1 (en) | Refinement of spatial resolution of multispectral remote sensing data | |
DE102021109386B4 (en) | Method for correcting depth images of a time-of-flight camera | |
DE102011109503B4 (en) | Quality-dependent modeling of radar backscatter | |
DE10319095A1 (en) | Alignment of optical fiber elements | |
EP1756748B1 (en) | Method for the classification of an object by means of a stereo camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |