DE102021202993A1 - Method for determining a calibration quality of an optical sensor - Google Patents

Abstract

Es wird ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors (1) vorgeschlagen. Das Verfahren umfasst die Schritte:- Aufnehmen eines ersten Bildes (2) mittels des optischen Sensors (1),- Verwenden- einer ersten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen ersten Raumpunktes (3) und- einer zweiten Information über die Position (x', y') eines zum ersten Raumpunkt (3) korrespondierenden ersten Bildpunktes (3'), sowie- einer dritten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen zweiten Raumpunktes (4) und- einer vierten Information über die Position (x', y') eines zum zweiten Raumpunkt korrespondierenden zweiten Bildpunktes (4'),zur Erstellung eines ersten Informationspaares aus der ersten und zweiten Information und eines zweiten Informationspaares aus der dritten und vierten Information,- Erstellen einer Mehrzahl (5) Datensätze (51, 52, 53) jeweils umfassend eine unterschiedliche Permutation, insbesondere mit Wiederholung, aus dem ersten Informationspaar (33) und dem zweiten Informationspaar (44), und- Ermitteln einer Kalibrierungsgüte auf Basis der Mehrzahl (5) Datensätze.A method for determining a calibration quality of an optical sensor (1) is proposed. The method comprises the steps: - recording a first image (2) by means of the optical sensor (1), - using first information about the spatial position (x, y, z) of a characteristic first spatial point represented in the first image (2). (3) and - second information about the position (x', y') of a first image point (3') corresponding to the first spatial point (3), and - third information about the spatial position (x, y, z) of a characteristic second spatial point (4) represented in the first image (2) and fourth information about the position (x', y') of a second image point (4') corresponding to the second spatial point, for creating a first information pair from the first and second information and a second pair of information from the third and fourth information,- creating a plurality (5) data sets (51, 52, 53), each comprising a different permutation, in particular with repetition, from the first information onspaar (33) and the second pair of information (44), and determining a calibration quality based on the plurality (5) data sets.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors. Insbesondere betrifft die vorliegende Erfindung einen verminderten Handhabungs- und Berechnungsaufwand bei der Ermittlung einer Kalibrierungsgüte.The present invention relates to a method for determining a calibration quality of an optical sensor. In particular, the present invention relates to a reduced outlay on handling and calculation when determining a calibration quality.

Voraussetzung für die Verwendung von Kamera-Systemen als messende Instrumente ist, dass ihr geometrisches Abbildungsverhalten genauestens bekannt ist. Konkret bedeutet dies, dass die Abbildungsfunktion (Projektion) eines Punktes aus der dreidimensionalen Welt in das zweidimensionale Bild bekannt sein muss. Die Bestimmung dieser Abbildungsfunktion sowie die genaue Schätzung der zugehörigen Modellparameter erfolgen innerhalb der Kamerakalibrierung.A prerequisite for the use of camera systems as measuring instruments is that their geometric imaging behavior is precisely known. In concrete terms, this means that the mapping function (projection) of a point from the three-dimensional world into the two-dimensional image must be known. This mapping function is determined and the associated model parameters are precisely estimated within the camera calibration.

Fehler während der Kamerakalibrierung, wie falsche Annahmen über den Kalibrierkörper (bspw. angenommene Planarität oder Größen/Abstände), die Wahl eines ungeeigneten Kamera-Abbildungsmodells, oder unzureichend viele Kalibrier-Aufnahmen, können die Güte der Kalibrierung beliebig stark degradieren, was einen negativen Einfluss auf alle auf die Kalibrierung aufbauenden Funktionen hat. Aus diesem Grund werden typischerweise Gütemaße bestimmt, auf deren Basis solche Fehler zu erkennen sind. Ein solches Gütemaß ist die Kovarianzmatrix der geschätzten Modellparameter, welche die verbleibende Restunsicherheit der Modellparameter quantifiziert. Die klassische Art der Berechnung der Kovarianzmatrix macht diese sehr anfällig für kleine Modellverletzungen (wie oben beschrieben) und führt unter realen Bedingungen zu einer, mitunter signifikanten, Unterschätzung der Parameter-Unsicherheit. In anderen Worten, es wird fälschlicherweise angenommen, dass die Modellparameter deutlich genauer bekannt sind, als dies tatsächlich der Fall ist. Im schlimmsten Fall würde eine Kamera bspw. fälschlicherweise eine Qualitätskontrolle bestehen, oder die Ursache für Messabweichungen würde an anderer Stelle (als den Modellparametern) vermutet.Errors during camera calibration, such as incorrect assumptions about the calibration body (e.g. assumed planarity or sizes/distances), the choice of an unsuitable camera imaging model, or an insufficient number of calibration images, can degrade the quality of the calibration to any degree, which has a negative impact on all functions based on the calibration. For this reason, quality measures are typically determined, on the basis of which such errors can be identified. Such a quality measure is the covariance matrix of the estimated model parameters, which quantifies the remaining uncertainty of the model parameters. The classic way of calculating the covariance matrix makes it very susceptible to small model violations (as described above) and under real conditions leads to a sometimes significant underestimation of the parameter uncertainty. In other words, it is wrongly assumed that the model parameters are known much more accurately than is actually the case. In the worst case, a camera would, for example, incorrectly pass a quality check, or the cause of measurement deviations would be assumed to be somewhere else (than the model parameters).

Um die Unsicherheit der geschätzten Parameter zu beurteilen, wird typischerweise die Kovarianzmatrix Σθ der Parameter θ aus der Optimierung genutzt: Je kleiner die Varianz eines Parameters, desto sicherer ist man sich bzgl. seines Wertes. Dabei wird die Kovarianzmatrix aus dem Verlauf der Kostenfunktion der Optimierung bestimmt: Als Kosten wird hier die Abweichung zwischen Beobachtung, bspw. der gemessenen Position einer Schachbrettecke im Bild, und der Prädiktion, bspw. der vorhergesagten Position der Schachbrettecke im Bild auf Basis der geschätzten Modellparameter, bezeichnet. Die Kostenfunktion quantifiziert diese Abweichung. Im einfachsten Fall könnte dies bspw. der Abstand in Pixel zwischen Messung und Prädiktion sein. In der Praxis wird typischerweise eine robuste Kostenfunktion verwendet, welche grobe Fehlmessungen geringer gewichtet, da sie sonst die Kalibrierung verfälschen würden. Kleinere Modellfehler können damit jedoch typischerweise nicht erkannt/geringer gewichtet werden. Das Optimum liegt dann im Minimum der Kostenfunktion und die zugehörigen (geschätzten) Kalibrierparameter sind 9. Je steiler der Anstieg der Kosten um das Optimum herum, desto geringer ist die Unsicherheit.In order to assess the uncertainty of the estimated parameters, the covariance matrix Σθ of the parameter θ from the optimization is typically used: the smaller the variance of a parameter, the more certain one is about its value. The covariance matrix is determined from the course of the cost function of the optimization: The deviation between the observation, e.g. the measured position of a chessboard corner in the image, and the prediction, e.g. the predicted position of the chessboard corner in the image based on the estimated model parameters, is used as the cost , designated. The cost function quantifies this deviation. In the simplest case, this could be the distance in pixels between measurement and prediction. In practice, a robust cost function is typically used, which weights gross incorrect measurements less, since they would otherwise falsify the calibration. Smaller model errors, however, typically cannot be recognized/weighted less. The optimum then lies in the minimum of the cost function and the associated (estimated) calibration parameters are 9. The steeper the increase in costs around the optimum, the lower the uncertainty.

Mathematisch erfolgt die Berechnung der Kovarianzmatrix daher über die Jacobi-Matrix J der Kostenfunktion, welche die Ableitung der Kostenfunktionen nach den Modellparametern θ beschreibt, als: $${\widehat{\Sigma }}_{\theta ,\text{std}}={\left(J^T{\Sigma }_o{}^{-1}J\right)}^{-1}$$

wobei Σ_o die Kovarianz der Beobachtungen (Englisch: Observation) beschreibt, welche bspw. bei einer Kalibrierung mit schachbrettartigen Kalibrierkörpern der Varianz des Eckendetektors entspricht.Mathematically, the calculation of the covariance matrix is therefore based on the Jacobian matrix J of the cost function, which describes the derivation of the cost functions according to the model parameters θ, as: $${\widehat{\Sigma }}_{\theta ,\text{hours}}={\left(J^T{\Sigma }_O{}^{-1}J\right)}^{-1}$$

where Σ _o describes the covariance of the observations, which, for example, corresponds to the variance of the corner detector when calibrating with chessboard-like calibration bodies.

Diese Standardmethode (std) zur Schätzung der Kovarianzmatrix basiert auf idealen Annahmen. Es ist bekannt und wird auch im Proof-of-Concept noch einmal gezeigt, dass diese Bedingungen in der Praxis selten erfüllt sind, was typischerweise zu Unterschätzung der Kovarianzmatrix zur Folge hat, d.h. zu einer Unterschätzung der Unsicherheit führt.This standard (std) method for estimating the covariance matrix is based on ideal assumptions. It is known and is also shown again in the proof-of-concept that these conditions are rarely met in practice, which typically results in the covariance matrix being underestimated, i.e. leading to an underestimation of the uncertainty.

Eine gängige Praxis der nichtparametrischen Statistik sind sogenannte Resampling Methoden. Ziel dieser Methoden ist es, Aussagen über die Verteilung stichprobenbasierter Schätzungen zu treffen (z.B. Konfidenzintervalle anzugeben), ohne dabei auf parametrische Annahmen zurückzugreifen. Dies ist insbesondere dann von Nutzen, wenn nicht bekannt ist, welche Verteilung einem Datensatz zugrunde liegt. Die einzige Annahme, die diese Resampling Methoden treffen, ist, dass die vorhandene Stichprobe repräsentativ ist für die Gesamtverteilung (Population). Zu den am häufigsten verwendeten Resampling Methoden zählen Bootstrapping im Allgemeinen und bspw. Jackknife im Speziellen. Bei diesen Methoden werden aus den Daten im originalen Datensatz vielfach neue Datensätze mit verschiedener Zusammensetzung gebildet (Resampling). Für alle diese Datensätze erfolgt dann jeweils eine Parameterschätzung. Schließlich wird die Verteilung der vielen geschätzten Parameter analysiert. Dieses Vorgehen weicht deutlich von der oben beschriebenen Standardmethode ab.A common practice of non-parametric statistics are so-called resampling methods. The aim of these methods is to make statements about the distribution of sample-based estimates (e.g. to specify confidence intervals) without resorting to parametric assumptions. This is particularly useful when the distribution underlying a data set is not known. The only assumption these resampling methods make is that the existing sample is representative of the overall distribution (population). The most commonly used resampling methods include bootstrapping in general and jackknife in particular. With these methods, new data sets with different composition are created from the data in the original data set (resampling). A parameter estimation is then carried out for each of these data sets. Finally, the distribution of the many estimated parameters is analyzed. This procedure differs significantly from the standard method described above.

Eine Aufgabe der Erfindung ist die Bestimmung verlässlicher Parameterunsicherheiten einer Kamerakalibrierung unter realen, nicht-idealen Bedingungen.One object of the invention is to determine reliable parameter uncertainties of a camera calibration under real, non-ideal conditions.

Gemäß der vorliegenden Erfindung wird ein Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors vorgeschlagen. Der optische Sensor kann beispielsweise ein Kamerasensor (CCD-Sensor o.ä.) umfassen. Der Sensor ist nicht auf die Funktionsweise im optisch sichtbaren Bereich des elektromagnetischen Spektrums beschränkt. Vielmehr ist er jedoch für die exakte räumliche Abbildung aus der 3D-Welt in eine mittels des Sensors erstellte 2D- oder 3D-Welt verwendbar. Hierzu sind exakte Informationen über die räumliche Korrespondenz zwischen der realen Welt und der abgebildeten Welt erforderlich, welche Ergebnis einer exakten Kalibrierung sein sollen. In einem ersten Schritt wird ein erstes Bild mittels des optischen Sensors aufgenommen. Mit anderen Worten wird die reale Welt mittels des zu untersuchenden optischen Sensors abgelichtet/abgebildet. Dieser Schritt kann im Zuge einer Kalibrierung bereits erfolgt sein oder zum Zwecke der Überprüfung der Kalibrierung in erfindungsgemäßer Weise (erneut) ausgeführt werden. Alternativ kann in dem ersten Schritt das erste Bild bereits erfasst und in Form von Daten vorliegen, wobei die das erste Bild repräsentierenden Daten für die weiteren Verfahrensschritte bereitgestellt werden. In diesem Fall handelt es sich bei dem Verfahren um ein computerimplementiertes Verfahren. Anschließend werden Informationen über die reale Welt und im Sensorbild enthaltene Informationen in erfindungsgemäßer Weise zueinander in Beziehung gesetzt. Hierzu wird eine erste Information über die räumliche Lage eines im ersten Bild repräsentierten charakteristischen ersten Raumpunktes verwendet. Mit anderen Worten werden Kenntnisse über die tatsächliche Lage des Raumpunktes in dreidimensionalem Umfeld des optischen Sensors ermittelt. Zudem wird eine zweite Information über die Position eines zum ersten Raumpunkt korrespondierenden ersten Bildpunktes verwendet. Mit anderen Worten stellt der erste Bildpunkt eine Abbildung des ersten Raumpunktes dar. Er befindet sich in der gebildeten (virtuellen) bzw. datentechnischen Domäne. Diese Domäne kann eine 2D-Abbildung der realen 3D-Welt sein. Zudem wird eine dritte Information über die räumliche Lage eines im ersten Bild repräsentierten charakteristischen zweiten Raumpunktes und eine vierte Information über die Position eines zum zweiten Raumpunkt korrespondierenden zweiten Bildpunktes verwendet, um zwei Informationspaare zu erstellen. Das erste Informationspaar umfasst die erste und zweite Information, während das zweite Informationspaar die dritte und vierte Information umfasst. Durch die Bildung der Informationspaare werden zueinander korrespondierende Informationen über Raumpunkte und korrespondierende Bildpunkte zueinander in Beziehung gesetzt. Anschließend wird eine Mehrzahl Datensätze aus dem ersten Informationspaar und dem zweiten Informationspaar erzeugt. Die Datensätze umfassen jeweils unterschiedliche Permutationen (z.B. mit Wiederholung „Ziehen mit Zurücklegen“), wobei im Beispiel drei unterschiedliche Permutationen möglich sind: Zweimal das erste Informationspaar, zweimal das zweite Informationspaar und einmal das erste und einmal das zweite Informationspaar. Auf diese Weise wird eine künstliche Steigerung derjenigen Informationen, welche zur Ermittlung der Kalibrierungsgüte zur Verfügung stehen, geschaffen, obwohl lediglich zwei Raumpunkte und zwei Bildpunkte innerhalb ein und desselben Fotos sensorisch sowie datentechnisch erstellt worden sind und zu handhaben sind. Insbesondere sind Wiederholungen von Informationspaaren möglich, wenn die Mehrzahl Datensätze erstellt wird. Dies schließt jedoch nicht aus, dass in jedem Datensatz jeweils jedes Informationspaar enthalten sein muss. Vielmehr kann in einem Datensatz ein einzelnes Informationspaar oder (bei mehreren Informationspaaren) auch mehrere Informationspaare im jeweiligen Datensatz fehlen. Insbesondere werden die Informationspaare nur auf Basis ein und desselben Bildes ermittelt. Die auf Basis der Informationspaare zu erstellenden Datensätze hingegen können - sofern mehrere Bilder aufgenommen wurden - optional bildübergreifend ermittelt werden. In den Permutationen der Datensätze sind gegebenenfalls Informationen einzelner Bilder nicht enthalten. Dies stellt insbesondere einen Unterschied zu den bisherigen, im Stand der Technik bekannten Verfahrensweisen bei der Kalibrierung dar:

• Erfindungsgemäß sind nun mehrere Informationspakete (Datensätze) aus den verfügbaren Daten (Informationspaaren) erzeugt und wiederholtermaßen für die Ermittlung vorbereitet werden, während im Stand der Technik stets alle Daten zusammen nur einmal ausgewertet werden. Mit anderen Worten wird im Stand der Technik ein Raumpunkt der realen Welt genauso oft bei der Kalibrierung verwendet, wie er mittels des zu kalibrierenden Sensors abgelichtet worden ist (üblicherweise also genau einmal).

According to the present invention, a method for determining a calibration quality of an optical sensor is proposed. The optical sensor can include a camera sensor (CCD sensor or the like), for example. The sensor is not limited to functioning in the optically visible range of the electromagnetic spectrum. Rather, however, it can be used for the exact spatial mapping from the 3D world into a 2D or 3D world created by the sensor. This requires exact information about the spatial correspondence between the real world and the depicted world, which should be the result of an exact calibration. In a first step, a first image is recorded using the optical sensor. In other words, the real world is photographed/imaged using the optical sensor to be examined. This step can already have taken place in the course of a calibration or can be carried out (again) for the purpose of checking the calibration in a manner according to the invention. Alternatively, the first image can already be captured in the first step and be present in the form of data, with the data representing the first image being provided for the further method steps. In this case, the method is a computer-implemented method. Information about the real world and information contained in the sensor image are then related to one another in a manner according to the invention. First information about the spatial position of a characteristic first point in space represented in the first image is used for this purpose. In other words, knowledge about the actual position of the point in space in the three-dimensional environment of the optical sensor is determined. In addition, second information about the position of a first image point corresponding to the first point in space is used. In other words, the first pixel represents an image of the first spatial point. It is located in the formed (virtual) or data-technical domain. This domain can be a 2D mapping of the real 3D world. In addition, third information about the spatial position of a characteristic second spatial point represented in the first image and fourth information about the position of a second image point corresponding to the second spatial point are used to create two information pairs. The first pair of information includes the first and second information, while the second pair of information includes the third and fourth information. By forming the information pairs, mutually corresponding information about spatial points and corresponding pixels are related to one another. A plurality of data records are then generated from the first pair of information and the second pair of information. The data records each include different permutations (e.g. with repetition “drawing with replacement”), with three different permutations being possible in the example: twice the first pair of information, twice the second pair of information and once the first and once the second pair of information. In this way, an artificial increase in the information that is available for determining the calibration quality is created, although only two spatial points and two pixels within one and the same photo have been created and are to be handled in terms of sensors and data. In particular, it is possible for pairs of information to be repeated when the majority of data sets are created. However, this does not rule out that each data set must contain each pair of information. Rather, a single information pair or (in the case of several information pairs) also several information pairs in the respective data record can be missing in a data record. In particular, the information pairs are determined only on the basis of one and the same image. The data records to be created on the basis of the information pairs, on the other hand—if several images were recorded—can optionally be determined across all images. The permutations of the data sets may not contain information about individual images. In particular, this represents a difference to the previous calibration procedures known in the state of the art:

• According to the invention, several information packets (data sets) are now generated from the available data (information pairs) and repeatedly prepared for the determination, while in the prior art all data are always evaluated together only once. In other words, in the prior art, a point in space in the real world is used in the calibration just as often as it was photographed using the sensor to be calibrated (ie usually exactly once).

Diese Informationen (also die Informationspaare, insbesondere die Mehrzahl Datensätze) können genutzt werden, um die Güte und Präzision einer Kalibrierung zu bewerten. Dabei soll die Methode die Standardmethode (Gleichung 1) ersetzen, welche die Parameterunsicherheit in der Praxis teilweise deutlich unterschätzt.This information (ie the information pairs, in particular the majority of data sets) can be used to evaluate the quality and precision of a calibration. The method is intended to replace the standard method (equation 1), which sometimes significantly underestimates the parameter uncertainty in practice.

Anders ausgedrückt ist Gegenstand dieser Erfindung eine alternative Methode zur Bestimmung der verbleibenden Parameterunsicherheiten, die robust gegen kleine Modellfehler, wie z.B. kleinste Fehler im Kalibrierkörper (welche in der Praxis nahezu unvermeidbar sind), ist. Die Parameterunsicherheiten können dann bspw. wieder durch eine Kovarianzmatrix ausgedrückt werden. Diese spiegelt die tatsächliche Parameterunsicherheit jedoch deutlich besser wider als die klassische Methode und führt im Mittel zu einer konsistenten Unterschätzung der Unsicherheit.In other words, the subject matter of this invention is an alternative method for determining the remaining parameter uncertainties that is robust to small model errors, such as the smallest Errors in the calibration body (which are almost unavoidable in practice) is. The parameter uncertainties can then be expressed again, for example, by a covariance matrix. However, this reflects the actual parameter uncertainty much better than the classic method and, on average, leads to a consistent underestimation of the uncertainty.

Im Folgenden werden die Methode, sowie eine deutlich effizientere Approximation der Methode, im Detail beschrieben. Außerdem wird in einem Proof-of-Concept demonstriert, dass die Ergebnisse der Standardmethode in der Praxis meist nicht verlässlich sind, während sowohl die hier vorgeschlagene Grundmethode, als auch deren Approximation, stets konsistente Ergebnisse liefern.The method and a much more efficient approximation of the method are described in detail below. In addition, a proof-of-concept demonstrates that the results of the standard method are usually not reliable in practice, while both the basic method proposed here and its approximation always deliver consistent results.

Über Propagation dieser Parameterunsicherheiten können darüber hinaus Fehler im Bild, sowie Fehler in darauffolgenden Anwendungen der Kamera (z.B. Selbstlokalisierung, Triangulation, etc.) abgeschätzt werden. Außerdem können die bestimmten Parameterunsicherheiten als direktes Feedback während der Kalibrierung genutzt werden, um bestmögliche zusätzliche Messungen anzufordern. Schließlich kann eine verlässliche Bestimmung der Parameterunsicherheiten auch dafür eingesetzt werden bestehende oder neue Kalibrierverfahren und -aufbauten grundsätzlich zu bewerten.Errors in the image and errors in subsequent camera applications (e.g. self-localization, triangulation, etc.) can also be estimated by propagating these parameter uncertainties. In addition, the determined parameter uncertainties can be used as direct feedback during calibration to request the best possible additional measurements. Finally, a reliable determination of the parameter uncertainties can also be used to fundamentally evaluate existing or new calibration methods and setups.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Das erfindungsgemäße Verfahren kann bevorzugt durch die Ermittlung einer Vielzahl Parameterschätzungen weitergebildet werden. Gemäß einer ersten Alternative wird durch das Ausführen einer Vielzahl Kalibrierungen des Sensors die Vielzahl Parameterschätzungen ermittelt, wobei jede Kalibrierung auf einem Datensatz der Mehrzahl Datensätze basiert. Hierbei kann die Mehrzahl Datensätze ausschließlich unterschiedliche Datensätze aufweisen, so dass jeder Datensatz von einem jeden weiteren Datensatz in der Mehrzahl Datensätze unterschiedlich ist. Es können aber auch gleiche Datensätze mehrfach vorkommen. Das Ermitteln der Vielzahl Parameterschätzungen kann alternativ oder zusätzlich durch die folgenden Schritte erfolgen:

• Zum Ermitteln der Vielzahl an Parameterschätzungen wird eine Vielzahl approximierter Kalibrierungen des Sensors ausgeführt. Dies erfolgt auf Basis optimaler Parameter der Kalibrierung des Sensors. Hiermit kann in einer ersten Alternative die zu einem früheren Zeitpunkt erfolgte (z.B. erstmalige) Kalibrierung des Sensors gemeint sein. Alternativ oder zusätzlich kann auf Basis einer Jacobi-Matrix an der Stelle der optimalen Parameter und alternativ oder zusätzlich auf Basis eines Residuen-Vektors an der Stelle der optimierten Parameter und alternativ oder zusätzlich auf Basis einer Verwendung eines Ergebnisses einer Kalibrierung des Sensors die Vielzahl approximierter Kalibrierungen des Sensors ausgeführt werden. Anschließend wird als Bestandteil der zweiten Alternative eine Vielzahl aktualisierter Jacobi-Matrizen auf Basis in der Mehrzahl Datensätze enthaltener Informationspaare erstellt. Mit anderen Worten wird zu jedem Datensatz eine Jacobi-Matrix entsprechend den Informationspaaren erstellt. Alternativ oder zusätzlich wird eine Vielzahl aktualisierter Residuen-Vektoren auf Basis in der Mehrzahl Datensätze enthaltener Informationspaare erstellt. Mit anderen Worten wird zu jedem Datensatz eine Residuen-Vektor entsprechend den Informationspaaren erstellt. Anschließend wird als Bestandteil der zweiten Alternative eine oder mehrere Optimierungsschritte (insbesondere Gauß-Newton-Iteration(en)) zum Ermitteln der Vielzahl Parameterschätzungen ausgeführt. Anschließend erfolgt sowohl im Rahmen der ersten Alternative als auch im Rahmen der zweiten Alternative eine Ermittlung einer Kalibrierungsgüte auf Basis der Vielzahl Parameterschätzungen. Auf diese Weise kann die Ermittlung der Kalibrierungsgüte verbessert werden.

The method according to the invention can preferably be developed by determining a large number of parameter estimates. According to a first alternative, the plurality of parameter estimates are determined by performing a plurality of calibrations of the sensor, each calibration being based on a data set of the plurality of data sets. In this case, the plurality of data sets can only have different data sets, so that each data set is different from every other data set in the plurality of data sets. However, the same data records can also occur more than once. The determination of the large number of parameter estimates can alternatively or additionally be carried out by the following steps:

• A large number of approximate calibrations of the sensor are carried out to determine the large number of parameter estimates. This is done on the basis of optimal parameters of the calibration of the sensor. In a first alternative, this can mean the calibration of the sensor that took place at an earlier point in time (eg for the first time). Alternatively or additionally, based on a Jacobian matrix at the point of the optimal parameters and alternatively or additionally based on a residual vector at the point of the optimized parameters and alternatively or additionally based on using a result of a calibration of the sensor, the plurality of approximated calibrations of the sensor are executed. Subsequently, as part of the second alternative, a large number of updated Jacobian matrices are created on the basis of information pairs contained in the plurality of data sets. In other words, a Jacobian matrix is created for each data set according to the information pairs. Alternatively or additionally, a large number of updated residual vectors are created on the basis of information pairs contained in the plurality of data sets. In other words, a residual vector corresponding to the information pairs is created for each data set. Subsequently, as part of the second alternative, one or more optimization steps (in particular Gauss-Newton iteration(s)) are carried out to determine the large number of parameter estimates. A calibration quality is then determined on the basis of the large number of parameter estimates both in the context of the first alternative and in the context of the second alternative. In this way, the determination of the calibration quality can be improved.

Weiter verbessert werden kann die Ermittlung der Güte der Kalibrierung durch Ermitteln einer Standardabweichung und/oder einer Varianz der Vielzahl der Parameterschätzungen. In entsprechender Weise kann auch ein Konfidenz-Intervall bzw. eine Vielzahl Konfidenz-Intervalle auf Basis der Vielzahl Parameterschätzungen ermittelt werden. Die Größe der Varianz und/oder Standardabweichung und/oder Konfidenz-Intervalle ist ein direktes Maß für die Parameterunsicherheit.The determination of the quality of the calibration can be further improved by determining a standard deviation and/or a variance of the large number of parameter estimates. In a corresponding manner, a confidence interval or a large number of confidence intervals can also be determined on the basis of the large number of parameter estimates. The size of the variance and/or standard deviation and/or confidence intervals is a direct measure of the parameter uncertainty.

Zur weiteren Verbesserung des erfindungsgemäßen Verfahrens kann ein Median und/oder ein Mittelwert der Parameterschätzungen zur Bestimmung eines systematischen Fehlers in der Kalibrierung ermittelt werden. Eine deutliche Abweichung zwischen den optimalen Parametern der zu bewertenden Kalibrierung und dem Median und/oder Mittelwert der Parameterschätzungen deutet auf systematische Fehler hin.To further improve the method according to the invention, a median and/or a mean value of the parameter estimates can be determined to determine a systematic error in the calibration. A significant deviation between the optimal parameters of the calibration to be evaluated and the median and/or mean of the parameter estimates indicates systematic errors.

Der erste und der zweite Bildpunkt können insbesondere auf Basis eines im ersten Bild repräsentierten vordefinierten (beispielsweise planaren und/oder dreidimensionalen) Kalibrierkörpers liegen. Mit anderen Worten ist in dem ersten Bild ein erster Kalibrierkörper abgebildet, auf welchen auch die beiden Raumpunkte gelegen sind, welche wie oben ausgeführt mittels des Sensors erfasst und zur Erstellung der Informationspaare verwendet werden. In der Praxis haben sich Schachbrettmuster als Kalibrierkörper bewährt, da sie einen starken Kontrast und klare, einfach mathematisch zu beschreibende Geometrien aufweisen.The first and the second image point can in particular be based on a predefined (for example planar and/or three-dimensional) calibration body represented in the first image. In other words, a first calibration body is shown in the first image, on which the two spatial points are also located, which are detected by the sensor as explained above and used to create the information pairs. In practice, chessboard patterns have proven themselves as calibration objects, as they have a strong contrast and clear geometries that are easy to describe mathematically.

Die Mehrzahl Datensätze kann wie oben beschrieben erweitert werden, um die Informationsbasis für die Ermittlung der Kalibrierungsgüte zu vergrößern. Hierzu kann ein dritter Punkt auf dem Kalibrierkörper oder auf einem anderen Gegenstand innerhalb der 3D-Umgebung abgelichtet werden und zu einem dritten Bildpunkt im Bild des Sensors führen. Somit wird ein vierter Datensatz gebildet, welcher einmal das erste Informationspaar und einmal ein drittes Informationspaar bzw. das dritte Informationspaar umfasst. In entsprechender Weise kann auch ein fünfter Datensatz gebildet werden, welcher einmal das zweite Informationspaar und einmal das dritte Informationspaar aufweist. In entsprechender Weise kann ein sechster Datensatz, aufweisend zweimal das dritte Informationspaar, ermittelt werden, so dass nun sechs unterschiedliche Datensätze vorliegen und als Basis der Ermittlung der Kalibrierungsgüte dienen.As described above, the plurality of data sets can be expanded in order to increase the information base for determining the calibration quality. For this purpose, a third point on the calibration body or on another object within the 3D environment can be photographed and lead to a third pixel in the image of the sensor. A fourth data set is thus formed, which includes the first pair of information and a third pair of information or the third pair of information. A fifth data set can also be formed in a corresponding manner, which has the second information pair and the third information pair. A sixth data set containing the third information pair twice can be determined in a corresponding manner, so that six different data sets are now available and serve as the basis for determining the calibration quality.

Selbstverständlich kann auch eine zweite Aufnahme mittels des Sensors dazu verwendet werden, um die Informationsbasis für die Ermittlung der Kalibrierungsgüte zu vergrößern. Hierzu wird ein Abstand zwischen dem Sensor und dem ersten und zweiten Raumpunkt bzw. eine Ausrichtung des Sensors zum ersten und zweiten Raumpunkt verändert. Anschließend wird ein zweites Bild für die Ermittlung der Kalibrierungsgüte aufgenommen, mit welchem in zum ersten Bild entsprechender Weise verfahren werden kann.Of course, a second recording by means of the sensor can also be used to increase the information basis for determining the calibration quality. For this purpose, a distance between the sensor and the first and second point in space or an orientation of the sensor to the first and second point in space is changed. A second image is then recorded for determining the calibration quality, which can be used in a manner corresponding to the first image.

Sofern wie vorstehend ausgeführt ein zweites Bild aufgenommen worden ist, kann sichergestellt werden, dass in auf Basis des ersten Bildes erstellten Datensätzen sämtliche auf Basis des ersten Bildes erstellten Informationspaare enthalten sind. In entsprechender Weise kann sichergestellt werden, dass in auf Basis des zweiten Bildes erstellten Datensätzen sämtliche auf Basis des zweiten Bildes erstellten Informationspaare enthalten sind. In auf Basis des ersten Bildes erstellten Datensätzen brauchen keine Informationspaare enthalten zu sein, welche auf Basis des zweiten Bildes erstellt worden sind, und anders herum.If a second image has been taken as explained above, it can be ensured that all pairs of information created on the basis of the first image are contained in data sets created on the basis of the first image. In a corresponding manner, it can be ensured that all pairs of information created on the basis of the second image are contained in data sets created on the basis of the second image. Data sets created on the basis of the first image need not contain any information pairs which were created on the basis of the second image and vice versa.

Wie oben beschrieben, können mehrere Kalibrierkörper verwendet werden bzw. ein Kalibrierkörper in unterschiedlichen Ausrichtungen im Bildmaterial repräsentiert werden. So kann das erste Bild auch einen zweiten, insbesondere planaren oder dreidimensionalen, Kalibrierkörper repräsentieren und in auf Basis des im ersten Bild repräsentierten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis der Repräsentation des Kalibrierkörpers erstellten Informationspaare enthalten sein. Zudem können in auf Basis des im ersten Bild repräsentierten zweiten Kalibrierkörper erstellten Datensätzen sämtliche auf Basis der Repräsentation des zweiten Kalibrierkörpers erstellten Informationspaare enthalten sein. Mit anderen Worten gilt für die beiden Bilder, welche wie oben beschrieben zeitlich aufeinanderfolgend aufgenommen worden sein können, das entsprechende, wie wenn zwei Kalibrierkörper in ein und demselben Bild enthalten sind und jeweils in den Informationspaaren repräsentiert sind. Somit wird mit anderen Worten auch ein Verfahren vorgeschlagen, gemäß welchem jeder Bildpunkt auf einem der Abbilder einer Vielzahl von im Bild repräsentierten vordefinierten Kalibrierkörpers liegt, wobei in auf Basis des ersten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis des ersten Kalibrierkörpers erstellten Informationspaare und in auf Basis des zweiten Kalibrierkörpers erstellten Datensätzen sämtliche auf Basis des zweiten Kalibrierkörpers erstellten Informationspaare enthalten sind. Dies erweitert die Informationsbasis zur Ermittlung der Kalibrierungsgüte.As described above, several calibration bodies can be used or a calibration body can be represented in different alignments in the image material. The first image can thus also represent a second, in particular planar or three-dimensional, calibration body and all pairs of information created on the basis of the representation of the calibration body can be contained in data sets created on the basis of the calibration body represented in the first image. In addition, all pairs of information created on the basis of the representation of the second calibration body can be contained in data sets created on the basis of the second calibration body represented in the first image. In other words, the same applies to the two images, which as described above may have been recorded in chronological succession, as when two calibration bodies are contained in one and the same image and are each represented in the information pairs. In other words, a method is also proposed according to which each pixel lies on one of the images of a large number of predefined calibration bodies represented in the image, with all pairs of information created on the basis of the first calibration body being stored in data sets based on the first calibration body and in data sets based on the second calibration body created data sets contain all information pairs created on the basis of the second calibration body. This expands the information base for determining the calibration quality.

Um Informationen über die Raumpunkte zu erhalten, kann insbesondere ein weiterer optischer Sensor, insbesondere ein Laser und/oder eine Kamera, verwendet werden. Über diese wird die Ermittlung der ersten und der dritten Information zur Ermittlung der ersten beiden Informationspaare automatisiert. Mittels eines Lasers kann beispielsweise auch ein Raumpunkt auf dem Kalibrierkörper oder abseits eines vordefinierten Kalibrierkörpers definiert werden, welcher sich aufgrund der Reflexion des Lasers auch im zu kalibrierenden (ersten) Sensor wiederfindet. In entsprechender Weise können mehrere Laserpunkte in die Umgebung des zu kalibrierenden ersten Sensors projiziert werden, welche den jeweiligen Raumpunkt und seine datentechnische Entsprechung im Bildmaterial des zu kalibrierenden Sensors darstellen. Insbesondere dann, wenn die Ausrichtung des Lasers und eine Entfernung der Projektion vom Laser datentechnisch, insbesondere automatisch, in Erfahrung gebracht werden kann, kann das erfindungsgemäße Verfahren eine schnelle und sichere Erstellung der ersten und dritten Information bzw. der ersten und zweiten Informationspaare aufweisen.In order to obtain information about the points in space, a further optical sensor, in particular a laser and/or a camera, can be used. This automates the determination of the first and the third information for determining the first two information pairs. A laser can also be used, for example, to define a point in space on the calibration body or away from a predefined calibration body, which is also found in the (first) sensor to be calibrated due to the reflection of the laser. Correspondingly, several laser points can be projected into the environment of the first sensor to be calibrated, which represent the respective point in space and its data-technical correspondence in the image material of the sensor to be calibrated. In particular when the alignment of the laser and a distance of the projection from the laser can be found out by data technology, in particular automatically, the method according to the invention can have a quick and reliable creation of the first and third information or the first and second information pairs.

Selbstverständlich kann in Abhängigkeit der ermittelten Kalibrierungsgüte automatisch eine erneute Kalibrierung (Re-Kalibrierung) angestoßen werden. Mit anderen Worten kann eine Abweichung der ermittelten Kalibrierungsgüte um ein vordefiniertes Maß von einer minimal zulässigen Kalibrierungsgüte die Kalibrierung des Sensors erneuert werden. Hierbei können die im Zuge der Ermittlung der Kalibrierungsgüte ermittelten Informationen zur erneuten Kalibrierung verwendet werden. Für den Fall, dass ein Sensor während des Betriebes mehrfach, insbesondere in regelmäßigen Abständen und/oder ereignisbasiert hinsichtlich seiner Kalibrierung zu überprüfen ist, kann das erfindungsgemäße Verfahren entsprechen regelmäßig bzw. ereignisbasiert ausgeführt werden.Of course, a new calibration (re-calibration) can be triggered automatically depending on the determined calibration quality. In other words, if the determined calibration quality deviates by a predefined amount from a minimum permissible calibration quality, the calibration of the sensor can be renewed. In this case, the information ascertained in the course of ascertaining the calibration quality can be used for renewed calibration. In the event that a sensor is used several times during operation, esp is to be checked in terms of its calibration at regular intervals and/or based on events, the method according to the invention can be carried out correspondingly on a regular basis or based on events.

Die zuvor genannten Vorteile gelten in entsprechender Weise auch für eine Vorrichtung, insbesondere Computervorrichtung, zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors, wobei die Vorrichtung eingerichtet ist, das Verfahren gemäß einer der zuvor beschriebenen Ausführungen durchzuführen. Bevorzugt weist die Vorrichtung einen optischen Sensor, insbesondere eine Kamera, auf, um wenigstens ein erstes Bild zu erfassen bzw. aufzunehmen.The aforementioned advantages also apply in a corresponding manner to a device, in particular a computer device, for determining a calibration quality of an optical sensor, the device being set up to carry out the method according to one of the versions described above. The device preferably has an optical sensor, in particular a camera, in order to capture or record at least one first image.

Die zuvor genannten Vorteile gelten in entsprechender Weise auch für ein System aufweisend eine Vorrichtung, insbesondere Computervorrichtung, zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors und einen optischen Sensor, wobei die Vorrichtung und der optische Sensor räumlich getrennt voneinander angeordnet sind und signaltechnisch miteinander verbunden sind. Hierbei erfasst der optische Sensor das wenigstens eine erste Bild und stellt es der Vorrichtung als Daten bereit.The aforementioned advantages also apply correspondingly to a system having a device, in particular a computer device, for determining a calibration quality of an optical sensor and an optical sensor, the device and the optical sensor being arranged spatially separate from one another and being connected to one another in terms of signals. In this case, the optical sensor captures the at least one first image and makes it available to the device as data.

Die zuvor genannten Vorteile gelten in entsprechender Weise auch für ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Verfahrens durch einen Computer, insbesondere durch eine Vorrichtung gemäß einer der zuvor beschriebenen Ausführungsformen, bewirken, dass der Computer das Verfahren nach einer der vorstehend beschriebenen Ausführungsformen ausführt.The advantages mentioned above also apply in a corresponding manner to a computer program, comprising instructions which, when the method is executed by a computer, in particular by a device according to one of the embodiments described above, cause the computer to carry out the method according to one of the embodiments described above executes

Von Vorteil ist auch ein computerlesbares Medium, auf dem das zuvor genannte Computerprogramm gespeichert ist.A computer-readable medium on which the aforementioned computer program is stored is also advantageous.

Nachfolgend werden weitere Merkmale und Gegenstände der vorliegenden Erfindung geschildert, ohne die obigen Ausführungen oder den Schutzbereich der beigefügten Ansprüche einzuschränken:

• Startpunkt kann eine kalibrierkörperbasierte Kamerakalibrierung sein, bei der Bilder eines (oder mehrerer) Kalibrierkörpers aus verschiedenen Perspektiven aufgenommen werden. Auf Grundlage dieser Bilder werden (i) die Lage der Kamera relative zu (mehreren) Kalibrierkörpern in jedem Bild (extrinsische Parameter) und (ii) die Modellparameter der Kamera (intrinsiche Parameter θ) geschätzt. Die Schätzung erfolgt über ein sogenanntes Bundle Adjustment, wobei eine Kalibrierkostenfunktion mithilfe einer nichtlinearen kleinste Quadrate Methode optimiert wird. Aus der Optimierung ergeben sich die geschätzten Modellparameter θ̂, die Residuen r, sowie die Jacobi-Matrix J der Kalibrierkostenfunktion im Optimum. Im Anschluss an eine solche Standard-Kamerakalibrierung wird die Kovarianzmatrix nun über die erfindungsgemäße Methode bestimmt.

Further features and objects of the present invention are described below without limiting the above statements or the scope of protection of the appended claims:

• The starting point can be a calibration body-based camera calibration, in which images of one (or more) calibration bodies are recorded from different perspectives. Based on these images, (i) the position of the camera relative to (multiple) calibration bodies in each image (extrinsic parameters) and (ii) the model parameters of the camera (intrinsic parameters θ) are estimated. The estimation is carried out using a so-called bundle adjustment, whereby a calibration cost function is optimized using a non-linear least squares method. The optimization results in the estimated model parameters θ̂, the residuals r, and the Jacobian matrix J of the calibration cost function in the optimum. Following such a standard camera calibration, the covariance matrix is now determined using the method according to the invention.

Sei F = {B_i}_i=1,...,N der Kalibrierdatensatz, d.h. ein Set von N Bildern Bi. Aus diesem Set von Bildern werden nun nBS-mal N Bilder mit Zurücklegen gezogen, sodass nBS neue Datensätze {F_BS,j}_j=1,...,nBS entstehen. Diese Datensätze können jeweils die gleichen Bilder mehrfach enthalten, und andere Bilder gar nicht. Nun wird mit jedem dieser Datensätze F_BS,j die vollständige Kalibrierung durchgeführt, wobei sich jeweils geschätzte Parameter θ̂_BS,j ergeben. Schließlich wird aus der Menge der geschätzten Parameter {θ̂_BS,j}_j=1,...,nBS die Kovarianzmatrix der Parameter bestimmt: $${\widehat{\Sigma }}_{\theta ,\text{BS}}=\widehat{\text{Cov}\left({\widehat{\theta }}_{\text{BS}}\right)}=\left(\begin{array}{llll}{\sigma }_1^2\hfill & {\sigma }_{12}\hfill & \cdots \hfill & {\sigma }_{1k}\hfill \\ {\sigma }_{21}\hfill & {\sigma }_2^2\hfill & \cdots \hfill & {\sigma }_{2k}\hfill \\ ⋮\hfill & ⋮\hfill & \ddots \hfill & ⋮\hfill \\ {\sigma }_{1k}\hfill & {\sigma }_{2k}\hfill & \cdots \hfill & {\sigma }_k^2\hfill \end{array}\right)$$

wobei $${\widehat{\sigma }}_j^2:=\frac{1}{n_{BS}-1}{\displaystyle \sum _{\text{i}=1}^{{\text{n}}_{\text{BS}}}{\left({\theta }_{ij}-{\overline{\theta }}_j\right)}^2}$$

$${\widehat{\sigma }}_{jk}:=\frac{1}{n_{BS}-1}{\displaystyle \sum _{\text{i}=1}^{{\text{n}}_{\text{BS}}}\left({\theta }_{ij}-{\overline{\theta }}_j\right)\left({\theta }_{ik}-{\overline{\theta }}_k\right).}$$

Let F = {B _i } _i=1,...,N be the calibration data set, ie a set of N images Bi. From this set of images, nBS times N images are taken with replacement, so that nBS new data sets {F _{BS ,j} } _j=1,...,nBS arise. These datasets can each contain the same images more than once, and other images not at all. The full calibration is now carried out with each of these data sets F _BS,j , with estimated parameters θ̂ _BS,j resulting in each case. Finally, the covariance matrix of the parameters is determined from the set of estimated parameters {θ̂ _BS,j } _j=1,...,nBS : $${\widehat{\Sigma }}_{\theta ,\text{B.S}}=\widehat{\text{cov}\left({\widehat{\theta }}_{\text{B.S}}\right)}=\left(\begin{array}{llll}{\sigma }_1^2\hfill & {\mathrm{<figure-callout\; id="12"\; label="\sigma "\; filenames="DE102021202993A1\_0014.png"\; state="\{\{state\}\}">\sigma </figure-callout>}}_{12}\hfill & \cdots \hfill & {\sigma }_{1k}\hfill \\ {\sigma }_{21}\hfill & {\mathrm{<figure-callout\; id="2"\; label="\sigma "\; filenames="DE102021202993A1\_0013.png"\; state="\{\{state\}\}">\sigma </figure-callout>}}_2^2\hfill & \cdots \hfill & {\sigma }_{2k}\hfill \\ ⋮\hfill & ⋮\hfill & \ddots \hfill & ⋮\hfill \\ {\sigma }_{1k}\hfill & {\sigma }_{2k}\hfill & \cdots \hfill & {\sigma }_k^2\hfill \end{array}\right)$$

whereby $${\widehat{\sigma }}_j^2:=\frac{1}{n_{BS}-1}{\displaystyle \sum _{\text{i}=1}^{{\text{n}}_{\text{B.S}}}{\left({\theta }_{ij}-{\overline{\theta }}_j\right)}^2}$$

$${\widehat{\sigma }}_{jk}:=\frac{1}{n_{BS}-1}{\displaystyle \sum _{\text{i}=1}^{{\text{n}}_{\text{B.S}}}\left({\theta }_{ij}-{\overline{\theta }}_j\right)\left({\theta }_{ik}-{\overline{\theta }}_k\right).}$$

Die oben beschriebene erfindungsgemäße Methode führt zu einer verlässlicheren Schätzung der Kovarianzmatrix als die Standardmethode. Ein entscheidender Nachteil liegt jedoch in der benötigten Rechenzeit: um Σ̂_θ,BS zu bestimmen, muss die vollständige Kalibrierung nBS-mal durchgeführt werden. Je nach Größe des Datensatzes kann jede Kalibrierung mehrere Minuten dauern, sodass die Kovarianzmatrixschätzung für die Praxis zu lange braucht.The inventive method described above leads to a more reliable estimation of the covariance matrix than the standard method. However, a decisive disadvantage lies in the computing time required: in order to determine Σ̂ _θ,BS , the complete calibration must be carried out nBS times. Depending on the size of the data set, each calibration can take several minutes, making the covariance matrix estimation too long for practical purposes.

Um die Rechenzeit zu verkürzen, wird eine approximierte Resampling Methode vorgeschlagen. Anstatt die komplette Kalibrierung mit jedem der Datensätze {F_BS,j}_j=1,...nBS durchzuführen, wird nur ein letzter Schritt der Optimierung durchgeführt, wie im Folgenden genauer erklärt wird.In order to shorten the computing time, an approximate resampling method is proposed. Instead of performing the complete calibration with each of the data sets {F _BS,j } _j=1,...nBS , only a final step of the optimization is performed, as will be explained in more detail below.

Bei der nichtlinearen kleinste-Quadrate Methode, welche bei Kamerakalibrierung verwendet wird, wird das Optimum iterativ gefunden, wobei in jeder Iteration die Kostenfunktion lokal linear approximiert wird, und dann ein sogenannter Gauß-Newton Schritt in Richtung geringerer Kosten durchgeführt wird. Konkret berechnet sich der Schritt über $$\left(J^T{\Sigma }_o^{-1}J\right)\Delta \theta =J^T={\Sigma }_o^{-1}T$$

$${\theta }^{k+1}={\theta }^k+\Delta \theta$$

wobei J die lokale Jacobimatrix an der Stelle θ^k ,r die Residuen in der aktuellen Iteration und Σ_ο die Kovarianzmatrix der Beobachtungen (Beobachtungsunsicherheiten) bezeichnet.With the non-linear least squares method, which is used for camera calibration, the optimum is found iteratively, with the cost function being locally linearly approximated in each iteration, and then a so-called Gauss-Newton step in the direction of lower costs being carried out. Specifically, the step is calculated via $$\left(J^T{\Sigma }_O^{-1}J\right)\Delta \theta =J^T={\Sigma }_O^{-1}T$$

$${\theta }^{k+1}={\theta }^k+\Delta \theta$$

where J denotes the local Jacobian matrix at the point θ ^k ,r denotes the residuals in the current iteration and Σ _ο denotes the covariance matrix of the observations (observation uncertainties).

Die approximierte Resampling Methode setzt nun nach dem letzten Schritt der originalen, zu bewertenden Kalibrierung an. Gegeben sind also die geschätzten Parameter θ̂, sowie die Jacobimatrix J am Optimum und die Residuen r am Optimum. Jede Zeile der Jacobimatrix gehört zu einer Beobachtung bzw. einem Residuum. Wie in der oben beschriebenen herkömmlichen Resampling Methode werden nun neue Datensätze {F_BS,j}_j=1,...,nBS gezogen, wobei jeder der neuen Datensätze jeweils einige Bilder mehrfach enthalten kann, und andere Bilder gar nicht. Für jeden dieser Datensätze F_BS,j werden nun die Zeilen der Jacobimatrix J und des Residuenvektors r entsprechend der enthaltenen Bilder neu zusammengesetzt. Für jeden Datensatz ergibt sich also ein Triplet (J_BS,j , r_BS,j , Σ_o,BS,j), welches einige der Zeilen der originalen Jacobimatrix und des originalen Residuenvektors mehrfach enthalten kann und andere gar nicht. Für einen beispielhaften ersten Datensatz F_BS,1 (j = 1), bei dem das erste Bild doppelt und das zweite Bild nicht vorkommt, ergibt sich $${\text{J}}_{BS\mathrm{,1}}=\left[\begin{array}{l}{\text{J}}_1\hfill \\ {\text{J}}_1\hfill \\ {\text{J}}_3\hfill \\ {\text{J}}_1\hfill \\ \tilde{\text{J}}\hfill \end{array}\right],r_{BS\mathrm{,1}}=\left[\begin{array}{l}{\text{r}}_1\hfill \\ {\text{r}}_1\hfill \\ {\text{r}}_3\hfill \\ {\text{r}}_4\hfill \\ \tilde{\text{r}}\hfill \end{array}\right]$$

$${\Sigma }_{oBS\mathrm{,1}}=\left[\begin{array}{lllll}{\Sigma }_{o\mathrm{,1}}\hfill & \hfill & \hfill & \hfill & 0\hfill \\ \hfill & {\Sigma }_{o\mathrm{,1}}\hfill & \hfill & \hfill & \hfill \\ \hfill & \hfill & {\Sigma }_{o\mathrm{,3}}\hfill & \hfill & \hfill \\ \hfill & \hfill & \hfill & {\Sigma }_{o\mathrm{,4}}\hfill & \hfill \\ 0\hfill & \hfill & \hfill & \hfill & \tilde{\Sigma }\hfill \end{array}\right]$$

im Gegensatz zur herkömmlichen Methode $$\text{J}=\left[\begin{array}{l}{\text{J}}_1\hfill \\ {\text{J}}_1\hfill \\ {\text{J}}_3\hfill \\ {\text{J}}_1\hfill \\ \tilde{\text{J}}\hfill \end{array}\right],\text{r}=\left[\begin{array}{l}{\text{r}}_1\hfill \\ {\text{r}}_1\hfill \\ {\text{r}}_3\hfill \\ {\text{r}}_4\hfill \\ \tilde{\text{r}}\hfill \end{array}\right]$$

$${\Sigma }_o=\left[\begin{array}{lllll}{\Sigma }_{o\mathrm{,1}}\hfill & \hfill & \hfill & \hfill & 0\hfill \\ \hfill & {\Sigma }_{o\mathrm{,1}}\hfill & \hfill & \hfill & \hfill \\ \hfill & \hfill & {\Sigma }_{o\mathrm{,3}}\hfill & \hfill & \hfill \\ \hfill & \hfill & \hfill & {\Sigma }_{o\mathrm{,4}}\hfill & \hfill \\ 0\hfill & \hfill & \hfill & \hfill & \tilde{\Sigma }\hfill \end{array}\right]$$

The approximate resampling method now starts after the last step of the original calibration to be evaluated. The estimated parameters θ̂, as well as the Jacobian matrix J at the optimum and the residuals r at the optimum are given. Each row of the Jacobian matrix corresponds to an observation or residual. As in the conventional resampling method described above, new data sets {F _BS,j } _j=1,...,nBS are now drawn, whereby each of the new data sets can contain several images and other images not at all. For each of these data sets F _BS,j the rows of the Jacobian matrix J and the residual vector r are now reassembled according to the images contained. For each data set there is a triplet (J _BS,j , r _BS,j , Σ _o,BS,j ), which can contain some of the rows of the original Jacobian matrix and the original residual vector several times and others not at all. For an exemplary first data set F _BS,1 (j=1) in which the first image occurs twice and the second image does not occur, $${\text{J}}_{BS\mathrm{,1}}=\left[\begin{array}{l}{\text{J}}_1\hfill \\ {\text{J}}_1\hfill \\ {\text{J}}_3\hfill \\ {\text{J}}_1\hfill \\ \tilde{\text{J}}\hfill \end{array}\right],{\mathrm{right}}_{BS\mathrm{,1}}=\left[\begin{array}{l}{\text{right}}_1\hfill \\ {\text{right}}_1\hfill \\ {\text{right}}_3\hfill \\ {\text{right}}_4\hfill \\ \widetilde{\text{right}}\hfill \end{array}\right]$$

$${\Sigma }_{OBS\mathrm{,1}}=\left[\begin{array}{lllll}{\Sigma }_{O\mathrm{,1}}\hfill & \hfill & \hfill & \hfill & 0\hfill \\ \hfill & {\Sigma }_{O\mathrm{,1}}\hfill & \hfill & \hfill & \hfill \\ \hfill & \hfill & {\Sigma }_{O\mathrm{,3}}\hfill & \hfill & \hfill \\ \hfill & \hfill & \hfill & {\Sigma }_{O\mathrm{,4}}\hfill & \hfill \\ 0\hfill & \hfill & \hfill & \hfill & \tilde{\Sigma }\hfill \end{array}\right]$$

in contrast to the conventional method $$\text{J}=\left[\begin{array}{l}{\text{J}}_1\hfill \\ {\text{J}}_1\hfill \\ {\text{J}}_3\hfill \\ {\text{J}}_1\hfill \\ \tilde{\text{J}}\hfill \end{array}\right],\text{right}=\left[\begin{array}{l}{\text{right}}_1\hfill \\ {\text{right}}_1\hfill \\ {\text{right}}_3\hfill \\ {\text{right}}_4\hfill \\ \widetilde{\text{right}}\hfill \end{array}\right]$$

$${\Sigma }_O=\left[\begin{array}{lllll}{\Sigma }_{O\mathrm{,1}}\hfill & \hfill & \hfill & \hfill & 0\hfill \\ \hfill & {\Sigma }_{O\mathrm{,1}}\hfill & \hfill & \hfill & \hfill \\ \hfill & \hfill & {\Sigma }_{O\mathrm{,3}}\hfill & \hfill & \hfill \\ \hfill & \hfill & \hfill & {\Sigma }_{O\mathrm{,4}}\hfill & \hfill \\ 0\hfill & \hfill & \hfill & \hfill & \tilde{\Sigma }\hfill \end{array}\right]$$

Dabei stellen die J_i, r_i und Σ_o,i die Jacobi-Matrix, die Residuen und die Beobachtungsunsicherheiten zu Bild i dar. Hingegen stellen J̃, r̃ und Σ̃ potentiell weitere Jacobi-Matrizen, Residuen und die Beobachtungsunsicherheiten weiterer Beobachtungen bzw. Parameter dar, welche bspw. die Nichtplanarität eines Kalibrierkörpers beschreiben und jeweils mitgeschätzt werden müssen.The J _i , r _i and Σ _o,i represent the Jacobi matrix, the residuals and the observation uncertainties for image i. In contrast, J̃, r̃ and Σ̃ represent potentially further Jacobi matrices, residuals and the observation uncertainties of further observations or parameters which, for example, describe the non-planarity of a calibration body and must also be estimated in each case.

Anschließend wird für jeden Datensatz der letzte Gauß-Newton Schritt durchgeführt: $$\left(J_{\text{BS}\text{,}j}^T{\mathrm{\Sigma }}_{o,BS,j}^{-1}{J}_{\text{BS}\text{,}j}\right)\Delta {\theta }_{BS,j}=J_{\text{BS}\text{,}j}^T{\mathrm{\Sigma }}_{o,BS,j}^{-1}{J}_{\text{BS}\text{,}j}$$

$${\widehat{\theta }}_{\text{aBS}\text{,}j}=\widehat{\theta }+\Delta {\theta }_{\text{BS}\text{,}j.}$$

The last Gauss-Newton step is then carried out for each data set: $$\left(J_{\text{B.S}\text{,}j}^T{\mathrm{\Sigma }}_{O,BS,j}^{-1}{J}_{\text{B.S}\text{,}j}\right)\Delta {\theta }_{BS,j}=J_{\text{B.S}\text{,}j}^T{\mathrm{\Sigma }}_{O,BS,j}^{-1}{J}_{\text{B.S}\text{,}j}$$

$${\widehat{\theta }}_{\text{Section}\text{,}j}=\widehat{\theta }+\Delta {\theta }_{\text{B.S}\text{,}j.}$$

Es ergeben sich also wieder für jeden Datensatz F_BS,j optimale Parameter θ̂_aBS,j . Schließlich wird, wie bei der herkömmlichen Resampling Methode, aus der Menge der geschätzten optimalen Parameter {θ_̂aBS,j}_j=1,...,nBS die Kovarianzmatrix Σ̂_θ,aBS der Parameter bestimmt.There are therefore again optimal parameters θ̂ _aBS,j for each data set F _BS, j . Finally, as with the conventional resampling method, the covariance matrix Σ̂ _θ,aBS of the parameters is determined from the set of estimated optimal parameters {θ _̂aBS,j } _j=1,...,nBS .

Ganz allgemein beschreibt der Begriff „Resampling“ die Erzeugung von neuen Stichproben aus einer existierenden Stichprobe. Angewandt auf Kamerakalibrierung bedeutet dies die Erzeugung von neuen Kalibrierdatensätzen aus dem originalen Kalibrierdatensatz.In general, the term "resampling" describes the generation of new samples from an existing sample. Applied to camera calibration, this means the generation of new calibration data sets from the original calibration data set.

Generell sind dabei viele Strategien zur Bildung der neuen Stichproben denkbar: Es kann systematisch immer ein Bild weggelassen werden (‚leave-one-out‘), es können systematisch immer einige Bilder mehrfach eingebracht werden, und andere gar nicht - oder, wie beim klassischen Bootstrapping, rein zufällige neue Datensätze durch zufälliges Ziehen mit Zurücklegen generiert werden. Prinzipiell sind aber viele alternative Resampling-Strategien denkbar. Ein sehr konkretes Schema könnte z.B. lauten

• - Startpunkt ist der originale Kalibrierdatensatz bestehend aus N Bildern. Beispielsweise gilt dabei N ≥ 10, wie unten genauer erklärt wird.
• - Gemäß dem klassischen Bootstrapping werden nun z.B. nBS = 100 zufällige Datensätze generiert.
• - D.h. für jeden der nBS Datensätze werden zufällig N Bilder mit Zurücklegen aus dem originalen Datensatz gezogen.
• - Man erhält also nBS zufällige Datensätze, die jeweils genauso groß sind wie der originale Datensatz, die aber jeweils einige Bilder mehrfach und andere Bilder gar nicht enthalten.

In general, there are many conceivable strategies for forming new samples: one image can always be systematically omitted ('leave-one-out'), some images can always be included more than once and others not at all - or, as with the classic one Bootstrapping, purely random new records are generated by random drawing with replacement. In principle, however, many alternative resampling strategies are conceivable. A very concrete schema could read, for example

• - The starting point is the original calibration data set consisting of N images. For example, N≧10 applies here, as will be explained in more detail below.
• - According to the classic bootstrapping, eg nBS = 100 random data sets are now generated.
• - Ie for each of the nBS datasets, N images with replacement are randomly drawn from the original dataset.
• - You get nBS random datasets, each of which is the same size as the original dataset, but which contain some images multiple times and other images not at all.

Für die Anzahl nBS an neuen Datensätzen gilt: je mehr, desto genauer die Unsicherheitsschätzung. Ein häufig verwendeter Richtwert für Bootstrapping-Verfahren ist nBS ~ 1000. In der Praxis sollte dabei Rechenzeit gegen Genauigkeit abgewogen werden. Untersuchungen legen nahe, dass ein deutlich kleinerer Wert von nBS = 50 meist ausreicht und schnell berechenbar ist. Als untere Schranke kann nBS ≥ 2n + 1 verwendet werden, wobei n die Anzahl intrinsischer Parameter θ̂ beschreibt. Für präzise Schätzungen ist eine Größenordnung von nBS ~ 1000 empfehlenswert.The following applies to the number nBS of new data sets: the more, the more accurate the uncertainty estimate. A frequently used guide value for bootstrapping methods is nBS ~ 1000. In practice, calculation time should be weighed against accuracy. Studies suggest that a much smaller value of nBS = 50 is usually sufficient and can be calculated quickly. nBS ≥ 2n + 1 can be used as the lower bound, where n describes the number of intrinsic parameters θ̂. For precise estimates, an order of magnitude of nBS ~ 1000 is recommended.

Wichtig ist für das Verfahren, dass der originale Kalibrierdatensatz ausreichend groß ist (ausreichend viele Bilder N). Die Grundannahme der Resampling Verfahren ist, dass der Datensatz repräsentativ ist für die Gesamtpopulation. Hinzu kommt, dass für kleine N oft Datensätze aus nur ein und demselben Bild entstehen, für die eine Kalibrierung nicht verlässlich möglich ist - es kommt daher zu einer Überschätzung der Unsicherheit. Als Orientierung kann N ≥ 10 herangezogen werden. In der Praxis ist dies jedoch keine relevante Limitierung, da üblicherweise deutlich größere Datensätze verwendet werden.It is important for the method that the original calibration data set is sufficiently large (sufficient number of images N). The basic assumption of the resampling procedure is that the data set is representative of the entire population. In addition, for small N, data sets are often created from just one and the same image, for which calibration is not reliably possible - this leads to an overestimation of the uncertainty. N ≥ 10 can be used as a guide. In practice, however, this is not a relevant limitation, since significantly larger data sets are usually used.

Durch das Resampling ergibt sich eine Verteilung an geschätzten Parametern {θ̂_BS,_j}_j=1,...,nBS . Auf Grundlage dieser Verteilung kann nicht nur die Kovarianzmatrix ermittelt werden, sondern auch zahlreiche Metriken und Analysen durchgeführt werden. Einige Beispiele sind:

• - Die Kovarianzmatrix der Parameter kann ermittelt werden.
• - Alternativ können auch robuste Verfahren zur Bestimmung der Kovarianzmatrix wie bspw. Orthogonalized Gnanadesikan-Kettenring (OGK) eingesetzt werden.
• - Es können Konfidenzintervalle für alle Parameter angegeben werden.
• - Es kann geprüft werden, ob die Parameter tatsächlich einer klassischen Annahme einer Normalverteilung folgen (z.B. über statistische Tests für Normalverteilungen oder über die Kullback-Leibler-Divergenz).
• - Folgen die Parameter keiner Normalverteilung, kann über die Analyse der Verteilung (z.B. Modendetektion) auf bestimmte systematische Fehler geschlossen werden.
• - Die Mittelwerte oder Mediane der Verteilung können ermittelt und mit der originalen Parameterschätzung verglichen werden. Starke Abweichung deuten dabei auf mögliche Fehler hin.
• - Die Mittelwerte oder Mediane der Verteilung können genutzt werden, um die originale Parameterschätzung zu korrigieren.

The resampling results in a distribution of estimated parameters {θ̂ _BS , _j } _j=1,...,nBS . Not only can the covariance matrix be determined on the basis of this distribution, but numerous metrics and analyzes can also be carried out. Some examples are:

• - The covariance matrix of the parameters can be determined.
• - Alternatively, robust methods for determining the covariance matrix such as orthogonalized Gnanadesikan chain ring (OGK) can also be used.
• - Confidence intervals can be specified for all parameters.
• - It can be checked whether the parameters actually follow a classical assumption of a normal distribution (e.g. using statistical tests for normal distributions or using the Kullback-Leibler divergence).
• - If the parameters do not follow a normal distribution, certain systematic errors can be determined by analyzing the distribution (e.g. mode detection).
• - The means or medians of the distribution can be determined and compared with the original parameter estimate. Large deviations indicate possible errors.
• - The means or medians of the distribution can be used to correct the original parameter estimate.

Ein Kern der Erfindung liegt in der

1. 1. Erzeugung einer Menge bzw. eines Sets von Modellparameterschätzungen, deren Verteilung die tatsächliche Parameterunsicherheit besser als bisherige Verfahren wiederspiegelt,
2. 2. einem Vorschlag zur Erstellung neuer Datensätze aus dem originalen Datensatz,
3. 3. einer Approximation des Verfahrens zur Beschleunigung der Berechnung,
4. 4. einem Vorschlag zur Berechnung einer finalen Unsicherheitsmetrik in Form einer Kovarianzmatrix.

A core of the invention lies in the

1. 1. Generation of a quantity or a set of model parameter estimates, the distribution of which reflects the actual parameter uncertainty better than previous methods,
2. 2. a proposal to create new datasets from the original dataset,
3. 3. an approximation of the method to speed up the calculation,
4. 4. A proposal for calculating a final uncertainty metric in the form of a covariance matrix.

Die hier vorgeschlagene Methode liefert eine Schätzung der Unsicherheit von Kameraparametern, welche insbesondere auch unter realen, nicht-idealen Bedingungen verlässlich ist.The method proposed here provides an estimate of the uncertainty of camera parameters, which is particularly reliable under real, non-ideal conditions.

Anders als bei der Standardmethode kommt es nicht zu einer systematischen Unterschätzung der Unsicherheit. Eine solche Unterschätzung von Fehlern ist besonders kritisch, da sie zu falschen Annahmen bezüglich der Genauigkeit eines Kamerasystems führt. Die hier vorgeschlagene Methode ist frei von Modellannahmen und liefert daher verlässliche Information, auch in nicht-idealen Settings. Im Folgenden sind weitere Vorteile im Detail aufgeführt:

• - Durch die effiziente Approximation des Resamplings ist die Methode in der Praxis auch bei großen Datensätzen problemlos anwendbar.
• - Auch andere auf der Kovarianzmatrix basierende Maße können auf Grundlage unserer Methode korrekt bestimmt werden. Dies umfasst z.B. den expected mapping error (EME), maxERE, und die Beobachtbarkeitsmetrik.
• - Verfahren zur Vorhersage bestmöglicher zusätzlicher Messungen werden durch die vorgeschlagene Kovarianzmatrixschätzung verlässlicher, da sie nicht mehr den Bias der Standardmethode enthalten.

Unlike the standard method, there is no systematic underestimation of the uncertainty. Such an underestimation of errors is particularly critical as it leads to false assumptions about the accuracy of a camera system. The method proposed here is free of model assumptions and therefore provides reliable information, even in non-ideal settings. Other benefits are detailed below:

• - Due to the efficient approximation of the resampling, the method can be used in practice without any problems, even with large data sets.
• - Other measures based on the covariance matrix can also be determined correctly based on our method. This includes, for example, the expected mapping error (EME), maxERE, and the observability metric.
• - Methods for predicting the best possible additional measurements become more reliable with the proposed covariance matrix estimation, since they no longer contain the bias of the standard method.

Zudem werden folgende Variationen vorgeschlagen:

• - Anstelle des Bootstrap Verfahrens kann auch das Jackknife Verfahren treten. Prinzipiell ist ein beliebiges sinnvolles Resampling-Schema anwendbar.
• - Oben werden die Beobachtungen auf Basis der Bilder resampled, d.h. die Gruppierung der Beobachtungen im Bild blieb erhalten. Je nach Kalibrieraufbau können andere Gruppierungen (z.B. auf Basis der Kalibrierkörper oder auf der Ebene der Beobachtungen) sinnvoll sein.
• - Anstelle der Kovarianzmatrix können aus der Sampling-Verteilung der Parameter auch beliebige andere Maße gezogen werden (z.B. Konfidenzintervalle).
• - Die Sampling-Verteilung der Parameter kann genutzt werden, um die tatsächliche Parameterschätzung zu korrigieren (an die Stelle der optimalen Parameter treten dann die Mittelwerte oder Mediane der Resampling Verteilung)
• - Die Methode ist auch bei der Kalibrierung von Stereo-bzw. Multikamerasystemen einsetzbar. Das Resampling muss entsprechend angepasst werden, die Grundidee bleibt dieselbe.
• - Die Methode ist grundsätzlich nicht auf Kamerakalibrierung beschränkt. Ganz allgemein kann die Methode zur robusten Schätzung der Kovarianzmatrix von Parametern aus einer nichtlinearen Optimierung verwendet werden.
• - Bei der approximierten Resampling Methode können anstelle eines letzten Gauß-Newton Schritts auch mehrere weitere Gauß-Newton Schritte gemacht werden.
• - Beim Resampling Verfahren können anstelle des freien Bootstrappings zusätzliche Kriterien angewandt werden: Es kann gefordert werden, dass die generierten Datensätze ausreichend divers sind (z.B. den Bildbereich gut abdecken), um eine Überschätzung der Unsicherheit durch besonders schlechte generierte Datensätze zu vermeiden. Andersherum, um eine besonders konservative Schätzung der Unsicherheit zu bekommen (z.B. um eine obere Grenze anzugeben), können explizit wenig diverse Datensätze gefordert werden.

In addition, the following variations are suggested:

• - The jackknife method can also be used instead of the bootstrap method. In principle, any sensible resampling scheme can be used.
• - Above, the observations are resampled on the basis of the images, ie the grouping of the observations in the image was preserved. Depending on the calibration setup, other groupings (e.g. based on the calibration body or on the level of the observations) can be useful.
• - Instead of the covariance matrix, any other measure can be taken from the sampling distribution of the parameters (eg confidence intervals).
• - The sampling distribution of the parameters can be used to correct the actual parameter estimate (the mean values or medians of the resampling distribution then take the place of the optimal parameters)
• - The method can also be used when calibrating stereo or Multi-camera systems can be used. The resampling has to be adjusted accordingly, the basic idea remains the same.
• - The method is basically not limited to camera calibration. In general, the method can be used for the robust estimation of the covariance matrix of parameters from a nonlinear optimization.
• - With the approximate resampling method, instead of one last Gauss-Newton step, several further Gauss-Newton steps can be made.
• - In the case of the resampling method, additional criteria can be used instead of free bootstrapping: It can be required that the generated datasets are sufficiently diverse (e.g. cover the image area well) in order to avoid an overestimation of the uncertainty due to particularly poorly generated datasets. Conversely, in order to get a particularly conservative estimate of the uncertainty (e.g. to specify an upper limit), a few diverse data sets can be explicitly required.

Figurenlistecharacter list

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:

• 1 eine schematische Darstellung von Verfahrensschritten gemäß einem Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors;
• 2 eine schematische Darstellung von Verfahrensschritten gemäß einem weiteren Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors;
• 3 eine alternative Veranschaulichung von Verfahrensschritten eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors; und
• 4 Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors.

Exemplary embodiments of the invention are described in detail below with reference to the accompanying drawings. In the drawing is:

• 1 a schematic representation of method steps according to an embodiment of a method according to the invention for determining a calibration quality of an optical sensor;
• 2 a schematic representation of method steps according to a further exemplary embodiment of a method according to the invention for determining a calibration quality of an optical sensor;
• 3 an alternative illustration of method steps of an embodiment of a method according to the invention for determining a calibration quality of an optical sensor; and
• 4 Method steps of an exemplary embodiment of a method according to the invention for determining a calibration quality of an optical sensor.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine schematische Darstellung von Schritten eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors. In der dreidimensionalen (3D-)Welt befindet sich ein erster Kalibrierkörper 8, welcher ein ebenes Schachbrettmuster aufweist. In diesem sind zwei Raumpunkte 3, 4 als erster Raumpunkt 3 und zweiter Raumpunkt 4 markiert. Ein optischer Sensor 1 erfasst den Kalibrierkörper 8 und erstellt eine Abbildung als erstes Bild 2, in welcher sich ein zum ersten Raumpunkt 3 korrespondierender erster Bildpunkt 3' und ein zum zweiten Raumpunkt 4 korrespondierender zweiter Bildpunkt 4' befinden. Das Bild des Sensors ist als 2D-Abbildung zu verstehen. Der erste Raumpunkt 3 und seine bilden ein erstes Informationspaar 33, während der zweite Raumpunkt 4 und seine ein zweites Informationspaar 44 bilden. Erfindungsgemäß wird nun eine Vielzahl 5 an Datensätzen auf Grundlage der Informationspaare 33, 44 erstellt, wobei der erste Datensatz 51 das erste Informationspaar 33 einmal und das zweite Informationspaar 44 einmal, der zweite Datensatz 52 das zweite Informationspaar 44 zweimal und das erste Informationspaar 33 keinmal und der dritte Datensatz 53 das erste Informationspaar 33 zweimal und das zweite Informationspaar 44 keinmal aufweisen. In einem anschließenden Verfahrensschritt 700 wird aus der Vielzahl 5 an Datensätzen eine Vielzahl an Parameterschätzungen ermittelt, auf welcher Basis in einem sich anschließenden Verfahrensschritt 1000 eine Kalibrierungsgüte ermittelt wird. 1 shows a schematic representation of steps of an embodiment of a method according to the invention for determining a calibration quality of an optical sensor. In the three-dimensional (3D) world is a first calibration body 8, which has a planar checkerboard pattern. In this, two spatial points 3, 4 are marked as the first spatial point 3 and the second spatial point 4. An optical sensor 1 detects the calibration body 8 and creates an image as a first image 2, in which a first pixel 3' corresponding to the first spatial point 3 and a second pixel 4' corresponding to the second spatial point 4 are located. The image of the sensor is to be understood as a 2D image. The first space point 3 and its form a first pair of information 33, while the second point in space 4 and its form a second pair of information 44 . According to the invention, a large number 5 of data sets are now created on the basis of the information pairs 33, 44, with the first data set 51 containing the first information pair 33 once and the second information pair 44 once, the second data set 52 containing the second information pair 44 twice and the first information pair 33 not once and the third data set 53 has the first pair of information 33 twice and the second pair of information 44 has none. In a subsequent method step 700, a large number of parameter estimates are determined from the plurality 5 of data sets, on the basis of which a calibration quality is determined in a subsequent method step 1000.

2 zeigt die in 1 dargestellte Situation, wenn ein zweites Bild als Bestandteil der Datenbasis hinzukommt. Oben links ist die Aufnahme des ersten Bildes 2 entsprechend 1 gezeigt. Unten links wird ein zweiter Kalibrierkörper 9 in Form eines geneigten Schachbrettes aufweisend einen dritten Raumpunkt 6 und einen vierten Raumpunkt 7 vom optischen Sensor 1 erfasst. Der optische Sensor 1 lichtet ein zweites Bild 12 ab, in welchem der zweite Kalibrierkörper 9 in einer Repräsentation 9' des Kalibrierkörpers 9 repräsentiert ist und zum dritten Raumpunkt 6 und zum vierten Raumpunkt 7 korrespondierende Bildpunkte 6' und 7' aufweist. Der dritte Raumpunkt 6 und der dritte Bildpunkt 6' bilden dabei ein drittes Informationspaar 66, während der vierte Raumpunkt 7 und der vierte Bildpunkt 7' ein viertes Informationspaar 77 bilden. Beide stehen nun in einem nachfolgenden Schritt zur Erstellung einer Vielzahl 5 an Datensätzen auf Grundlage der Informationspaare 33, 44, 66, 77 aller Bilder 2, 12 zur Verfügung. Somit umfasst ein erster Datensatz 51 nun jedes Informationspaar genau einmal, ein zweiter Datensatz 52 jeweils zweimal das erste Informationspaar 33 und zweimal das zweite Informationspaar 44, während ein dritter Datensatz 53 zweimal das dritte Informationspaar 66 und zweimal das vierte Informationspaar 77 umfasst. Der Übersichtlichkeit halber sind weitere Permutationen nicht dargestellt. Es schließen sich die Schritte 700 und 1000 entsprechend 1 an. 2 shows the in 1 situation shown when a second image is added as part of the database. At the top left is the recording of the first image 2 accordingly 1 shown. At the bottom left, a second calibration body 9 in the form of an inclined chess board, having a third spatial point 6 and a fourth spatial point 7 , is detected by the optical sensor 1 . The optical sensor 1 scans a second image 12, in which the second Calibration body 9 is represented in a representation 9' of the calibration body 9 and has image points 6' and 7' corresponding to the third point in space 6 and to the fourth point in space 7. The third spatial point 6 and the third image point 6' form a third information pair 66, while the fourth spatial point 7 and the fourth image point 7' form a fourth information pair 77. Both are now available in a subsequent step for creating a large number 5 of data sets based on the information pairs 33, 44, 66, 77 of all images 2, 12. A first data set 51 now includes each information pair exactly once, a second data set 52 includes the first information pair 33 twice and the second information pair 44 twice, while a third data set 53 includes the third information pair 66 twice and the fourth information pair 77 twice. For the sake of clarity, further permutations are not shown. Steps 700 and 1000 close accordingly 1 on.

3 zeigt eine schematische Darstellung des Standes der Technik I, in welchem ein Kalibrierkörper abgelichtet wird und auf Basis abgelichteter 3D Punkte auf dem Kalibrierkörper und den zugehörigen Bildpunkten eine Kalibrierung des Sensors durchgeführt wird. Aus dieser Kalibrierung können die Jacobi-Matrix J und der Residuen-Vektor r bestimmt werden. Gemäß einer Basisvariante II der vorliegenden Erfindung wird anschließend das sog. Resampling (z.B. „boot strapping“) 81 durchgeführt, gemäß welchem einzelne Bilder mehrfach verwendet werden, um die Kalibrierungsgüte zu überprüfen. Im oberen Zweig 81 sind die beiden oberen Bilder 82 identisch, während in dem unteren Zweig 86 das obere rechte Bild identisch dem unteren linken Bild ist. Anschließend wird basierend auf jedem der Datensätze eine Kalibrierung ausgeführt, was zu einer Punktewolke 84 aus geschätzten Modellparametern führt, und aus der Verteilung der Punkte in der Punktwolke wird anschließend die Untersicherheiten 85 berechnet. Hierzu kann beispielsweise eine klassische Kovarianzmatrix erstellt werden. Aufgrund des erhöhten Rechenaufwandes kann eine Optimierung III der vorliegenden Erfindung im Anschluss an die Datensatzerstellung ausgeführt werden. Anstatt für jeden Datensatz die vollständige Kalibrierung (83) durchzuführen, wird in dieser Variante jeweils eine approximierte Kalibrierung durchgeführt. Die anschließenden Schritte sind identisch der Basisvariante II. 3 shows a schematic representation of the prior art I, in which a calibration body is photographed and a calibration of the sensor is carried out on the basis of photographed 3D points on the calibration body and the associated pixels. From this calibration, the Jacobian matrix J and the residual vector r can be determined. According to a basic variant II of the present invention, what is known as resampling (eg “boot strapping”) 81 is then carried out, according to which individual images are used multiple times in order to check the calibration quality. In the upper branch 81, the two upper images 82 are identical, while in the lower branch 86 the upper right image is identical to the lower left image. A calibration is then carried out based on each of the data sets, which leads to a point cloud 84 made up of estimated model parameters, and the undercertainties 85 are then calculated from the distribution of the points in the point cloud. A classic covariance matrix can be created for this purpose, for example. Due to the increased computing effort, an optimization III of the present invention can be carried out after the data set has been created. Instead of carrying out the complete calibration (83) for each data set, an approximate calibration is carried out in this variant. The subsequent steps are identical to basic variant II.

4 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors. In Schritt 100 wird ein erstes Bild mittels des optischen Sensors aufgenommen. Der optische Sensor ist beispielsweise eine 2D-Kamera, welche im sichtbaren Licht agiert. Sie kann beispielsweise als Kamera für ein Fahrerassistenzsystem eines PKWs ausgestaltet sein. In Schritt 200 wird ein Abstand zwischen dem Sensor und dem Kalibrierkörper verändert, um eine weitere Ansicht des Kalibrierkörpers mittels des Sensors aufzunehmen. In Schritt 300 wird ein zweites Bild für die Ermittlung der Kalibrierungsgüte aufgenommen. Auf diese Weise wird die verfügbare Datenmenge erhöht. In Schritt 400 wird ein weiterer optischer Sensor in Form eines Lasers verwendet, um Informationen über die Lage im Raum zum ersten und zweiten Raumpunkt bzw. zur ersten und zweiten Information zu erhalten. In Schritt 500 wird anschließend ein erstes Informationspaar aus der ersten und zweiten Information und ein zweites Informationspaar aus der dritten und vierten Information erstellt. Hierzu werden Informationen über die räumliche Lage des ersten Raumpunktes und des zweiten Raumpunktes sowie die Lage der jeweiligen Abbildungen im Sensorsignal verwendet. Anschließend wird in Schritt 600 eine Mehrzahl Datensätze erstellt, welche jeweils eine unterschiedliche Permutation mit Wiederholungen aus dem ersten Informationspaar und dem zweiten Informationspaar umfassen. In Schritt 700 wird eine Vielzahl Parameterschätzungen ermittelt. Dies erfolgt im Beispiel durch Ausführen einer Vielzahl Kalibrierungen des Sensors, wobei jede Kalibrierung auf einem Datensatz der Mehrzahl Datensätze basiert. Anschließend wird in Schritt 800 eine Kalibrierungsgüte auf Basis der Vielzahl Parameterschätzungen ermittelt. Aus dem Ergebnis wird ermittelt, dass die ermittelte Kalibrierungsgüte hinter dem Soll zurückbleibt. Daher wird in Schritt 900 automatisch die Kalibrierung des Sensors aktualisiert. Hierbei werden die obigen Informationen verwendet und die Kenntnisse über die tatsächliche Lage von Raumpunkten, welche im Sensorsignal repräsentiert sind, verbessert. 4 shows steps of an embodiment of a method according to the invention for determining a calibration quality of an optical sensor. In step 100, a first image is recorded using the optical sensor. The optical sensor is, for example, a 2D camera that operates in visible light. For example, it can be designed as a camera for a driver assistance system in a car. In step 200, a distance between the sensor and the calibration body is changed in order to record another view of the calibration body using the sensor. In step 300, a second image is recorded for determining the calibration quality. This increases the amount of data available. In step 400, a further optical sensor in the form of a laser is used in order to obtain information about the position in space relative to the first and second point in space or about the first and second information. In step 500, a first pair of information is then created from the first and second information and a second pair of information is created from the third and fourth information. For this purpose, information about the spatial position of the first point in space and the second point in space and the position of the respective images in the sensor signal are used. Subsequently, in step 600, a plurality of data sets are created, each of which includes a different permutation with repetitions from the first pair of information and the second pair of information. In step 700, a plurality of parameter estimates are determined. In the example, this is done by performing a large number of calibrations of the sensor, each calibration being based on a data set from the plurality of data sets. Then, in step 800, a calibration quality is determined based on the plurality of parameter estimates. It is determined from the result that the calibration quality determined falls short of the target. Therefore, in step 900, the calibration of the sensor is automatically updated. Here, the above information is used and the knowledge about the actual position of spatial points, which are represented in the sensor signal, is improved.

Anhand von echten Kamerakalibrierungen und/oder Simulationen kann beispielhaft das Verhalten der Standardmethode, der Resampling Methode und der approximierten Resampling Methode gezeigt werden.The behavior of the standard method, the resampling method and the approximated resampling method can be shown by way of example using real camera calibrations and/or simulations.

Als Vergleich bzw. Ground-truth werden die Varianzen der geschätzten Parameter über Kalibrierungen mit verschiedenen gleichartigen Datensätze genutzt. Eine korrekt geschätzte Kovarianzmatrix sollte genau diese Streuung beschreiben. Um alle Einträge der Kovarianzmatrix auf eine einzelne Zahl zu reduzieren, wird der sogenannte EME, welcher den mittleren Fehler eines Bildpunktes als Folge der Varianz der Kameraparameter beschreibt, verglichen.The variances of the estimated parameters via calibrations with different similar data sets are used as a comparison or ground truth. A correctly estimated covariance matrix should accurately describe this spread. In order to reduce all entries of the covariance matrix to a single number, the so-called EME, which describes the average error of a pixel as a result of the variance of the camera parameters, is compared.

Bei einer simulierten, idealen Kalibrierung liefern alle drei Methoden eine sinnvolle Schätzung der Fehlervorhersage. Simuliert man jedoch einen kleinen Modellfehler, so kommt es mit der Standardmethode zu einer Unterschätzung des Fehlers.For a simulated ideal calibration, all three methods provide a reasonable estimate of the error prediction. However, if you simulate a small If there is a model error, the error is underestimated with the standard method.

Ähnlich verhält es sich mit den echten Kalibrierungen. Trotz guter Laborbedingungen (hochgenaues Kalibriertarget, verzeichnungsarme Kameralinsen) sind offenbar nicht alle Bedingungen für die Standardmethode erfüllt. Wie beim simulierten Modellfehler kommt es zu einer signifikanten Unterschätzung der Parameterunsicherheit.The real calibrations are similar. Despite good laboratory conditions (high-precision calibration target, low-distortion camera lenses), not all the conditions for the standard method are evidently met. As with the simulated model error, there is a significant underestimation of the parameter uncertainty.

Die hier vorgeschlagene Methode liefert eine Schätzung der Unsicherheit von Kameraparametern, welche insbesondere auch unter realen, nicht-idealen Bedingungen verlässlich ist.The method proposed here provides an estimate of the uncertainty of camera parameters, which is particularly reliable under real, non-ideal conditions.

Anders als bei der Standardmethode kommt es nicht zu einer systematischen Unterschätzung der Unsicherheit. Eine solche Unterschätzung von Fehlern ist besonders kritisch, da sie zu falschen Annahmen bezüglich der Genauigkeit eines Kamerasystems führt. Die hier vorgeschlagene Methode ist frei von Modellannahmen und liefert daher verlässliche Information, auch in nicht-idealen Settings.Unlike the standard method, there is no systematic underestimation of the uncertainty. Such an underestimation of errors is particularly critical as it leads to false assumptions about the accuracy of a camera system. The method proposed here is free of model assumptions and therefore provides reliable information, even in non-ideal settings.

Claims (15)

Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors (1) umfassend die Schritte - Bereitstellen eines ersten Bildes (2), insbesondere Aufnehmen (100) eines ersten Bildes (2) mittels des optischen Sensors (1), - Verwenden (500) - einer ersten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen ersten Raumpunktes (3) und - einer zweiten Information über die Position (x', y') eines zum ersten Raumpunkt (3) korrespondierenden ersten Bildpunktes (3'), sowie - einer dritten Information über die räumliche Lage (x, y, z) eines im ersten Bild (2) repräsentierten charakteristischen zweiten Raumpunktes (4) und - einer vierten Information über die Position (x', y') eines zum zweiten Raumpunkt korrespondierenden zweiten Bildpunktes (4'), zur Erstellung eines ersten Informationspaares aus der ersten und zweiten Information und eines zweiten Informationspaares aus der dritten und vierten Information, - Erstellen (600) einer Mehrzahl (5) Datensätze (51, 52, 53) jeweils umfassend eine unterschiedliche Permutation, insbesondere mit Wiederholung, aus dem ersten Informationspaar (33) und dem zweiten Informationspaar (44), und - Ermitteln der Kalibrierungsgüte auf Basis der Mehrzahl (5) Datensätze.Method for determining a calibration quality of an optical sensor (1) comprising the steps - Providing a first image (2), in particular recording (100) a first image (2) by means of the optical sensor (1), - Use (500) - a first item of information about the spatial position (x, y, z) of a characteristic first spatial point (3) represented in the first image (2) and - A second piece of information about the position (x', y') of a first image point (3') corresponding to the first point in space (3), and - A third item of information about the spatial position (x, y, z) of a characteristic second spatial point (4) represented in the first image (2) and - fourth information about the position (x', y') of a second image point (4') corresponding to the second point in space, for creating a first information pair from the first and second information and a second information pair from the third and fourth information, - Creating (600) a plurality (5) data sets (51, 52, 53), each comprising a different permutation, in particular with repetition, from the first pair of information (33) and the second pair of information (44), and - Determining the calibration quality based on the plurality (5) data sets. Verfahren nach Anspruch 1 weiter umfassend die Schritte: - Ermitteln (700) einer Vielzahl Parameterschätzungen a. durch Ausführen einer Vielzahl Kalibrierungen des Sensors (1), wobei jede Kalibrierung auf einem Datensatz (51, 52, 53) der Mehrzahl (5) Datensätze basiert und/oder b. durch Ausführen einer Vielzahl approximierter Kalibrierungen des Sensors (1) auf Basis - optimaler Parameter der Kalibrierung des Sensors (1) und/oder - einer Jacobi-Matrix an der Stelle der optimalen Parameter und/oder - eines Residuen-Vektors an der Stelle der optimierten Parameter und/oder - einer Verwendung eines Ergebnisses einer Kalibrierung des Sensors (1), - Erstellen einer Vielzahl aktualisierter Jacobi Matrizen auf Basis in der Mehrzahl (5) Datensätze (51, 52, 53) enthaltener Informationspaare (33, 44) und/oder - Erstellen einer Vielzahl aktualisierter Residuenvektoren auf Basis in der Mehrzahl (5) Datensätze enthaltener Informationspaare (51, 52, 53) und - Ausführen einer oder mehrerer Optimierungsschritte, und/oder Gauß-Newton Iterationen zum Ermitteln der Vielzahl Parameterschätzung und - Ermitteln (800) einer Kalibrierungsgüte auf Basis der Vielzahl Parameterschätzung.procedure after claim 1 further comprising the steps of: - determining (700) a plurality of parameter estimates a. by performing a plurality of calibrations of the sensor (1), each calibration being based on a data set (51, 52, 53) of the plurality (5) data sets and/or b. by performing a large number of approximated calibrations of the sensor (1) on the basis of - optimal parameters of the calibration of the sensor (1) and/or - a Jacobian matrix at the point of the optimal parameters and/or - a residual vector at the point of the optimized ones parameters and/or - using a result of a calibration of the sensor (1), - creating a multiplicity of updated Jacobian matrices based on information pairs (33, 44) contained in the plurality (5) data sets (51, 52, 53) and/or - creating a large number of updated residual vectors based on the information pairs (51, 52, 53) contained in the plurality (5) data sets and - executing one or more optimization steps, and/or Gauss-Newton iterations to determine the large number of parameter estimates and - determining (800) a calibration quality based on the plurality of parameter estimates. Verfahren nach Anspruch 2 weiter umfassend - Ermitteln einer Standardabweichung und/oder Varianz der Vielzahl Parameterschätzungen.procedure after claim 2 further comprising - determining a standard deviation and/or variance of the plurality of parameter estimates. Verfahren nach einem der vorstehenden Ansprüche 2 oder 3 weiter umfassend - Ermitteln von Konfidenzintervallen auf Basis der Vielzahl Parameterschätzungen.A method according to any of the foregoing claims 2 or 3 further comprehensive - determination of confidence intervals based on the large number of parameter estimates. Verfahren nach einem der vorstehenden Ansprüche 2, 3 oder 4 weiter umfassend - Ermitteln eines Medians und/oder eines Mittelwertes der Parameterschätzungen zur Bestimmung eines systematischen Fehlers in der Kalibrierung.A method according to any of the foregoing claims 2 , 3 or 4 further comprising - determining a median and/or an average value of the parameter estimates for determining a systematic error in the calibration. Verfahren nach einem der vorstehenden Ansprüche, wobei der erste und der zweite Bildpunkt (3', 4') auf dem Abbild eines im ersten Bild (2) repräsentierten vordefinierten, insbesondere planaren oder dreidimensionalen, Kalibrierkörpers (8, 9) liegen.Method according to one of the preceding claims, wherein the first and the second image point (3', 4') lie on the image of a predefined, in particular planar or three-dimensional, calibration body (8, 9) represented in the first image (2). Verfahren nach einem der vorstehenden Ansprüche, wobei die Mehrzahl (5) Datensätze (51, 52, 53) - einen ersten Datensatz (52) aufweisend zweimal das erste Informationspaar (33), und/oder - einen zweiten Datensatz (53) aufweisend zweimal das zweite Informationspaar (44), und/oder - einen dritten Datensatz (51) aufweisend einmal das erste Informationspaar (33) und einmal das zweite Informationspaar (44) umfasst.Method according to one of the preceding claims, wherein the plurality (5) data sets (51, 52, 53) - A first data set (52) having twice the first pair of information (33), and/or - A second data record (53) having twice the second pair of information (44), and/or - A third data set (51) comprising once the first pair of information (33) and once the second pair of information (44). Verfahren nach einem der vorstehenden Ansprüche, wobei die Mehrzahl (5) Datensätze (51, 52, 53) - einen vierten Datensatz aufweisend einmal das erste Informationspaar (33) und einmal ein drittes Informationspaar (66), und/oder - einen fünften Datensatz aufweisend einmal das zweite Informationspaar (44) und einmal das dritte Informationspaar (66), und/oder - einen sechsten Datensatz aufweisend zweimal das dritte Informationspaar (66), umfasst.Method according to one of the preceding claims, wherein the plurality (5) data sets (51, 52, 53) - having a fourth data set once the first information pair (33) and once a third information pair (66), and/or - having a fifth data set once the second pair of information (44) and once the third pair of information (66), and / or - having a sixth data set twice the third pair of information (66). Verfahren nach einem der vorstehenden Ansprüche weiter umfassend - Verändern (200) - eines Abstandes und/oder - einer Ausrichtung zwischen dem Sensor (1) und dem ersten und zweiten Raumpunkt (3, 4) und/oder - eines im ersten Bild enthaltenen ersten Kalibrierkörpers (8) und - Aufnehmen (300) eines zweiten Bildes (12) für die Ermittlung der Kalibrierungsgüte.A method according to any one of the preceding claims further comprising - Alter (200) - a distance and/or - An alignment between the sensor (1) and the first and second point in space (3, 4) and/or - A first calibration body (8) contained in the first image and - Recording (300) a second image (12) for determining the calibration quality. Verfahren nach Anspruch 9, wobei - in auf Basis des ersten Bildes (2) erstellten Datensätzen (51, 52, 53) sämtliche auf Basis des ersten Bildes (2) erstellten Informationspaare (33, 44) und - in auf Basis des zweiten Bildes (12) erstellten Datensätzen sämtliche auf Basis des zweiten Bildes (12) erstellten Informationspaare (66, 77) enthalten sind.procedure after claim 9 , wherein - in data sets (51, 52, 53) created on the basis of the first image (2) all pairs of information (33, 44) created on the basis of the first image (2) and - in data sets created on the basis of the second image (12). all pairs of information (66, 77) created on the basis of the second image (12) are included. Verfahren nach einem der vorstehenden Ansprüche, wobei - das erste Bild (2) auch einen zweiten, insbesondere planaren oder dreidimensionaler, Kalibrierkörper (9) repräsentiert, und - in auf Basis des im ersten Bild (2) repräsentierten Kalibrierkörper (8) erstellten Datensätzen sämtliche auf Basis der Repräsentation des Kalibrierkörpers (8) erstellten Informationspaare (51, 52, 53) und - in auf Basis des im ersten Bild (2) repräsentierten zweiten Kalibrierkörper (9) erstellten Datensätzen sämtliche auf Basis der Repräsentation des zweiten Kalibrierkörpers (9) erstellten Informationspaare (66, 77) enthalten sind.Method according to any one of the preceding claims, wherein - the first image (2) also represents a second, in particular planar or three-dimensional, calibration body (9), and - in data sets created on the basis of the calibration body (8) represented in the first image (2), all pairs of information (51, 52, 53) created on the basis of the representation of the calibration body (8) and - All pairs of information (66, 77) created on the basis of the representation of the second calibration body (9) are contained in data sets created on the basis of the second calibration body (9) represented in the first image (2). Verfahren nach einem der vorstehenden Ansprüche weiter umfassend - Verwenden (400) eines weiteren optischen Sensors, insbesondere eines Lasers und/oder einer Kamera, zur Ermittlung der ersten und der dritten Information.A method according to any one of the preceding claims further comprising - Using (400) another optical sensor, in particular a laser and/or a camera, to determine the first and the third information. Verfahren nach einem der vorstehenden Ansprüche, wobei der Sensor (1) eine optische Kamera mit einem matrixförmigen Sensor umfasst.Method according to one of the preceding claims, in which the sensor (1) comprises an optical camera with a matrix-shaped sensor. Verfahren nach einem der vorstehenden Ansprüche weiter umfassend - automatisches Aktualisieren (900) der Kalibrierung im Ansprechen auf das Erkennen einer vordefinierten Kalibrierungsgüte.A method according to any one of the preceding claims further comprising - automatically updating (900) the calibration in response to detecting a predefined calibration goodness. Vorrichtung zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors, insbesondere einen optischen Sensor umfassend, wobei die Vorrichtung eingerichtet ist, das Verfahren gemäß einem der Ansprüche 1 bis 14 durchzuführen.Device for determining a calibration quality of an optical sensor, in particular an optical sensor comprising, wherein the device is set up, the method according to one of Claims 1 until 14 to perform.

Images