WO2005025237A1 - Method for automatically calibrating a camera system - Google Patents

Method for automatically calibrating a camera system Download PDF

Info

Publication number
WO2005025237A1
WO2005025237A1 PCT/DE2004/001814 DE2004001814W WO2005025237A1 WO 2005025237 A1 WO2005025237 A1 WO 2005025237A1 DE 2004001814 W DE2004001814 W DE 2004001814W WO 2005025237 A1 WO2005025237 A1 WO 2005025237A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
parameters
rotation
linear
determined
Prior art date
Application number
PCT/DE2004/001814
Other languages
German (de)
French (fr)
Inventor
Reinhard Koch
Jan-Michael Frahm
Original Assignee
Christian-Albrechts- Universität Zu Kiel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Christian-Albrechts- Universität Zu Kiel filed Critical Christian-Albrechts- Universität Zu Kiel
Publication of WO2005025237A1 publication Critical patent/WO2005025237A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the invention relates to a method for self-calibration of a camera system, in particular one whose image data are stored electronically according to the preamble of the main claim.
  • the determination of the camera parameters is usually based on an image sequence of a calibration pattern recorded by the camera from different perspectives.
  • An extension is the calibration based on any rigid scene to which the camera moves relatively during the recording.
  • Degrees of freedom of rotation and translation of the camera form the so-called external camera parameters, which are often also not all known.
  • the automatic calculation of the internal and external parameters from the image sequence is referred to as self-calibration.
  • constraints are often formulated for the camera movement and / or the scene, which provide additional information and / or define certain parameters from the outset.
  • constraints are often formulated for the camera movement and / or the scene, which provide additional information and / or define certain parameters from the outset.
  • One of the most common constraints for the camera itself is that it can only rotate around its optical center. In this case, no depth information for the scene can be extracted from the image sequence.
  • this camera movement can be found in many applications, for example video conference systems.
  • panoramas are created with this camera movement (de Agapito, L .; Hartley, RI; Hayman, E.: Linear Self-Calibration of a rotating and zooming Camera, IEEE Computer Society Conference on Computer Visison and Pattern recognition, 1999, Volume 1, 23-25 June 1999, pages 15-21).
  • a proposal for camera calibration for basically any camera movements and fixed camera parameters is known from GB 2 261 566 A, the camera also having to be shifted and rotated.
  • This method uses Kruppa's equations for the iterative calculation of the camera parameters and makes no demands on the rigid scene.
  • the algorithm is complex and the parameters obtained are in many cases unsuitable or only partially suitable for scene reconstruction.
  • This data is used in the numerical reconstruction of the imaged scene, but not for camera calibration, because no suitably formulated method is known for this.
  • a first matrix can now be determined from corresponding points in images selected in pairs, a second matrix can then be determined from the relative rotation of the at least one camera between the same selected images as a representation of the rotation, both matrices can then be inserted into an equation that indicates a system of linear equations in the calibration parameters, and further matrices should also be determined and used from further image pairs until the linear system of equations can be clearly solved and all parameters of the camera system can be determined by arithmetically solving the system of equations.
  • the camera system can consist of more than one camera, the fixed positions and orientations to one another being known or consisting of one or more freely movable and freely rotatable cameras.
  • at least one of the cameras is connected to a rotation sensor for detecting the relative rotation of the camera between two time-separated exposures.
  • Orientation measurement can be stabilized for error compensation of the orientation measurement system by setting up a statistical fire function with the measurement data for camera rotation, the recorded images, the calculated camera parameters and the preconditions and optimizing them.
  • 1 shows a sketch for explaining the camera movements
  • 2 shows a diagram of the mathematical punch camera model
  • FIG. 7a shows the mean focal length, which is calculated by the self-calibration of the noisy images, as a function of the degree of noise in pixels and angle of rotation
  • FIG. 7b shows the variance of the focal length associated with FIG. 7 a)
  • FIG. 7d shows the variance of the pixel aspect ratio belonging to FIG. 7c).
  • FIGS. 10a and b the variance of / with a) linear calibration and b) statistical calibration.
  • the camera model used below is explained.
  • the simplest model for this is that of a pinhole camera.
  • the camera position is determined from the position of the camera center C and the rotation R of the optical camera axis against the coordinate axes, as shown in FIG. 1.
  • both can change arbitrarily over time ⁇ .
  • C is a three-dimensional column vector in the world coordinate system
  • R is an orthogonal 3x3 matrix that contains the coordinate axes (optical axis, axes of the image plane) of the rotated camera coordinate system in the world coordinate system, thus a rotation matrix with determinant one.
  • the camera center is identified with the focal point, which is ideal in the model, which can be either in front of or behind the image plane. It is common today to start from an image plane in front of the focal point, as can be seen in FIG. 2.
  • the image plane is now thought to be covered with light-sensitive, rectangular pixels with edge lengths dx and dy.
  • the origin of the pixel coordinate system can lie differently than the point of penetration of the optical axis through the image plane, which should be at c (vectors in pixel coordinates are identified by small letters). This is called the main point of the camera.
  • a three-dimensional scene point M in world coordinates is now mapped to a pixel m in camera-stable pixel coordinates via a linear mapping.
  • M (X, Y, Z, 1)
  • T xmd m (x, y, l) ⁇ .
  • You can then write m PM (1)
  • the real 3x3 matrix K is called the camera calibration matrix. It has the shape
  • the calibration matrix represents the properties of the recording sensor or system, ie mostly a CCD chip. It contains the five internal camera parameters:
  • / is the focal length of the camera in pixels. If dx is the width of a pixel in mm, then dx gives the focal length of the camera in mm.
  • c_ (c x , c y ) describes the main point of the camera with two parameters.
  • the mapping described by the projection matrix P is not clearly reversible. Rather, the central projection of the camera maps all object points of an escape line onto the same image point. Therefore, no distances to the object points can be determined from a single image. For this, at least two images from different perspectives (locations or points in time ⁇ l, ⁇ 2) of the same object are required for triangulation.
  • FIG. 3 schematically shows the same camera at times ⁇ 1 and ⁇ 2 with mutually displaced and rotated image planes. This is equivalent to the scenario of recording with two different cameras at the locations ⁇ l and ⁇ 2, which is why only the recording at different times is discussed below.
  • the position of an object point M can be determined from its pixels ml and m2 in the image levels are calculated. If parameters are unknown, the first step is to search for point correspondence for calibration. For a given pixel ml, one only knows of the object point M that it is on the line L. Any point on the line ⁇ 2 can therefore be used as the corresponding pixel m2.
  • Each object point M lies in a plane of the set of planes shown, which in turn must run through both camera centers.
  • the set of planes is depicted in each image plane in a set of lines, of which a point on ⁇ l and ⁇ 2 can be clearly assigned to each other. If M has an image in ⁇ l, then also in ⁇ 2.
  • the lines of lines intersect in each image at exactly one point (el or e2), namely the image of the other camera center, which is called the epipole.
  • This so-called fundamental matrix F contains information about the rotation of the cameras relative to one another or the rotation of a camera over time, and also about the displacement of the cameras or the translation of a camera in the form of a vector product formation with an epipole.
  • P ⁇ denotes the unknown scaling factor, which cannot be determined when the fundamental matrices are set up.
  • the first matrix on the right-hand side of (5) describes the formation of the vector product with the epipole in image i, i.e. the target image of the image analogous to the definition of R j, ;.
  • pixel aspect ratios and focal lengths can be calculated from a single fundamental matrix and the rotation information.
  • a special case is that of a rotating camera with a fixed center, i.e. without translation between the camera centers. No epipole is defined for images that result from a pure rotation of the camera, so that equation (5) cannot be used.
  • the image points mi and mj of an object point M can be clearly mapped onto one another in the images i and j rotated relative to one another, as shown in FIG. 5.
  • H 00 ⁇ is a 3x3 matrix and the vectors m are, as before, the three-dimensional correspondences to the pixels m in pixel coordinates.
  • H ⁇ j ; 1 can be determined from four independent point correspondences except for a scaling factor. It is general
  • the factor Oj is carried out as an unknown if one uses the homographies determined from point correspondences in (8).
  • (8) is again linear in the camera parameters, and the analogy to (5) is obvious.
  • a statistical calibration is connected to the above calibration procedures. The aim is to estimate the most likely camera parameters based on the measurement that has occurred (images, rotation measurements) and formulated known preconditions. For this purpose, an error is minimized which is only determined by the previous knowledge, the images and the rotation data.
  • the error consists of a term for evaluating the camera parameters with regard to the images (maximum likelihood), a term for evaluating the rotation data and several cords for evaluating compliance with the preconditions.
  • the camera parameters are evaluated using the image data using formulas (6) and (4).
  • the term for evaluating the improved rotation uses the error model of the rotation measuring system to decide how likely the currently estimated rotation is in the measurement that has occurred.
  • the other terms used to formulate prior knowledge can be used to stabilize parameters that are difficult to determine, such as the main point.
  • This FeMer function is then minimized by a non-linear minimization process in order to determine the most likely camera parameters and rotation data.
  • the camera parameters determined with the above linear methods and the measured rotation data are used as starting values.
  • the statistical calibration thus calculates a complete calibration and corrected rotation information.
  • This corrected rotation information is used to compensate for the system and measurement errors of the sensor.
  • a virtual camera with a center in the coordinate origin was rotated around the x and y axes by up to 6 °.
  • the camera observed uniformly distributed scene points arranged in a cube and generated calculated images of 512 x 512 pixels.
  • the positions of the pixels were uniformly noisy by up to pixels.
  • FIG. 7a shows an average focal length, which is calculated by the self-calibration of the noisy images, as a function of the degree of noise in pixels and angle of rotation.
  • FIG. 7 b) shows the variance of the focal length belonging to FIG. 7 a).
  • FIG. 7 c) shows the average pixel aspect ratio and
  • FIG. 7 d) shows the variance of the pixel aspect ratio belonging to FIG. 7 c).
  • FIG. 8 shows the calculated results analogously to FIG. 7.
  • the same descriptions of the individual images apply. It can be seen from FIGS. 7 and 8 that the calculated calibration parameters are very robust with respect to variations in the angle of rotation ⁇ 1 ° and pixel errors n ⁇ 1 pixel. The dependence on the angle error is consistently stronger than that on the pixel error. Comparing FIGS. 7 and 8 directly, for example in particular 7 b) and 8 b), one also sees that the influence of pixel errors is greater in the freely moving camera than in the rotating one.
  • a fire function is set up, which must be minimized.
  • the FeWer function contains a summand that tends towards zero, the closer the measured values for the main point are to the respective image center, as it should be according to the selected specifications. If one connects the numerical minimization of this value function (with standard programs) to the linear parameter determination, one obtains improved estimates for the camera parameters. This is to be understood as statistical calibration. In many practical applications, however, you will also be able to do without this last optimization step, for example if you only need to update the focal length.
  • the statistical calibration determined the main point and the pixel shear very robustly even from noisy images, as can be seen by way of example from FIG. 9 b) compared to FIG. 9 a). At the same time, the already robust results for focal length and pixel aspect ratio were further stabilized. This is e.g. clearly in the variance of / in Fig. 10 a) (result of linear calibration) and Fig. 10 b) (result of statistical calibration) in a direct comparison.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

The invention relates to a method for automatically calibrating a camera system comprising at least one camera, using a plurality of scene images, which are photographed from different positions and/or viewing directions of the camera system, also comprising measuring data of the relative rotation of at least one camera arranged between the individual receiving elements. The camera parameters are determined by a linear equation system. A first linear transformation described by a matrix is determined by corresponding pixels in images which are selected in pairs; a second linear transformation described by a matrix is determined as the representation of rotation by relative rotation of the at least one camera arranged between the same selected images; both matrices are used in an equation which indicates a linear equation system in the calibration parameters. Also, linear transformations described as matrices are determined and used exactly as other image pairs until the linear equation system can be clearly solved and the equation system is arithmetically solved for all parameters of the camera system and at least one camera is connected to a rotation sensor which is used to detect the relative rotation of the camera arranged between two temporally separate receiving elements.

Description

Verfahren zur Selbstkalibrierung eines Kamerasystems Procedure for self-calibration of a camera system
Die Erfindung betrifft ein Verfahren zur Selbstkalibrierung eines Kamerasystems, insbesondere eines solchen dessen Bilddaten elektronisch gespeichert werden nach dem Oberbegriff des Hauptanspruches.The invention relates to a method for self-calibration of a camera system, in particular one whose image data are stored electronically according to the preamble of the main claim.
Die Verwendung von Kameras für die metrische Rekonstruktion von aus verschiedenen Perspektiven aufgenommenen Szenen mit Hilfe von Rechnern hat in den letzten Jahren eine immer größere Verbreitung gefunden. Für solche Kamerasysteme sind allerdings die internen Parameter, beispielsweise die Brennweite, im Allgemeinen nicht a priori bekannt und während des Betriebs zudem teilweise variabel, z.B. beim Zoom. Ihre Kenntnis ist für eine metrische Rekonstruktion aber unabdingbar, so dass die Kamerasysteme vor oder während der Bildaufzeichnung zu kalibrieren sind.The use of cameras for the metric reconstruction of scenes recorded from different perspectives with the aid of computers has become increasingly widespread in recent years. For such camera systems, however, the internal parameters, for example the focal length, are generally not known a priori and are also partially variable during operation, e.g. when zooming. However, your knowledge is essential for a metric reconstruction, so that the camera systems have to be calibrated before or during the image recording.
Die Bestimmung der Kameraparameter basiert üblicherweise auf einer von der Kamera aufgenommenen Bildsequenz eines Kalibriermusters aus verschiedenen Perspektiven. Eine Erweiterung ist die Kalibrierung anhand einer beliebigen starren Szene, zu der sich die Kamera während der Aufnahme relativ bewegt. Rotations- und Translationsfreiheitsgrade der Kamera bilden dabei die so genannten externen Kameraparameter, die oft ebenfalls nicht alle bekannt sind. Die automatische Berechnung der internen und externen Parameter aus der Bildsequenz wird als Selbstkalibrierung bezeichnet.The determination of the camera parameters is usually based on an image sequence of a calibration pattern recorded by the camera from different perspectives. An extension is the calibration based on any rigid scene to which the camera moves relatively during the recording. Degrees of freedom of rotation and translation of the camera form the so-called external camera parameters, which are often also not all known. The automatic calculation of the internal and external parameters from the image sequence is referred to as self-calibration.
Um auf möglichst einfache Weise robuste Werte für die berechneten Parameter zu erhal- ten, werden häufig Zwangsbedingungen (constraints) für die Kamerabewegung und/oder die Szene formuliert, die zusätzliche Informationen bereitstellen und/oder bestimmte Parameter von vornherein festlegen. Man unterscheidet bei den Verfahren zur Kamerakalibrierung zudem, ob die internen Kameraparameter unbekannte Fixgrößen sind oder zumindest teilweise fortgesetzt variieren. Zu den gängigsten Zwangsbedingungen für die Kamera selbst zählt, dass sie nur um ihr optisches Zentrum rotieren darf. In diesem Fall kann keine Tiefeninformation für die Szene aus der Bildsequenz extrahiert werden. Diese Kamerabewegung findet sich aber bei vielen Anwendungen, beispielsweise Videokonferenzsystemen. Typischerweise werden bei dieser Kamerabewegung Panoramen erzeugt (de Agapito, L.; Hartley, R.I.; Hayman, E. : Linear Self-Calibration of a rotating and zooming Camera, IEEE Computer Society Conference on Computer Visison and Pattern recognition, 1999, Volume 1, 23-25 Juni 1999, Seiten 15-21).In order to obtain robust values for the calculated parameters in the simplest possible way, constraints are often formulated for the camera movement and / or the scene, which provide additional information and / or define certain parameters from the outset. A distinction is also made in the methods of camera calibration whether the internal camera parameters are unknown fixed sizes or at least partially continue to vary. One of the most common constraints for the camera itself is that it can only rotate around its optical center. In this case, no depth information for the scene can be extracted from the image sequence. However, this camera movement can be found in many applications, for example video conference systems. Typically, panoramas are created with this camera movement (de Agapito, L .; Hartley, RI; Hayman, E.: Linear Self-Calibration of a rotating and zooming Camera, IEEE Computer Society Conference on Computer Visison and Pattern recognition, 1999, Volume 1, 23-25 June 1999, pages 15-21).
Eine andere Beschränkung zur vereinfachten Kalibrierung besteht in der Anwesenheit eines bekannten Referenzobjekts, z. B. eines Maßstabs mit bekannter Lage, in allen Bildern einer Kalibrierungssequenz. Dies stellt jedoch eine Anforderung an die Szene dar, die sich zumindest dann nicht immer erfüllen lässt, wenn eine automatische Selbstkalibrierung zu unbekannten, zukünftigen Zeitpunkten geplant oder sogar unvermeidlich ist, beispielswei- se bei der Rekonstruktion von historischen Stätten.Another limitation to simplified calibration is the presence of a known reference object, e.g. B. a scale with a known location, in all images of a calibration sequence. However, this represents a requirement for the scene, which at least cannot always be met if automatic self-calibration is planned or even inevitable at unknown, future times, for example when reconstructing historical sites.
Nur wenige Arbeiten befassen sich mit der Selbstkalibrierung frei bewegter Kameras, bei denen keine Bedingungen an die Szene gestellt werden, außer dass es sich um eine starre Szene handelt, und die Variation der internen Parameter möglich ist (z.B. M. Pollefeys, R. Koch, L. Van Gool: Seif calibration and metric reconstruction in spite of varying and unknown infernal camera parameters, In Proc. ICCV, p.90-96, 1998). Diese Methoden sind technisch nachteilig, weil sie dazu neigen, aus leicht gestörten Bilddaten bereits stark gestörte Kalibrierungen zu berechnen bzw. keine sinnvollen Ergebnisse mehr zu liefern. Weiterhin gibt es in diesen Ansätzen kritische Kamerabewegungen, bei denen keine voll- ständige Kamerakalibrierung berechnet werden kann, ohne dass das Auftreten dieser kritischen Situation erkannt wird, beispielsweise eine reine Verschiebung der Kamera.Only a few works deal with the self-calibration of freely moving cameras, in which no conditions are placed on the scene, except that it is a rigid scene and the internal parameters can be varied (e.g. M. Pollefeys, R. Koch, L. Van Gool: Seif calibration and metric reconstruction in spite of varying and unknown infernal camera parameters, In Proc. ICCV, p.90-96, 1998). These methods are technically disadvantageous because they tend to calculate already disturbed calibrations from slightly disturbed image data or to no longer deliver meaningful results. Furthermore, there are critical camera movements in these approaches in which a complete camera calibration cannot be calculated without the occurrence of this critical situation being recognized, for example a pure shifting of the camera.
Ein Vorschlag zur Kamerakalibrierung für grundsätzlich beliebige Kamerabewegungen und feste Kameraparameter ist aus der GB 2 261 566 A bekannt, wobei die Kamera auch notwendig verschoben und rotiert werden muss. Dieses Verfahren nutzt Kruppas Gleichungen zur iterativen Berechnung der Kameraparameter und stellt keine Anforderungen an die starre Szene. Allerdings ist der Algorithmus aufwendig und die gewonnenen Parameter eignen sich in vielen Fällen nicht oder nur bedingt zur Szenenrekonstruktion. Es ist ferner bekannt, eine Kamera mit einem fest montierten Beschleunigungs-Gyro- Sensor auszustatten, um neben Bildern auch gleichzeitig die Rotation der Kamera aufzuzeichnen (z.B. Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Trackingfor Outdoor Augmented Reality Registration. IEEE Computer Graphics and Applications 19, 6 (Nov/Dec 1999), 36-42). Diese Daten werden bei der numerischen Rekonstruktion der abgebildeten Szene, aber nicht zur Kamerakalibrierung, benutzt, weil bislang kein geeignet formuliertes Verfahren hierfür bekannt ist.A proposal for camera calibration for basically any camera movements and fixed camera parameters is known from GB 2 261 566 A, the camera also having to be shifted and rotated. This method uses Kruppa's equations for the iterative calculation of the camera parameters and makes no demands on the rigid scene. However, the algorithm is complex and the parameters obtained are in many cases unsuitable or only partially suitable for scene reconstruction. It is also known to equip a camera with a permanently mounted acceleration gyro sensor in order to record the rotation of the camera in addition to images (for example Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Tracking for Outdoor Augmented Reality Registration. IEEE Computer Graphics and Applications 19, 6 (Nov / Dec 1999), 36-42). This data is used in the numerical reconstruction of the imaged scene, but not for camera calibration, because no suitably formulated method is known for this.
Es ist deshalb Aufgabe der Erfindung, ein Verfahren zur Selbstkalibrierung einer Kamera anzugeben. Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche geben vorteilhafte Ausgestaltungen an.It is therefore an object of the invention to provide a method for self-calibration of a camera. The object is achieved by a method having the features of claim 1. The subclaims indicate advantageous configurations.
Insbesondere ist es vorteilhaft mit fest montiertem Rotationssensor zu arbeiten, wobei die Sensor-Messdaten direkt in die Bestimmung der internen Kameraparameter einfließen, die selbst frei variieren dürfen.In particular, it is advantageous to work with a permanently installed rotation sensor, the sensor measurement data being incorporated directly into the determination of the internal camera parameters, which themselves may vary freely.
Dabei wird vorausgesetzt, daß wenigstens eine Kamera und eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und oder Blickrichtungen des Kamerasystems aufgenommen wurden, sowie Messdaten der relativen Verdrehung wenigstens einer Ka- mera zwischen den einzelnen Aufnahmen vorhanden sind. Aus korrespondierenden Punkten in paarweise gewählten Bildern kann nun eine erste Matrix bestimmt werden, aus der relativen Verdrehung der wenigstens einen Kamera zwischen denselben gewählten Bildern kann dann eine zweite Matrix als Repräsentation der Verdrehung bestimmt werden, beide Matrizen können dann in eine Gleichung eingesetzt werden, die ein in den Kali- brierpararnetern lineares Gleichungssystem angibt, und weitere Matrizen sollten genauso aus weiteren Bildpaaren so lange bestimmt und eingesetzt werden, bis das lineare Gleichungssystem eindeutig lösbar ist und durch rechnerisches Lösen des Gleichungssystems alle Parameter des Kamerasystems bestimmt werden können.It is assumed that at least one camera and a plurality of images of a scene, which were recorded from different positions and or viewing directions of the camera system, as well as measurement data of the relative rotation of at least one camera between the individual images are available. A first matrix can now be determined from corresponding points in images selected in pairs, a second matrix can then be determined from the relative rotation of the at least one camera between the same selected images as a representation of the rotation, both matrices can then be inserted into an equation that indicates a system of linear equations in the calibration parameters, and further matrices should also be determined and used from further image pairs until the linear system of equations can be clearly solved and all parameters of the camera system can be determined by arithmetically solving the system of equations.
Das Kamerasystem kann aus mehr als einer Kamera bestehen, wobei die festen Positionen und Orientierungen zueinander bekannt sind oder aus einer oder mehreren frei beweglichen und frei drehbaren Kameras bestehen. Vorteilhafterweise wird wenigstens eine der Kameras mit einem Rotationssensor zur Erfassung der relativen Verdrehung der Kamera zwischen zwei zeitlich getrennten Aufnahmen verbunden. Durch Aufstellen einer statistischen FeWerfunktion mit den Messdaten zur Kameraverdrehung, der aufgenommenen Bilder, der berechneten Kameraparameter und der Vorbedingungen und Optimieren dieser kann die Orientierungsmessung stabilisiert werden zur Fehlerkompensation des Orientierungsmesssystems.The camera system can consist of more than one camera, the fixed positions and orientations to one another being known or consisting of one or more freely movable and freely rotatable cameras. Advantageously, at least one of the cameras is connected to a rotation sensor for detecting the relative rotation of the camera between two time-separated exposures. Orientation measurement can be stabilized for error compensation of the orientation measurement system by setting up a statistical fire function with the measurement data for camera rotation, the recorded images, the calculated camera parameters and the preconditions and optimizing them.
Die Erfindung wird anhand von Figuren erläutert. Dabei zeigt :The invention is explained with reference to figures. It shows:
Fig. 1 eine Skizze zur Erklärung der Kamerabewegungen; Fig. 2 ein Schema des mathematischen Lochkameramodells;1 shows a sketch for explaining the camera movements; 2 shows a diagram of the mathematical punch camera model;
Fig. 3 eine erste Skizze zur Erläuterung der epipolaren Geometrie;3 shows a first sketch to explain the epipolar geometry;
Fig. 4 eine zweite Skizze zur Erläuterung der epipolaren Geometrie;4 shows a second sketch to explain the epipolar geometry;
Fig. 5 eine Skizze zur Erläuterung der Homographie bei rotierenden Kameras,5 is a sketch to explain the homography in rotating cameras,
Fig. 6 und b die Ergebnisse der Brei weitenkalibrierungen mit fester Brennweite (Fig.6a) und zoomender Kamera (Fig. 6b)6 and b the results of the slurry range calibrations with a fixed focal length (FIG. 6a) and zooming camera (FIG. 6b)
Fig. 7a zeigt die mittlere Brennweite, die durch die Selbstkalibrierung der verrauschten Bilder errechnet wird, in Abhängigkeit vom Verrauschungsgrad in Pixeln und Drehwinkel, Fig. 7b zeigt die zu Fig. 7 a) gehörige Varianz der Brennweite7a shows the mean focal length, which is calculated by the self-calibration of the noisy images, as a function of the degree of noise in pixels and angle of rotation, FIG. 7b shows the variance of the focal length associated with FIG. 7 a)
Fig. 7c zeigt das mittlere Pixelseitenverhältnis.7c shows the average pixel aspect ratio.
Fig. 7d zeigt die zu Fig. 7 c) gehörige Varianz des Pixelseitenverhältnisses.FIG. 7d shows the variance of the pixel aspect ratio belonging to FIG. 7c).
Fig. 8a - 8d die berechneten Ergebnisse analog zu Fig. 7.8a-8d the calculated results analogous to FIG. 7.
Fig. 9a und b den Vergleich mit und ohne statistischer Kalibrierung Fig. 10a und b die Varianz von/mit a) linearer Kalibrierung und b) statistischer Kalibrierung. Zunächst wird das im Folgenden verwendete Kameramodell erläutert. Das einfachste Modell hierfür ist das einer Lochkamera. Im 3D- Weltkoordinatensystem bestimmt sich die Kameralage aus der Position des Kamerazentrums C und der Verdrehung R der optischen Kameraachse gegen die Koordinatenachsen, wie in Fig. 1 dargestellt. Im Fall frei beweglicher Kameras können sich beide mit der Zeit τ beliebig ändern. C ist ein dreidimensionaler Spaltenvektor im Weltkoordinatensystem, R ist eine orthogonale 3x3-Matrix, die die Koordinatenachsen (optische Achse, Achsen der Bildebene) des gedrehten Kamerakoordi- natensystems im Weltkoordinatensystem enthält, mithin also eine Rotationsmatrix mit Determinante Eins.9a and b the comparison with and without statistical calibration. FIGS. 10a and b the variance of / with a) linear calibration and b) statistical calibration. First, the camera model used below is explained. The simplest model for this is that of a pinhole camera. In the 3D world coordinate system, the camera position is determined from the position of the camera center C and the rotation R of the optical camera axis against the coordinate axes, as shown in FIG. 1. In the case of freely moving cameras, both can change arbitrarily over time τ. C is a three-dimensional column vector in the world coordinate system, R is an orthogonal 3x3 matrix that contains the coordinate axes (optical axis, axes of the image plane) of the rotated camera coordinate system in the world coordinate system, thus a rotation matrix with determinant one.
Bei der Lochkamera wird das Kamerazentrum mit dem - im Modell idealen - Brennpunkt identifiziert, der wahlweise vor oder hinter der Bildebene liegen kann. Es ist heute üblich, von einer Bildebene vor dem Brennpunkt auszugehen, wie dies in Fig. 2 zu sehen ist. Im kamerafesten Koordinatensystem befindet sich der Brennpunkt im Ursprung, die optische Achse fällt mit der z- Achse zusammen und die Bildebene befindet sich bei z=f, wobei f die Brennweite bezeichnet. Man denkt sich die Bildebene nun belegt mit lichtempfindlichen, rechteckigen Pixeln der Kantenlängen dx und dy. Da man praktisch die Bildauswer- tung in Pixelkoordinaten durchführt, kann der Ursprung des Pixelkoordinatensystems anders liegen als der Durchstoßpunkt der optischen Achse durch die Bildebene, der sich bei c (Vektoren in Pixelkoordinaten sind durch kleine Buchstaben gekennzeichnet) befinden soll. Dieser wird als Hauptpunkt der Kamera bezeichnet.In the pinhole camera, the camera center is identified with the focal point, which is ideal in the model, which can be either in front of or behind the image plane. It is common today to start from an image plane in front of the focal point, as can be seen in FIG. 2. In the camera-fixed coordinate system, the focal point is at the origin, the optical axis coincides with the z axis and the image plane is at z = f, where f denotes the focal length. The image plane is now thought to be covered with light-sensitive, rectangular pixels with edge lengths dx and dy. Since the image evaluation is practically carried out in pixel coordinates, the origin of the pixel coordinate system can lie differently than the point of penetration of the optical axis through the image plane, which should be at c (vectors in pixel coordinates are identified by small letters). This is called the main point of the camera.
Ein dreidimensionaler Szenenpunkt M in Weltkoordinaten wird nun über eine lineare Abbildung auf einen Bildpunkt m in kamerafeste Pixelkoordinaten abgebildet. Dabei ist es für eine einfache Darstellung der Abbildung zweckmäßig, den Punkten je eine weitere Koordinate (Eins) hinzuzufügen, etwa als M =(X,Y,Z,1)T xmd m =(x,y,l)τ . Man kann dann schreiben m = PM (1)A three-dimensional scene point M in world coordinates is now mapped to a pixel m in camera-stable pixel coordinates via a linear mapping. For a simple representation of the illustration, it is advisable to add a further coordinate (one) to the points, for example as M = (X, Y, Z, 1) T xmd m = (x, y, l) τ . You can then write m = PM (1)
mit einer 3x4-Matrix , die als Kamera-Projektionsmatrix bezeichnet wird. Sie ist für jede Kameraposition und -Orientierung, d.h. zu festem Zeitpunkt τ, gegeben durch l=K [ R- - El C ] (2) mit R und C aus Fig. 1 und K als a priori unbekannter Matrix, welche die internen Kameraparameter enthält. Die reellwertige 3x3-Matrix K heißt Kamerakalibriermatrix. Sie hat die Formwith a 3x4 matrix called the camera projection matrix. For every camera position and orientation, ie at a fixed point in time τ, it is given by l = K [R- - El C] (2) with R and C from FIG. 1 and K as an a priori unknown matrix which contains the internal camera parameters. The real 3x3 matrix K is called the camera calibration matrix. It has the shape
Figure imgf000008_0001
Die Kalibriermatrix repräsentiert die Eigenschaften des Aufhahmesensors bzw. -Systems d.h. meist eines CCD-Chips. Sie enthält die fünf internen Kameraparameter:
Figure imgf000008_0001
The calibration matrix represents the properties of the recording sensor or system, ie mostly a CCD chip. It contains the five internal camera parameters:
/ist die Brennweite der Kamera in Pixeln. Ist dx die Breite eines Pixels in mm, dann ergibt dx die Brennweite der Kamera in mm. a ist das Seitenverhältnis der Pixel. Es wird definiert als α=dy/dx, wobei dx und dy die Ausdehnung der Pixel in x- und y-Richtung sind. s beschreibt die Pixelscherung. Diese ist abhängig vom Winkel zwischen den Zeilen und Spalten des Aufhahmesensors. c_= (cx,cy) beschreibt mit zwei Parametern den Hauptpunkt der Kamera./ is the focal length of the camera in pixels. If dx is the width of a pixel in mm, then dx gives the focal length of the camera in mm. a is the aspect ratio of the pixels. It is defined as α = dy / dx, where dx and dy are the dimensions of the pixels in the x and y directions. s describes the pixel shear. This depends on the angle between the rows and columns of the image sensor. c_ = (c x , c y ) describes the main point of the camera with two parameters.
Die Bestimmung der Parameter in K ist die Aufgabe der Selbstkalibrierung. Es kann bei modernen Kameras oft von 5=0 in guter Näherung ausgegangen werden.Determining the parameters in K is the task of self-calibration. With modern cameras, 5 = 0 can often be assumed as a good approximation.
Die durch die Projektionsmatrix P beschriebene Abbildung ist nicht eindeutig umkehrbar. Vielmehr werden durch die Zentralprojektion der Kamera alle Objektpunkte einer Fluchtlinie auf denselben Bildpunkt abgebildet. Aus einem einzigen Bild lassen sich deshalb keine Entfernungen zu den Objektpunkten bestimmen. Hierfür sind wenigstens zwei Bilder aus verschiedenen Perspektiven (Orte bzw. Zeitpunkte τl, τ2) desselben Objekts zur Triangulation nötig.The mapping described by the projection matrix P is not clearly reversible. Rather, the central projection of the camera maps all object points of an escape line onto the same image point. Therefore, no distances to the object points can be determined from a single image. For this, at least two images from different perspectives (locations or points in time τl, τ2) of the same object are required for triangulation.
Fig. 3 zeigt schematisch dieselbe Kamera zu Zeitpunkten τl und τ2 mit zueinander verschobenen und verdrehten Bildebenen. Dies ist äquivalent zum Szenario der Aufnahme mit zwei verschieden Kameras and den Orten τl und τ2, deshalb wird im Folgenden nur die Aufnahme zu verschieden Zeitpunkten diskutiert. Sind alle Kameraparameter gegeben, kann die Position eines Objektpunktes M aus seinen Bildpunkten ml und m2 in den Bild- ebenen berechnet werden. Bei unbekannten Parametern sucht man zur Kalibrierung zunächst nach Punktkorrespondenzen. Bei gegebenem Bildpunkt ml weiß man aber vom Objektpunkt M nur, dass er sich auf der Linie L befindet. Als korrespondierender Bildpunkt m2 kommt somit jeder Punkt auf der Linie λ2 in Betracht. Zunächst einmal gibt es bei zueinander bewegten Kameras Punkt-Linienkorrespondenzen, wie Fig. 4 verdeutlicht. Jeder Objektpunkt M liegt in einer Ebene der dargestellten Ebenenschar, die wiederum durch beide Kamerazentren verlaufen muss. Die Ebenenschar wird in jeder Bildebene in je eine Linienschar abgebildet, von denen sich je ein Punkt auf λl und λ2 einander eindeutig zuordnen lassen. Besitzt M ein Bild in λl, dann auch in λ2. Die Linienscharen schneiden sich in jedem Bild in genau einem Punkt (el oder e2), nämlich dem Abbild des jeweils anderen Kamerazentrums, der als Epipol bezeichnet wird.3 schematically shows the same camera at times τ1 and τ2 with mutually displaced and rotated image planes. This is equivalent to the scenario of recording with two different cameras at the locations τl and τ2, which is why only the recording at different times is discussed below. If all camera parameters are given, the position of an object point M can be determined from its pixels ml and m2 in the image levels are calculated. If parameters are unknown, the first step is to search for point correspondence for calibration. For a given pixel ml, one only knows of the object point M that it is on the line L. Any point on the line λ2 can therefore be used as the corresponding pixel m2. First of all, there is point-line correspondence in the case of cameras moving towards one another, as illustrated in FIG. 4. Each object point M lies in a plane of the set of planes shown, which in turn must run through both camera centers. The set of planes is depicted in each image plane in a set of lines, of which a point on λl and λ2 can be clearly assigned to each other. If M has an image in λl, then also in λ2. The lines of lines intersect in each image at exactly one point (el or e2), namely the image of the other camera center, which is called the epipole.
Unter Verwendung der eingangs eingeführten dreidimensionalen Darstellung der zweidi- mensionalen Bildpunkte ml=(mlx,mly,ϊ)τ , el = (elx,ely,ϊ)τ , m2=(m2x,m2y,ϊ)τ , e2 =(e2x,e2y,l)τ kann man Vektorprodukte n = el x ml und n2 = §2 x rn2 bilden, und diese sind Normalenvektoren zur selben Ebene, mithin also identisch bis auf einen Faktor. Allerdings werden nl und w2 noch in verschiedenen, zueinander verdrehten Koordinatensystemen dargestellt. Gleichwohl ist dadurch plausibel (und in der Fachliteratur wird dies auch bewiesen), dass es möglich ist, eine 3x3-Matrix aufzustellen, die für beliebige, korre- spondierende Punkte in beiden Bildern die Bedingung wlτ F m_2 = 0 (4)Using the three-dimensional representation of the two-dimensional pixels ml = (ml x , ml y , ϊ) τ , el = (el x , el y , ϊ) τ , m2 = (m2 x , m2 y , ϊ) τ , e2 = (e2 x , e2 y , l) τ one can form vector products n = el x ml and n2 = §2 x rn2, and these are normal vectors at the same level, so they are identical except for one factor. However, nl and w2 are still shown in different, mutually twisted coordinate systems. Nevertheless, it is plausible (and this is also proven in the specialist literature) that it is possible to set up a 3x3 matrix that satisfies the condition wl τ F m_2 = 0 (4) for any corresponding points in both images.
erfüllt. Diese so genannte Fundamentalmatrix F enthält sowohl Informationen über die Verdrehung der Kameras zueinander bzw. die Verdrehung einer Kamera mit der Zeit als auch über die Verschiebung der Kameras bzw. die Translation einer Kamera in Form einer Vektorproduktbildung mit einem Epipol. Die Fundamentalmatrix ist berechenbar aus Punktkorrespondenzen, die mit gängiger Tracking-Software bestimmt werden können. Man kann wegen (4) o.B.d.A. eine ihrer Komponenten zu Eins setzen. Da insbesondere F e2 = 0 gelten muss, besitzt die durch F repräsentierte Abbildung einen von Null verschiedenen Kern, d.h. F hat den Rang 2 und somit Determinante 0. Folglich sind nur sieben unabhängige Komponenten zu berechnen, wofür man sieben unabhängige Punktkorrespondenzen benötigt. Für weitere Erläuterungen zur Stniktur und zu den Eigenschaften der Fundamentalmatrix sei erneut auf Fachliteratur verwiesen. Die erfolgte Bestimmung von F aus Punktkorrespondenzen liefert noch nicht die gewünschten Kameraparameter. Vielmehr ist der Fachmann nun bestrebt, aus der Kenntnis von F auf die Projektionsmatrix P aus Gleichung (2) zu schließen. Diese Herangehensweise ist grundsätzlich nachteilig, weil in diesem Fall die Projektionsmatrix nicht eindeutig bestimmt werden kann. Ohne Kenntnis der Szene erhält man lediglich eine mit einer invertierbaren 4x4-Matrix transformierte Projektionsmatrix, wie allgemein in der Fachliteratur bewiesen wird.Fulfills. This so-called fundamental matrix F contains information about the rotation of the cameras relative to one another or the rotation of a camera over time, and also about the displacement of the cameras or the translation of a camera in the form of a vector product formation with an epipole. The fundamental matrix can be calculated from point correspondence, which can be determined with common tracking software. Because of (4) oBdA one of its components can be set to one. Since in particular F e2 = 0 must hold, the mapping represented by F has a non-zero kernel, ie F has the rank 2 and thus determinant 0. Consequently, only seven independent components have to be calculated, for which seven independent point correspondences are required. For further explanations on the structure and the properties of the fundamental matrix, reference is again made to specialist literature. The determination of F from point correspondence has not yet provided the desired camera parameters. Rather, the person skilled in the art now strives to infer the projection matrix P from equation (2) from knowledge of F. This approach is fundamentally disadvantageous because in this case the projection matrix cannot be clearly determined. Without knowledge of the scene, one only obtains a projection matrix transformed with an invertible 4x4 matrix, as is generally proven in the specialist literature.
Wenn aber zusätzliche Rotationsinformationen zur Verfügung stehen, lässt sich ein völlig anderer Weg verfolgen, der den Kern des erfindungsgemäßen Verfahrens ausmacht. Man kann nämlich zeigen, dass sich ein Gleichungssystem aufstellen lässt, das linear in den gesuchten Kameraparametern ist, die bis auf einen Skalierungsfaktor die einzigen Unbekannten darstellen. Zieht man also Punktkorrespondenzen ggf. aus mehreren Bildern heran, d.h. stellt man mehrere F j,i aus den Forderungen miτ F j,i mj = 0 für Bildpaare i und j auf, so lassen sich die Parameter schnell gewinnen, und die obigen Nachteile des Zugangs über die Projektionsmatrizen treten nicht auf.However, if additional rotation information is available, a completely different path can be followed, which is the core of the method according to the invention. It can be shown that an equation system can be set up that is linear in the camera parameters searched for, which, apart from a scaling factor, are the only unknowns. If one draws point correspondence from several images, if necessary, ie if one sets up several F j, i from the requirements mi τ F j , i mj = 0 for image pairs i and j, the parameters can be quickly obtained and the above disadvantages access via the projection matrices does not occur.
Das zu lösende Gleichungssystem lautet:The system of equations to be solved is:
(5)
Figure imgf000010_0001
Figure imgf000010_0002
(5)
Figure imgf000010_0001
Figure imgf000010_0002
mit R j,j als Rotationsmatrix, die die Kameraorientierung des Bildes j in die des Bildes i überfuhrt, also insbesondere R = R ; R oder auch R j,j = R(τi) Rr(τj). Mit pμ wird der unbekannte Skalierungsfaktor bezeichnet, der beim Aufstellen der Fundamentalmatrizen nicht bestimmt werden kann. Die erste Matrix auf der rechten Seite von (5) beschreibt die Bildung des Vektorprodukts mit dem Epipol in Bild i, also dem Zielbild der Abbildung analog zur Definition von R j,;.with R j, j as a rotation matrix which converts the camera orientation of the image j into that of the image i, in particular R = R; R or also R j, j = R (τi) R r (τj). Pμ denotes the unknown scaling factor, which cannot be determined when the fundamental matrices are set up. The first matrix on the right-hand side of (5) describes the formation of the vector product with the epipole in image i, i.e. the target image of the image analogous to the definition of R j, ;.
Unter bestimmten Voraussetzungen ergeben sich Lösungen von Gleichung (5) in vorteilhafter Weise: Sind die Hauptpunkte (cι x,c und (cJ X,c} bekannt, lassen sich die Brennweiten und/, die Pixelseitenverhältnisse a, und a} und die Pixelscherungen s, und Sj eindeutig aus zwei Bildpaaren bestimmen.Under certain conditions, solutions to equation (5) advantageously result: If the main points (c ι x , c and (c JX , c } are known, the focal lengths and /, the pixel aspect ratios a, and a } and the pixel shearings s, and S j can be clearly determined from two image pairs.
Sind Hauptpunkte und Pixelscherungen gegeben, können Pixelseitenverhältnisse und Brennweiten aus einer einzigen Fundamentalmatrix und den Rotationsinformationen berechnet werden.Given main points and pixel shear, pixel aspect ratios and focal lengths can be calculated from a single fundamental matrix and the rotation information.
Ein Sonderfall ist der einer rotierenden Kamera mit festem Zentrum, d.h. ohne Translation zwischen den Kamerazentren. Für Bilder, die bei einer reinen Drehung der Kamera entstehen, ist kein Epipol definiert, so dass Gleichung (5) nicht anwendbar ist.A special case is that of a rotating camera with a fixed center, i.e. without translation between the camera centers. No epipole is defined for images that result from a pure rotation of the camera, so that equation (5) cannot be used.
Für rotierende Kameras lassen sich die Bildpunkte mi und mj eines Objektpunktes M in den zueinander gedrehten Bildern i und j eindeutig aufeinander abbilden, wie Fig. 5 verdeutlicht. Die zugehörige Abbildung wird als Homographie bezeichnet: mi = H°°jsi wj (6)For rotating cameras, the image points mi and mj of an object point M can be clearly mapped onto one another in the images i and j rotated relative to one another, as shown in FIG. 5. The corresponding figure is called homography: mi = H °° js i wj (6)
Dabei ist H00^ eine 3x3-Matrix und die Vektoren m sind wie zuvor die dreidimensionalen Entsprechungen zu den Bildpunkten m in Pixelkoordinaten. H∞j;1 kann aus vier unabhängigen Punktkorrespondenzen bis auf einen Skalierungsfaktor bestimmt werden. Es gilt allgemein
Figure imgf000011_0001
H 00 ^ is a 3x3 matrix and the vectors m are, as before, the three-dimensional correspondences to the pixels m in pixel coordinates. H ∞ j ; 1 can be determined from four independent point correspondences except for a scaling factor. It is general
Figure imgf000011_0001
mit denselben Matrizen Kj und Rμ aus Gleichung (5), und durch Multiplikation von (7) mit Ki von rechts erhält man sofortwith the same matrices Kj and Rμ from equation (5), and by multiplying (7) by Ki from the right one obtains immediately
(8)
Figure imgf000011_0003
Figure imgf000011_0002
(8th)
Figure imgf000011_0003
Figure imgf000011_0002
wobei der Faktor Oj,; als Unbekannte emgeführt wird, wenn man die aus Punktkorrespondenzen ermittelten Homographien in (8) einsetzt. Im Übrigen ist (8) wieder linear in den Kameraparametern, und die Analogie zu (5) ist offensichtlich. Um in allen Fällen der Kamerabewegung eine vollständige Kalibrierung und eine gleichzeitige Fehlerkorrektur für die Sensordaten zu erreichen wird eine statistische Kalibrierung an die obigen Kalibrierverfahren angeschlossen. Das Ziel ist es, die wahrscheinlichsten Kameraparameter zu schätzen unter Maßgabe der aufgetretenen Messung (Bilder, Rotati- onsmessungen) und formulierten bekannten Vorbedingungen. Dazu wird ein Fehler minimiert der nur durch das Vorwissen, die Bilder und die Rotationsdaten bestimmt wird. Der Fehler setzt sich zusammen aus einem Term zur Bewertung der Kameraparameter bzgl. der Bilder (Maximum Likelihood), einem Term zur Bewertung der Rotationsdaten und mehreren Tennen zur Bewertung des Einhaltens der Vorbedingungen. Die Bewertung der Kameraparameter anhand der Bilddaten erfolgt mit Hilfe der Formeln (6) und (4).wherein the factor Oj; is carried out as an unknown if one uses the homographies determined from point correspondences in (8). Incidentally, (8) is again linear in the camera parameters, and the analogy to (5) is obvious. In order to achieve a complete calibration and a simultaneous error correction for the sensor data in all cases of camera movement, a statistical calibration is connected to the above calibration procedures. The aim is to estimate the most likely camera parameters based on the measurement that has occurred (images, rotation measurements) and formulated known preconditions. For this purpose, an error is minimized which is only determined by the previous knowledge, the images and the rotation data. The error consists of a term for evaluating the camera parameters with regard to the images (maximum likelihood), a term for evaluating the rotation data and several cords for evaluating compliance with the preconditions. The camera parameters are evaluated using the image data using formulas (6) and (4).
Der Term zur Bewertung der verbesserten Rotation verwendet das Fehlermodell des Rotationsmesssystems, um zu entscheiden, wie wahrscheinlich die aktuell geschätzte Rotation ist bei der aufgetreten Messung. Die weiteren Terme zur Formulierung des Vorwissens können zur Stabilisierung von schlecht bestimmbaren Parametern, wie dem Hauptpunkt benutzt werden. Diese FeMerfunktion wird dann durch ein nichtlineares Minimierungsver- fahren minimiert, um die wahrscheinlichsten Kameraparameter und Rotationsdaten zu bestimmen. Dabei werden die mit den obigen linearen Verfahren bestimmten Kameraparameter und die gemessenen Rotationsdaten als Startwerte benutzt.The term for evaluating the improved rotation uses the error model of the rotation measuring system to decide how likely the currently estimated rotation is in the measurement that has occurred. The other terms used to formulate prior knowledge can be used to stabilize parameters that are difficult to determine, such as the main point. This FeMer function is then minimized by a non-linear minimization process in order to determine the most likely camera parameters and rotation data. The camera parameters determined with the above linear methods and the measured rotation data are used as starting values.
Die statistische Kalibrierung berechnet somit eine vollständige Kalibrierung und eine korrigierte Rotationsinformation. Diese korrigierte Rotationsinformation wird benutzt, um die System- und Messfehler des Sensors zu kompensieren.The statistical calibration thus calculates a complete calibration and corrected rotation information. This corrected rotation information is used to compensate for the system and measurement errors of the sensor.
Im folgenden wird ein Beispiel gegeben :An example is given below:
Für einen Test der Kalibrierung an realen Daten wurden Stillbilder von einer rotierenden Kamera mit und ohne Einsatz des Zooms aufgenommen. In beiden Fällen wurden Hauptpunkt, Pixelscherung und Pixelseitenverhältnis der Kamera als bekannt vorausgesetzt. Die Rotation der Kamera wurde durch Rechnerbefehle gesteuert, so dass die Rotationsinformation aus den Programmvorgaben mit einer Unsicherheit von ca. 0,5° gegeben war. Eine Referenz für die tatsächliche Brennweiteneinstellung wurde manuell ermittelt. Die Brennweite variierte im Verlauf des Zoom-Experiments zwischen 875 und 1232 (gemessen in Pixel). Zoom-bedingte, radiale Bildverzerrungen wurden vor der Selbstkalibrierung korrigiert, was ohne Kenntnis der genauen Brennweite möglich ist. Aus der Bildsequenz wurden mit Verfahren nach dem Stand der Technik die Homogra- phien mit Hilfe von Gleichung (6) aufgestellt und durch Reprojektion überprüft. Hierbei wurde ein mittlerer Pixelfehler von 0,8 festgestellt.For a test of the calibration on real data, still images were taken from a rotating camera with and without using the zoom. In both cases, the main point, pixel shear and pixel aspect ratio of the camera were assumed to be known. The rotation of the camera was controlled by computer commands, so that the rotation information from the program specifications was given with an uncertainty of approximately 0.5 °. A reference for the actual focal length setting was determined manually. The focal length varied between 875 and 1232 (measured in pixels) in the course of the zoom experiment. Radial image distortion caused by zoom was corrected before self-calibration, which is possible without knowing the exact focal length. Using the methods of the prior art, the homographs from the image sequence were set up using equation (6) and checked by reprojection. Here, an average pixel error of 0.8 was found.
Tripel von Bildern wurden für die Brennweitenkalibrierungen verwendet. Die Ergebnisse sind in Fig. 6 dargestellt. Die gestrichelten Linien geben die Referenzdaten, die soliden Linien die Ergebnisse der Selbstkalibrierungen wieder. Der gemittelte relative Fehler beträgt 3 % im Fall fester Brennweite (Fig. 6 a) und 7 % die zoomende Kamera (Fig. 6 b).Triples of images were used for focal length calibrations. The results are shown in Fig. 6. The dashed lines represent the reference data, the solid lines the results of the self-calibration. The average relative error is 3% in the case of a fixed focal length (FIG. 6 a) and 7% is the zooming camera (FIG. 6 b).
Weiter wurde die Robustheit gegenüber Rauschen untersucht :The robustness against noise was also examined:
Zur Einschätzung der Robustheit der Kalibrierung gegenüber Pixelfehlern und ungenauen Rotationsdaten wurden synthetische Daten erzeugt und gezielt verrauscht.In order to assess the robustness of the calibration against pixel errors and inaccurate rotation data, synthetic data was generated and targeted noise.
Für den Fall der rotierenden Kamera wurde eine virtuelle Kamera mit Zentrum im Koordinatenursprung um x- und y- Achse um bis 6° verdreht. Die Kamera beobachtete gleichförmig verteilte, in einem Kubus angeordnete Szenenpunkte und erzeugte berechnete Bilder von 512 x 512 Pixeln. Die Positionen der Bildpunkte wurden gleichförmig um bis zu Pixel verrauscht. Weiterhin wurde die Rotationsinformation um bis zu 2° pro Achse ver- rauscht. In der virtuellen Kamera waren alle Kameraparameter a priori bekannt, insbesondere wurden/= 415 und a - 1,1 festgelegt.In the case of the rotating camera, a virtual camera with a center in the coordinate origin was rotated around the x and y axes by up to 6 °. The camera observed uniformly distributed scene points arranged in a cube and generated calculated images of 512 x 512 pixels. The positions of the pixels were uniformly noisy by up to pixels. In addition, the rotation information was upset by up to 2 ° per axis. All camera parameters were known a priori in the virtual camera, in particular / = 415 and a - 1.1 were determined.
In den Figuren 7a zeigt sich bei einer mittleren Brennweite, die durch die Selbstkalibrierung der verrauschten Bilder errechnet wird, in Abhängigkeit vom Verrauschungsgrad in Pixeln und Drehwinkel. Fig. 7 b) zeigt die zu Fig. 7 a) gehörige Varianz der Brennweite. Fig. 7 c) zeigt das mittlere Pixelseitenverhältnis und Fig. 7 d) zeigt die zu Fig. 7 c) gehörige Varianz des Pixelseitenverhältnisses.7a shows an average focal length, which is calculated by the self-calibration of the noisy images, as a function of the degree of noise in pixels and angle of rotation. FIG. 7 b) shows the variance of the focal length belonging to FIG. 7 a). FIG. 7 c) shows the average pixel aspect ratio and FIG. 7 d) shows the variance of the pixel aspect ratio belonging to FIG. 7 c).
Für die frei bewegte Kamera wurden sechs virtuelle Kameras auf einer Kugeloberfläche mit Blickrichtung ins Kugelinnere angeordnet. Die Szenenpunkte wurden zufällig im Kugelinneren verteilt und von den Kameras auf 512 x 512 Pixel abgebildet. Im Übrigen wurden die Bilder wie oben beschrieben verrauscht.For the freely moving camera, six virtual cameras were arranged on a spherical surface with a view of the inside of the sphere. The scene points were randomly distributed inside the sphere and imaged by the cameras to 512 x 512 pixels. Otherwise, the images were noisy as described above.
Fig. 8 zeigt die berechneten Ergebnisse analog zu Fig. 7. Insbesondere gelten dieselben Beschreibungen der Einzelabbildungen. Den Figuren 7 und 8 ist zu entnehmen, dass sich die berechneten Kalibrierparameter sehr robust gegenüber Variationen des Drehwinkels < 1° und Pixelfehle n < 1 Pixel verhalten. Die Abhängigkeit vom Winkelfehler ist durchgehend stärker als die vom Pixelfehler. Vergleicht man Figuren 7 und 8 direkt, z.B. insbesondere 7 b) und 8 b), sieht man zudem, dass der Einfluss von Pixelfehlern bei der frei bewegten Kamera größer ist als bei der rotierenden.FIG. 8 shows the calculated results analogously to FIG. 7. In particular, the same descriptions of the individual images apply. It can be seen from FIGS. 7 and 8 that the calculated calibration parameters are very robust with respect to variations in the angle of rotation <1 ° and pixel errors n <1 pixel. The dependence on the angle error is consistently stronger than that on the pixel error. Comparing FIGS. 7 and 8 directly, for example in particular 7 b) and 8 b), one also sees that the influence of pixel errors is greater in the freely moving camera than in the rotating one.
Dabei ergibt sich folgender Effekt der statistischen Kalibrierung :The statistical calibration has the following effect:
Um den Effekt der statistischen Kalibrierung zu verdeutlichen, wurde die Robustheitsmes- sung anhand synthetischer Daten für die rotierende Kamera mit/= 415 wiederholt, wobei die y-Komponente des Hauptpunktes nun auf den Wert cy = 201 (Bildzentrum) gesetzt wurde. Die lineare Kalibrierung berechnete aus den verrauschten Bildern keine robuste Schätzung für cy, wie man an Figur 9 a) gut erkennt. Tatsächlich sind die Resultate für Winkelfehler > 0,5° fast zufällig. Ahnliche Störanfälligkeit zeigten auch die Parameter cx und 5 (nicht dargestellt).In order to clarify the effect of the statistical calibration, the robustness measurement was repeated using synthetic data for the rotating camera with / = 415, the y component of the main point now being set to the value c y = 201 (image center). The linear calibration did not calculate a robust estimate for c y from the noisy images, as can be seen well in FIG. 9 a). In fact, the results for angle errors> 0.5 ° are almost random. The parameters c x and 5 (not shown) also showed a similar susceptibility to faults.
Bei der statistischen Kalibrierung wird eine FeUerfunktion aufgestellt, die es zu minimieren gilt. Unter anderem enthält die FeWerfunktion einen Summanden, der gegen Null strebt, je näher die Messwerte für den Hauptpunkt bei der jeweiligen Bildmitte liegen, wie es sein muss laut den gewählten Vorgaben. Schließt man die numerische Minimierung dieser FeWerfunktion (mit Standardprogrammen) der linearen Parameterbestimmung an, so erhält man verbesserte Schätzwerte für die Kameraparameter. Dies soll unter der statistischen Kalibrierung verstanden werden. In vielen praktischen Anwendungen wird man aber auf diesen letzten Optimierungsschritt auch verzichten können, etwa wenn es nur um ein Update der Brennweite geht.In the statistical calibration, a fire function is set up, which must be minimized. Among other things, the FeWer function contains a summand that tends towards zero, the closer the measured values for the main point are to the respective image center, as it should be according to the selected specifications. If one connects the numerical minimization of this value function (with standard programs) to the linear parameter determination, one obtains improved estimates for the camera parameters. This is to be understood as statistical calibration. In many practical applications, however, you will also be able to do without this last optimization step, for example if you only need to update the focal length.
Die statistische Kalibrierung bestimmte den Hauptpunkt und die Pixelscherung auch aus verrauschten Bildern sehr robust, wie man exemplarisch anhand von Fig. 9 b) im Ver- gleich zu Fig. 9 a) gut erkennt. Zugleich wurden auch die ohnehin schon robusten Resultate für Brennweite und Pixelseitenverhältnis weiter stabilisiert. Dies wird z.B. deutlich an der Varianz von /in Fig. 10 a) (Ergebnis lineare Kalibrierung) und Fig. 10 b) (Ergebnis statistische Kalibrierung) im direkten Vergleich. The statistical calibration determined the main point and the pixel shear very robustly even from noisy images, as can be seen by way of example from FIG. 9 b) compared to FIG. 9 a). At the same time, the already robust results for focal length and pixel aspect ratio were further stabilized. This is e.g. clearly in the variance of / in Fig. 10 a) (result of linear calibration) and Fig. 10 b) (result of statistical calibration) in a direct comparison.

Claims

PATENTANSPRÜCHE
1. Verfahren zur Selbstkalibrierung eines Kamerasystems, umfassend wenigstens eine Kamera, nutzend eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurden, und Messdaten der relativen Verdrehung wenigstens einer Kamera zwischen den einzelnen Aufnahmen, wobei die Kameraparameter durch ein lineares Gleichungssystem ermittelt werden, dadurch gekennzeichnet, daß aus korrespondierenden Punkten in paarweise gewählten Bildern eine erste durch eine Matrix beschreibbare lineare Transformation bestimmt wird, aus der relativen Verdrehung der wenigstens einen Kamera zwischen denselben gewählten Bildern eine zweite durch eine Matrix beschreibbare lineare Transformation als Repräsentation der Verdrehung bestimmt wird, beide Matrizen in eine Gleichung eingesetzt werden, die ein in den Kalibrierparametern lineares Gleichungssystem angibt, weitere als Matrizen beschreibbare lineare Transformationen genauso aus weiteren Bildpaaren so lange bestimmt und eingesetzt werden, bis das lineare Gleichungssystem eindeutig lösbar ist, und das Gleichungssystem für alle Parameter des Kamerasystems rechnerisch gelöst wird, wobei wenigstens eine Kamera mit einem Rotationssensor zur Erfassung der relativen Verdrehung der Kamera zwischen zwei zeitlich getrennten Aufnahmen verbunden ist. 1. A method for self-calibration of a camera system, comprising at least one camera, using a plurality of images of a scene, which were recorded from different positions and / or viewing directions of the camera system, and measurement data of the relative rotation of at least one camera between the individual recordings, the camera parameters be determined by a linear system of equations, characterized in that a first linear transformation that can be described by a matrix is determined from corresponding points in images selected in pairs, and a second linear transformation that can be described by a matrix from the relative rotation of the at least one camera between the same selected images Representation of the rotation is determined, both matrices are used in an equation that specifies a system of equations that is linear in the calibration parameters, further linear transformations that can be described as matrices are also derived from further Bi ld pairs are determined and used until the linear system of equations can be clearly solved and the system of equations is solved for all parameters of the camera system, at least one camera being connected to a rotation sensor for detecting the relative rotation of the camera between two time-separated recordings.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Kamerasystem aus mehr als einer Kamera besteht, wobei die festen Positionen und Orientierungen zueinan- der bekannt sind.2. The method according to claim 1, characterized in that the camera system consists of more than one camera, the fixed positions and orientations to each other being known.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Kamerasystem aus einer oder mehreren frei beweglichen und frei drehbaren Kameras besteht.3. The method according to claim 1, characterized in that the camera system consists of one or more freely movable and freely rotatable cameras.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß durch Aufstellen einer statistischen Fehlerfunktion mit den Messdaten zur Kameraverdrehung, der aufgenommenen Bilder, der berechneten Kameraparameter und der Vorbe- dingungen und Optimieren dieser die Orientierungsmessung stabilisiert wird zur Fehlerkompensation des Orientierungsmesssystems. 4. The method according to any one of the preceding claims, characterized in that by setting up a statistical error function with the measurement data for camera rotation, the recorded images, the calculated camera parameters and the preconditions and optimizing this, the orientation measurement is stabilized for error compensation of the orientation measurement system.
PCT/DE2004/001814 2003-08-28 2004-08-16 Method for automatically calibrating a camera system WO2005025237A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10340023A DE10340023B3 (en) 2003-08-28 2003-08-28 Self-calibration of camera system involves inserting matrices describing transformations into equation giving equation system linear in calibration parameters until it can be fully solved by computer
DE10340023.0 2003-08-28

Publications (1)

Publication Number Publication Date
WO2005025237A1 true WO2005025237A1 (en) 2005-03-17

Family

ID=34089270

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2004/001814 WO2005025237A1 (en) 2003-08-28 2004-08-16 Method for automatically calibrating a camera system

Country Status (2)

Country Link
DE (1) DE10340023B3 (en)
WO (1) WO2005025237A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004938A1 (en) 2005-07-01 2007-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Interception of multimedia services
WO2008005066A1 (en) * 2006-06-30 2008-01-10 Microsoft Corporation Parametric calibration for panoramic camera systems
WO2016001908A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd 3 dimensional anchored augmented reality
US9412164B2 (en) 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005061931B4 (en) * 2005-12-23 2011-04-14 Bremer Institut für angewandte Strahltechnik GmbH Method and device for calibrating an optical device
DE102011100628B4 (en) 2011-05-05 2013-04-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for determining at least one camera parameter
DE102016222319A1 (en) 2016-11-14 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D REFERENCING

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FRAHM J-M ET AL: "Camera Calibration with Known Rotation", PROCEEDINGS OF THE EIGHT IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION. (ICCV). NICE, FRANCE, OCT. 13 - 16, 2003, INTERNATIONAL CONFERENCE ON COMPUTER VISION, LOS ALAMITOS, CA : IEEE COMP. SOC, US, vol. VOL. 2 OF 2. CONF. 9, 13 October 2003 (2003-10-13), pages 1418 - 1425, XP010662558, ISBN: 0-7695-1950-4 *
HORAUD R ET AL: "Euclidean reconstruction and affine camera calibration using controlled robot motions", INTELLIGENT ROBOTS AND SYSTEMS, 1997. IROS '97., PROCEEDINGS OF THE 1997 IEEE/RSJ INTERNATIONAL CONFERENCE ON GRENOBLE, FRANCE 7-11 SEPT. 1997, NEW YORK, NY, USA,IEEE, US, vol. 3, 7 September 1997 (1997-09-07), pages 1575 - 1582, XP010264851, ISBN: 0-7803-4119-8 *
OKATANI T ET AL: "Robust estimation of camera translation between two images using a camera with a 3D orientation sensor", PATTERN RECOGNITION, 2002. PROCEEDINGS. 16TH INTERNATIONAL CONFERENCE ON QUEBEC CITY, QUE., CANADA 11-15 AUG. 2002, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 1, 11 August 2002 (2002-08-11), pages 275 - 278, XP010613327, ISBN: 0-7695-1695-X *
PAJDLA T ET AL: "Camera calibration and Euclidean reconstruction from known observer translations", COMPUTER VISION AND PATTERN RECOGNITION, 1998. PROCEEDINGS. 1998 IEEE COMPUTER SOCIETY CONFERENCE ON SANTA BARBARA, CA, USA 23-25 JUNE 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 23 June 1998 (1998-06-23), pages 421 - 426, XP010291638, ISBN: 0-8186-8497-6 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004938A1 (en) 2005-07-01 2007-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Interception of multimedia services
WO2008005066A1 (en) * 2006-06-30 2008-01-10 Microsoft Corporation Parametric calibration for panoramic camera systems
KR101330373B1 (en) 2006-06-30 2013-11-15 마이크로소프트 코포레이션 Parametric calibration for panoramic camera systems
US9412164B2 (en) 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration
WO2016001908A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd 3 dimensional anchored augmented reality

Also Published As

Publication number Publication date
DE10340023B3 (en) 2005-02-24

Similar Documents

Publication Publication Date Title
DE102018200154A1 (en) Calibration device, calibration method and program for a visual sensor
DE69800084T2 (en) Method for the linear determination of the three-dimensional position with affine camera correction
WO2017206999A1 (en) Method for evaluating image data of a vehicle camera
DE102015015194A1 (en) Image processing apparatus and method and program
EP2880853B1 (en) Apparatus and method for determining the distinct location of an image-recording camera
WO2011023657A1 (en) Method and device for joining a plurality of individual digital images into a total image
DE102014201271A1 (en) A method and controller for detecting a change in a relative yaw angle within a stereo video system for a vehicle
EP2901414B1 (en) Method and image processing system for determining parameters of a camera
DE102012009577A1 (en) Method for calibrating squint angle of frame camera of stereo camera arrangement in vehicle, involves calculating travel distance covered by vehicle, and determining deviation between distance and reference distance to calibrate angle
EP3104330A1 (en) Methods for tracking at least one object and method for replacing at least one object with a virtual object in a motion picture signal recorded by a camera
DE112014006493T5 (en) Determine a scale of three-dimensional information
EP3867796A1 (en) Method and device for determining an area map
DE10340023B3 (en) Self-calibration of camera system involves inserting matrices describing transformations into equation giving equation system linear in calibration parameters until it can be fully solved by computer
DE102017126495B4 (en) Calibration of a stationary camera system for position detection of a mobile robot
DE102015220031A1 (en) Method for confidence estimation for optical-visual pose determination
DE19953063A1 (en) Method for three-dimensional optical measurement of object surfaces
DE112014002943T5 (en) Method of registering data using a set of primitives
DE102016109153A1 (en) METHOD FOR ADJUSTING A VIEWPOINT IN A VIRTUAL ENVIRONMENT
DE102020204677B4 (en) Tracking system and computer program for compensating for visual shadows when tracking measuring objects
DE102014219418B4 (en) Process for the stereo rectification of stereo camera images and driver assistance system
DE102018208604A1 (en) Determining a recording behavior of a recording unit
WO2020229352A1 (en) Method for providing an object tracking function
WO2015149970A1 (en) Method and device for adapting a three-dimensional projection surface for projecting a plurality of adjacent camera images
DE10115149B4 (en) Reintegration of a digital camera into an image processing system which has been moved from a calibrated position to an uncalibrated position
DE102004007049A1 (en) Method for classifying an object with a stereo camera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase