DE102005035678A1

DE102005035678A1 - Device for calibrating a camera

Info

Publication number: DE102005035678A1
Application number: DE102005035678A
Authority: DE
Inventors: Harald Dipl.-Ing. Horber; Dirk Dipl.-Ing. Ulbricht
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2007-02-01
Also published as: WO2007012314A1; DE112006001120A5

Abstract

Es wird eine Vorrichtung zur Kalibrierung einer Kamera vorgestellt. Die Vorrichtung ist im Sichtbereich der Kamera mit einem Kalibriermuster versehen und an einer vorgegebenen Position angeordnet. Das Kalibriermuster umfasst mehrere Referenzmarken und zumindest eine Orientierungsmarke. Der Kontrastübergang der Orientierungsmarke ist im Vergleich zu dem der Referenzmarken invertiert.A device for calibrating a camera is presented. The device is provided with a calibration pattern in the field of vision of the camera and is arranged at a predetermined position. The calibration pattern comprises several reference marks and at least one orientation mark. The contrast transition of the orientation mark is inverted compared to that of the reference marks.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur automatischen Kalibrierung einer Kamera.The The present invention relates to an apparatus and a method for automatic calibration of a camera.

Kameras werden u. a. in Kraftfahrzeugen vermehrt zur Überwachung der Umgebung eingesetzt. Der Sichtbereich der Kamera muss exakt eingestellt werden, damit aus dem Bild gewonnene Objektinformationen ausgewertet und eine Situation, z.B. die Erkennung des Fahrspurverlaufs oder eine bevorstehende Kollision, richtig eingeschätzt werden kann.cameras be u. a. used in vehicles increasingly for monitoring the environment. The field of view of the camera must be set exactly so evaluated object information obtained from the image and a Situation, e.g. the recognition of the lane course or an imminent one Collision, correctly assessed can be.

Die Kamerakalibrierung wird i. d. R. automatisch durchgeführt. Hierbei ist die schnelle und sichere Ausrichtung der Kameras auf ein vorgesehenes Zielgebiet von besonderer Bedeutung. Eine automatische Kalibrierung setzt voraus, dass die Positionen mehrerer Merkmale, die im Bild erkannt werden können, relativ zur Kamera bekannt sind. Für die praktische Umsetzung wird in einer definierten Position vor der Kamera eine Vorrichtung, z.B. eine Tafel, angeordnet, auf der ein Kalibriermuster aufgebracht ist. Um eine hohe Kalibriergenauigkeit zu erzielen, sollten im Muster so viele Merkmale bzw. Marken wie möglich erkannt werden. Um dies zu erreichen, wird häufig das Kalibriermuster größer als der Sichtbereich der Kamera gewählt. Im Bild ist dann nur ein Teilbereich des Musters dargestellt und bei der Verwendung eines regelmäßigen Musters ist eine Orientierung auf dem Kalibriermuster und damit eine eindeutige Kalibrierung des Abbildungsbereichs nicht mehr möglich. Dieses Problem kann durch die Verwendung von mindestens einer Orientierungsmarke im Kamerabild gelöst werden, deren Position vorgegeben ist. Z.B. verwendet Moravec eine Orientierungsmarke zusätzlich zu den Referenzmarken im Kalibriermuster. Die Referenzmarken sind in regelmäßigen Abständen angeordnet und die Orientierungsmarke befindet sich zwischen den Referenzmarken
(http://www.frc.ri.cmu.edu/~hpm/project.archive/robot.papers/2000/ARPA.MARS.reports.00/ Report.0001.html).The camera calibration is usually performed automatically. Here, the fast and secure alignment of the cameras to a designated target area is of particular importance. An automatic calibration assumes that the positions of several features that can be recognized in the image are known relative to the camera. For practical implementation, a device, for example a board, is arranged in a defined position in front of the camera, on which a calibration pattern is applied. In order to achieve a high calibration accuracy, as many features or brands as possible should be recognized in the sample. To achieve this, the calibration pattern is often chosen to be larger than the field of view of the camera. The image then shows only a partial area of the pattern and when using a regular pattern, orientation on the calibration pattern and thus unambiguous calibration of the imaging area is no longer possible. This problem can be solved by using at least one orientation mark in the camera image whose position is predetermined. For example, Moravec uses an orientation mark in addition to the reference marks in the calibration pattern. The reference marks are arranged at regular intervals and the orientation mark is located between the reference marks
(http://www.frc.ri.cmu.edu/~hpm/project.archive/robot.papers/2000/ARPA.MARS.reports.00/ Report.0001.html).

Für die Genauigkeit der Kalibrierung ist zudem der Sichtbereich der Kamera relevant. Wenn eine Referenzmarke aufgrund des begrenzten Abbildungsbereichs nicht in ihrer vollständigen Form aufgenommen wird, wird evt. eine Referenzmarke nicht erkannt oder ihre Position wird falsch bestimmt, was die Genauigkeit der Kalibrierung beeinträchtigt.For the accuracy The calibration also makes the field of view of the camera relevant. If a reference mark due to the limited imaging range not in their complete Form is recorded, possibly a reference mark is not recognized or their position is wrongly determined, which is the accuracy of the Calibration impaired.

Die Aufgabe der Erfindung liegt darin, eine Vorrichtung und ein Verfahren zur Kalibrierung einer Kamera anzugeben.The The object of the invention is to provide a device and a method to calibrate a camera.

Diese Aufgabe wird gemäß einer Vorrichtung nach Patentanspruch 1 und einem Verfahren gemäß Patentanspruch 5 gelöst. Die abhängigen Patentansprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.These Task is done according to a Device according to claim 1 and a method according to claim 5 solved. The dependent ones claims show advantageous embodiments and further developments of the invention.

Erfindungsgemäß wird eine Vorrichtung zur Kalibrierung einer Kamera angegeben. Zu diesem Zweck ist in einem definierten Abstand ein Kalibriermuster im Sichtbereich der Kamera angeordnet. Das Kalibriermuster ist z.B. auf eine Tafel oder Wand aufgebracht oder es wird auf eine Fläche projiziert. Das Kalibriermuster weist mehrere Kalibriermarken auf. Die Genauigkeit einer Kalibrierung erhöht sich mit der Anzahl der erkannten Kalibriermarken, deshalb ist die Verwendung von möglichst vielen Kalibriermarken vorteilhaft. Um z. B. auch bei einem über den Abbildungsbereich der Kamera hinausgehenden Kalibriermuster mit einer regelmäßigen Anordnung der Kalibriermarken den Sichtbereich einer Kamera auszurichten, ist zumindest eine Orientierungsmarke im Sichtbereich angeordnet. Die Orientierungsmarke ist verglichen mit den Referenzmarken durch einen invertierten Kontrastübergang gekennzeichnet. Sind z.B. helle Referenzmarken auf einem dunklen Hintergrund angeordnet, dann ist die Orientierungsmarke dunkel auf einem hellen Hintergrund.According to the invention is a Device for calibrating a camera specified. To this end is at a defined distance a calibration pattern in the field of view arranged the camera. The calibration pattern is e.g. on a blackboard or wall is applied or it is projected onto a surface. The calibration pattern has several calibration marks. The accuracy of a calibration elevated with the number of recognized calibration marks, so the Use of as possible many calibration marks advantageous. To z. B. even at a on the Imaging range of the camera beyond calibration pattern a regular arrangement align the calibration marks with the field of view of a camera, At least one orientation mark is arranged in the field of vision. The orientation mark is compared with the reference marks by an inverted contrast transition characterized. Are e.g. bright reference marks on a dark Arranged background, then the orientation mark is dark on a bright background.

In einer vorteilhaften Ausgestaltung der Erfindung wiederholen sich die Referenzmarken zumindest in eine Raumrichtung regelmäßig, so dass die Referenzmarken z.B. gitterförmig angeordnet sind. Eine solche regelmäßige Anordnung reduziert den Rechenaufwand. Zudem kann durch eine geeignete symmetrische Form der Referenzmarken die Erkennung der Marken vereinfacht werden. Ein Kreis rotationssymmetrisch, d.h. die Ausrichtung der Referenzmarke im Kalibrierungsmuster kann vernachlässigt werden. Ein weiterer Vorteil liegt in der unaufwändigen Bestimmbarkeit des Kreismittelpunkts.In an advantageous embodiment of the invention are repeated the reference marks at least in one spatial direction regularly, so that the reference marks are e.g. are arranged in a grid shape. A such regular arrangement reduces the computational effort. In addition, by a suitable symmetrical Form of reference marks the recognition of the marks are simplified. A circle rotationally symmetric, i. the orientation of the reference mark in the calibration pattern can be neglected. Another Advantage lies in the unobtrusive Identifiability of the center of the circle.

Vorzugsweise ist eine Orientierungsmarke an zumindest einer dafür vorgesehenen Stelle im Sichtbereich der Kamera anstelle einer Referenzmarke angeordnet. So muss nicht geprüft werden, ob die Markierung zu einem Gitterpunkt passt oder dazwischen liegt, und der Rechenaufwand wird reduziert.Preferably is an orientation mark on at least one of them Position in the field of view of the camera instead of a reference mark arranged. So does not have to be tested whether the mark matches a grid point or in between and the computational effort is reduced.

In einer besonderen Ausgestaltung der Erfindung weist das Kalibriermuster zumindest einen zusätzlichen hellen Bereich auf dunklem Untergrund auf. Der helle Bereich dient zur Sichtfeldbestimmung und ist im idealen Abbildungsbereich der Kamera in der Nähe der äußeren Begrenzung angeordnet. Stimmt nun der tatsächliche Sichtbereich der Kamera, z.B. aufgrund von störenden Objekten im Sichtfeld, nicht mit dem idealen überein, wird der helle Bereich nicht vollständig von der Kamera abgebildet.In a particular embodiment of the invention, the calibration pattern has at least one additional bright area on a dark background. The bright area is used to determine field of view and is located in the ideal imaging area of the camera near the perimeter. Is now the actual field of view of the camera, eg because of disturbing objects in view field, not coincide with the ideal, the bright area is not fully imaged by the camera.

Vorzugsweise wird die zu kalibrierende bzw. kalibrierte Kamera in Kraftfahrzeugen zur Umgebungserfassung eingesetzt.Preferably becomes the calibrated or calibrated camera in motor vehicles used for environmental detection.

Ein Verfahren zur Kalibrierung einer Kamera wird angegeben. Dabei wird das Kamerabild zeilenweise ausgelesen und auf Helligkeitssprünge hin untersucht. Die Helligkeitssprünge geben die Umrisse von Kalibriermerkmalen wieder. Anhand des festgelegten Helligkeitsübergangs z.B. helle Referenzmarke auf dunklem Untergrund, wird zwischen Referenzmarke und einer dazu kontrastinvertierten Orientierungsmarke unterschieden.One Procedure for calibrating a camera is specified. It will the camera image is read line by line and jumps in brightness examined. The brightness jumps reproduce the outlines of calibration features. Based on the specified Brightness transfer e.g. bright reference mark on a dark background, becomes between reference mark and a contrast-inverted orientation mark.

Vorzugsweise wird zunächst die Position der Orientierungsmarke im Bild bestimmt und davon ausgehend die Position der Referenzmarken im Bild ausgewertet. Dieses Vorgehen hat den Vorteil, dass die Position der Referenzmarken relativ zur Orientierungsmarke bekannt ist und die Auswertung schneller erfolgen kann.Preferably will be first determines the position of the orientation mark in the image and from there evaluated the position of the reference marks in the image. This procedure has the advantage that the position of the reference marks relative to Orientation mark is known and the evaluation is faster can.

In einer besonderen Ausgestaltung der Erfindung weist das Kalibriermuster zumindest einen zusätzlichen hellen Bereich auf dunklem Untergrund auf. Der helle Bereich dient zur Sichtfeldbestimmung und ist im idealen Abbildungsbereich der Kamera in der Nähe der äußeren Begrenzung angeordnet. Zur Sichtfeldbestimmung werden also nur Helligkeitssprünge an einem Bildrand mit hellem Bereich untersucht.In a particular embodiment of the invention, the calibration pattern at least one extra bright area on a dark background. The bright area is used for visual field determination and is in the ideal imaging range of Camera nearby the outer boundary arranged. For visual field determination so only jumps in brightness on a Image border with bright area examined.

In einer bevorzugten Ausgestaltung der Erfindung grenzt der helle Bereich nicht unmittelbar an die äußere Begrenzung des Abbildungsbereichs. Es wird beim Auslesen einer Zeile zunächst ein Helligkeitssprung von dunkel auf hell beobachtet und dann von hell auf dunkel. Der Abstand zwischen den beiden Helligkeitssprüngen wird mit einem gespeicherten Sollwert verglichen. Stimmt der Abstand nicht mit dem vorgegebenen Abstand überein, ist der Sichtbereicht eingeschränkt. Aus dem bestimmten Abstand kann das Maß der Sichtfeldeinschränkung und die Auswirkung auf den Kalibrierungsprozess und zukünftige Messungen mit der Kamera abgeschätzt werden.In In a preferred embodiment of the invention, the bright area is adjacent not directly to the outer boundary of the picture area. It will first when reading a line Brightness jump observed from dark to bright and then bright on dark. The distance between the two brightness jumps becomes compared with a stored setpoint. Is the distance correct? does not match the given distance, is the viewport limited. From the given distance, the degree of field of view restriction and the impact on the calibration process and future measurements be estimated with the camera.

In einer weiteren Ausgestaltung der Erfindung der helle Bereich unmittelbar an die äußere Begrenzung des Abbildungsbereichs. In diesem Fall wird in einer Zeile der Abstand zwischen Zeilenbeginn und Kontrastsprung von hell auf dunkel wird ausgewertet und es wird wie oben beschrieben verfahren.In a further embodiment of the invention, the bright area directly to the outer boundary of the picture area. In this case, the distance in a row between line start and contrast jump from light to dark is evaluated and it will proceed as described above.

Weitere Vorteile und Besonderheiten der Erfindung werden anhand von einem Ausführungsbeispiel und zwei Abbildungen näher erläutert.Further Advantages and features of the invention are based on a embodiment and two pictures closer explained.

1: Kalibriermuster mit Orientierungsmarke 1 : Calibration pattern with orientation mark

2: Kalibriermuster mit Orientierungsmarke, die durch einen invertierten Kontrastübergang gekennzeichnet ist. 2 : Calibration pattern with orientation mark, which is characterized by an inverted contrast transition.

In 1 ist ein bekanntes Kalibriermuster mit Orientierungsmarke dargestellt. Referenz- (1) und Orientierungsmarke (2) sind helle Kreise auf dunklem Untergrund. Eine solche Anordnung hat den Nachteil, dass bei der Erkennung einer Kalibriermarke (1, 2) nicht entschieden werden kann, ob eine Referenzmarke (1) oder eine Orientierungsmarke (2) vorliegt. Es muss erst anhand weiterer Kalibriermarken (1, 2) geprüft werden, ob die Kalibriermarke (1, 2) zu den periodisch angeordneten Referenzmarken (1) gehört oder eine dazwischen angeordnete Orientierungsmarke (2) ist.In 1 a known calibration pattern with orientation mark is shown. Reference ( 1 ) and orientation mark ( 2 ) are bright circles on a dark background. Such an arrangement has the disadvantage that when detecting a calibration mark ( 1 . 2 ) can not decide whether a reference mark ( 1 ) or an orientation mark ( 2 ) is present. It only has to be checked by means of further calibration marks ( 1 . 2 ), check whether the calibration mark ( 1 . 2 ) to the periodically arranged reference marks ( 1 ) or an intermediate orientation mark ( 2 ).

In 2 ist ein Kalibriermuster mit Orientierungsmarke (2), die einen invertiertem Kontrastübergang aufweist, dargestellt. Das Kalibriermuster eignet sich insbesondere für Bildaufnehmer, die zeilenweise ausgelesen werden. Die Bilddaten werden auf Kontrastsprünge untersucht. Das in 2 dargestellte Kalibriermuster ermöglicht eine schnelle und sichere Durchführung der Kalibrierung, eine Auswertung der Bilddaten mit kleinem Datenspeicher und eine Sichtfeldbestimmung der Kamera.In 2 is a calibration pattern with orientation mark ( 2 ) having an inverted contrast transition. The calibration pattern is particularly suitable for image recorders that are read out line by line. The image data are examined for contrast jumps. This in 2 shown calibration pattern allows a quick and safe performance of the calibration, an evaluation of the image data with a small data memory and a field of view determination of the camera.

Mit der Orientierungsmarke (2) kann die Position der Kamera eindeutig bestimmt werden. Die Orientierungsmarke (2) unterscheidet sich durch einen invertierten Kontrastübergang von den Referenzmarken (1) und ist damit durch eine Kontrastanalyse eindeutig im Bild erkennbar. Die Orientierungsmarke wird mit demselben Algorithmus wie die Referenzmerkmale ausgewertet und erkannt, was die Bildauswertung und damit den Kalibriervorgang erheblich vereinfacht. Es wird zunächst die Position der Orientierungsmarke (2) bestimmt und davon ausgehend die Position der Referenzmarken (2). Die Referenzmarken (1) sind auf äquidistanten Gitterpunkten angeordnet. Die Kalibriermarken (1, 2) sind kreisförmig, da der Mittelpunkt eines Kreises sehr genau ermittelt werden kann.With the orientation mark ( 2 ), the position of the camera can be uniquely determined. The orientation mark ( 2 ) differs by an inverted contrast transition from the reference marks ( 1 ) and is thus clearly recognizable in the image by a contrast analysis. The orientation mark is evaluated and recognized with the same algorithm as the reference features, which considerably simplifies the image evaluation and thus the calibration process. First, the position of the orientation mark ( 2 ) and, based on this, the position of the reference marks ( 2 ). The reference marks ( 1 ) are arranged on equidistant grid points. The calibration marks ( 1 . 2 ) are circular because the center of a circle can be determined very accurately.

Zusätzlich sind zwei helle Balken (3) rechts und links in den Randbereichen des Kalibriermusters angeordnet. Die Balken (3) sollen die Grenzen eines möglicherweise eingeschränkten Abbildungsbereichs der Kamera sichtbar machen. Der Kontrast im Bereich der hellen Balken (3) nimmt ab, wenn der Abbildungsbereich z.B. durch störende Objekte am Rand des Strahlengangs verkleinert wird. Die Kontraständerung kann wieder mit demselben Algorithmus bestimmt werden, der auch zur Erkennung der Kalibriermarken (1, 2) genutzt wird.In addition, two bright bars ( 3 ) are arranged right and left in the edge regions of the calibration pattern. The bars ( 3 ) are intended to make visible the boundaries of a possibly limited imaging range of the camera. The contrast in the area of the light bars ( 3 ) decreases when the imaging area is reduced, for example, by interfering objects at the edge of the beam path. The contra The change can be determined again using the same algorithm that is used to detect the calibration marks ( 1 . 2 ) is being used.

Claims

Vorrichtung zur Kalibrierung einer Kamera, wobei in einem definierten Abstand zur Kamera ein Kalibriermuster im Sichtbereich angeordnet ist, dadurch gekennzeichnet, dass das Kalibriermuster mehrere Referenzmarken (1) und zumindest eine Orientierungsmarke (2) im Sichtbereich der Kamera aufweist, wobei der Kontrastübergang der Orientierungsmarke (2) im Vergleich zu dem der Referenzmarken (1) invertiert ist.Device for calibrating a camera, wherein a calibration pattern is arranged in the viewing area at a defined distance from the camera, characterized in that the calibration pattern comprises a plurality of reference marks ( 1 ) and at least one orientation mark ( 2 ) in the field of vision of the camera, wherein the contrast transition of the orientation mark ( 2 ) compared to the reference marks ( 1 ) is inverted.

Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass sich die Referenzmarken (1) des Kalibriermusters zumindest in eine Raumrichtung regelmäßig wiederholenDevice according to claim 1, characterized in that the reference marks ( 1 ) of the calibration pattern repeat at least in one spatial direction regularly

Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass im Sichtbereich der Kamera an zumindest einer vorgegebenen Stelle eine Orientierungsmarke (2) anstatt einer Referenzmarke (1) angeordnet ist.Apparatus according to claim 2, characterized in that in the field of view of the camera at at least one predetermined location an orientation mark ( 2 ) instead of a reference mark ( 1 ) is arranged.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Kalibriermuster zumindest ein heller Bereich (3), insbesondere ein heller Balken (3), entlang des Bildrandes auf dunklem Untergrund angeordnet ist, wobei sich der helle Bereich (3) im Wesentlichen im Abbildungsbereich der Kamera befindet.Device according to one of the preceding claims, characterized in that in the calibration pattern at least one bright area ( 3 ), in particular a light bar ( 3 ), is arranged along the edge of the picture on a dark background, the bright area ( 3 ) is located substantially in the imaging area of the camera.

Verfahren zur Kalibrierung einer Kamera, insbesondere mit einer Vorrichtung nach einem der Patentansprüche 1-4, dadurch gekennzeichnet, dass ein aufgenommenes Kamerabild zeilenweise ausgelesen und auf Helligkeitssprünge hin ausgewertet wird. Method for calibrating a camera, in particular with a device according to one of the claims 1-4, characterized that a recorded camera image is read line by line and on jumps in brightness is evaluated.

Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die kontrastinvertierte Orientierungsmarke im Bild gesucht wird und davon ausgehend die Referenzpunkte ausgewertet werden.Method according to claim 5, characterized in that that sought the contrast-inverted orientation mark in the picture and from this, the reference points will be evaluated.

Verfahren nach Anspruch 5 oder 6 mit einer Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass eine Abstandsanalyse der Helligkeitssprünge zumindest in der Umgebung von hellen Bereichen zur Sichtfelderkennung erfolgt.Method according to claim 5 or 6 with a device according to claim 4, characterized in that a distance analysis the brightness jumps at least in the vicinity of bright areas for visual field recognition he follows.

Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der bestimmte Abstand mit einem vorgegebenen Referenzwert verglichen wird, wobei bei einer signifikanten Unterschreitung des Referenzwerts auf ein eingeschränktes Sichtfeld der Kamera geschlossen wird.Method according to claim 7, characterized in that that the given distance compared with a given reference value being at a significant underrun of the reference value to a limited Field of view of the camera is closed.

Kamera, ausgerichtet mit einer Vorrichtung nach einem der Patentansprüche 1-4 und/oder einem Verfahren nach einem der Patentansprüche 5-8.Camera aligned with a device after one of the claims 1-4 and / or a method according to one of the claims 5-8.

Fahrzeug mit einer Kamera, ausgerichtet mit einer Vorrichtung nach einem der Patentansprüche 1-4 und/oder einem Verfahren nach einem der Patentansprüche 5-8.Vehicle with a camera, aligned with a camera Device according to one of the claims 1-4 and / or a method according to one of the claims 5-8.