DE102013209156B4

DE102013209156B4 - Verfahren zur Kalibrierung und Überwachung der Kalibrierung einer Kamera mit einem Gehäuse zur Verwendung in einem Kraftfahrzeug-Surround-View-System

Info

Publication number: DE102013209156B4
Application number: DE102013209156.7A
Authority: DE
Inventors: Harald von Rosenberg; Frank Schröer; Thomas Garschke
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2013-05-16
Filing date: 2013-05-16
Publication date: 2016-02-18
Anticipated expiration: 2033-05-17
Also published as: DE102013209156A1

Abstract

Verfahren zur Kalibrierung von zwei oder mehreren Kameras (2a, 2b, 2c, 2d), wobei die Kameras (2a, 2b, 2c, 2d) mit einem Gehäuse (8) zur Aufnahme der Umgebung eines Kraftfahrzeuges (1) zur Verwendung in einem Kraftfahrzeug-Surround-View-System vorgesehen sind, wobei mittels der Kameras (2a, 2b, 2c, 2d) Bilddaten der Umgebung des Kraftfahrzeuges generierbar sind und eine erste Schnittstelle (7) vorhanden ist, über die die Bilddaten der jeweiligen Kamera (2a, 2b, 2c, 2d) zur weiteren Verarbeitung außerhalb des Gehäuses weiterleitbar sind, wobei jede Kamera (2a, 2b, 2c, 2d) einen Intertialsensor (6) aufweist, der innerhalb des Gehäuses (8) angeordnet ist und die Daten des Inertialsensors (6) über die erste Schnittstelle (7) oder eine zweite Schnittstelle zur weiteren Verarbeitung außerhalb des Gehäuses (6) weiterleitbar sind dadurch gekennzeichnet, dass in einem ersten Schritt (11) Orientierungswinkel der einzelnen Kameras mittels des jeweiligen Inertialsensors (6) bestimmt werden, dass in einem zweiten Schritt (12) die Orientierungswinkel der Kameras (2a, 2b, 2c, 2d) verwendet werden, um relative Winkel zwischen den benachbarten Kameras zu bestimmen.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung und Überwachung der Kalibrierung einer Kamera mit einem Gehäuse zur Verwendung in einem Kraftfahrzeug-Surround-View-System
Aus dem Stand der Technik sind Kraftfahzeug-Surround-View-Systeme bekannt, bei denen mittels mehrerer Kameras jeweils ein Teilbild der Umgebung des Kraftfahrzeuges aufgenommen werden und mittels einer Verarbeitungsvorrichtung diese Teilbilder zu einem Gesamtbild zusammengesetzt werden und in einer Anzeige dargestellt werden, derart, dass ein Betrachter der Anzeige meint, von oben auf das Fahrzeug zu sehen. Bei Kraftfahrzeug-Surround-View-Systemen nach dem Stand der Technik sind mit den Kameras Bilddaten der Umgebung des Kraftfahrzeuges generierbar. Weiterhin weisen die Kameras ein Gehäuse und eine erste Schnittstelle auf, über die die Bilddaten der Kamera zur weiteren Verarbeitung außerhalb des Gehäuses weiterleitbar sind. Die von den jeweiligen Kameras gelieferten Aufnahmen der Umgebung des Kraftfahrzeuges müssen manuell oder mittels Hilfsmitteln, z. B. Markierungen auf dem Boden, ausgerichtet und kalibriert werden, so dass ein zusammenhängendes Gesamtbild aus der Vogelperspektive mit glatten Übergängen zwischen den entzerrten und transformierten Teilbildern entsteht. Hierbei werden Parameter wie die Kameraposition bezüglich des Fahrzeugkoordinatensystems und die Ausrichtungswinkel der Kamera innerhalb des Fahrzeugkoordinatensystems bestimmt. Diese Berechnung erfordert entweder eine aufwändige Hardware und/oder eine sehr lange Rechenzeit.
Die DE 10 2008 026 876 A1 beschreibt ein Verfahren zur Kalibrierung von zwei oder mehr Kameras durch Ermittlung der Orientierungswinkel der einzelnen Kameras relativ relativ zu einem externen Bezug und eine anschließende Bestimmung der relativen Winkel der Kameras zueinander.
Aus der DE 699 20 290 T2 und der DE 10 2009 007 842 A1 ist jeweils bekannt eine Kamera, die einen Inertialsensor aufweist, der innerhalb des Gehäuses angeordnet ist und wobei die Daten des Inertialsensors über die erste Schnittstelle oder eine zweite Schnittstelle zur weiteren Verarbeitung außerhalb des Gehäuses weiterleitbar sind. Hierdurch werden dem Bildverarbeitungssystem Daten zur Verfügung gestellt, die bei Kameras nach dem Stand der Technik durch Auswertung der Bildinhalte benachbarter Kameras generiert werden können.
Aufgabe der Erfindung ist es daher, ein Verfahren zur Kalibrierung und Überwachung der Kalibrierung einer derartigen Kamera anzugeben, bei der der Rechenaufwand vereinfacht werden kann.
Diese Aufgabe wird zum dadurch erreicht, dass bei einem Verfahren zur Kalibrierung von zwei oder mehreren Kameras mit den zuvor beschriebenen Merkmalen aus den Meßergebnissen des jeweiligen Inertialsensors in einem ersten Schritt Orientierungswinkel der einzelnen Kameras bestimmt werden und dass in einem zweiten Schritt die Orientierungswinkel der Kameras verwendet werden, um relative Winkel zwischen den benachbarten Kameras zu bestimmen. Die relativen Winkel der Kameras werden vorteilhafter Weise in einem Speicher gespeichert. Hierzu ist es zum Einem möglich, diese Daten ständig für die Verarbeitung der von den Kameras gelieferten Bilddaten zu verwenden.
Weiterhin ist es vorteilhaft, diese relativen Winkel für eine spätere Überwachung der Kalibrierung der Kameras zu verwenden. Eine derartige wiederholte Kalibrierung wird vorteilhafterweise dadurch realisiert, dass der erste und zweite Schritt während des Betriebs des Kraftfahrzeuges wiederholt werden und diese so erhaltenen relativen Winkel in einem vierten Schritt mit den im Speicher abgelegten relativen Winkeln verglichen werden und bei Abweichungen der neu ermittelten relativen Winkel mit den im Speicher abgelegten relativen Winkeln in einem fünften Schritt entweder eine Neukalibrierung gestartet wird und/oder ein Warnsignal ausgegeben wird. Eine Neukalibrierung macht vor allem dann Sinn, wenn sich die relativen Winkel nur wenig voneinander unterschieden haben und die Kamera bzw. die Kameras weiterhin die Umgebung des Kraftfahrzeuges aufnehmen und dann anschließend darstellen können. Ist beispielsweise eine Kamera oder sind beispielsweise mehrere Kameras derart verstellt, dass sie nicht mehr die Umgebung aufnehmen, sondern hauptsächlich nur direkt auf den Boden neben dem Kraftfahrzeug oder nur in dem Himmel oberhalb des Kraftfahrzeuges gerichtet sind, ist eine aussagefähige Darstellung der Umgebung des Kraftfahrzeuges mit diesem System nicht mehr realisierbar. Dann ist es sinnvoll, den Kraftfahrer durch ein Warnsignal zu warnen, dass er sich auf die Darstellung des Kraftfahrzeug-Surround-View-Systems nicht mehr verlassen kann und eine manuelle Neuausrichtung der Kameras angezeigt ist.
Ein Verfahren zur Überwachung der Kalibrierung einer zuvor vorbeschriebenen Kamera während der Fahrt des Kraftfahrzeuges ist dadurch gekennzeichnet, dass in einem siebten Schritt die von dem Inertialsensor gelieferten Beschleunigungswerte dynamisch gefiltert werden, dass in einem achten Schritt die gefilterten Beschleunigungswerte mit einem vorgegebenen Beschleunigungswert verglichen werden und in einem neunten Schritt bei Überschreiten des vorgegebenen Beschleunigungswertes ein Alarmsignal ausgegeben und/oder eine Neukalibrierung der Kameras gestartet wird. Ein derartiger Beschleunigungswert wird beispielsweise dadurch bei den Kameras auftreten, dass das Kameragehäuse von Gegenständen, wie beispielsweise Bäumen, Brücken, Verkehrsschildern oder sonstigen im Fahrweg des Kraftfahrzeuges befindlichen Hindernissen verstellt wird. Die hierbei auftretende Beschleunigung ist im Allgemeinen wesentlich stärker als die Beschleunigung, die das Kraftfahrzeug durch eigene Antriebs- oder Verzögerungsmittel realisieren kann.
Die Erfindung wird nachfolgend anhand der Figuren näher beschrieben. Es zeigen:
1 eine Aufsicht auf ein Kraftfahrzeug mit vier eingebauten Kameras,
2 ein Schnitt durch ein Ausführungsbeispiel einer Kamera,
3 ein Ausführungsbeispiel einer Vorderansicht einer Kamera,
4 eine Rückansicht der Kamera aus 3 in Beziehung zum Horizont,
5 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens nach Patentanspruch 1 oder 2,
6 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens nach Patentanspruch 3,
7 ein Ablaufdiagramm nach dem erfindungsgemäßen Verfahren nach Patentanspruch 4,
8 Ausführungsbeispiel eines Ablaufdiagramms eines Verfahrens nach Patentanspruch 5.
In 1 erkennt man die Aufsicht auf ein Kraftfahrzeug 1 mit den daran angebrachten Kameras 2a–2d. Weiterhin erkennt man die Symmetrieachse S der Kameras 2a–2d, eine Verarbeitungsvorrichtung 9 und einen Fahrtrichtungspfeil D. Die Verarbeitungsvorrichtung 9 kann wie dargestellt über einen Datenbus mit den Kameras 2a–2d verbunden sein. Es ist auch eine kabellose Verbindung zwischen den Kameras 2a–2d und der Verarbeitungsvorrichtung 9 möglich. Der Fahrtrichtungspfeil D gibt die Fahrtrichtung des Kraftfahrzeuges in gerader Richtung an, das heißt, dass die Lenkung dabei nicht eingeschlagen ist. Die Symmetrieachsen S der Kameras 2a–2d sind vorteilhafterweise parallel oder senkrecht zur Fahrtrichtung D angeordnet, wobei aber Ungenauigkeiten durch den Inertialsensor und die von dem Inertialsensor gelieferten Daten durch das erfindungsgemäße Verfahren ausgeglichen werden. Die Kameras weisen vorteilhafterweise einen derartigen Bildwinkel auf, dass sie jeweils den kompletten Bereich der jeweiligen Seite des Kraftfahrzeuges 1 aufnehmen.
In 2 erkennt man ein Ausführungsbeispiel der Kamera 2a, eine Linse 3, einen optischen Sensor 4, eine Verarbeitungseinrichtung 5, einen Inertialsensor 6, eine Schnittstelle 7 und ein Gehäuse 8. Die Kameras 2b–2d sind vorteilhafterweise grundsätzlich ebenso aufgebaut, die Form des Gehäuses kann sich aber je nach Einsatzort (Symmetrieachse längs zur Fahrtrichtung D oder quer zur Fahrtrichtung D, Montage an der Front oder am Heck des Kraftfahrzeuges) unterscheiden. Das Bild der Umgebung gelangt durch die Linse 3 auf den optischen Sensor 4 und wird in der Verarbeitungseinrichtung 5 verarbeitet und an die Schnittstelle 7 geleitet. Weiterhin leitet der Inertialsensor 6 die von ihm ermittelten Lagedaten der Kamera ebenfalls an die Schnittstelle 7. An der Schnittstelle 7 werden die Daten der Verarbeitungsvorrichtung 5 und des Inertialsensors 6 zu gemeinsamen Datenpaketen verarbeitet und zur weiteren Verarbeitung, beispielsweise über ein Bussystem oder drahtlos zur der Verarbeitungsvorrichtung 9 weitergeleitet. Der optische Sensor 4 und die Verarbeitungseinrichtung 5 können auch zu einem Bauteil zusammengefasst sein.
In 3 erkennt man in der Aufsicht auf das Ausführungsbeispiel der Kamera 2a das Gehäuse 8 die Linse 3 und die Lage der Symmetrieachse S.
In 4 erkennt man die Rückansicht der Kamera 2a das Gehäuse 8 der Kamera 2a und die Lage der Kamera 2a zum Horizont H. Der Inertialsensor 6 ermittelt vorzugsweise sowohl die Lage der Symmetrieachse S in Bezug auf die Fahrtrichtung, beispielsweise als ersten Orientierungswinkel, die Lage der Symmetrieachse S in Bezug auf die horizontale als zweiten Orientierungswinkel und die Lage der Kamera in Bezug auf den Horizont H als dritten Orientierungswinkel. Somit kann der Inertialsensor 6 alle drei möglichen Freiheitsgrade der Kamera aufnehmen. Es ist auch möglich, dass der Inertialsensor 6 nur zwei oder auch nur einen Freiheitsgrad bestimmen kann, dann wirkt sich aber die Reduzierung des erforderlichen Rechenaufwandes nicht so stark aus.
In 5 werden zunächst die jeweiligen Messergebnisse 10a und 10b der jeweiligen Inertialsensoren 6 der einzelnen Kameras 2a und 2b bereitgestellt. In einem ersten Schritt 11 werden die Orientierungswinkel der jeweiligen Kamera 2a bzw. 2b bestimmt. In einem zweiten Schritt 12 werden die Orientierungswinkel der Kameras 2a und 2b verwendet, um relative Winkel zwischen den benachbarten Kameras 2a und 2b zu bestimmen. In einem dritten Schritt werden vorzugsweise die relativen Winkel zwischen den Kameras 2a und 2b in einem Speicher gespeichert. Das vorbeschriebene Verfahren wird vorzugsweise auch für die benachbarten Kameras 2b und 2c, 2c und 2d und 2d und 2a verwendet. Bei dem in 6 dargestellten Verfahrensablauf werden auch zunächst die Messergebnisse 10a und 10b der jeweiligen Inertialsensoren 6 der jeweiligen Kamera 2a bzw. 2b bereitgestellt und in einem ersten Schritt 11 die Orientierungswinkel der ersten Kameras 2a und 2b ermittelt, in einem zweiten Schritt 12 die relativen Winkel zwischen den Kameras 2a und 2b bestimmt und in einem vierten Schritt 14 die bereits in einem vorherigen Verfahren ermitteln und abgespeicherten relativen Winkel zwischen den beiden benachbarten Kameras 2a und 2d verglichen. Wenn sich die ermittelten relativen Winkel von den bereits zuvor gespeicherten relativen Winkeln der Kameras unterscheiden, werden in einem fünften Schritt entweder eine Neukalibration gestartet und/oder ein Warnsignal ausgegeben. Wenn sich die relativen Winkel beispielsweise nur geringfügig geändert haben, kann durch eine Neukalibrierung die Funktionsweise der benachbarten Kameras und somit des Surround-View-Systems insgesamt ohne eine Neuaus- richtung der Kameras hergestellt werden. Sind die relativen Winkel in den benachbarten Kameras jedoch so stark verändert worden, dass die Kameras die Umgebung des Kraftfahrzeugs nicht mehr richtig aufnehmen können, wird ein Warnsignal ausgegeben, damit die Kameras zunächst manuell neu ausgerichtet werden können, bevor dann eine erneute Bestimmung der relativen Winkel der benachbarten Kameras erfolgt. Eine entsprechende Überwachung der Kalibrierung findet auch zwischen den sonstigen benachbarten Kameras statt.
In 7 werden die Bilddaten Ba der Kamera 2a und die Bilddaten Bb der Kamera 2b in einem sechsten Schritt 16 zusammen mit den relativen Winkeln zwischen den Kameras 2a und 2b, die im dritten Schritt abgespeichert wurden, verwendet, um sie in einem sechsten Schritt 16 zu einem gemeinsamen Bild zusammenzusetzen. Diese Vorgehensweise wird auch bei den übrigen benachbarten Kameras durchgeführt und die so erhaltenen Bilder dann zu einem gemeinsamen Bild zusammengefasst, so dass eine vollständige Darstellung der Umgebung des Kraftfahrzeuges erreicht wird.
Bei dem Ausführungsbeispiel eines Verfahrens zur Überwachung der Kalibrierung in einer Kamera werden in 8 die von dem Inertialsensor 6 der Kamera 2a gelieferten Beschleunigungswerte in einem siebten Schritt 17 dynamisch gefiltert und diese dynamisch gefilterten Beschleunigungswerte in einem achten Schritt mit einem vorgegebenen Beschleunigungswert verglichen. Bei einem Überschreiten des vorgegebenen Beschleunigungswertes wird in einem neunten Schritt ein Alarmsignal ausgegeben und/oder eine Neukalibrierung der Kameras gestartet. Der vorgegebene Beschleunigungswert kann beispielsweise so bemessen werden, dass er die üblichen in dem Fahrzeug auftretenden Beschleunigungen umfasst und dann noch keine Warnsignale ausgegeben werden, sondern erst dann, wenn diese Beschleunigungswerte überhöht sind, das heißt dass diese Beschleunigungswerte nicht durch die normale Bewegung des Fahrzeugs verursacht wurden, sondern durch ein Ereignis, wie beispielsweise das Auftreffen eines Astes eines Baumes oder eines Verkehrsschildes und dadurch die Lage der betreffenden Kamera verändert wurde. Auch hier ist eine Neukalibrierung der betreffenden Kameras angeraten. Diese Überwachung der Kameras ist nicht nur auf die Kamera 2a beschränkt, sondern sollte vorzugsweise für alle am Fahrzeug vorhandenen Kameras verwendet werden.

Claims

Verfahren zur Kalibrierung von zwei oder mehreren Kameras (2a, 2b, 2c, 2d), wobei die Kameras (2a, 2b, 2c, 2d) mit einem Gehäuse (8) zur Aufnahme der Umgebung eines Kraftfahrzeuges (1) zur Verwendung in einem Kraftfahrzeug-Surround-View-System vorgesehen sind, wobei mittels der Kameras (2a, 2b, 2c, 2d) Bilddaten der Umgebung des Kraftfahrzeuges generierbar sind und eine erste Schnittstelle (7) vorhanden ist, über die die Bilddaten der jeweiligen Kamera (2a, 2b, 2c, 2d) zur weiteren Verarbeitung außerhalb des Gehäuses weiterleitbar sind, wobei jede Kamera (2a, 2b, 2c, 2d) einen Intertialsensor (6) aufweist, der innerhalb des Gehäuses (8) angeordnet ist und die Daten des Inertialsensors (6) über die erste Schnittstelle (7) oder eine zweite Schnittstelle zur weiteren Verarbeitung außerhalb des Gehäuses (6) weiterleitbar sind dadurch gekennzeichnet, dass in einem ersten Schritt (11) Orientierungswinkel der einzelnen Kameras mittels des jeweiligen Inertialsensors (6) bestimmt werden, dass in einem zweiten Schritt (12) die Orientierungswinkel der Kameras (2a, 2b, 2c, 2d) verwendet werden, um relative Winkel zwischen den benachbarten Kameras zu bestimmen.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass in einem dritten Schritt (13) die relativen Winkel zwischen den Kameras (2a, 2b, 2c, 2d) in einem Speicher gespeichert werden.
Verfahren nach Patentanspruch 2, dadurch gekennzeichnet, dass der erste und zweite Schritt (11, 12) während eines Betriebes des Kraftfahrzeuges (1) wiederholt werden und dass die so erhaltenen relativen Winkel in einem vierten Schritt (14) mit den in dem Speicher abgelegten relativen Winkeln verglichen werden und bei Abweichungen der neu ermittelten relativen Winkel mit den im Speicher abgelegten relativen Winkeln in einem fünften Schritt (15) entweder eine Neukalibrierung nach Anspruch 5 oder 6 gestartet wird und/oder ein Warnsignal (20) ausgegeben wird.
Verfahren nach Patentanspruch 3, dadurch gekennzeichnet, dass in einem sechsten Schritt (16) die relativen Winkel der Kameras verwendet werden, um die von benachbarten Kameras (2a, 2b, 2c, 2d) aufgenommenen Bilder zu einem gemeinsamen Bild zusammenzusetzen.
Verfahren zur Überwachung der Kalibrierung einer Kamera nach Anspruch 4, dadurch gekennzeichnet, dass in einem siebten Schritt (17) die von dem Inertialsensor (6) gelieferten Beschleunigungswerte dynamisch gefiltert werden, dass in einem achten Schritt (18) die gefilterten Beschleunigungswerte mit einem vorgegebenen Beschleunigungswert verglichen werden und in einem neunten Schritt (19) beim Überschreiten des vorgegebenen Beschleunigungswertes ein Alarmsignal (20) ausgegeben und/oder eine Neukalibrierung (21) der Kameras (2a, 2b, 2c, 2d) gestartet wird.