DE102015209764A1

DE102015209764A1 - Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs

Info

Publication number: DE102015209764A1
Application number: DE102015209764.1A
Authority: DE
Inventors: Günter Bauer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-05-28
Filing date: 2015-05-28
Publication date: 2016-12-01

Abstract

Die extrinsische Kalibrierung einer Bilderfassungseinrichtung bei einem stehenden Fahrzeug ist bisher nicht ausreichend gelöst.
Erfindungsgemäß wird das Problem gelöst, durch eine Vorrichtung zur Bestimmung der extrinsischen Parameter einer Bilderfassungseinrichtung (21), umfassend:
– eine Speichereinrichtung (31);
– mindestens eine Bilderfassungseinrichtung (21), die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs (10) zu erfassen;
– eine Identifikationseinrichtung (32);
– eine Vergleichseinrichtung (34); und
– eine Kalibriereinrichtung (33),
wobei
– in der Speichereinrichtung (31) mindestens ein Fahrzeugmerkmal (16, 17) und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17) gespeichert sind;
– die Identifikationseinrichtung (32) dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) zu identifizieren;
– die Vergleichseinrichtung (34) dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und
– die Kalibriereinrichtung (33) auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung (21) bestimmt.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs, insbesondere eines Pkw und insbesondere die Bestimmung von extrinsischen Kameraparametern.
Moderne Pkw sind üblicherweise mit einer Vielzahl von Kameras ausgestattet. Diese Kameras können sich z.B. in der Schürze der vorderen Stoßstange, in den Seitenspiegeln oder in der Heckklappe befinden. Die Kameras ermöglichen es, dass dem Fahrer z.B. bei einer Rückwärtsfahrt eine Bildanzeige im Cockpit angezeigt wird, die die Umgebung hinter dem Fahrzeug zeigt. Auch ist es möglich, die Bilder der einzelnen Kameras zusammenzufügen, um so eine Rundumsicht des Fahrzeugs bereitzustellen. Solche Rundumsichtsysteme können dem Fahrer z.B. eine Draufsicht auf das Fahrzeug zeigen, wobei die Umgebung des Fahrzeugs mit angezeigt wird. Dies ermöglicht ein sicheres Navigieren des Fahrzeugs, auch in sonst unübersichtlichen Situationen.
Für das Zusammensetzen der Einzelbilder in einem Rundumsichtsystem ist es notwendig, dass die Kameras korrekt kalibriert sind. Eine unzureichende Kalibrierung kann u.a. dazu führen, dass es an den Übergängen der einzelnen Bilder zu Ungenauigkeiten bzw. zu Doppelbildern kommen kann.
Die zu bestimmenden Parameter der Kameras werden in extrinsische und intrinsische Kameraparameter unterteilt. Die intrinsischen Kameraparameter umfassen u.a. die Brennweite und die x- und y-Werte des Bildmittelpunkts. Diese Parameter können im Werk während der Produktion kalibriert werden.
Die intrinsischen Parameter der Kameras werden zum Beispiel dazu verwendet, eine bei Fischaugenoptiken auftretende Verzerrung des Bildes zu beseitigen, um dem Fahrer ein natürliches Umgebungsbild anzeigen zu können.
Die extrinsischen Kameraparameter hingegen geben die Position der Kamera im Raum an. Diese Position kann durch eine „Pose“ ausgedrückt werden.
Unter einer Pose ist eine Kombination der Position und Orientierung im Raum zu verstehen. Die Orientierung im Raum definiert sich durch einen Winkelversatz der Koordinatenachsen eines um die translatorischen Parameter verschobenen Koordinatensystems bezüglich eines Basiskoordinatensystems, z.B. eines Fahrzeugkoordinatensystems. Eine Pose umfasst somit eine translatorische und eine rotatorische Komponente. Eine Pose kann im dreidimensionalen Raum als ein 6D Vektor ausgedrückt werden.
Ebenso wie die intrinsischen Kameraparameter können auch die extrinsischen Kameraparameter im Werk bestimmt werden.
Während sich jedoch die intrinsischen Kameraparameter im Laufe des Lebenszyklus einer Kamera in der Regel nicht ändern, sind die extrinsischen Kameraparameter vielen externen Einflüssen und somit auch Schwankungen unterworfen.
So können u.a. mechanische oder thermische Belastungen dazu führen, dass sich die Ausrichtung und/oder Position der Kameras ändert. Solch eine Änderung der Pose der Kameras führt dazu, dass Fahrerassistenzsysteme, wie z.B. ein Rundumsichtsystem, nicht optimal funktionieren.
Um diesem Umstand zu begegnen, ist es heute üblich, dass die extrinsischen Kameraparameter während einer Fahrt des Fahrzeugs neu bestimmt werden.
Bei einem gängigen Verfahren werden Umgebungsmerkmale während der Fahrt des Fahrzeugs durch eine Kamera beobachtet. So kann z.B. eine längere Beobachtung der Fahrstreifen einer Fahrbahn verwendet werden, um eine Kalibrierung vorzunehmen.
Mit Hilfe eines in einem Fahrzeugcomputer gehaltenen Fahrzeugmodells, welches alle relevanten Parameter, wie z.B. die aktuelle Geschwindigkeit des Fahrzeugs oder den aktuellen Lenkeinschlag umfasst, kann eine Vorhersage darüber getroffen werden, in welche Richtung und um welche Distanz sich die Merkmale am Boden bewegen werden. Liegt eine Abweichung der Vorhersage und einer Messung vor, können Rückschlüsse auf die aktuelle Pose der Kamera gezogen werden. Somit können die extrinsischen Parameter bestimmt werden.
Das beschriebene Verfahren ist fehleranfällig.
Darüber hinaus ist es notwendig, dass die Kameras das Merkmal über einen längeren Zeitraum hin beobachten, damit die extrinsischen Kameraparameter zu bestimmten Werten hin konvergieren können und somit der Fehler minimiert wird. Fahrerassistenzsysteme eines Fahrzeugs müssen jedoch häufig bereits direkt beim Starten des Motors optimal funktionieren, um z.B. ein sicheres und eventuell komplett automatisiertes Ausparken zu ermöglichen.
Ein weiterer Nachteil des beschriebenen Verfahrens ist, dass nur die translatorischen Parameter der Kameras eindeutig bestimmt werden können, nicht jedoch die rotatorischen. Dies kann zu der bereits beschriebenen Ungenauigkeit der Fahrerassistenzsysteme führen.
Ausgehend von diesem Stand der Technik stellt sich die Aufgabe, eine Vorrichtung oder ein Verfahren bereitzustellen, welches die vorgenannten Nachteile ausräumt. Insbesondere soll eine Vorrichtung geschaffen werden, die (sämtliche) extrinsische Parameter einer Kamera bestimmt.
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 13 gelöst.
Insbesondere wird die Aufgabe durch eine Vorrichtung gelöst, welche umfasst:

– eine Speichereinrichtung;
– mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs zu erfassen;
– eine Identifikationseinrichtung;
– eine Vergleichseinrichtung; und
– eine Kalibriereinrichtung.

In der Speichereinrichtung sind erfindungsgemäß mindestens ein Fahrzeugmerkmal und eine Soll-Position des mindestens einen Fahrzeugmerkmals gespeichert. Die Identifikationseinrichtung ist dazu ausgebildet, eine Ist-Position des mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild des Fahrzeugs zu identifizieren.
Die Vergleichseinrichtung ist dazu ausgebildet, die Ist-Position mit der Soll-Position zu vergleichen. Weiter ist die Kalibriereinrichtung dazu ausgebildet, auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen.
Die Bilderfassungseinrichtungen eines Fahrzeugs sind in vielen Modellen so eingebaut, dass sie einen Teil des Fahrzeugs mit erfassen. So kann eine in einen Rückspiegel eingebaute Kamera die Räder, sowie weitere Bereiche der Karosserie mit erfassen. Bei einer in der Frontschürze verbauten Kamera werden in vielen Fällen Teile der Frontschürze mit aufgenommen. Bei Rückfahrkameras und Rundumsichtkameras werden in der Regel Fischaugenoptiken verbaut, die immer die Kontur des Eigenfahrzeugs mit aufnehmen.
Die Ist-Position eines in einer Speichereinrichtung gespeicherten mindestens einen Fahrzeugmerkmals kann nun in dem von der mindestens einen Bilderfassungseinrichtung erfassten Bild identifiziert werden.
Ein solches mindestens ein Fahrzeugmerkmal kann zum Beispiel ein Rad, ein Teil der Radkappe oder eine Kontur der Fahrzeugkarosserie sein. Im Rahmen dieser Anmeldung wird davon ausgegangen, dass eine Kontur eine geschlossene Kurve aber auch eine nicht geschlossene Kurve darstellen kann. Diese Kurve kann gekrümmt oder auch nicht gekrümmt sein. Die Kontur kann auch Bereiche enthalten, die einem Knick entsprechen, wie zum Beispiel eine Ecke.
Wenn die Ist-Position des Fahrzeugmerkmals identifiziert ist, kann eine in der Speichereinrichtung gespeicherte Soll-Position des Fahrzeugmerkmals mit der gemessenen Ist-Position des Fahrzeugmerkmals in dem erfassten Bild der Bilderfassungseinrichtung verglichen werden. Auf Basis der Abweichung der Positionen der Merkmale ist es möglich, die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen.
Die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung können zum Beispiel durch eine perspektivische Transformation gefunden werden, die das mindestens einen Fahrzeugmerkmal so transformiert, dass das transformierte mindestens eine Fahrzeugmerkmal mit dem gespeicherten mindestens einen Fahrzeugmerkmal in Deckung liegt.
Die Vorteile der vorliegenden Erfindung liegen in einer einfachen und schnellen Bestimmung der extrinsischen Kameraparameter. Auch ist es nicht notwendig, zusätzliche Marker oder ähnliche Komponenten an dem Fahrzeug zur Kalibrierung der Bilderfassungseinrichtungen anzubringen. Darüber hinaus kann die Kalibrierung im Stand durchgeführt werden, so dass die Bilderfassungseinrichtungen vor Fahrtantritt kalibriert sind. Des Weiteren werden alle extrinsischen Parameter bestimmt, was eine hohe Genauigkeit der Kalibrierung gewährleistet.
In einer weiteren Ausführungsform kann das mindestens eine Fahrzeugmerkmal eine geometrische Struktur repräsentieren, insbesondere zumindest eine Kontur, zumindest eine Kante oder zumindest eine Ecke des Fahrzeugs oder eine Kombination aus diesen.
Ein Vorteil, das mindestens eine Fahrzeugmerkmal als eine geometrische Struktur zu wählen, liegt darin, dass keine weiteren Elemente an dem Fahrzeug, wie z.B. Marker, angebracht werden müssen. Des Weiteren ist es von Vorteil, eine Kombination aus verschiedenen geometrischen Fahrzeugmerkmalen zu wählen, um eine hohe Genauigkeit bei der Bestimmung der extrinsischen Parameter zu erreichen. Weiterhin ist es von Vorteil eine Kontur und mindestens eine Ecke zu verwenden, da Ecken und Konturen sehr schnell und effizient in Bildern gefunden werden können. Weiterhin ist es damit möglich, die Orientierung eindeutig zu bestimmen.
Ecken eignen sich besonders gut als Merkmale, da bei Ecken eine Änderung des Gradienten in alle Richtungen sehr groß ist. Sie geben also charakteristische Bildbereiche an, die sich in weiteren Bildern leicht wiederfinden lassen.
In einer Ausführungsform der Erfindung kann das mindestens eine Fahrzeugmerkmal eine Ecke betreffen, wobei eine Position und eine Ausrichtung der Ecke in der Speichereinrichtung gespeichert sind.
Weitere Vorteile ergeben sich, wenn möglichst wenig Fahrzeugmerkmale gespeichert werden, die jedoch bereits alle notwendigen Informationen zur Bestimmung der extrinsischen Parameter bereitstellen. So ist es von Vorteil, zu einer Ecke eine Ausrichtung zu speichern, da somit auch eine Rotation bestimmt werden kann.
In einer Ausführungsform kann das mindestens eine Fahrzeugmerkmal durch eine Matrix repräsentiert sein, die eine Ecke beschreibt, wobei die Matrix insbesondere einen Skalierungs-Invarianten-Merkmals-Deskriptor („SIFT Descriptor“) oder einen Multiscale-Oriented-Patches-Descriptor („MOPS Descriptor“) repräsentiert.
Weitere Vorteile ergeben sich, wenn eine Ecke als eine Matrix repräsentiert wird, die die Ecke beschreibt. So ist es möglich eine Darstellung zu wählen, die geometrisch invariant ist, zum Beispiel gegenüber Rotationen und Skalierung. Die Wahrscheinlichkeit eines erfolgreichen Identifizierens der Ecke in dem erfassten mindestens einen Umgebungsbild wird somit erhöht.
In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, einen Verlauf einer Kontur des Fahrzeugs in dem mindestens einen Umgebungsbild zu identifizieren und basierend auf dem Verlauf der Kontur die Ist-Position einer Ecke als das mindestens eine Fahrzeugmerkmal zu identifizieren.
Konturen eines Fahrzeugs können durch Kantenerkennung mit bekannten Verfahren identifiziert werden. Es ist von Vorteil, ausgehend von einem identifizierten Verlauf einer Kontur, eine Ecke zu identifizieren. Hierzu kann zum Beispiel angenommen werden, dass sich die zu identifizierende Ecke an einem Ende des Verlaufs befindet. Solch ein Vorwissen kann ohne weiteres vorausgesetzt werden, da die Fahrzeuggeometrie bekannt ist. Dieses beschleunigt das Identifizieren des mindestens einen Fahrzeugmerkmals und somit kann die extrinsische Kalibrierung der mindestens einen Bilderfassungseinrichtung schneller abgeschlossen werden.
In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, die Identifikation der Ist-Position des mindestens einen Fahrzeugmerkmals auf Basis eines vorher bestimmten Teilausschnittes des Umgebungsbildes durchzuführen.
Es ist von Vorteil, den Bereich der zur Identifikation verwendet wird, zu verkleinern, um eine erhöhte Bearbeitungsgeschwindigkeit zu ermöglichen. Bei einem Einbau von Bilderfassungseinrichtungen an einem Pkw kann zum Beispiel angenommen werden, dass die Fehler der extrinsischen Parameter in bestimmten Intervallen liegen. Somit ist es möglich, den Bildausschnitt zu bestimmen, in dem das mindestens eine Fahrzeugmerkmal erwartet werden kann.
In einer Ausführungsform kann die mindestens eine Bilderfassungseinrichtung eine Fischaugenoptik aufweisen, die einen Blickwinkel von größer 90 Grad, insbesondere Größer 170 Grad aufweist.
Die Verwendung einer Fischaugenoptik hat den Vorteil, dass ein größerer Teil des Fahrzeugs erfasst wird. Somit ist es auch möglich, mehrere Fahrzeugmerkmale zu erfassen, was zu einer erhöhten Genauigkeit der extrinsischen Kalibrierung führt.
In einer Ausführungsform kann in der Speichereinrichtung ein erstes Fahrzeugmerkmal mit einer hohen Priorität und ein zweites Fahrzeugmerkmal mit einer niedrigen Priorität gespeichert sein. Die Identifikationseinrichtung kann dazu ausgebildet sein, festzustellen, ob das erste Fahrzeugmerkmal in dem mindestens einen Umgebungsbild des Fahrzeugs liegt. In dem Fall, in dem das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild des Fahrzeugs liegt, kann die Identifikationseinrichtung dazu ausgebildet sein, festzustellen, ob das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt. In dem Fall, in dem das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt, kann die Identifikationseinrichtung die Ist-Position des zweiten Fahrzeugmerkmals in dem mindestens einen Umgebungsbild identifizieren.
Es ist also möglich, dass die Speichereinrichtung zwei Fahrzeugmerkmale speichert, wobei einem Fahrzeugmerkmal eine hohe und einem zweiten Fahrzeugmerkmal eine niedrige Priorität zugewiesen sein kann. Die Identifikationseinrichtung kann nun zunächst das erste Fahrzeugmerkmal aufgrund der hohen Priorität auswählen. Ist das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild auffindbar, so kann die Identifikationseinrichtung das zweite Fahrzeugmerkmal verwenden. Zusätzlich oder alternativ können für jedes oder einige Merkmale bezüglich deren Identifikation Konfidenzniveaus gespeichert werden.
Diese Ausführungsform hat den Vorteil, dass das Verfahren robuster wird. Zum Beispiel ist es möglich, dass ein Fahrzeugmerkmal aufgrund von Verschmutzung nicht und/oder nicht zuverlässig auffindbar ist und somit ein zweites Fahrzeugmerkmal herangezogen werden muss. Die Vorrichtung ist damit auch bei schwierigen äußeren Bedingungen noch einsatzfähig. Darüber hinaus ist es möglich, eine Rückmeldung an den Fahrer zu geben, dass einzelne Merkmale nicht identifizierbar sind. Dieser hat dann die Möglichkeit, sein Fahrzeug zu überprüfen und eventuelle Verunreinigungen zu entfernen.
In einer Ausführungsform kann die Kalibriereinrichtung dazu ausgebildet sein, die extrinsischen Parameter mit Hilfe der Methode der kleinsten Quadrate zu bestimmen. Vorteile in der Verwendung der Methode der kleinsten Quadrate bestehen darin, dass für diese sehr schnelle Algorithmen zur Verfügung stehen.
Die genannte Aufgabe wird auch durch ein Fahrzeug gelöst, welches eine Vorrichtung zur Bestimmung der extrinsischen Kameraparameter der mindestens einen Bilderfassungseinrichtung umfasst, wie sie vorstehend beschrieben ist. Dabei kann das Fahrzeug die mindestens eine Bilderfassungseinrichtung umfassen und die mindestens eine Bilderfassungseinrichtung kann so ausgerichtet sein, dass das mindestens eine Umgebungsbild die Umgebung des Fahrzeugs und einen Teil des Fahrzeugs abbildet.
Das Fahrzeug weist ähnliche oder identische Vorteile auf, wie sie in Verbindung mit der Vorrichtung beschrieben sind.
In einer Ausführungsform kann das Fahrzeug eine Schätzeinrichtung umfassen, die auf Basis der Ist-Position des mindestens einen Fahrzeugmerkmals die Distanz zwischen der Ist-Position des mindestens einen Fahrzeugmerkmals und dem höchsten Punkt einer Radfelge des Fahrzeugs schätzt.
Es ist somit möglich, eine Höhenschätzung individuell für jedes Rad des Fahrzeugs durchzuführen. Dies kann unter anderem dazu verwendet werden, die gemessenen Höhenwerte von an den Rädern montierten Höhenstandsensoren zu validieren und so fehlerhaft-arbeitende Sensoren zu erkennen.
In einer Ausführungsform kann das Fahrzeug ein Fahrerassistenzsystem umfassen, welches unter Verwendung der mindestens einen Bilderfassungseinrichtung und der extrinsischen Parameter, Steuersignale für einen Aktuator erzeugt, wobei der Aktuator vorzugsweise umfasst:

– Bremsen;
– Lenkvibrationsmotor;
– Signalleuchte; oder
– Seitenspiegelstellmotor.

Eine Bilderfassungseinrichtung, die mit einer vorstehend beschriebenen Vorrichtung kalibriert wurde, kann in einem Fahrerassistenzsystem verwendet werden, welches Steuersignale an Aktuatoren sendet. Ein Vorteil besteht darin, dass das Fahrerassistenzsystem mit sehr genau kalibrierten Bilderfassungssystemen arbeitet und daher über eine größere Konfidenz in die ihr Verhalten beeinflussende Daten verfügt. Es ist somit möglich, dass das Fahrzeug auch sicherheitskritische Funktionen über Fahrerassistenzsysteme sicher realisiert, wie z.B. ein automatisches Ausparken.
Des Weiteren wird die Aufgabe durch ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs gelöst, umfassend die folgenden Schritte:

– Erfassung mindestens eines Umgebungsbildes des Fahrzeugs durch mindestens eine Bilderfassungseinrichtung;
– Identifizieren einer Ist-Position eines mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild;
– Vergleichen der Ist-Position mit einer in einer Speichereinrichtung gespeicherten Soll-Position des mindestens einen Fahrzeugmerkmals;
– extrinsisches Kalibrieren der mindestens einen Bilderfassungseinrichtung auf Basis der bestimmten Abweichung.

In einer Ausführungsform kann das Identifizieren ein Einschränken auf einen vorher bestimmten Ausschnitt des Umgebungsbildes umfassen, auf dessen Basis das Identifizieren der Ist-Position des mindestens einen Fahrzeugmerkmals durchgeführt werden kann.
Es ergeben sich ähnliche oder identische Vorteile, wie dies bereits in Verbindung mit der Vorrichtung beschrieben wurde.
In einer Ausführungsform kann das Verfahren während einer Fahrt des Fahrzeugs durchgeführt werden.
Das beschriebene Verfahren kann während der Standzeit eines Fahrzeugs aber auch während der Fahrt verwendet werden. Das Kalibrieren während der Fahrt hat den Vorteil, dass eine permanente Überprüfung der bestimmten extrinsischen Parameter vorgenommen werden kann. Somit kann zu jedem Zeitpunkt gewährleistet werden, dass die mindestens eine Bilderfassungseinrichtung optimal arbeitet.
Des Weiteren kann das Verfahren in einem Rundumsicht-System eines Fahrzeugs verwendet werden.
Für ein Rundumsicht-System ist es notwendig, erfasste Umgebungsbilder von verschiedenen Bilderfassungseinrichtungen zu einem einzigen Bild zu kombinieren. Dabei kommt es bei einer unzureichenden extrinsischen Kalibrierung der Bilderfassungseinrichtungen zu Überlappungen und verzerrten Darstellungen in den Randbereichen der Einzelbilder. Dies kann dazu führen, dass der Fahrer eines Fahrzeugs Hindernisse nicht erkennen kann. Eine verbesserte extrinsische Kalibrierung führt somit zu einer erhöhten Sicherheit des Fahrzeugs und trägt somit zum Schutz der Verkehrsteilnehmer bei.
Die erfindungsgemäße Aufgabe wird des Weiteren durch ein computerlesbares Speichermedium gelöst, das ausführbare Instruktionen aufweist, welche einen Computer dazu veranlassen, ein Verfahren nach einem der vorhergehend beschriebenen Verfahren zu implementieren, wenn die Instruktionen ausgeführt werden.
Nachfolgend wird die Erfindung mittels mehrerer Ausführungsbeispiele beschrieben, die anhand von Abbildungen näher erläutert werden. Hierbei zeigen:
1 eine Draufsicht auf ein Fahrzeug mit mehreren Kameras;
2 die Pose einer Kamera in einem Basiskoordinatensystem;
3 eine Vorderansicht des Fahrzeugs mit Fahrzeugmerkmal;
4 eine Seitenansicht des Fahrzeugs mit Seitenkamera und Fahrzeugbegrenzung;
5 eine perspektivische Transformation eines Objekts;
6 eine schematische Ansicht eines Bordcomputers;
7 schematische Darstellung einer Verwendung der Erfindung in einem Assistenzsystem zum automatischen Ausparken.
In der nachfolgenden Beschreibung werden für gleiche und gleichwirkende Teile dieselben Bezugsziffern verwendet.
1 zeigt eine schematische Draufsicht auf ein Fahrzeug 10, welches mit vier Bilderfassungseinrichtungen 21 ausgestattet ist. Die Bilderfassungseinrichtungen 21 erfassen jeweils einen Teil der Fahrzeugumgebung 15 und leiten diesen an einen Bordcomputer 30 weiter. In einer ersten Ausführungsform sind alle Bilderfassungseinrichtungen 21 als Videokameras 21 mit Fischaugenobjektiven ausgebildet, so dass der Blickwinkel > 160° ist. Somit werden auch Teile des Fahrzeugs 10 mit aufgenommen.
So erfassen zum Beispiel die rechte Seitenkamera 21 und die linke Seitenkamera 21 jeweils ein Vorder- und Hinterrad 12, einen Teil der Karosserie sowie einen Teil jeweils einer Seitentür. Die vordere Kamera 21 ist so gerichtet, dass sie einen Teil der Frontschürze mit erfasst.
In dem Fahrzeug 10 ist ein Fahrzeugzentrum 13 definiert, das den Ursprung eines Basiskoordinatensystems X, Y, Z bildet. Bezüglich dieses Basiskoordinatensystems X, Y, Z wird die extrinsische Kalibrierung der Kameras 21 durchgeführt.
Ein optimaler Einbau der Kameras 21 wird als bekannt angenommen, zum Beispiel aus Konstruktionszeichnungen. Da der optimale Einbau der Kameras 21 bekannt ist, sind auch optimale extrinsische Parameter der Kameras 21 bekannt. Die Pose des optimalen Einbaus einer Kamera 21 wird im Folgenden mit Soll-Pose bezeichnet.
2 ist eine Darstellung des Basiskoordinatensystems X, Y, Z, welches in dem Fahrzeugzentrum 13 aufgespannt wird, sowie des Kamerakoordinatensystems X‘, Y‘, Z‘, welches in der rechten Seitenkamera 21 aufgespannt wird. Die zu bestimmenden extrinsischen Parameter der rechten Seitenkamera 21 umfassen:

– die Position relativ zu dem Fahrzeugzentrum 13; und
– die Orientierung des Koordinatensystems X‘, Y‘, Z‘ relativ zu dem Basiskoordinatensystem X, Y, Z.

Die extrinsischen Parameter umfassen demnach eine Raumkoordinate (mit drei Werten), sowie drei Winkel.
3 zeigt eine Vorderansicht des Fahrzeugs 10. In dem rechten Außenspiegel 11 ist eine Kamera 21 verbaut, die ein Umgebungsbild des Fahrzeugs 10 erfasst. Wie durch die gestrichelte Linie in 3 angedeutet, wird auch die Fahrzeugbegrenzung 16 und ein Rad 12 miterfasst.
4 zeigt dieses deutlich. In der 4 ist die rechte Seitenkamera 21 des Fahrzeugs 10 gezeigt. Gestrichelte Linien von der Seitenkamera 21 ausgehend deuten den erfassten Bildausschnitt an. 4 zeigt auch, dass die Fahrzeugbegrenzung 16 zwischen den Rädern 12 im Wesentlichen gerade verläuft und an den Rädern 12 einen Knick 17 macht. Dieser Knick 17 kann in einem erfassten Bild der rechten Seitenkamera 21 als eine Ecke 17 interpretiert werden.
Aufgrund der bekannten Fahrzeuggeometrie und der bekannten Soll-Pose der rechten Seitenkamera 21, kann ein Referenzbild des Bildausschnittes vor Auslieferung des Fahrzeugs generiert werden. In einer Ausführungsform ist es möglich, dass solch ein Bild virtuell bei der Konstruktion gerendert wird. In dem Referenzbild kann nun die Soll-Position einzelner Fahrzeugmerkmale 16, 17 bestimmt werden.
Fahrzeugmerkmale 16, 17 sind vorzugsweise charakteristische Merkmale, die sich von ihrer Umgebung unterscheiden. Zum Beispiel weist die Fahrzeugbegrenzung 16 in einer Graubilddarstellung einen sehr charakteristischen Gradienten der Pixelintensität auf. Das bedeutet, dass sich die Intensitätswerte der Pixel des Bildes beim Übergang über die Fahrzeugbegrenzung 16 stark ändern. Die Fahrzeugbegrenzung 16 weist solch einen charakteristischen Gradienten jedoch nur in eine Richtung auf. Diese Richtung verläuft quer zu dem Verlauf der Fahrzeugbegrenzung 16.
Ecken 17 eines Bildes sind auch sehr charakteristisch, da auch bei Ecken 17 eine starke Änderung der Intensität zu beobachten ist. Bei Ecken 17 ist diese jedoch in alle Richtungen zu beobachten.
Die Fahrzeugbegrenzung 16 kann in einem 2D Bild der Kamera 21 als eine Kontur 16 interpretiert werden. In der ersten Ausführungsform verläuft die Kontur 16 zwischen dem Vorder- und Hinterrad 12 im Wesentlichen gerade.
Die Kontur 16 kann als geordnete Liste von Punkten gespeichert sein, wobei angenommen werden kann, dass das erste Element der Liste die Position der Kontur 16 angibt. In weiteren Ausführungsformen ist eine andere Repräsentation einer Kontur 16 denkbar, wie zum Beispiel durch einen Start- und einem Endpunkt. Dies ist insbesondere von Vorteil, wenn die Kontur 16 gerade verläuft.
Eine Ecke 17 kann in der der ersten Ausführungsform als ein Punkt mit einer Orientierung gespeichert sein. Hierbei kann die Orientierung zwei Vektoren umfassen, die die Ecke 17 aufspannen. Es ist also möglich die Ecke 17 in einem Array zu speichern, in dem die ersten zwei Elemente die X und Y Koordinaten der Ecke 17 in dem Bild angeben und 4 weitere Elemente die X und Y Anteile von zwei Vektoren angeben.
Eine Ecke 17 kann in weiteren Ausführungsformen auch als Merkmalsdeskriptor, wie zum Beispiel einem Skalierungs-Invarianten-Merkmalsdeskriptor („SIFT-Descriptor“) gespeichert sein. Hierbei wird eine quadratische Umgebung der Ecke gespeichert, wobei ein Darstellung über die Eigenvektoren gewählt wird, die gegenüber geometrischen Transformationen, wie zum Beispiel Rotationen, invariant ist. Dies hat den Vorteil, dass das Merkmal auch in stark verdrehten Bildern leicht wiedergefunden werden kann.
Die Kontur 16 ist in der Speichereinrichtung 31 mit einer Soll-Position gespeichert. Auch wird in der ersten Ausführungsform der Knick 17 der Fahrzeugbegrenzung 16 an dem Vorderrad 12 als eine Ecke 16 mit einer Soll-Position in einer Speichereinrichtung 31 gespeichert. Das Referenzbild selbst ist in der ersten Ausführungsform nicht notwendig.
Beim Anlassen des Fahrzeugs 10 wird in der ersten Ausführungsform eine extrinsische Kalibrierung der Kameras 21 des Fahrzeugs 10 veranlasst. Zur Bestimmung der extrinsischen Kameraparameter der Seitenkamera 21, erfasst die Seitenkamera 21 ein Umgebungsbild des Fahrzeugs 10. In der ersten Ausführungsform wird angenommen, dass die Abweichung der Ist-Pose der Seitenkamera 12 von der Soll-Pose klein ist. Es kann also angenommen werden, dass sich die vorher definierten Fahrzeugmerkmale 16, 17, die mit ihren Ist-Positionen in der der Speichereinrichtung 31 gespeichert sind, in dem erfassten Umgebungsbild befinden.
Es kann weiter angenommen werden, dass aufgrund der kleinen Abweichungen der Ist-Pose von der Soll-Pose der Seitenkamera 12 die ungefähre Position der Fahrzeugmerkmale 16, 17 in dem erfassten Umgebungsbild bekannt ist. Somit kann in weiteren Ausführungsformen der Suchbereich nach diesen Fahrzeugmerkmalen 16, 17 eingeschränkt werden.
Eine Identifikationseinrichtung 32 kann die Kontur 16 zum Beispiel auf Basis von Gradienten-basierten Verfahren, wie zum Beispiel dem Canny-Algorithmus, in dem erfassten Umgebungsbild detektiert werden. Die Ecke 17 kann in einer Ausführungsform zum Beispiel mit dem Harris Operator in dem Umgebungsbild detektiert werden.
Weiter stellt die Identifikationseinrichtung 32 in der ersten Ausführungsform sicher, dass es sich bei den in dem Umgebungsbild gefundenen Merkmalen 16, 17 um die vorher definierten Merkmale 16, 17 handelt.
In einer Ausführungsform wird das Korrespondenzproblem gelöst. Eine Möglichkeit, die Korrespondenzen paarweise aufzulösen, liegt darin, zunächst die Korrespondenz der Ecke 17 aufzulösen. In dem Fall, in dem die Ecke als SIFT-Deskriptor gespeichert ist, kann die Korrespondenz mit bekannten SIFT basierten Verfahren aufgelöst werden. Auch kann die räumliche Relation der Ecke 17 zu der Kontur 16 hin ausgenutzt werden, um die Korrespondenz der gefundenen Kontur 16 mit der gespeicherten Kontur 16 sicherzustellen.
Durch eine geänderte Pose der Seitenkamera 21 ändert sich auch die Perspektive der Kontur 16 und der Ecke 17. Es kommt also zu einer perspektivischen Verzerrung in dem erfassten Umgebungsbild. 5 zeigt exemplarisch, wie ein Objekt 9 exemplarisch von einem Ursprungsraum A in einen Zielraum B mit Hilfe einer Transformation T transformiert wird.
Eine Vergleichseinrichtung 34 vergleicht zu diesem Zweck die Ist-Position der gefundenen Fahrzeugmerkmale 16, 17 mit den Soll-Positionen der gespeicherten Fahrzeugmerkmale 16, 17.
Auf Basis der von der Vergleichseinrichtung 34 ermittelten Abweichung der Ist-Position von der Soll-Position, findet eine Kalibriereinrichtung 33 eine Transformationsfunktion T, deren Parameter die Parameter einer perspektivischen Transformation sind. Mit Hilfe der Methode der kleinsten Quadrate können die Parameter so bestimmt werden, dass der Fehler, also die Abweichung der Ist-Position von der Soll-Position der Fahrzeugmerkmale 16, 17, minimiert wird.
In weiteren Ausführungsformen sind hierzu weitere Methoden wie zum Beispiel „Random Sample Consensus (RANSAC)“ möglich. Weitere Verfahren aus dem Bereich der Bildregistrierung sind selbstverständlich in weiteren Ausführungsformen auch möglich.
Auf Basis der bekannten Fahrzeuggeometrie, der bekannten intrinsischen Kameraparameter und der gefundenen Transformationsfunktion T kann die Kalibriereinrichtung nun die extrinsischen Parameter der Seitenkamera 21 bestimmen und so die extrinsische Kalibrierung der Seitenkamera 21 vornehmen.
6 zeigt den Bordcomputer 30, der die Speichereinrichtung 31, die Identifikationseinrichtung 32 sowie die Kalibriereinrichtung 33 aufweist. Der Bordcomputer 30 wird in dieser Ausführungsform in das Fahrzeug 10 eingebaut und ermöglicht so die extrinsische Kalibrierung sämtlicher Kameras 21 im Stand und während der Fahrt des Fahrzeugs 10.
In einer weiteren Ausführungsform kann zur Bestimmung der extrinsischen Parameter eine Vielzahl von Fahrzeugmerkmalen 16, 17 mit einer jeweils unterschiedlichen Priorität versehen werden. Diese können in einer geordneten Liste in der Speichereinrichtung 31 zusammen mit ihren Soll-Positionen gehalten werden.
Zunächst wird das Fahrzeugmerkmal 16, 17 mit der höchsten Priorität zur Identifikation in dem erfassten Umgebungsbild des Fahrzeugs 10 herangezogen. Sollte die Identifikation der Ist-Position des Fahrzeugmerkmals 16, 17 fehlschlagen, z.B. weil der entsprechende Teil des Fahrzeugs 10 stark verschmutzt ist, so kann ein weiterer Versuch mit einem Merkmal 16, 17 mit geringerer Priorität gestartet werden.
Es ist somit auch möglich, dass Fahrzeugmerkmale 16, 17 durch die Angabe ihrer Priorität gruppiert werden. So wird versucht, die Ist-Positionen einer Gruppe von Fahrzeugmerkmalen mit gleicher Priorität zu bestimmen.
7 zeigt ein weiteres Fahrzeug 10, welches mit einem Fahrerassistenzsystem zum autonomen Ausparken ausgestattet ist. Der in dieser Ausführungsform verwendete Ausparkassistent verwendet unter anderem Umgebungsbilder, die von einer Videokameras 21 aufgenommen sind, die an dem Fahrzeug 10 verbaut sind.
In dem in 7 dargestellten Szenario soll das Fahrzeug 10 rückwärts der Pfeilbewegung folgen. Dafür ist es notwendig, virtuell eine dreidimensionale Repräsentation der Umgebung bereit zu stellen.
Da sich ein Ausparkassistent in unterschiedlichen Situationen entsprechend unterschiedlich Verhalten sollte, ist es auch notwendig die Objekte in der Umgebung erkennen zu können. Zum Beispiel ist bei Nähe zu einem Fußgänger eine geringere Geschwindigkeit notwendig.
Um Objekte in der Umgebung des Fahrzeugs 10 erkennen zu können, das heißt deren Typ, wie zum Beispiel das parkende Auto 40, ist es erforderlich, die erfassten Umgebungsbilder auf eine dreidimensionale Darstellung der Umgebung zu projizieren.
Um die korrekte Projektion sicherzustellen ist es weiter notwendig, dass die extrinsischen Parameter der Kamera 21 genau bekannt sind. Sonst kann es zu Fehlerkennungen kommen und der Ausparkassistent verhält sich nicht wie es in der Situation erforderlich ist.
In einer Ausprägung der Erfindung werden beim Anlassen des Fahrzeugs 10 die extrinsischen Parameter aller Kameras 21 des Fahrzeugs 10 bestimmt. Somit ist gewährleistet, dass die Daten auf denen der Ausparkassistent seine Berechnungen stütz, über die notwendige Genauigkeit verfügen.
Bezugszeichenliste

9: Objekt
10: Fahrzeug
11: Außenspiegel
12: Rad
13: Fahrzeugzentrum
15: Fahrzeugumgebung
16: Fahrzeugbegrenzung, Kontur
17: Ecke, Knick
21: Bilderfassungseinrichtung, Seitenkamera, Kamera
30: Bordcomputer
31: Speichereinrichtung
32: Identifikationseinrichtung
33: Kalibriereinrichtung
34: Vergleichseinrichtung
40: Parkendes Auto
X, Y, Z: Basiskoordinatensystem
X‘, Y‘, Z‘: Kamerakoordinatensystem
A: Ursprungsraum
B: Zielraum
T: Transformation

Claims

Vorrichtung zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung (21) eines Fahrzeugs (10), insbesondere eines PKW, umfassend: – eine Speichereinrichtung (31); – mindestens eine Bilderfassungseinrichtung (21), insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs (10) zu erfassen; – eine Identifikationseinrichtung (32); – eine Vergleichseinrichtung (34); und – eine Kalibriereinrichtung (33); dadurch gekennzeichnet, dass – in der Speichereinrichtung (31) mindestens ein Fahrzeugmerkmal (16, 17) und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17) gespeichert sind; – die Identifikationseinrichtung (32) dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) zu identifizieren; – die Vergleichseinrichtung (34) dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und – die Kalibriereinrichtung (33) auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung (21) bestimmt.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) eine geometrische Struktur, insbesondere zumindest eine Kontur, zumindest eine Kante, zumindest eine Fläche oder zumindest eine Ecke des Fahrzeugs (10) oder eine Kombination aus diesen repräsentiert.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) eine Ecke betrifft, wobei eine Position und eine Ausrichtung der Ecke in der Speichereinrichtung (31) gespeichert sind.
Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) durch eine Matrix repräsentiert, die eine Ecke (17) beschreibt, wobei die Matrix insbesondere: – einen Skalierungs-invarianten-Merkmals-Deskriptor; oder – einen Multiscale Oriented Patches Descriptor repräsentiert.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Identifikationseinrichtung (32) dazu ausgebildet ist: – einen Verlauf einer Kontur (16) des Fahrzeugs (10) in dem mindestens einen Umgebungsbild zu identifizieren; – basierend auf dem Verlauf der Kontur (16) die Ist-Position einer Ecke (17) als das mindestens einen Fahrzeugmerkmal (16, 17) zu identifizieren.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Identifikationseinrichtung (32) dazu ausgebildet ist, die Identifikation der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) auf Basis eines vorher bestimmten Teilausschnitts des Umgebungsbildes durchzuführen.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinrichtung (21) eine Fischaugenoptik aufweist und diese einen Blickwinkel größer 90 Grad, insbesondere größer 170 Grad aufweist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – in der Speichereinrichtung (31) ein erstes Fahrzeugmerkmal (16, 17) mit einer hohen Priorität gespeichert ist; – in der Speichereinrichtung (31) ein zweites Fahrzeugmerkmal (16, 17) mit einer niedrigen Priorität gespeichert ist; – die Identifikationseinrichtung (32) dazu ausgebildet ist: – festzustellen, ob das erste Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt; – in dem Fall, in dem das erste Fahrzeugmerkmal (16, 17) nicht in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt, festzustellen, ob das zweite Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild liegt; und – in dem Falle, in dem das zweite Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt, die Ist-Position des zweiten Fahrzeugmerkmals (16, 17) in dem mindestens einem Umgebungsbild zu identifizieren.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibriereinrichtung (33) dazu ausgebildet ist, die extrinsischen Parameter mit Hilfe der Methode der kleinsten Quadrate zu bestimmen.
Fahrzeug (10), dadurch gekennzeichnet, dass – das Fahrzeug (10) eine Vorrichtung zur extrinsischen Kalibrierung der mindestens einen Bilderfassungseinrichtung (21) des Fahrzeugs (10) nach einem der vorhergehenden Ansprüche umfasst; – das Fahrzeug die mindestens eine Bilderfassungseinrichtung (21) umfasst und die mindestens eine Bilderfassungseinrichtung (21) so ausgerichtet ist, dass das mindestens eine Umgebungsbild die Umgebung des Fahrzeugs (15) und einen Teil des Fahrzeugs (10) abbildet;
Fahrzeug (10) nach Anspruch 10, dadurch gekennzeichnet, dass – das Fahrzeug (10) eine Schätzeinrichtung umfasst, die auf Basis der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) die Distanz zwischen der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) und dem höchsten Punkt einer Radfelge des Fahrzeugs (10) schätzt.
Fahrzeug (10) nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass – ein Fahrerassistenzsystem unter Verwendung der mindestens einen Bilderfassungseinrichtung (21) und der extrinsischen Parameter Steuersignale für einen Aktuator erzeugt, wobei der Aktuator vorzugsweise umfasst: – Bremse; – Lenkradvibrationsmotor; – Signalleuchte; oder – Seitenspiegelstellmotor.
Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung (21) eines Fahrzeugs (10), insbesondere eines PKW, insbesondere mittels einer Vorrichtung nach einem der Ansprüche 1–9, umfassend die Schritte: – Erfassung mindestens eines Umgebungsbildes des Fahrzeugs (10) durch mindestens eine Bilderfassungseinrichtung (21); – Identifizieren einer Ist-Position eines mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild; – Vergleichen der Ist-Position mit einer in der Speichereinrichtung (31) gespeicherten Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17); – extrinsisches Kalibrieren der mindestens einen Bilderfassungseinrichtung (21) auf Basis der bestimmten Abweichung.
Verfahren nach einem der Ansprüche 13, wobei das Identifizieren ein Einschränken auf einen vorher bestimmten Ausschnitt des Umgebungsbildes umfasst, auf dessen Basis das Identifizieren des Fahrzeugmerkmals (16, 17) durchgeführt wird.
Verfahren nach einem der Ansprüche 13 oder 14, wobei das Verfahren während einer Fahrt des Fahrzeugs (10) durchgeführt wird.
Verwendung eines Verfahrens nach einem der Ansprüche 13–15 in einem Rundumsicht System eines Fahrzeugs (10).
Computerlesbares Speichermedium, das ausführbare Instruktionen aufweist, welche einen Computer dazu veranlassen, ein Verfahren nach einem der Patentansprüche 13–15 zu implementieren, wenn die Instruktionen ausgeführt werden.