DE102018132649A1

DE102018132649A1 - Verfahren zum Kalibrieren eines Erfassungsbereichs eines Kamerasystems mittels eines künstlichen neuronalen Netzes; Steuereinheit; Fahrerassistenzsystem sowie Computerprogrammprodukt

Info

Publication number: DE102018132649A1
Application number: DE102018132649.1A
Authority: DE
Inventors: Sergio Valero; Ganesh Sistu; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2020-06-18

Abstract

Die Erfindung betrifft ein Verfahren zum Ermöglichen einer verbesserten Kalibration eines Erfassungsbereichs eines Kamerasystems (12) eines Kraftfahrzeugs (1) während eines bestimmungsgemäßen Betriebs des Kraftfahrzeugs (1), wobei das Kamerasystem (12) zumindest eine erste Kamera (FV) und eine zweite Kamera (ML) umfasst, welche einen gemeinsamen Überlappungsbereich (21) aufweisen, mit den Schritten:- Bereitstellen eines ersten und eines zweiten Bildes (5), wobei das erste Bild (5) mittels der ersten Kamera (FV) und das zweite Bild (5) mittels der zweiten Kamera (ML) aufgenommen wird,- Bestimmen eines Höhenwertes für einen in dem Überlappungsbereich (21) dargestellten Umgebungsbereich des Kraftfahrzeugs (1) durch Auswerten des ersten und des zweiten Bildes (5) in deren Überlappungsbereich (21) unter Berücksichtigung eines Modells (17) des Kraftfahrzeugs (1), wobei das Modell zumindest einen Soll-Wert für die Relativposition der ersten und der zweiten Kamera (FV, ML) relativ zueinander bereitstellt,- Bestimmen zumindest eines Kalibrationswerts mittels eines künstlichen neuronalen Netzes (19) unter Nutzung des Höhenwertes als Eingangsgröße, und- Kalibrieren eines Erfassungsbereichs (20) des Kamerasystems (12) basierend auf dem Kalibrationswert.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren eines Kamerasystems eines Kraftfahrzeugs während eines bestimmungsgemäßen Betriebs des Kraftfahrzeugs. Die Erfindung betrifft außerdem eine Steuereinheit zur Durchführung eines solchen Verfahrens sowie ein Fahrerassistenzsystem für ein Kraftfahrzeug. Weiterhin gehört zur Erfindung ein Computerprogrammprodukt zur Implementierung des oben genannten Verfahrens sowie ein computerlesbares Speichermedium, auf dem ein solches Computerprogrammprodukt gespeichert ist.
Zur Information eines Fahrers über eine Umgebung eines Kraftfahrzeugs oder zum Bereitstellen von Fahrerassistenzfunktionen durch das Kraftfahrzeug, kann das Kraftfahrzeug mit einem Kamerasystem ausgestattet sein. Ein solches Kamerasystem umfasst üblicherweise zumindest zwei Kameras, in vielen Fällen sind es vier Kameras. Im Falle vierer Kameras können diese beispielsweise links und rechts am Kraftfahrzeug, insbesondere an den Spiegeln, an der Front und am Heck angeordnet sein. Idealerweise wird durch die Kameras des Kamerasystems ein Erfassungsbereich um einen Großteil des Kraftfahrzeugs herum, insbesondere um das ganze Kraftfahrzeug herum bereitgestellt. Anhand von Bildern des Kamerasystems können Objekte in der Umgebung erkannt werden, ein Fahrbahnverlauf einer Fahrbahn bestimmt werden oder beliebige andere Informationen des Umgebungsbereichs erfasst werden. Um eine Erkennung zu ermöglichen, muss jedoch das Kamerasystem, insbesondere die einzelnen Kameras des Kamerasystems, kalibriert werden.
Bei dem Kalibrieren des Kamerasystems kann bestimmt werden, welchen Erfassungsbereich das Kamerasystem beziehungsweise dessen einzelne Kameras haben. Dieser Erfassungsbereich kann maßgeblich von der Einbauposition beziehungsweise Pose der jeweiligen Kameras abhängen. Zudem kann eine Erfassungscharakteristik der jeweiligen Kamera großen Einfluss auf den Erfassungsbereich haben. Die Erfassungscharakteristik kann insbesondere durch die verwendet Linse, beispielsweise eine so genannte Fischaugenlinse oder auf Englisch „fish eye“, beeinflusst sein.
Das Kalibrieren einer Kamera mit einer Fischaugenlinse ist beispielsweise aus der CN 106 960 456 bekannt.
Eine Kalibration des Erfassungsbereichs des Kamerasystems kann beispielsweise werkseitig, beispielsweise durch einen Hersteller des Kraftfahrzeugs oder des Kamerasystems, durchgeführt werden. Bei einer solchen Kalibration kann der Erfassungsbereich einer jeweiligen Kamera mit einer Relativposition in der Umgebung des Kraftfahrzeugs bezogen auf das Kraftfahrzeug in Bezug gesetzt werden. Beispielsweise wird einzelnen Bildbereichen und/oder sogar einzelnen Pixeln des Kamerasystems eine Koordinate in einem am Kraftfahrzeug ausgerichteten Koordinatensystem zugewiesen. Auf diese Weise kann anhand der Bilder des Kamerasystems beziehungsweise der jeweiligen Kameras die Position eines Objekts, einer Fahrbahn oder einer beliebigen anderen Information relativ zu dem Kraftfahrzeug, insbesondere bezogen auf das Koordinatensystem des Kraftfahrzeugs, bestimmt werden.
Es ist offensichtlich, dass die korrekte und genaue Erfassung von Objekten oder Fahrbahnen in der Umgebung des Kraftfahrzeugs stark von einer korrekten Kalibration des Kamerasystems beziehungsweise dessen Erfassungsbereich abhängt. Durch eine Verschiebung des Erfassungsbereichs können falsche Relativpositionen für Objekte oder Fahrbahnen in der Umgebung des Kraftfahrzeugs bestimmt werden. Bei Nutzung des Kamerasystems zur Information des Fahrers oder zur Bereitstellung der Fahrerassistenzfunktion, kann dies zu einer erhöhten Kollisionsgefahr für das Kraftfahrzeug führen. Dies gilt insbesondere für Fahrerassistenzfunktionen, die eine autonome oder teilautonome Fahrt des Kraftfahrzeugs ermöglichen, beispielsweise Einparksysteme. Um Kollisionen aufgrund fehlerhafter Erfassung von Objekten oder Fahrbahnen einzudämmen, ist es möglich, einen Sicherheitsabstand, den das Kraftfahrzeug während einer solchen autonomen oder teilautonomen Fahrt einhält, zu vergrößern. Dadurch wiederum wird jedoch das Manövrieren erschwert.
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Kalibrieren eines Erfassungsbereichs eines Kamerasystems zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhaft Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Kalibrieren eines Kamerasystems eines Kraftfahrzeugs während eines bestimmungsgemäßen Betriebs des Kraftfahrzeugs, wobei das Kamerasystem zumindest eine erste Kamera und eine von der ersten Kamera verschiedene zweite Kamera umfasst und wobei die erste und die zweite Kamera einen gemeinsamen Überlappungsbereich, der Teil eines jeweiligen Erfassungsbereichs sowohl der ersten als auch der zweiten Kamera ist, aufweisen. Das Verfahren sieht die folgenden Schritte vor:

- Bereitstellen eines ersten und eines zweiten Bildes, wobei das erste Bild mittels der ersten Kamera und das zweite Bild mittels der zweiten Kamera aufgenommen wird,
- Bestimmen eines Höhenwertes für einen in dem Überlappungsbereich dargestellten Umgebungsbereich des Kraftfahrzeugs durch Auswerten des ersten und des zweiten Bildes in deren Überlappungsbereich unter Berücksichtigung eines Modells des Kraftfahrzeugs, wobei das Modell zumindest einen Soll-Wert für die Relativposition der ersten und der zweiten Kamera relativ zueinander bereitstellt,
- Bestimmen zumindest eines Kalibrationswerts mittels eines künstlichen neuronalen Netzes unter Nutzung des Höhenwertes als Eingangsgröße, und
- Kalibrieren eines Erfassungsbereichs des Kamerasystems basierend auf dem Kalibrationswert.

Bei dem Kalibrationswert kann es sich beispielsweise um eine Angabe handeln, in wie weit der Erfassungsbereich des Kamerasystems gegenüber einem Normalzustand verschoben, erweitert oder eingeschränkt ist. Selbstverständlich beschränkt sich das vorliegende Verfahren nicht auf einen einzelnen Kalibrationswert. Es können selbstverständlich auch mehrere Kalibrationswerte bestimmt und nachfolgend für das Kalibrieren des Erfassungsbereichs herangezogen werden. Im Rahmen der vorliegenden Anmeldung ist zumeist von einem Kalibrationswert im Singular die Rede. Diese Formulierung soll jedoch ausdrücklich auch die Verwendung mehrerer Kalibrationswerte einschließen.
Eine Kalibrierung des Kamerasystems während des bestimmungsgemäßen Betriebs des Kraftfahrzeugs kann auch als so genannte Online-Kalibrierung bezeichnet werden. Der bestimmungsgemäße Betrieb des Kraftfahrzeugs kann beispielsweise ein alltäglicher Gebrauch des Kraftfahrzeugs durch einen Endnutzer sein. Beispielsweise umfasst der bestimmungsgemäße Betrieb des Kraftfahrzeugs Fahrten des Kraftfahrzeugs, Einparkmanöver und/oder beliebige andere Fahrmanöver des Kraftfahrzeugs, insbesondere beim Endkunden. Insbesondere nicht umfasst von einem Kalibrieren des Kamerasystems während des bestimmungsgemäßen Betriebs des Kraftfahrzeugs sind Kalibrierungen, die in einer Werkstatt oder produktionsseitig, beispielsweise während einer Herstellung des Kraftfahrzeugs, durchgeführt werden. Eine Kalibrierung während dem bestimmungsgemäßen Betrieb des Kraftfahrzeugs kann sich durch regelmäßige Wiederholung während jeglicher Nutzung des Kraftfahrzeugs auszeichnen.
Die erste Kamera und die zweite Kamera weisen einen jeweiligen Erfassungsbereich auf. Die jeweiligen Erfassungsbereiche der ersten und der zweiten Kamera überlappen sich, wenn die erste Kamera und die zweite Kamera bestimmungsgemäß an dem Kraftfahrzeug angeordnet sind. Dabei wird der Überlappungsbereich sowohl von der ersten Kamera als auch von der zweiten Kamera erfasst. Der Überlappungsbereich stellt somit die Schnittmenge der jeweiligen Erfassungsbereiche der ersten und der zweiten Kamera dar.
Bei dem Bestimmen des Höhenwertes werden das erste und das zweite Bild insbesondere jeweils in ihrem Überlappungsbereich ausgewertet. Unter Ausnutzung von Stereoskopie kann das Bestimmen des Höhenwertes erfolgen. Für die Nutzung der Stereoskopie wird hierbei das Modell des Kraftfahrzeugs herangezogen. Durch das Modell des Kraftfahrzeugs wird der Soll-Wert für die Relativposition der ersten und der zweiten Kamera relativ zueinander bereitgestellt. Der Soll-Wert kann beispielsweise spezifisch für einen vorbestimmten Zustand des Kraftfahrzeugs sein. In diesem vorbestimmten Zustand können sich die erste und die zweite Kamera in einer Relativposition zueinander befinden, welche dem Soll-Wert entspricht. Der vorbestimmte Zustand kann beispielsweise wie folgt definiert sein: Das Kraftfahrzeug steht auf einer ebenen Grundfläche, wobei außer der Erdbeschleunigung keine zusätzliche Beschleunigung auf das Kraftfahrzeug wirkt. Insbesondere ist die Erdbeschleunigung in diesem vorbestimmten Zustand parallel zu einer Fahrzeughochachse des Kraftfahrzeugs beziehungsweise senkrecht zu der ebenen Grundfläche.
Das Modell kann alternativ oder zusätzlich einen Absolutwert für die Position der ersten und/oder der zweiten Kamera bezogen auf ein am Kraftfahrzeug ausgerichtetes Koordinatensystem umfassen. In diesem Fall kann der Soll-Wert für die Relativposition der ersten und der zweiten Kamera zueinander implizit anhand der entsprechenden Absolutpositionen bereitgestellt sein. Der Höhenwert kann eine Höhe des Umgebungsbereichs, der in dem Überlappungsbereich durch die erste und die zweite Kamera dargestellt wird, repräsentieren. Beispielsweise repräsentiert der Höhenwert eine Höhe einer ebenen oder gekrümmten Untergrundfläche, auf der sich das Kraftfahrzeug befindet. Der Höhenwert kann beispielsweise bezogen sein auf ein Bezugssystem der ersten Kamera, ein Bezugssystem der zweiten Kamera oder ein Bezugssystem des Kraftfahrzeugs, insbesondere das am Kraftfahrzeug ausgerichtete Koordinatensystem. Insbesondere ist der Höhenwert an der Fahrzeughochachse des Kraftfahrzeugs ausgerichtet. Mit anderen Worten kann der Höhenwert die Höhe des dargestellten Umgebungsbereichs bezogen auf die Fahrzeughochachse des Kraftfahrzeugs angeben.
Das künstliche neuronale Netz kann darauf angelernt werden, mittels des Höhenwerts als Eingangsgröße den zumindest einen Kalibrationswert zu bestimmen. Insbesondere wird für das Bestimmen des zumindest einen Kalibrationswerts ein entsprechend angelerntes künstliches neuronales Netz verwendet. Bei dem künstlichen neuronalen Netz kann es sich beispielsweise um ein faltendes neuronales Netz, auch mit dem englischen Fachbegriff „convolutional neuronal network“ (kurz: CNN) bezeichnet, oder ein rekurrentes neuronales Netz, auch mit dem englischen Fachbegriff „recurrent neuronal network“ (kurz: RNN) bezeichnet, handeln. Durch den Kalibrationswert kann beispielsweise, explizit oder implizit, der Erfassungsbereich der ersten und/oder der zweiten Kamera festgelegt werden. Anschließend erfolgt das Kalibrieren des Kamerasystems basierend auf dem Kalibrationswert. Beispielsweise wird hierbei ein Bezugsystem der Kamera, insbesondere bezogen auf den Erfassungsbereich der Kamera, anhand des Kalibrationswerts kalibriert.
Die Erfindung beruht auf der Erkenntnis, dass abhängig von dem Höhenwert in dem Überlappungsbereich der Erfassungsbereich des Kamerasystems kalibriert werden kann. Beispielsweise kann anhand des Höhenwertes erkannt werden, dass sich das Kraftfahrzeug auf einer unebenen Fahrbahn, insbesondere einer Kuppel, befindet und/oder sich mit einem Teil seiner Räder auf einem erhöhten Untergrund, beispielsweise einem Bordstein, befindet. Durch derartige Gegebenheiten kann der Erfassungsbereich des Kamerasystems verschoben werden. Alternativ oder zusätzlich kann der Erfassungsbereich des Kamerasystems durch eine Beladung verschoben werden. Eine Verschiebung des Erfassungsbereichs, beispielsweise aufgrund einer der genannten Gegebenheiten, kann anhand des Höhenwertes erkannt werden. Das künstliche neuronale Netz ist darauf angelernt, solche Höhenwerte als Eingangsgröße zum Bestimmen des zumindest einen entsprechenden Kalibrationswerts zu nutzen. Mittels diesem Kalibrationswert kann dann der Erfassungsbereich kalibriert werden beziehungsweise ermittelt werden, wo sich der Erfassungsbereich erstreckt.
Selbstverständlich kann das Kamerasystem auch mehr als zwei Kameras umfassen. Beispielsweise umfasst das Kamerasystem vier Kameras. In diesem Fall können mehrere der Kameras untereinander einen jeweiligen gemeinsamen Überlappungsbereich aufweisen. Beispielsweise befinden sich die vier Kameras an vier unterschiedlichen Seiten des Kraftfahrzeugs. In diesem Fall kann jede der Kameras mit denjenigen der Kameras, welche an einer benachbarten Seite angeordnet sind, einen jeweiligen Überlappungsbereich aufweisen. Somit kann im Beispiel mit vier Kameras jede der vier Kameras zwei Überlappungsbereiche aufweisen, wobei insgesamt vier Überlappungsbereiche vorhanden sind. Insbesondere wird dann ein jeweiliger Höhenwert für jeden der Überlappungsbereiche bestimmt. Der zumindest einen Kalibrationswert kann dann unter Nutzung der mehreren Höhenwerte als Eingangsgröße bestimmt werden.
Im Rahmen der vorliegenden Anmeldung ist häufig von einem Höhenwert für den in dem Überlappungsbereich dargestellten Umgebungsbereich die Rede. Selbstverständlich können für den Überlappungsbereich beziehungsweise für den in dem Überlappungsbereich dargestellten Umgebungsbereich mehrere Höhenwerte bestimmt werden. In diesem Fall werden pro Überlappungsbereich mehrere Höhenwerte für das Bestimmen des zumindest einen Kalibrationswerts herangezogen.
Gemäß einer Weiterbildung ist vorgesehen, dass anhand des Höhenwertes ein Gefälle und/oder eine Unebenheit einer Untergrundfläche, auf der sich das Kraftfahrzeug befindet, für das Kalibrieren des Erfassungsbereichs berücksichtigt werden. Wie oben bereits geschrieben kann sich aufgrund eines solchen Gefälles beziehungsweise einer solchen Unebenheit der Erfassungsbereich verschieben. Beispielsweise ist der Erfassungsbereich umso größer, je höher der Höhenwert ist. Dies beruht darauf, dass die erste und die zweite Kamera dann aufgrund der Geometrie „weiter sehen können“.
Gemäß einer Weiterbildung ist vorgesehen, dass anhand des Höhenwertes eine angulare Abweichung zwischen einer Fahrzeughochachse und einer Flächennormalen der Untergrundfläche, auf der sich das Kraftfahrzeug befindet, für das Kalibrieren des Erfassungsbereichs berücksichtigt wird. Eine solche angulare Abweichung zwischen der Fahrzeughochachse und der Flächennormalen kann beispielsweise aus einer Beladung des Kraftfahrzeugs resultieren. Ist beispielsweise der Heckstauraum des Kraftfahrzeugs schwer beladen, so kann sich das Kraftfahrzeug dementsprechend nach hinten neigen. Dies kann beispielsweise durch jeweilige Höhenwerte sowohl in einem Bereich vor dem Kraftfahrzeug als auch in einem Bereich hinter dem Kraftfahrzeug erkannt werden. Durch eine dementsprechende Neigung beziehungsweise angulare Abweichung des Kraftfahrzeugs kann der Erfassungsbereich einzelner Kameras sich verringern und/oder erweitern. Insgesamt kann sich dadurch der Erfassungsbereich des Kamerasystems verändern. Im oben genannten Beispiel mit dem schwer beladenen Heckstauraum kann sich der Erfassungsbereich einer nach vorne gerichteten Kamera erweitern und/oder der Erfassungsbereich einer nach hinten gerichteten Kamera des Kraftfahrzeugs verringern.
Gemäß einer Weiterbildung ist vorgesehen, dass anhand des Höhenwertes ein Einfluss einer Beladung des Kraftfahrzeugs und/oder ein Einfluss eines am Kraftfahrzeug angehängten Anhängers auf den Erfassungsbereich berücksichtigt werden. Beispielsweise kann ein solcher am Kraftfahrzeug angehängter Anhänger eine oben beschriebene angulare Abweichung zwischen Fahrzeughochachse und der Flächennormalen der Untergrundfläche hervorrufen. Mit anderen Worten kann durch die Beladung des Kraftfahrzeugs und/oder einen am Kraftfahrzeug angehängten Anhänger der Erfassungsbereich einzelner Kameras und/oder des gesamten Kamerasystems verschoben werden. Dies wird auf diese Weise berücksichtigt.
Durch das Modell des Kraftfahrzeugs kann eine mechanische Verformbarkeit des Kraftfahrzeugs, insbesondere einer Karosserie des Kraftfahrzeugs, berücksichtigt werden. Eine solche mechanische Verformbarkeit kann beispielsweise durch die Beladung des Kraftfahrzeugs und/oder einen am Kraftfahrzeug angehängten Anhänger hervorgerufen werden. Die mechanische Verformbarkeit des Kraftfahrzeugs kann auf einer endlichen Steifigkeit eines Rahmens des Kraftfahrzeugs basieren. Alternativ oder zusätzlich kann eine derartige mechanische Verformung des Kraftfahrzeugs aus einer Beschleunigung des Kraftfahrzeugs resultieren. Hierauf wird an späterer Stelle noch genauer eingegangen. Durch die mechanische Verformbarkeit kann sich der Erfassungsbereich einzelner Kameras, insbesondere der ersten oder der zweiten Kamera, des Kamerasystems verschieben. Dies kann insbesondere auf einer auf der mechanischen Verformung basierenden Positionsveränderung der jeweiligen Kamera(s) beruhen.
Gemäß einer Weiterbildung wird ein Ist-Wert für die Position der ersten Kamera und/oder der zweiten Kamera relativ zu einem Bezugssystem des Kraftfahrzeugs und/oder relativ zueinander unter Berücksichtigung der mechanischen Verformbarkeit als der Kalibrationswert bestimmt. Beispielsweise wird der Ist-Wert oder ein jeweiliger Ist-Wert für die Position der ersten Kamera und/oder der zweiten Kamera relativ zu dem Bezugssystem des Kraftfahrzeugs, insbesondere dem am Kraftfahrzeug ausgerichteten Koordinatensystem, bestimmt. Alternativ oder zusätzlich kann der Ist-Wert für die Position der ersten Kamera und der zweiten Kamera relativ zueinander bestimmt werden. Auf diese Weise kann die mechanische Verformbarkeit auf besonders vorteilhafte Weise berücksichtigt werden.
Gemäß einer Weiterbildung kann zusätzlich zu der Position der jeweiligen Kamera, also insbesondere der ersten und/oder der zweiten Kamera, ein entsprechender Ist-Wert für die Orientierung als der Kalibrationswert bestimmt werden. In derartigen Ausführungsbeispielen ist insbesondere vorgesehen, dass das Modell des Kraftfahrzeugs zusätzlich zumindest einen Soll-Wert für die Orientierung der ersten Kamera und/oder der zweiten Kamera bereitstellt. Auf diese Weise kann eine Verschiebung des Erfassungsbereichs des Kamerasystems beziehungsweise der einzelnen Kameras des Kamerasystems durch eine Verschiebung der Orientierung, insbesondere aufgrund der mechanischen Verformbarkeit, berücksichtigt werden.
Der oben genannte Ist-Wert für die Position und/oder der oben genannte Ist-Wert für die Orientierung können insbesondere durch das künstliche neuronale Netz unter Berücksichtigung des Höhenwertes sowie des Modells des Kraftfahrzeugs bestimmt werden. Insbesondere wird der Ist-Wert für die Position und/oder die Orientierung der jeweiligen Kamera durch das künstliche neuronale Netz anhand des Höhenwertes unter Berücksichtigung der mechanischen Verformbarkeit des Kraftfahrzeugs bestimmt. Dementsprechend kann das künstliche neuronale Netz darauf angelernt werden beziehungsweise sein, anhand des Überlappungsbereichs in den jeweiligen Bildern der ersten und der zweiten Kamera unter Berücksichtigung des Modells des Kraftfahrzeugs eine veränderte Pose (Position und Orientierung) der ersten Kamera und/oder der zweiten Kamera relativ zu dem jeweiligen Soll-Wert zu bestimmen.
Gemäß einer Weiterbildung ist vorgesehen, dass der Kalibrationswert, insbesondere der Ist-Wert für die Position, zunächst in willkürlichen Längeneinheiten bestimmt wird und erst in einem späteren Verfahrensschritt in auf das Kraftfahrzeug bezogene Längeneinheiten umgerechnet wird. Mit anderen Worten kann der Kalibrationswert, insbesondere der Ist-Wert für die Position, durch das künstliche neuronale Netz in relativen oder willkürlichen Längeneinheiten bestimmt werden. Erst in dem späteren Verfahrensschritt, insbesondere nach Ausgabe der Kalibrationswerts durch das künstliche neuronale Netz, kann das Umrechnen in die auf das Kraftfahrzeug bezogenen Längeneinheiten erfolgen. Bei den auf das Kraftfahrzeug bezogenen Längeneinheiten kann es sich um absolute Längeneinheiten handeln. Auf diese Weise kann das künstliche neuronale Netz besonders universal auf eine Vielzahl von unterschiedlichen Kraftfahrzeugen angelernt werden, da die absoluten beziehungsweise auf das Kraftfahrzeug bezogenen Längeneinheiten erst später, insbesondere in einem dem künstlichen neuronalen Netzwerk nachfolgenden Verfahrensschritt, berechnet werden.
Gemäß einer Weiterbildung ist vorgesehen, dass Bewegungsdaten des Kraftfahrzeugs als weitere Eingangsgröße für das künstliche neuronale Netz für das Bestimmen des Kalibrationswerts genutzt werden, wobei mittels der Bewegungsdaten der Einfluss einer Beschleunigung des Kraftfahrzeugs entlang einer beliebigen Raumrichtung auf den Erfassungsbereich berücksichtigt wird. Beispielsweise kann es sich bei der Beschleunigung um eine Beschleunigung entlang einer Fahrzeuglängsachse des Kraftfahrzeugs handeln. Eine solche Beschleunigung entlang der Fahrzeuglängsachse kann durch Gas geben oder Abbremsen hervorgerufen werden. Alternativ oder zusätzlich kann es sich bei der Beschleunigung um eine Beschleunigung entlang einer Fahrzeugquerachse des Kraftfahrzeugs handeln. Eine solche Beschleunigung entlang der Fahrzeugquerachse des Kraftfahrzeugs kann beispielsweise durch Lenken des Kraftfahrzeugs hervorgerufen werden. Alternativ oder zusätzlich kann es sich bei der Beschleunigung um eine Beschleunigung entlang der Fahrzeughochachse handeln. Eine solche Beschleunigung entlang der Fahrzeughochachse kann beispielsweise durch eine Fahrt des Kraftfahrzeugs über unebenen Untergrund hervorgerufen werden. Besonders vorteilhafterweise wird der Einfluss der Beschleunigung des Kraftfahrzeugs entlang aller drei genannten Achsen für das Kalibrieren des Erfassungsbereichs berücksichtigt. Die Bewegungsdaten des Kraftfahrzeugs können beispielsweise durch Odometrie oder entsprechende Sensoren, insbesondere Beschleunigungssensoren des Kraftfahrzeugs, erfasst werden. Auf diese Weise kann der Erfassungsbereich noch genauer kalibriert werden.
Gemäß einer Weiterbildung ist vorgesehen, dass basierend auf einem ersten Bildpaar und einem zweiten Bildpaar eine weitere Eingangsgröße für das künstliche neuronale Netz gebildet wird, wobei das erste Bildpaar zwei mittels der ersten Kamera des Kamerasystems zu unterschiedlichen Zeitpunkten aufgenommene Bilder und das zweite Bildpaar zwei mittels der zweiten Kamera des Kamerasystems zu unterschiedlichen Zeitpunkten aufgenommene Bilder umfasst. Das erste Bild kann Teil des ersten Bildpaars sein, dies ist jedoch rein optional. Das zweite Bild kann Teil des zweiten Bildpaars sein, dies ist jedoch rein optional. Die Bilder des ersten Bildpaars können zu jeweils unterschiedlichen Zeitpunkten aufgenommen werden. Dementsprechend können die Bilder des ersten Bildpaars dem Umgebungsbereich des Kraftfahrzeugs zu unterschiedlichen Zeitpunkten repräsentieren. Die Bilder des zweiten Bildpaars können zu jeweils unterschiedlichen Zeitpunkten aufgenommen werden. Dementsprechend können die Bilder des zweiten Bildpaars den Umgebungsbereich zu unterschiedlichen Zeitpunkten repräsentieren.
Die Bilder des ersten sowie des zweiten Bildpaars können bildpaarübergreifend jeweils paarweise zum selben Zeitpunkt aufgenommen werden. Dies ist jedoch rein optional. In diesem Beispiel kann vorgesehen sein, dass ein jeweiliges Bild des ersten Bildpaars sowie ein jeweiliges Bild des zweiten Bildpaars jeweils zum selben Zeitpunkt aufgenommen werden. Zusammengefasst wird aus dem ersten Bildpaar und dem zweiten Bildpaar eine weitere Eingangsgröße für das künstliche neuronale Netz gebildet. Die weitere Eingangsgröße kann beispielsweise einen optischen Fluss oder eine Veränderung zwischen den Bildern eines jeweiligen der Bildpaare betreffen. Alternativ kann die weitere Eingangsgröße eine Bewegung eines in den Bildern repräsentierten Objekts und/oder eine Verschiebung eines solchen Objekts in den jeweiligen Bildern eines der Bildpaare betreffen. Insbesondere handelt es sich bei den Bildern des ersten Bildpaars und/oder des zweiten Bildpaars um Einzelbilder einer Videosequenz. Solche Einzelbilder werden auch als Frames bezeichnet. Die weitere Eingangsgröße kann anhand des optischen Flusses, der Veränderung, der Bewegung eines Objekts oder einer sonstigen Veränderung aufeinanderfolgender Frames gebildet werden. Auf diese Weise können insbesondere die oben genannten Bewegungsdaten bereitgestellt werden. Mit anderen Worten können die Bewegungsdaten des Kraftfahrzeugs aus dem ersten Bildpaar und/oder dem zweiten Bildpaar extrahiert werden. Auf diese Weise kann der Erfassungsbereich noch genauer kalibriert werden.
Gemäß einer Weiterbildung ist vorgesehen, dass das erste und das zweite Bildpaar jeweils durch einen unterschiedlichen Eingangsteil des künstlichen neuronalen Netzes ausgewertet werden, wobei durch jeden Eingangsteil eine parallele Verarbeitung beider Bilder des jeweiligen Bildpaares, insbesondere durch einen jeweiligen unterschiedlichen Encoder des entsprechenden Eingangsteils, erfolgt. Mit anderen Worten weist das künstliche neuronale Netz zwei unterschiedliche Eingangsteile auf, durch welche jeweils ein unterschiedliches der Bildpaare ausgewertet wird. Insbesondere wird jedes der Bildpaare ausschließlich durch einen der beiden Eingangsteile des künstlichen neuronalen Netzes ausgewertet. Jeder der Eingangsteile kann einen jeweiligen unterschiedlichen Encoder, insbesondere CNN-Encoder, umfassen. Vorteilhafterweise erfolgt dann die Auswertung des ersten und des zweiten Bildpaars zumindest teilweise durch den jeweiligen Encoder des entsprechenden Eingangsteils. Alternativ oder zusätzlich kann vorgesehen sein, dass die beiden Bilder des ersten Bildpaars sowie die beiden Bilder des zweiten Bildpaars jeweils durch unterschiedliche Eingangsteile des künstlichen neuronalen Netzes, insbesondere durch jeweilige unterschiedliche Encoder des künstlichen neuronalen Netzes, ausgewertet werden. Beispielsweise ist vorgesehen, dass die Bilder des ersten Bildpaars durch jeweils unterschiedliche Eingangsteile beziehungsweise jeweils unterschiedliche Encoder ausgewertet werden. Beispielsweise ist vorgesehen, dass die Bilder des zweiten Bildpaars jeweils durch unterschiedliche Eingangsteile beziehungsweise jeweils unterschiedliche Encoder ausgewertet werden. In Summe können für das erste und das zweite Bildpaar somit bis zu vier unterschiedliche Eingangsteile beziehungsweise unterschiedliche Encoder, insbesondere CNN-Encoder, vorgesehen sein. Auf diese Weise kann ein Auswerten des ersten und des zweiten Bildpaars besonders effizient erfolgen.
Gemäß einer Weiterbildung ist vorgesehen, dass aus dem ersten Bildpaar und dem zweiten Bildpaar jeweilige Bewegungsdaten extrahiert werden und das künstliche neuronale Netz darauf angelernt wird, das Bestimmen des Kalibrationswerts zumindest teilweise basierend auf den Bewegungsdaten durchzuführen. Mit anderen Worten werden, wie bereits oben beschrieben, aus dem ersten und dem zweiten Bildpaar die Bewegungsdaten als weitere Eingangsgröße für das künstliche neuronale Netz extrahiert. Auf diese Weise kann das künstliche neuronale Netz lernen, den Einfluss der Bewegungsdaten, insbesondere der Beschleunigung, auf dem Erfassungsbereich des Kamerasystems zu erkennen. Basierend darauf wird nachfolgend der Kalibrationswert zumindest teilweise basierend auf den Bewegungsdaten bestimmt.
Ein zweiter Aspekt der Erfindung betrifft eine Steuereinheit für ein Kraftfahrzeug, die dazu eingerichtet ist, ein Verfahren zum Kalibrieren eines Kamerasystems eines Kraftfahrzeugs durchzuführen, wie es im Rahmen dieser Anmeldung beschrieben ist. Dementsprechend gelten Weiterbildungen des entsprechenden Verfahrens analog auch für die Steuereinheit und umgekehrt.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeugs, mit

- einem Kamerasystem, wobei das Kamerasystem zumindest eine erste Kamera und eine von der ersten Kamera verschiedene zweite Kamera umfasst und wobei die erste und die zweite Kamera einen gemeinsamen Überlappungsbereich, der Teil eines jeweiligen Erfassungsbereichs sowohl der ersten als auch der zweiten Kamera ist, aufweisen, und
- der oben genannten Steuereinheit.

Insbesondere ist das Fahrerassistenzsystem, vorteilhafterweise die Steuereinheit, dazu eingerichtet, das hier beschriebene Verfahren durchzuführen. Dementsprechend gelten Merkmale und Vorteile, die in Bezug auf das Verfahren offenbart sind, auch für das F ah rerassistenzsystem.
Außerdem Teil der Erfindung ist ein Kraftfahrzeug, welches das oben genannte Fahrerassistenzsystem umfasst. Bei dem Kraftfahrzeug handelt es sich insbesondere um einen Kraftwagen, beispielsweise einen Lastkraftwagen oder einen Personenkraftwagen. Beispielsweise kann das Kraftfahrzeug einen elektrischen Antrieb und/oder einen Verbrennungsmotor aufweisen. Das Kamerasystem, insbesondere die erste und die zweite Kamera, des Fahrerassistenzsystems sind an dem Kraftfahrzeug angeordnet. Merkmale und Vorteile, die in Bezug auf das Verfahren offenbart sind, gelten auch für das F ah rerassistenzsystem.
Außerdem gehört zur Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Kalibrieren des Erfassungsbereichs des Kamerasystems durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinheit abgearbeitet wird.
Das Computerprogrammprodukt kann auf einem computerlesbaren Medium gespeichert sein. Somit beansprucht diese Erfindung auch ein solches computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das Verfahren zum Kalibrieren des Erfassungsbereichs des Kamerasystems durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuereinheit geladen und auf einem Prozessor der elektronischen Steuereinheit abgearbeitet werden. Bei dem lesbaren Medium kann es sich einen flüchtigen (volatilen) oder einen nichtflüchtigen Speicher handeln. Ein solcher flüchtiger Speicher kann insbesondere durch einen Arbeitsspeicher eines Mikroprozessors gebildet sein.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigen:

1 ein Kraftfahrzeug mit einem Kamerasystems, wobei ein Erfassungsbereich des Kamerasystems aufgrund einer Anhängelast gegenüber einem Normalzustand verschoben ist;
2 äußerst schematisch die Verschiebung von Kamerapositionen eines Kamerasystems im Falle unterschiedlicher Fahrmanöver aus einer Vogelperspektive;
3 weitere mögliche Verschiebungen von Kamerapositionen aus einer perspektivischen Seitenansicht;
4 eine beispielhafte Architektur für ein Fahrerassistenzsystem zum Kalibrieren eines Erfassungsbereichs eines Kamerasystems;
5 einen Auszug aus der Architektur; und
6 die Überlappungsbereiche unterschiedlicher Kameras eines Kamerasystems in einer schematischen Vogelperspektive.

1 zeigt ein Kraftfahrzeug 1 mit einem Kamerasystems, wobei das Kamerasystem im vorliegenden Ausführungsbeispiel vier Kameras umfasst. Konkret weist das Kraftfahrzeug beziehungsweise das Kamerasystem eine Frontkamera FV, eine rückwärts gerichtete Kamera RV sowie zwei seitlich ausgerichtet Kameras ML und MR auf, wobei in der 1 nur eine an der linken Seite des Kraftfahrzeugs 1 angeordnete Seitenkamera ML dargestellt ist. Eine an der rechten Fahrzeugseite des Kraftfahrzeugs 1 angeordnete Seitenkamera MR ist in 1 nicht dargestellt. Die Frontkamera FV weist einen Erfassungsbereich 92 auf. Die rückwärts gerichtete Kamera RV weist einen Erfassungsbereich 94 auf.
An dem Kraftfahrzeug 1 ist gemäß 1 ein Anhänger 98 angehängt. Durch eine vom Anhänger 98 auf das Kraftfahrzeug 1 übertragende Stützlast sinkt das Kraftfahrzeug 1 im Bereich seiner Anhängerkupplung entsprechend einem Pfeil 97 nach unten ab. Gegenüber dem Absinken gemäß der Pfeilrichtung des Pfeils 97 betätigt sich eine Hinterachse des Kraftfahrzeugs 1 als Drehachse. Durch diese Drehachse erfolgt ein Anheben des Kraftfahrzeugs 1 in dessen vorderem Bereich entsprechend einem Pfeil 96. Somit wird der Erfassungsbereich 92 der Frontkamera FV nach oben ausgelenkt, insbesondere entsprechend einem Pfeil 93. Zudem wird der Erfassungsbereich 94 der rückwärts gerichteten Kamera RV nach unten ausgelenkt, insbesondere entsprechend einem Pfeil 95. Durch die Auslenkung der jeweiligen Erfassungsbereiche 92, 94 verschiebt sich der jeweilige Erfassungsbereich der entsprechenden Kamera FV, RV. Durch eine Auslenkung nach oben, wie hier im Falle der Frontkamera FV, vergrößert sich der entsprechende Erfassungsbereich 92. Durch eine Auslenkung nach unten, wie im vorliegenden Fall bei der rückwärts gerichteten Kamera RV, verkleinert sich der entsprechende Erfassungsbereich 94 dementsprechend.
2 zeigt äußerst schematisch die Kameras ML, FV, MR, RV eines Kamerasystems 12 aus einer äußerst schematischen Vogelperspektive. Zur besseren Übersicht sind drei Achsen eingezeichnet, wobei eine z-Achse einer Fahrzeughochachse des Kraftfahrzeugs 1 entspricht, eine y-Achse einer Fahrzeuglängsachse des Kraftfahrzeugs 1 entspricht und eine x-Achse einer Fahrzeugquerachse des Kraftfahrzeugs 1 entspricht. In einer beispielhaften Situation C1 befindet sich das Kraftfahrzeug beispielhaft in einer gleichförmigen Bewegung oder im Stand auf einem ebenen Untergrund. Die Positionen aller vier Kameras ML, FV, MR, RV entsprechen hierbei einem Normalzustand beziehungsweise einem Soll-Wert. In einer beispielhaften Situation C2 wird eine Vorderachse des Kraftfahrzeugs 1 gebremst. Aufgrund einer nicht vollständigen Steifigkeit einer Karosserie des Kraftfahrzeugs 1 sowie aufgrund der aus dem Abbremsen resultierenden Beschleunigung, wird das Kraftfahrzeug in seinem vorderen Teil zusammengestaucht. Dies wird daran deutlich, dass sich die Position der Frontkamera FV gegenüber ihrem Normalzustand beziehungsweise ihrem Soll-Wert verschiebt. In einer weiteren beispielhaften Situation C3 wird das Kraftfahrzeug 1 beschleunigt. Im vorliegenden Beispiel wird die Beschleunigung über eine entsprechende Kraftabgabe über die Hinterachse des Kraftfahrzeugs 1 und/oder durch ein Nachschieben des Anhängers 98 (beispielsweise bergab) hervorgerufen. Daraus resultiert eine Stauchung der Karosserie des Kraftfahrzeugs 1 im rückwärtigen Bereich. Aus diesem Grund verschiebt sich die Position der rückwärts gerichteten Kamera RV gegenüber ihrem Normalzustand beziehungsweise ihrem Soll-Wert.
Weitere beispielhafte Situationen sind in 3 dargestellt. In 3 sind die Kameras FV, MR, RV, ML in einer seitlichen Perspektivansicht äußerst schematisch dargestellt. Eine Blickrichtung auf die Kameras in 3 entspricht somit zumindest teilweise der Fahrzeugquerachse beziehungsweise der x-Achse. In der Situation C4 befindet sich das Kraftfahrzeug 1 auf einem ebenen Untergrund. Dies ist durch eine Repräsentation 80 des Kraftfahrzeugs 1 dargestellt. Die vier Kameras RV, MR, FV, ML befinden sich in ihrem Normalzustand beziehungsweise ihre Position entspricht dem Soll-Wert. In der beispielhaften Situation C5 befindet sich das Kraftfahrzeug 1 mit seiner Vorderachse auf einer Unebenheit, insbesondere einem Hügel oder einer Erhebung. Dies ist mittels der Repräsentation 81 dargestellt. In der Situation C5 erfolgt beispielsweise im Wesentlichen eine Rotation des Kraftfahrzeugs um dessen Fahrzeugquerachse beziehungsweise um die x-Achse. Die Positionen der einzelnen Kameras verschieben sich jeweils gegenüber ihrem Normalzustand beziehungsweise ihrem jeweiligen Soll-Wert. Dasselbe gilt analog für die Situation C6, in welcher sich das Kraftfahrzeug auf einer geneigten Grundfläche befindet. Die Neigung der Grundfläche verläuft teilweise entlang der Fahrzeuglängsachse (siehe Repräsentation 82, welche das Kraftfahrzeug 1 von hinten darstellt). Insbesondere erfolgt hierbei eine Rotation des Kraftfahrzeugs bezüglich seiner y-Achse.
Es wurden nun mehrere beispielhafte Zustände gezeigt, in welchen sich ein Erfassungsbereich eines Kamerasystems 12 eines Kraftfahrzeugs 1 verschieben kann. Im Falle einer solchen Verschiebung ist es möglich, dass für Fremdobjekte, welche mittels des Kamerasystems erfasst werden sollen, falsche Positionen und/oder falsche Abmessungen ermittelt werden. Wird eine Fahrerassistenzfunktion, beispielsweise ein Notbremsassistent, ein Einparkassistent oder ein Spurhalteassistent, basierend auf einer Umfelderfassung durch das Kamerasystem gesteuert, so kann dies zu fehlerhaftem beziehungsweise falschen Verhalten der Fahrerassistenzfunktion führen. Aus diesem Grund ist vorliegend vorgesehen, den Erfassungsbereich des Kamerasystems 12 zu kalibrieren.
4 zeigt eine beispielhafte Architektur eines Fahrerassistenzsystems 2, welches dazu eingerichtet ist, den Erfassungsbereich eines Kamerasystems 12 im Rahmen einer sogenannte „online-calibration“, also im laufenden Betrieb des Kraftfahrzeugs 1, zu kalibrieren. Einem künstlichen neuronalen Netz 19 werden jeweilige Bildpaare 4 aus jeder der Kameras VF, ML, RV, MR bereitgestellt. Jedes der Bildpaare 4 umfasst zwei Bilder 5, welche zu unterschiedlichen Zeiten mit der jeweiligen Kamera VF, ML, RV, MR aufgenommen wurden. Beispielsweise handelt es sich bei den Bildern 5 eines jeweiligen Bildpaars 4 um zwei unterschiedliche Einzelbilder (Frames) eines Videosignals. Die jeweiligen Bildpaare 4 der unterschiedlichen Kameras VF, ML, RV, MR werden einem jeweiligen Eingangsteil 18 des künstlichen neuronalen Netzes 19 zugeführt. Mit anderen Worten weist das künstliche neuronale Netz 19 zur Verarbeitung der Bilder 5 so viele Eingangsteile 18 auf, wie das Kamerasystem 12 unterschiedliche Kameras VF, ML, RV, MR aufweist. Jeder Eingangsteil 18 weist wiederum zwei Encoder 3 auf. Es ist ein jeweiliger Encoder 3 für jedes Bild 5 eines jeweiligen Bildpaares 4 vorgesehen. Eine solche Architektur wird auch mit dem englischen Fachbegriff „multi stream convolutional neural network“ oder „two stream convolutional neural network“ bezeichnet. Auf diese Weise ist jeder Kamera VF, ML, RV, MR ein jeweiliger Eingangsteil 18 des künstlichen neuronalen Netzes 19 zugeordnet. Jeder Eingangsteil 18 weist wiederum jeweils zwei Encoder, insbesondere so genannte CNN-Encoder, also Encoder eines künstlichen neuronalen Netzes, auf. Die beiden Bilder 5 eines jeweiligen Bildpaars 4 werden jeweils durch einen unterschiedlichen der beiden Encoder 3 des entsprechenden Eingangsteils 18 ausgewertet. Mit anderen Worten werden beide Einzelbilder 5 durch die jeweiligen Encoder 3 separat ausgewertet. Beispielsweise können die Encoder 3 jeweils eine oder mehrere gefaltete Lagen, auch convolutional layer genannt, und/oder Zusammenfassungslagen, auch pooling layer genannt, aufweisen. Auf diese Weise werden die Bilder 5 durch den jeweiligen Encoder 3 vorverarbeitet.
Anschließend werden die vorverarbeiteten Bilder aus den beiden Encodern 3 durch eine Verknüpfungslage 6 des künstlichen neuronalen Netzes zusammengefasst. Jeder Eingangsteil 18 weist somit eine jeweilige Verknüpfungslage 6 auf. In der Verknüpfungslage 6 eines der Eingangsteile 18 werden die Bilder 5 des durch den entsprechenden Eingangsteil 18 verarbeiteten Bildpaares 4 miteinander verknüpft. Insbesondere umfasst die Verknüpfungslage 6 eine oder mehrere vollverknüpfte Lagen, auch fully-connected layer genannt. In manchen Ausführungsformen besteht die Verknüpfungslage 6 ausschließlich aus einem oder mehreren fully-connected layers. Die Eingangsteile 18 sind insbesondere im Wesentlichen dazu ausgebildet, Bewegungsdaten aus dem jeweiligen Bildpaar 4 zu extrahieren. Beispielsweise sind die Eingangsteile 18 dazu angelernt, die Bewegungsdaten aus den Bildern 5, die ja zu unterschiedlichen Zeiten aufgenommen wurden, zu extrahieren. Hierzu kann beispielsweise ein optischer Fluss, eine Verschiebung von Merkmalen, oder eine beliebige andere Veränderung zwischen den Bildern 5 eines Bildpaars 4 ausgewertet werden. Durch entsprechende Verknüpfungslage 6 können jeweilige Werte für Roll-Winkel, Nickwinkel und/oder Gierwinkel des Kraftfahrzeugs 1 ausgegeben werden. Alternativ oder zusätzlich können jeweilige translatorische Koordinaten für das Kraftfahrzeug 1 bestimmt und ausgegeben werden. Insbesondere werden die translatorischen Koordinaten in willkürlichen Einheiten ausgegeben. Auf diese Weise kann das künstliche neuronale Netz 19 besonders allgemeintauglich angelernt werden, wobei die Umrechnung der translatorischen Koordinaten in fahrzeugspezifische Längeneinheiten erst in einem späteren Verarbeitungsschritt, insbesondere nach Ausgabe durch das künstliche neuronale Netz 19, erfolgt. In diesem Fall kann zusätzlich eine hierfür notwendige Skala für die spätere Umrechnung durch die Verknüpfungslage 6 ausgegeben werden.
In einer Höheneinheit 7 werden Höhenwerte für jeweilige Überlappungsbereiche 21 der Kameras ML, VR, MR, LV bestimmt. In 6 sind die Überlappungsbereiche 21 dargestellt. Jede der Kameras ML, LV, MR, RV weist einen jeweiligen Erfassungsbereich 20 auf. In den Überlappungsbereichen 21 überlappen sich die Erfassungsbereiche 20 zweier der Kameras. Auf diese Weise können die Überlappungsbereiche 21 stereoskopisch durch zwei unterschiedliche der Kameras ML, RV, MR, LV erfasst werden. Mit Hilfe von stereoskopischer Auswertung können jeweilige Höhenwerte für die Überlappungsbereiche 21 bestimmt werden. Dies ist aus dem Stand der Technik grundsätzlich bekannt. Insbesondere können einer Untergrundfläche, auf der sich das Kraftfahrzeug 1 befindet, jeweilige Höhenwerte für jeden der Überlappungsbereiche 21 zugeordnet werden. Zur Veranschaulichung sei nochmals auf 1 verwiesen. Aufgrund der Verschiebung gemäß dem Pfeil 96 würde sich im vorderen Bereich des Kraftfahrzeugs 1 ein gegenüber einem Normalzustand erhöhter Höhenwert ergeben und aufgrund der Verschiebung entlang dem Pfeil 97 würde sich im hinteren Bereich des Kraftfahrzeugs ein gegenüber einem Normalzustand verringerter Höhenwert ergeben. Dies wird hierbei zum Kalibrieren des Kamerasystems 12 des Kraftfahrzeugs 1 genutzt.
Das Bestimmen der Höhenwerte durch die Höheneinheit 7 kann basierend auf einem Modell 17 des Kraftfahrzeugs erfolgen. Dabei wird durch das Modell 17 eine jeweilige Relativposition der einzelnen Kameras FV, ML, RV, MR relativ zueinander bereitgestellt. Mit anderen Worten kann das Modell 17 angegeben, in welcher Position am Kraftfahrzeug 1 eine jeweilige der Kameras FV, ML, RV, MR angeordnet ist. Dies ist notwendig, um die Höhenwerte mittels Stereoskopie korrekt bestimmen zu können. Das Auswerten der stereoskopischen Bilder der unterschiedlichen Kameras FV, ML, RV, MR kann dabei stets mit dem Soll-Wert für die jeweilige Kamerapose/Kameraposition erfolgen. Alternativ kann bei wiederholter Ausführung des vorliegenden Verfahrens mit einem vorbestimmten Ist-Wert für die entsprechende Position der entsprechende Höhenwert bestimmt werden. Für jeden der Überlappungsbereiche 21 wird vorteilhafterweise ein jeweiliger Höhenwert bestimmt. Noch vorteilhafter ist es, wenn für jeden der Überlappungsbereiche 21 mehrere jeweilige Höhenwerte bestimmt werden, welche insbesondere mehrere über den entsprechenden Überlappungsbereiche 21 verteilte Umgebungsbereiche betreffen.
Die Größe und Lage der Überlappungsbereiche 21 kann in Abhängigkeit von dem darin erfassten Umgebungsbereich, insbesondere der Grundfläche, auf der sich das Kraftfahrzeug 1 befindet, variieren. Für jeden der Erfassungsbereiche 20 stellt der zu einem Überlappungsbereich 21 beitragende Teil nur einen kleinen Bereich am Rand des entsprechenden Erfassungsbereichs 20 dar. Zum Bestimmen der Höhenwerte können einzelne Bildbereiche, welche in den Bildern zweier unterschiedlicher Kameras FV, ML, RV, MR dargestellt sind, mittels des Modells 17 unter Ausnutzung von Triangulation ausgewertet werden. Hierfür können Strahlengänge einzelner auf die Kamera treffenden Lichtstrahlen ausgewertet werden. Insbesondere können solche Lichtstrahlen zunächst in Plücker-Koordinaten überführt werden. Alternativ oder zusätzlich können die Kameras FV, ML, RV, MR in ein festes, am Kraftfahrzeug 1 ausgerichtetes Koordinatensystem projiziert werden. Durch die Triangulation werden dann die Höhenwerte bestimmt. Durch die beschriebene Vorgehensweise kann Problemen mit starken Abweichungen in der Darstellung aufgrund von Fischaugen-Linsen der einzelnen Kameras FV, ML, RV, MR entgegengewirkt werden.
Die Ausgaben der Verknüpfungslagen 6 sowie die Höhenwerte aus der Höheneinheit 7 werden einem Ausgabeteil 8 des künstlichen neuronalen Netzes zugeführt. Der Ausgabeteil 8 kann beispielsweise als rekurrentes neuronales Netz (RNN) ausgeführt sein. Ein solches rekurrentes neuronales Netz wird auch mit dem englischen Fachbegriff recurrent neural network bezeichnet. Der Ausgabeteil 8 ist darauf angelernt, basierend auf den Höhenwerten einerseits und den Ausgaben der Verknüpfungslagen 6 andererseits eine Pose 9 des Kraftfahrzeugs 1 und/oder jeweilige Angaben für die Pose der einzelnen Kameras FV, ML, RV, MR zu bestimmen. Die Ausgaben der Verknüpfungslagen 6 können insbesondere die Bewegungsdaten umfassen oder aus diesen gebildet sein. Zusätzlich kann das Modell 17 des Kraftfahrzeugs 1 durch den Ausgabeteil 8 zum Bestimmen der Pose 9 beziehungsweise der Posen 10 herangezogen werden. Durch das Modell 17 können die Sollwerte für Position und/oder Pose der einzelnen Kameras FV, ML, RV, MR bereitgestellt werden. Durch das Modell 17 kann weiterhin die mechanische Verformbarkeit der Karosserie des Kraftfahrzeugs 1 berücksichtigt werden. Die Posen 10 der einzelnen Kameras FV, ML, RV, MR umfassen einen Ist-Wert für die jeweilige Pose der entsprechenden Kamera. Diese Ist-Werte für die Pose können somit basierend auf dem jeweiligen Soll-Wert unter Berücksichtigung der Höhenwerte und/oder der Bewegungsdaten bestimmt werden. Vorteilhafter Weise ist der Ausgabeteil 8 somit dazu angelernt, anhand des Modells 17 beziehungsweise anhand der Soll-Werte für die Pose einer jeweiligen Kamera FV, ML, RV, MR und unter Berücksichtigung der Bewegungsdaten sowie der Höhenwerte den tatsächlich vorliegenden Ist-Wert für die Position/Pose 10 der entsprechenden Kamera FV, ML, RV, MR zu bestimmen. Die Positionen/Posen 10 der Kameras FV, ML, RV, MR können als „camera extrinsics“ bezeichnet werden.
Das künstliche neuronale Netz 19 wird als Ganzes angelernt. Insbesondere erfolgt das Anlernen auf Basis eines entsprechenden Lernalgorithmus, insbesondere einem sogenannten „deep-learning“-Algorithmus. Dabei lernt das künstliche neuronale Netz 19 genau diejenigen Merkmale aus den Bildpaaren 4 zu extrahieren, welche für die Bewegungsinformationen beziehungsweise die Odometrie sowie zur Bestimmung der Pose 9 des Kraftfahrzeugs 1 von Bedeutung sind. Die Ausgabeeinheit 8 beziehungsweise das rekurrente neuronale Netz lernt selbsttätig strukturelle Informationen aus dem Modell 17 des Kraftfahrzeugs 1, die Bewegungsinformationen sowie die Höhenwerte zu fusionieren und/oder daraus die Positionen/Posen 10 der einzelnen Kameras FV, ML, RV, MR sowie die Pose 9 des Kraftfahrzeugs 1 zu bestimmen.
Basierend auf den Positionen/Posen 10 der Kameras FV, ML, RV, MR sowie der Pose 9 des Kraftfahrzeugs 1 kann somit der Erfassungsbereich des Kamerasystems 12 kalibriert werden. Beispielweise kann der Erfassungsbereich des Kamerasystems 12 mittels geometrischer Berechnungen oder einer Zuordnungstabelle aus den Positionen/Posen 10 der Kameras FV, ML, RV, MR sowie der Pose 9 des Kraftfahrzeugs 1 abgeleitet werden. Die Positionen/Posen 10 der Kameras FV, ML, RV, MR sowie die Pose 9 des Kraftfahrzeugs 1 im vorliegenden Beispiel dabei aus den Höhenwerten in der Überlappungsbereichen 21 sowie den Bewegungsdaten abgeleitet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 106960456 [0004]

Claims

Verfahren zum Kalibrieren eines Kamerasystems (12) eines Kraftfahrzeugs (1) während eines bestimmungsgemäßen Betriebs des Kraftfahrzeugs (1), wobei das Kamerasystem (12) zumindest eine erste Kamera (FV) und eine von der ersten Kamera (FV) verschiedene zweite Kamera (ML) umfasst und wobei die erste und die zweite Kamera (ML) einen gemeinsamen Überlappungsbereich (21), der Teil eines jeweiligen Erfassungsbereichs (20) sowohl der ersten als auch der zweiten Kamera (FV, ML) ist, aufweisen, mit den Schritten: - Bereitstellen eines ersten und eines zweiten Bildes (5), wobei das erste Bild (5) mittels der ersten Kamera (FV) und das zweite Bild (5) mittels der zweiten Kamera (ML) aufgenommen wird, - Bestimmen eines Höhenwertes für einen in dem Überlappungsbereich (21) dargestellten Umgebungsbereich des Kraftfahrzeugs (1) durch Auswerten des ersten und des zweiten Bildes (5) in deren Überlappungsbereich (21) unter Berücksichtigung eines Modells (17) des Kraftfahrzeugs (1), wobei das Modell zumindest einen Soll-Wert für die Relativposition der ersten und der zweiten Kamera (FV, ML) relativ zueinander bereitstellt, - Bestimmen zumindest eines Kalibrationswerts mittels eines künstlichen neuronalen Netzes (19) unter Nutzung des Höhenwertes als Eingangsgröße, und - Kalibrieren eines Erfassungsbereichs (20) des Kamerasystems (12) basierend auf dem Kalibrationswert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand des Höhenwertes ein Gefälle und/oder eine Unebenheit einer Untergrundfläche, auf der sich das Kraftfahrzeug (1) befindet, für das Kalibrieren des Erfassungsbereichs (20) berücksichtigt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass anhand des Höhenwertes eine angulare Abweichung zwischen einer Fahrzeughochachse und einer Flächennormalen einer Untergrundfläche, auf der sich das Kraftfahrzeug (1) befindet, für das Kalibrieren des Erfassungsbereichs (20) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand des Höhenwertes ein Einfluss einer Beladung des Kraftfahrzeugs (1) und/oder ein Einfluss eines am Kraftfahrzeug (1) angehängten Anhängers auf den Erfassungsbereich (20) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das Modell (17) des Kraftfahrzeugs (1) eine mechanische Verformbarkeit des Kraftfahrzeugs (1), insbesondere einer Karosserie des Kraftfahrzeugs (1), berücksichtigt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Ist-Wert für die Position der ersten Kamera (FV) und/oder der zweiten Kamera (ML) relativ zu einem Bezugssystem des Kraftfahrzeugs (1) und/oder relativ zueinander unter Berücksichtigung der mechanischen Verformbarkeit als der Kalibrationswert bestimmt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zusätzlich zu der Position der jeweiligen Kamera (FV, RV, ML, MR) ein entsprechender Ist-Wert für die Orientierung als der Kalibrationswert bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kalibrationswert zunächst in willkürlichen Längeneinheiten bestimmt wird und erst in einem späteren Verfahrensschritt in auf das Kraftfahrzeug (1) bezogene Längeneinheiten umgerechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bewegungsdaten des Kraftfahrzeugs (1) als weitere Eingangsgröße für das künstliche neuronale Netz (19) für das Bestimmen des Kalibrationswerts genutzt werden, wobei mittels der Bewegungsdaten der Einfluss einer Beschleunigung des Kraftfahrzeugs (1) entlang einer beliebigen Raumrichtung auf den Erfassungsbereich (20) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf einem ersten Bildpaar (4) und einem zweiten Bildpaar (4) eine weitere Eingangsgröße für das künstliche neuronale Netz (19) gebildet wird, wobei das erste Bildpaar (4) zwei mittels der ersten Kamera (FV) des Kamerasystems (12) zu unterschiedlichen Zeitpunkten aufgenommene Bilder (5) und das zweite Bildpaar (4) zwei mittels der zweiten Kamera (ML) des Kamerasystems (12) zu unterschiedlichen Zeitpunkten aufgenommene Bilder (5) umfasst.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das erste und das zweite Bildpaar (4) jeweils durch einen unterschiedlichen Eingangsteil (18) des künstlichen neuronalen Netzes (19) ausgewertet werden, wobei durch jeden Eingangsteil (18) eine parallele Verarbeitung beider Bilder (5) des jeweiligen Bildpaares (4), insbesondere einen jeweiligen unterschiedlichen Enkoder (3) des entsprechenden Eingangsteils (18), erfolgt.
Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass aus dem ersten Bildpaar (4) und dem zweiten Bildpaar (4) jeweilige Bewegungsdaten extrahiert werden und das künstliche neuronale Netz (19) darauf angelernt wird, das Bestimmen des Kalibrationswerts zumindest teilweise basierend auf den Bewegungsdaten durchzuführen.
Steuereinheit für ein Kraftfahrzeug (1), die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Fahrerassistenzsystem für ein Kraftfahrzeugs (1), mit - einem Kamerasystem (12), wobei das Kamerasystem (12) zumindest eine erste Kamera (FV) und eine von der ersten Kamera (FV) verschiedene zweite Kamera (ML) umfasst und wobei die erste und die zweite Kamera (FV, ML) einen gemeinsamen Überlappungsbereich (21), der Teil eines jeweiligen Erfassungsbereichs (20) sowohl der ersten als auch der zweiten Kamera (FV, ML) ist, aufweisen, und - einer Steuereinheit nach Anspruch 13.
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Kalibrieren eines Kamerasystems eines Kraftfahrzeugs (1) nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinheit abgearbeitet wird.