DE102010052942A1

DE102010052942A1 - Rückwärtsblickendes multifunktionales Kamerasystem

Info

Publication number: DE102010052942A1
Application number: DE102010052942A
Authority: DE
Inventors: Yun Ann Arbor Luo; Dieter Plymouth Hoetzer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2009-11-19
Filing date: 2010-11-18
Publication date: 2011-05-26
Anticipated expiration: 2030-11-19
Also published as: US8988493B2; US20110115615A1; US8633810B2; US20140118486A1; US9061635B2; JP2016076229A; JP2011159278A; US20140118484A1; JP5864850B2; US20140118485A1; US8953014B2; JP6185970B2; DE102010052942B4

Abstract

Rückwärtsblickendes Kamerasystem für ein Fahrzeug. Das rückwärtsblickende Kamerasystem umfasst eine erste an einer Rückseite des Fahrzeugs positionierte Kamera. Die erste Kamera erzeugt einen ersten Datensatz, der einem ersten Blickfeld entsprechende Bilddaten umfasst. Eine zweite Kamera ist an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positioniert. Die zweite Kamera erzeugt einen zweiten Datensatz, der einem zweiten Blickfeld entsprechende Bilddaten umfasst. Das erste Blickfeld und das zweite Blickfeld decken einen zur Rückseite des Fahrzeugs benachbarten Raum ab. Eine elektronische Steuereinheit empfängt den ersten Datensatz und den zweiten Datensatz und verarbeitet den ersten Datensatz und den zweiten Datensatz, um das Vorhandensein eines Objekts in dem zur Rückseite des Fahrzeugs benachbarten Raum zu bestimmen. Die elektronische Steuereinheit ist konfiguriert, den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht. Eine Mensch-Maschine-Schnittstelle umfasst einen benachbart zu einem Führer des Fahrzeugs positionierten Anzeigeschirm, und die Mensch-Maschine-Schnittstelle ist konfiguriert, um das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.

Description

Hintergrund
Die vorliegende Erfindung betrifft ein rückwärtsblickendes multifunktionales Kamerasystem.
Es gibt diverse Situationen, in denen es wünschenswert ist, hinter ein Kraftfahrzeug oder ein anderes Fahrzeug zu sehen. In den meisten Fällen unterscheiden sich die Anforderungen verschiedener Videoanwendungen voneinander. Z. B. unterscheiden sich die Anforderungen eines rückwärtsblickenden Kamerasystems in einem PKW häufig von den Anforderungen eines rückwärtsblickenden Kamerasystems in einem Nutzfahrzeug.
Kurzbeschreibung
Wenigstens teilweise aufgrund der unterschiedlichen Erfassungsabdeckung hinter den Fahrzeugen bei unterschiedlichen Videoanwendungen haben Systemdesigner Mühe gehabt, eine einzige Erfassungskonfiguration zu finden, die den meisten Anwendungen mit ausreichender Datenintegrität genügt.
Die vorliegende Erfindung liefert eine Rückwärtsblick-Konfiguration, die ein Blickfeld von bis zu 180° mit hoher Bildauflösung für Beobachtungszwecke hinter dem Fahrzeug abdeckt. Sie liefert auch Tiefen- und Bewegungsinformation von hoher Integrität für multiple Funktionalitäten, darunter Fahrzeugkomfortsysteme und Fahrzeugsicherheitssysteme. Das Kamerasystem arbeitet sowohl im Vorwärts- als auch im Rückwärtsfahrzustand.
In Fahrzeugen verwendete Fahrzeugerfassungssysteme können verwendet werden, um einen Führer des Fahrzeugs vor ungünstigen Bedingungen zu warnen, die bestehen oder deren Auftreten in der Zukunft vorhergesagt wird. Solche Fahrzeugerfassungssysteme können einen Fahrer vor dem Vorhandensein eines Objekts hinter dem Fahrzeug beim Rückwärtsfahren warnen, die Bewegung eines Objekts berechnen und eine mögliche Kollision sowie die Zeit der Kollision vorhersagen, ein virtuelles Bild der Objekte hinter dem Fahrzeug liefern, Abstände berechnen, Sicherheitsmerkmale in einem Fahrzeug aktiv steuern, Bremswirkung und Lenkwinkel eines Fahrzeugs aktiv steuern und andere Funktionen ausführen. Das Fahrzeugerfassungssystem nach der vorliegenden Erfindung führt mehrere Funktionen aus und beseitigt den Bedarf für mehrere Erfassungssysteme.
Einer Ausgestaltung zufolge sieht die Erfindung ein rückwärtsblickendes Kamerasystem für ein Fahrzeug vor. Das rückwärtsblickende Kamerasystem umfasst eine erste an der Rückseite des Fahrzeugs positionierte Kamera. Die erste Kamera liefert einen ersten Datensatz, der einem ersten Blickfeld entsprechende Bilddaten enthält. Eine zweite Kamera ist an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positioniert. Die zweite Kamera liefert einen zweiten Datensatz, der einem zweiten Blickfeld entsprechende Bilddaten enthält. Das erste Blickfeld und das zweite Blickfeld decken einen zu der Rückseite des Fahrzeugs benachbarten Raum ab. Eine elektronische Steuereinheit empfängt den ersten Datensatz und den zweiten Datensatz und verarbeitet den ersten Datensatz und den zweiten Datensatz, um die Anwesenheit eines Objekts in dem zu der Rückseite des Fahrzeugs benachbarten Raum zu bestimmen. Die elektronische Steuereinheit ist konfiguriert, um den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht.
Das Kamerasystem umfasst eine Mensch-Maschine-Schnittstelle (human-machine-interface, HMI) mit einem benachbart zum Führer des Fahrzeugs positionierten Anzeigeschirm. Die HMI ist konfiguriert, um das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.
Einer anderen Ausgestaltung zufolge liefert die Erfindung ein Verfahren zum Erfassen eines zu einer Rückseite eines Fahrzeugs benachbarten Objekts. Das Verfahren umfasst das Aufnehmen eines ersten Bilddatensatzes, der einem ersten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, und das Aufnehmen eines zweiten Bilddatensatzes, der einem zweiten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht. Das Verfahren umfasst ferner das Abbilden des ersten Bilddatensatzes auf ein erstes Pixelfeld, das Abbilden des zweiten Bilddatensatzes auf ein zweites Pixelfeld und das Berechnen einer Entsprechung zwischen dem ersten Pixelfeld und dem zweiten Pixelfeld, um einen dritten Bilddatensatz zu erzeugen, der eine erste Zone, eine zweite Zone und eine dritte Zone umfasst. Das Verfahren umfasst ferner das Berechnen eines Fahrkorridors, der einem vorhergesagten Bewegungspfad des Fahrzeugs entspricht, zunächst das Versuchen, die Anwesenheit eines Objekts in der ersten Zone zu bestimmen, das Versuchen, die Anwesenheit eines Objekts in der zweiten Zone oder der dritten Zone zu bestimmen, wenn kein Objekt in der ersten Zone erfasst wurde, das Bestimmen einer möglichen Kollision zwischen dem Objekt mit dem Fahrzeugkorridor und das Berechnen einer Zeit bis zur Kollision.
Andere Aspekte der Erfindung werden deutlich anhand der detaillierten Beschreibung und der beigefügten Zeichnungen.
Kurze Beschreibung der Zeichnungen
1 zeigt die Montagepositionen und Blickfelder von zwei Kameras an der Rückseite eines Lastwagens.
2 zeigt die Montagepositionen und Blickfelder von zwei Kameras an der Rückseite eines PKWs
3 ist ein Diagramm, das die räumliche Abbildungsabdeckung, einer jeden von zwei an einem Fahrzeug montierten Kameras und eine elektronische Steuereinheit zeigt, die die von den zwei Kameras erhaltenen Bilder verarbeitet.
4 zeigt eine Mensch-Maschine-Schnittstelle mit einem Anzeigeschirm, der von den zwei Kameras der 1 oder 2 erhaltene Bilder einem Fahrzeugführer anzeigt.
5 zeigt die von dem rückwärtsblickenden Kamerasystem der 1 und 2 durchgeführte Logik.
6 ist eine Fortsetzung der Logik von 5.
7 veranschaulicht die von der Logik der 5 und 6 durchgeführte digitale Abbildung.
8 zeigt die zum Verbessern der Verarbeitungsgeschwindigkeit der Logik von 5 und 6 verwendete Logik.
Detaillierte Beschreibung:
Bevor Ausgestaltungen der Erfindung im Detail erläutert werden, sei darauf hingewiesen, dass die Erfindung in ihrer Anwendung nicht auf die in der folgenden Beschreibung dargestellten oder in den folgenden Zeichnungen gezeigten Konstruktionsdetails und Komponentenanordnungen beschränkt ist. Die Erfindung ist geeignet für andere Ausgestaltungen und in diversen Weisen anwendbar oder ausführbar.
Ein rückwärtsblickendes Kamerasystem 20 bietet mehrere Funktionalitäten unter Verwendung von zwei an der Rückseite 26 eines Fahrzeugs 28 montierten Kameras 22, 24. Es versteht sich, dass die Kameras 22, 24 an anderen geeigneten Oberflächen des Fahrzeugs 28 (z. B. Rückseite, Flanke, Oberseite, Unterseite) so montiert sein können, dass die Kameras in der Lage sind, den zur Rückseite 26 des Fahrzeugs benachbarten Raum zu überwachen. Das rückwärtsblickende Kamerasystem 20 nimmt digitalisierte Bilder aus einem benachbart zur Rückseite 26 des Fahrzeugs 28 positionierten Raum auf. Bilddaten von den Kameras 22, 24 werden an eine elektronische Verarbeitungseinheit 29 (3), auch als elektronische Steuereinheit (electronic control unit, ECU) bezeichnet, geliefert, die einen programmierbaren Mikroprozessor, einen Speicher, Betriebssystemsoftware und andere einschlägige Komponenten umfassen kann. Konditionierschaltungen oder periphere Treiber (C/D) 30 und 31 können verwendet werden, um die elektronische Verarbeitungseinheit 29 mit den Kameras 22, 24 zu verknüpfen.
1 zeigt ein Fahrzeug 28 in Form eines Lastwagens 28A, der ein rückwärtsblickendes Kamerasystem 20A aufweist. Das rückwärtsblickende Kamerasystem 20A umfasst eine erste Kamera 22A (hier als rechte Kamera bezeichnet), die nahe einer rechten Seite 30A des Lastwagens 28A montiert ist, und eine zweite Kamera 24A (hier als linke Kamera bezeichnet), die nahe einer linken Seite 32A des Lastwagens 28A montiert ist. Die rechte und linke Kamera 22A, 24A sind gleich und arbeiten gleich. Die rechte und linke Kamera 22A, 24A haben jeweils ein Blickfeld von ca. 100°. Die rechte Kamera 22A ist nahe einer Oberseite 34A des Lastwagen 28A über einem rechten Heckscheinwerfer 36A montiert, und die linke Kamera 24A ist nahe der Oberseite 34A des Lastwagens 28A über einem linken Heckscheinwerfer 38A montiert. Die rechte Kamera 22A ist zur linken Seite 32A des Lastwagens 28A ausgerichtet, so dass die rechte Kamera 22A Bilddaten aufnimmt, die dem unmittelbar hinter dem Lastwagen 28A zur linken Seite 32A hin positionierten Raum entsprechen. Die linke Kamera 24A ist zur rechten Seite 30A des Lastwagens 28A ausgerichtet, so dass die linke Kamera 24A Bilddaten aufnimmt, die dem unmittelbar hinter dem Lastwagen 28A zur rechten Seite 30A hin positionierten Raum entsprechen.
In anderen Konstruktionen kann die rechte Kamera 22A von der linken 24A verschieden sein (z. B. ein anderes Blickfeld haben). Die Blickfelder der Kameras erstrecken sich typischerweise über 90° bis 130°. Bei manchen Konstruktionen sind die Kameras 22A und 24A an anderen Positionen an dem Lastwagen 28A montiert, oder die Kameras 22A und 24A sind in andere Richtungen ausgerichtet.
Der Lastwagen 28A umfasst ferner ein Paar Vorderräder 40A und ein Paar Hinterräder 42A. Im Betrieb des Lastwagens 28A lenkt ein Führer die Vorderräder 40A, um den Lastwagen 28A in eine gewünschte Richtung zu steuern. Bekanntlich kann das Drehen unabhängig davon erfolgen, ob das Fahrzeug sich vorwärts (Vorwärtsmodus) oder rückwärts (Rückwärtsmodus). bewegt.
2 zeigt ein Fahrzeug 28 in Form eines PKWs 28B mit einem rückwärtsblickenden Kamerasystem 20B. Das rückwärtsblickende Kamerasystem 20B gleicht dem in 1 gezeigten rückwärtsblickenden Kamerasystem 20A. Gleiche Komponenten sind mit gleichen Bezugszeichen versehen und werden kurz diskutiert. Das rückwärtsblickende Kamerasystem 20B umfasst eine nahe einer rechten Seite 30B des PKWs 28B montierte rechte Kamera 22B und eine nahe einer linken Seite32B des PKWs 28B montierte linke Kamera 24B. Linke und rechte Kamera 22B und 24B sind gleich und arbeiten gleich. Rechte und linke Kamera 22B und 24B haben jeweils ein Blickfeld von ca. 100°. Die rechte Kamera 22B ist benachbart zu einem Nummernschild 36B positioniert und zur linken Seite 32B des PKWs 28B ausgerichtet, so dass die rechte Kamera 22B Bilddaten aufnimmt, die dem unmittelbar hinter dem PKW 28B zur linken Seite 32B hin gelegenen Raum entsprechen. Entsprechend ist die linke Kamera 24B benachbart zum Nummernschild 36B positioniert und zur rechten Seite 30B des PKWs 28B ausgerichtet, so dass die linke Kamera 24B Bilddaten aufnimmt, die dem unmittelbar hinter dem PKW 28B zur rechten Seite 30B hin gelegenen Raum entsprechen.
Bei manchen Ausgestaltungen einschließlich der in 1 und 2 gezeigten sind die verwendeten Kameras CMOS- oder CCD-Typ-Kameras und fangen Bildströme im sichtbarem Spektrum, dem Infrarotspektrum, dem nahen Infrarotspektrum (NIR) oder einer Kombination von diesen kontinuierlich auf. Bei einer Ausgestaltung sind die Kameras empfindlich auf Licht mit einer Wellenlänge im Bereich von ca. 400 nm bis ca. 1000 nm, und ein Infrarotfilter wird an den Kameras verwendet, um Wellenlängen oberhalb ca. 1200 nm abzublocken. Bei manchen Ausgestaltungen sind das Fahrzeug oder die Kameras mit NIR-Lichtquellen 23 (z. B. LEDs) ausgestattet, um interessierende Bereiche auszuleuchten. Die Ausrüstung des Fahrzeugs, der Kameras oder beider mit NIR-Lichtquellen hilft, die Qualität der von den Kameras erhaltenen Bilder, insbesondere bei Nacht, zu verbessern.
3 zeigt schematisch den zur Rückseite 26 des Fahrzeugs 28 benachbarten Raum in der Vogelschau. Die rechte Kamera 22 hat ein Blickfeld von 100° und nimmt Bilder von 0° bis 100° auf, wie in 3 definiert. Die Kameras 22 und 24 sind so positioniert, dass ihre Blickfelder überlappen und die Kameras 22 und 24 ein kombiniertes Blickfeld von 180° haben. Bei der gezeigten Ausgestaltung ist der abgebildete Raum durch fünf Zonen definiert. Zone 1 ist direkt hinter dem Fahrzeug 28 positioniert und umfasst den gesamten von sowohl der rechten Kamera 22 als auch der linken Kamera 24 abgebildeten Raum. Zone 2 ist hinter dem Fahrzeug 28 und links von diesem positioniert und umfasst den gesamten nur von der rechten Kamera 22 abgebildeten Raum. Zone 3 ist hinter dem Fahrzeug 28 und rechts von diesem positioniert und umfasst den gesamten nur von der linken Kamera 24 abgebildeten Raum. Zone 4 ist hinter dem Fahrzeug 28 zur linken Seite 32 hin positioniert und wird nur von der linken Kamera 24 abgebildet. Zone 5 ist hinter dem Fahrzeug 28 zur rechten Seite 30 hin positioniert und wird nur von der rechten Kamera 22 abgebildet.
3 zeigt auch einen exemplarischen Fahrkorridor 44. Wenn das Fahrzeug 28 in einer Vorwärtsrichtung gefahren wird, bewegt sich das Fahrzeug 28 in einer durch einen Pfeil 46 definierten Richtung. Wenn das Fahrzeug 28 in einer Rückwärtsrichtung gefahren wird, bewegt sich das Fahrzeug in einer zum Pfeil 46 entgegen gesetzten Richtung. Genauer gesagt bewegen sich die Vorderräder 40 und die Hinterräder 42 im Wesentlichen entlang des Fahrkorridors 44, wenn sich das Fahrzeug 28 bewegt.
Im Betrieb, wenn der Führer das Fahrzeug 28 einschaltet, wird die ECU 29 des Fahrzeugs 28 mit Energie versorgt. Wie erwähnt umfasst die ECU 29 Hardware und Software, und diese Komponenten arbeiten zusammen, um die Logik des rückwärtsblickenden Kamerasystems 20 auszuführen. Wie in 3 gezeigt, gewinnt eine Ein-/Ausgabeschnittstelle 47 (I/O-Schnittstelle) Bilder von den Kameras 22, 24 und liefert die Bilder an die ECU 29. Die I/O-Schnittstelle 47 kann die Bilder von den Kameras 22, 24 verarbeiten, bevor sie sie an die ECU 29 liefert. In Abhängigkeit von der Bewegungsrichtung des Fahrzeugs gibt die ECU 29 Bilder (z. B. aus von den Bildern der Kameras 22, 24 erzeugte Panoramabilder) auf einen Anzeigeschirm 48 aus. Wie in 4 gezeigt, ist der Anzeigeschirm 48 Teil einer Mensch-Maschine-Schnittstelle (HMI) 49. Die HMI 49 ist an einem Armaturenbrett 49b des Fahrzeugs positioniert und liefert einem Fahrzeugführer Informationen in diversen Formaten. Zusätzlich zum Anzeigeschirm 48 umfasst die HMI 49 einen Lautsprecher 49c, um dem Fahrzeugführer hörbare Informationen zu liefern, und ein oder mehrere Warnlichter oder Leuchtdioden (LEDs) 51, um dem Fahrzeugführer visuelle Informationen zu liefern. Bei manchen Ausgestaltungen umfasst die HMI 49 eine oder mehrere haptische Schnittstellen, um dem Fahrzeugführer fühlbare Informationen wie etwa Schwingungen oder Bewegungen des Lenkrades, des Sitzes, des Bremspedals etc. des Fahrzeugs zu liefern.
Wenn das Fahrzeug 28 im Vorwärtsmodus betrieben wird (d. h. wenn der Führer das Fahrzeug 28 in Vorwärtsrichtung 46 fährt), bietet das rückwärtsblickende Kamerasystem 20 mehrere Systeme und Funktionalitäten. Das rückwärtsblickende Kamerasystem 20 bietet Rückwärts-Kollisionslinderung unter Verwendung von videobasierten Fahrzeugerfassungsalgorithmen. Einer der Wege, auf dem die Konsequenzen einer Kollision gelindert werden, ist die Verwendung von durch das System 20 erzeugter Informationen zum Voraktivieren von Rückhaltesystemen. Wenn z. B. Information von dem System 20 anzeigt, dass eine rückseitige Kollision bevorsteht, werden Nackenstützen in eine Position bewegt, die die Fahrzeuginsassen besser schützt, Sicherheitsgurte werden vorgespannt, Airbags auf die Entfaltung vorbereitet, oder eine Kombination daraus. Information von dem System 20 wird (bei manchen Ausgestaltungen) auch an ein automatisches Bremssystem geliefert. Automatische Notfallbremsverstärkung wird erreicht durch Bestimmen der Geschwindigkeit des Fahrzeugs 28 sowie der Geschwindigkeit und des Folgeabstands eines hinter dem Fahrzeug 28 fahrenden zweiten Fahrzeugs. Wenn das Fahrzeug 28 mit einem vorwärtsblickenden Kamera-, Radar- oder Lidarsystem ausgestattet ist, und das System Information erzeugt, die die Anwendung einer automatischen Notfallbremsung aufgrund einer bevorstehenden Vorderseitenkollision bewirkt, und gleichzeitig das System 20 Information erzeugt, dass eine Rückseitenkollision bevorsteht, wird Information von dem System 20 an das vorwärtsblickende System geliefert, so dass das vorwärtsblickende System beide Ereignisse berücksichtigt und einen Steuerungskompromiss festlegt, um ein verbessertes Gesamtsicherheitsergebnis zu erreichen. Das rückwärtsblickende Kamerasystem 20 bietet auch ein Spurverlasswarnsystem (lane departure warning, LDW) und ein Spurhaltesystem (lane keeping system, LKS) durch Erfassen der Fahrspurmarkierungen hinter dem Fahrzeug und Anpassen von Fahrspurmodellen, um die relative Fahrzeugposition auf der Spur vorherzusagen. Das System kann zur Spurwechselunterstützung auch Fahrzeuge im toten Winkel eines Spiegels oder sich schnell von hinten nähernde Fahrzeuge erfassen. Mit anderen Worten kann, wenn das System arbeitet, während sich das Fahrzeug vorwärts bewegt (z. B. mit 120 km/h auf einer Autobahn), von dem System erzeugte Information verwendet werden, um Tote-Winkel-Erfassung und Spurwechselunterstützung zu bieten.
Wenn das Fahrzeug 28 in einem Rückwärtsmodus ist (d. h. wenn der Führer das Fahrzeug rückwärts fährt), bietet das rückwärtsblickende Kamerasystem 20 mehrere Systeme und Funktionalitäten, die den beim Betreiben des Fahrzeugs 28 in Vorwärtsrichtung bereitgestellten gleich oder von diesen verschieden sein können. Das rückwärtsblickende Kamerasystem 20 liefert einen hochqualitativen rückwärtsblickenden Videostrom mit 180° Blickfeld, Verzerrungskorrektur und Hindernishervorhebung, wie im Folgenden genauer erläutert. Das rückwärtsblickende Kamerasystem 20 bildet ein Rückwärtsfahrwarnsystem mit hörbarem, sichtbarem und fühlbarem Feedback. Beispiele für hörbaren Feedback sind Pieptöne und Sprachmeldungen. Beispiele für sichtbaren Feedback sind Leuchtdioden (LEDs) im Armaturenbrett des Fahrzeugs und das Hervorheben eines Gegenstandes. Beispiele für fühlbares Feedback sind Bremsenschwingungen, Lenkradschwingungen, Sitzschwingungen, Sicherheitsgurtschwingungen, Bremsrucken etc. Die ECU kann auch die Bremse aktiv steuern, um das Fahrzeug teilweise oder vollständig anzuhalten, oder das Fahrzeug lenken, um eine Kollision zu vermeiden. Das rückwärtsblickende Kamerasystem kann auch eine Bremsvorspannung, ein Rückfahrunfallverhütungssystem mit aktivem Bremsen, videobasierte Hinderniserkennung, ein automatisches Einparksystem, das freien Raum und Hindernisse genau erfasst, und ein Querverkehrwarnsystem bilden, das Gegenstände in Querbewegung erfasst.
5 bis 8 veranschaulichen den Betrieb des rückwärtsblickenden Kamerasystems 20 nach dem Einschalten des Fahrzeugs 28. In Schritt 52 nehmen die rechte und linke Kamera 22, 24 einem Rahmen (frame) oder einem Bild entsprechende Bilddaten auf. Die rechte und linke Kamera 22, 24 sind Videokameras und nehmen Daten im Wesentlichen kontinuierlich auf. Der Einfachheit halber wird eine Iteration durch die Logik in 5 bis 8 im Detail erläutert. Es versteht sich, dass die Logik von der ECU 29 schnell ausgeführt wird, und dass die Daten im Wesentlichen kontinuierlich aufgenommen und angezeigt werden.
Wie in Schritt 52 gezeigt, nimmt die Kamera 22 einen Rahmen von Bilddaten in Form eines rechten Bilddatenfeldes auf, und die linke Kamera 24 nimmt einen Rahmen von Daten in Form eines linken Bilddatenfeldes auf. Jedes Bilddatenfeld ist ein Feld von Pixeln, das den jeweils abgebildeten Räumen entspricht. In Schritt 53 wird die Bildentsprechung zwischen dem rechten Bilddatenfeld und dem linken Bilddatenfeld berechnet. Das rechte und das linke Bilddatenfeld werden synchron (d. h. im Wesentlich gleichzeitig) aufgenommen und enthalten somit in Zone 1 Pixel, die den gleichen dreidimensionalen Punkten im Raum entsprechen. Da die Kameras 22, 24 an entgegen gesetzten Seiten des Fahrzeugs 28 positioniert sind, wird der der Zone 1 entsprechende Raum aus unterschiedlichen Perspektiven abgebildet. Die Entsprechungsberechnung bestimmt, welche Pixel im rechten Datenfeld und im linken Datenfeld dem gleichen Punkt im dreidimensionalen Raum entsprechen. In Schritt 54 wird das Ergebnis der Entsprechungsberechnung verwendet, um eine Tiefenkarte für die Zone 1 zu bestimmen. Genauer gesagt wird die Tiefenkarte in Zone 1 aus einer Disparitätsberechnung errechnet.
Die Grundebene (d. h. der Datensatz, der der das Fahrzeug 28 tragenden Oberfläche entspricht) wird als in jedem Bilddatenfeld vorhanden angenommen und wird deshalb in Schritt 56 aus der Tiefenkarte entfernt. Es bleiben also nur über der Grundebene positionierte Objekte in der Tiefenkarte. In Schritt 58 wird an der Tiefenkarte eine Segmentierung vorgenommen. Anhand der segmentierten Daten wird eine Objekterkennung durchgeführt (60), um das Vorhandensein von interessierenden Objekten in Zone 1 (d. h. in der Tiefenkarte) unter Verwendung von Auszugdeskriptoren zu bestimmen. Die Auszugdeskriptoren umfassen Bildmerkmale (z. B. Intensität, Farbe, Textur etc.), dreidimensionale Gestaltinformation und anderes. Die Durchführung einer Hinderniserkennung unter der Verwendung der Auszugdeskriptoren ermöglicht eine weitere Klassifizierung der interessierenden Gegenstände. So werden falsche Positiva reduziert, und Objekte in Zone 1 können identifiziert werden (Schritt 62).
Wie in 3 gezeigt, kann jede Zone ein Objekt 63 wie etwa einen Einkaufswagen oder ein Kind enthalten. Die ECU 29 verwendet Auszugdeskriptoren, um diese Objekte 63 in einer bestimmten Zone zu erkennen. Wenn ein Objekt in der Tiefenkarte vorhanden ist, werden die Fahrzeugdaten aufgenommen (Schritt 64). Die Fahrzeugdaten können eine Geschwindigkeit, Beschleunigung, Lenkwinkel etc. umfassen. Der Fahrzeugkorridor wird basierend auf dem Lenkwinkel und dem Ort des Schwerpunkts des Fahrzeugs vorhergesagt. Der Fahrzeugkorridor hat eine Breite, die ungefähr gleich der Breite des Fahrzeugs ist. Der vorhergesagte Fahrzeugkorridor hat eine Polynomkurve, die vom Lenkwinkel des Fahrzeugs und der für das Fahrzeug spezifischen Dynamik (wie etwa Radabstand, Geschwindigkeit, Gewicht und Beschleunigung) abhängt. Der Fahrzeugkorridor verändert sich im Laufe der Zeit (unter der Annahme, dass sich das Fahrzeug bewegt).
Die in Schritt 60 identifizierten Objekte 63 werden verfolgt, und Gleichungen werden verwendet, um zu bestimmen, ob das verfolgte Objekt mit dem Fahrkorridor kollidieren kann. Insbesondere wird in Schritt 70 bestimmt, ob das verfolgte Objekt auf einem Kollisionskurs zum Fahrkorridor ist.
Wenn das Fahrzeug im Rückwärtsmodus ist (wird in Schritt 72 bestimmt), erzeugt die ECU 29 in Schritt 74 ein Panoramabild (z. B. ein Bild von ca. 180°) aus den von der rechten und linken Kamera 22 bzw. 24 aufgenommen Bilddaten. Die ECU 29 erzeugt ein Panoramabild unter Verwendung von „image stitching”. Image stitching kombiniert oder verknüpft mehrere Bilder mit überlappenden Blickfeldern, um ein einziges Panoramabild zu erzeugen. Image stitching umfasst mehrere Schritte oder Prozesse wie etwa das Kalibrieren der einzelnen Bilder, das Registrieren der Bilder unter Verwendung von direkten oder merkmalsbasierten Bildausrichtverfahren, um Bildorientierung und Überlappungen zu bestimmen, und das Überlagern der mehreren Bilder, um die überlappenden Abschnitte zu kombinieren und Fehler oder Verzerrungen zu korrigieren. Das Panoramabild kann auch in einer Weise erzeugt werden, die eine veränderte Perspektive liefert (z. B. Vogelschauperspektive im Gegensatz zum Aufriss), indem eine Bildtransformation (zum Verändern des wahrgenommenen Blickwinkels), gefolgt von einem Verknüpfen (stitching) der transformierten Bilder vorgenommen wird. Bei einer solchen Ausgestaltung umfasst das System auch einen Eingabe- oder Auswahlmechanismus (z. B. eine tatsächliche oder virtuelle Taste im Fahrzeugcockpit), so dass der Fahrer auswählen oder festlegen kann, welche Perspektive oder welcher Blickwinkel des Panoramabildes dem Fahrer angezeigt wird.
Nach Erzeugung des Panoramabildes in Schritt 74 hebt die ECU 29 alle verfolgten Objekte in dem Panoramabild in Schritt 76 hervor, bevor sie dem Führer in Schritt 78 das Panoramabild anzeigt. Wie in 4 gezeigt, zeigt die ECU 29 das Panoramabild dem Führer auf dem Anzeigeschirm 48 der HMI 49 an.
Unabhängig davon, ob das Fahrzeug im Rückwärtsmodus oder im Vorwärtsmodus ist, wird über die HMI 49 eine Warnung erzeugt (Schritt 80), wenn ein Objekt auf einem Kollisionskurs zum Fahrkorridor ist. Die Warnung wird erzeugt durch Hervorheben, Markieren oder Blinkenlassen von verfolgten Objekten in einem auf dem Anzeigeschirm 48 angezeigten Panoramabild, Einschalten einer der Warnleuchten 51, Ausgeben einer hörbaren Warnung mit dem Lautsprecher 49c und/oder Erzeugen einer fühlbaren Warnung über eine haptische Schnittstelle (siehe 4). Wenn der Führer nicht reagiert oder auf die Warnung nicht anspricht, reagiert das System durch Berechnen der Zeit bis zur Kollision (time to collision, TTC) in Schritt 86. Die TTC wird mit einer vordefinierten Schwelle verglichen. Wenn die TTC unter der Schwelle ist und das Fahrzeug sich rückwärts bewegt, steuert das System ein aktives Bremsen, um eine Kollision zu vermeiden (Schritt 90). Mit anderen Worten erzeugt das rückwärtsblickende Kamerasystem einen Bremsbefehl, und das so informierte oder aktivierte Bremssystem bildet ein aktives Bremssystem. Wenn eine Kollision unvermeidbar ist, werden zusätzliche Sicherheitsmerkmale (z. B. Sicherheitsgurt, Nackenstütze etc.) während einer Kollisionslinderung (Schritt 88) aktiviert. Diese zusätzlichen Komponenten bilden, insbesondere wenn sie von dem rückwärtsblickenden Kamerasystem aktiviert oder informiert werden, ein Kollisionslinderungssystem. Das Kollisionslinderungssystem empfängt Daten wie etwa Objekttyp, Kollisionsgeschwindigkeit, Kollisionsposition etc. und reagiert entsprechend durch Senden von Signalen an Sicherheitsvorrichtungen wie etwa Sicherheitsgurte, Airbags, aktive Nackenstützen und dergleichen.
Wenn kein Objekt in Zone 1 erfasst wird (Schritt 62), werden Zonen 2 und 3 verarbeitet. (Um den Berechnungsaufwand zu verringern, werden die Zonen 2 und 3 nicht untersucht, wenn ein Objekt in Zone 1 erfasst wird.) Die vorhergehenden Bilddaten für Zonen 2 und 3, auch als benachbarte Bilddaten bezeichnet, sind in einem Puffer gespeichert. Wie am besten mit Bezug auf 6 zu erkennen, wird eine Entsprechung zwischen den aktuellen Bilddaten für Zone 2 und den vorhergehenden Bilddaten für Zone 2 berechnet (Schritt 92). Genauso wird eine Entsprechung zwischen den aktuellen Bilddaten für Zone 3 und den vorhergehenden Bilddaten für Zone 3 berechnet (Schritt 92).
Anhand der Entsprechungsdaten wird ein optischer Fluss durchgeführt, um eine Bewegungsflusskarte für Zonen 2 und 3 in Schritt 94 zu berechnen. Der optische Fluss wird durchgeführt unter Verwendung der Entsprechung zwischen den gegenwärtigen und den vorhergehenden Bilddaten. Es wird angenommen, dass der optische Fluss nur von Objekten in Zone 2 und 3 verursacht wird, weil die Bewegungskarte nur berechnet wird, wenn 1. das Fahrzeug im Rückwärtsmodus ist und 2. keine Objekte in Schritt 62 von 5 erfasst werden. (Die Disparitätsberechnung für Zone 1 ist zwar immer aktiv, doch hat eine mögliche Rückfahrkollision auf dem Fahrkorridor (nur) dann Bedeutung, wenn das Fahrzeug im Rückwärtsmodus ist. Allerdings könnte die Erfassung eines Objekts in Zone 1 auf ein sich von hinten näherndes, relativ schnell bewegtes Objekt zurückzuführen sein, das je nach Situation zu einer rückseitigen Kollision oder einer vorderseitigen Kollision führen könnte (z. B. wenn sich das Objekt schneller nähert, als das Fahrzeug wegfahren kann). Die Pixel, die Objekten in Zone 2 und 3 entsprechen, werden als sich in der gleichen Höhe bewegend angenommen, um die Gleichungen zu vereinfachen und weil nur kreuzende Bewegung relevant ist. So wird die Bewegung in die Vogelperspektive transformiert. Zusätzlich ist die Fahrzeugeigenbewegung (z. B. Fahrzeuggeschwindigkeit, Fahrzeugrichtung, Lenkwinkel etc.) bekannt, und die tatsächliche Bewegung eines Pixels oder Objekts kann aus der Fahrzeugeigenbewegung und der verfolgten Bewegung bestimmt werden. Nur tatsächliche Bewegung auf die Zone 1 zu und auf den Fahrkorridor zu wird als relevant angenommen. Andere Bewegung wird ignoriert. Die Bewegungspixel werden geclustert, um zu bestimmen, ob ein mögliches Objekt sich auf das Fahrzeug zu bewegt, und ob das mögliche Objekt auf einem Kollisionskurs zum Fahrkorridor ist (Schritt 106). Wenn keine Objekte erfasst werden, die sich auf einem Kollisionskurs befinden, werden (in Schritt 50) neue rechte und linke Bilddatenfelder aufgenommen, und der Prozess wiederholt sich.
Wenn bestimmt wird, dass ein Objekt in Zone 2 oder 3 sich auf einem Kollisionskurs befindet (Schritt 106), dann wird der Fahrzeugmodus bestimmt. Wenn das Fahrzeug 28 im Rückwärtsmodus ist (wird in Schritt 110 bestimmt), wird in Schritt 112 ein Panoramabild (z. B. unter Verwendung von Image stitching wie oben für Schritt 74 beschrieben) erzeugt, und das verfolgte Objekt wird in Schritt 114 in dem Panoramabild hervorgehoben oder markiert. Das Panoramabild wird dann in Schritt 116 dem Führer auf dem Anzeigeschirm 48 der HMI 49 (siehe 4) angezeigt.
Eine Warnung wird über die HMI 49 erzeugt (Schritt 118) (unabhängig von Vorwärts- oder Rückwärtsmodus oder der Bewegung des Fahrzeugs). Die Warnung wird erzeugt durch Hervorheben, Markieren oder Blinkenlassen von verfolgten Objekten in einem auf dem Anzeigeschirm 48 angezeigten Panoramabild, Einschalten einer der Warnleuchten 51, Ausgeben einer hörbaren Warnung über den Lautsprecher 49c und/oder Erzeugen einer fühlbaren Warnung über eine haptische Schnittstelle (siehe 4). Wenn der Führer auf die Warnung nicht reagiert (Schritt 122), berechnet das System die Zeit bis zur Kollision (TTC) in Schritt 128. Wenn die TTC unter einer vordefinierten Schwelle ist, ordnet das System aktives Bremsen an, um eine Kollision zu vermeiden (Schritt 134). Wenn eine Kollision unvermeidbar ist, werden während einer Kollisionslinderung (Schritt 132) zusätzliche Sicherheitsmerkmale aktiviert (z. B. Sicherheitsgurt, Nackenstütze etc.). Wie oben angegeben, basiert die Kollisionslinderung auf Daten wie etwa Objekttyp, Kollisionsgeschwindigkeit, Kollisionsposition etc.
Aufgrund der Komplexität der in Schritt 52 von 5 und Schritt 92 von 6 durchgeführten Entsprechungsberechnungen werden die Bilddaten vor der Verarbeitung digital abgebildet. 7 veranschaulicht visuell die an den Bilddatenfeldern durchgeführte digitale Abbildung. Die Kameras 22 und 24 haben jeweils eine unterschiedliche Perspektive, was zu nicht gleichförmig strukturierten Zonen führt. Die digitale Abbildung wird daher an den Bilddaten vorgenommen, um die Bilddaten in ein strukturierteres Format umzuwandeln. Die digitale Abbildung beschreibt eine Bildtransformation wie etwa Strecken oder Stauchen von manchen Bildbereichen, um die Verwendung von Pixeldaten zu normalisieren. Beispiele für digitale Abbildungen sind Bildverzerrungskorrektur, Perspektivtransformation und Projektion. Bestimmte Gebiete in den Bilddaten können als wichtiger oder nützlicher als andere Gebiete angesehen werden. Die wichtigen Gebiete können abgewandelt werden, um die digitalisierte Pixelauflösung zu erhöhen, und die weniger wichtigen Gebiete können abgewandelt werden, um die Pixelauflösung zu verringern. Digitale Abbildung in die Vogelperspektive erlaubt es auch, das Ungleichförmigkeitsproblem zu lösen. Das Ungleichförmigkeitsproblem ergibt sich aus einer Kameraperspektive mit einem Blickwinkel, der zu zu vielen Pixeln im Nahfeld führt. Nach der digitalen Abbildung wird der abgebildete Raum gleichförmig wahrgenommen. Wie in 7 gezeigt, werden die Bilddaten in Datenblöcke restrukturiert, um eine schnellere Entsprechungsberechnung zu ermöglichen.
Wie in 1 gezeigt, ist die rechte Kamera 22 an der rechten Seite 30 des Fahrzeugs 28 montiert und auf die linke Seite 32 ausgerichtet. Die von der rechten Kamera 22 aufgenommenen Daten sind in 7 schematisch als Feld 136 dargestellt. Die Bilddaten im Feld 136 entsprechen der linken Seite 32 und umfassen L (Zone 1), L (Zone 2) und Zone 5. Genauso sind die von der linken Kamera 24 aufgenommenen Bilddaten schematisch als Feld 138 dargestellt. Die Bilddaten im Feld 138 entsprechen der rechten Seite 30 und umfassen R (Zone 1), R (Zone 3) und Zone 4. Die digitale Abbildung wird durchgeführt, um die Daten der Felder 136 und 138 gleichmäßig in entsprechende Abschnitte oder Datenblöcke aufzuteilen, so dass die Entsprechungsberechnungen schneller durchgeführt werden können. Genauer gesagt werden die der Zone 1 im Feld 136 entsprechenden Bilddaten auf Zone 1 in Feld 140 und die der Zone 2 im Feld 136 entsprechenden Bilddaten auf Zone 2 im Feld 140 abgebildet, und die der Zone 5 im Feld 136 entsprechenden Bilddaten werden ignoriert. Die rechte Kamera 22 hat ein Blickfeld, das die der Zone 3 entsprechenden Bilddaten nicht enthält. Daher werden die Zone 3 entsprechenden Bilddaten aus dem vorhergehenden Datensatz zum Feld 140 als die Daten für Zone 3 hinzugefügt. Eine gleiche digitale Abbildung wird für das Feld 138 durchgeführt. Das abgebildete Feld 142 umfasst die der Zone 1 und Zone 3 des Feldes 138 entsprechenden Bilddaten. Die Bilddaten in Zone 4 von Feld 138 werden ignoriert. Die linke Kamera 24 hat ein Blickfeld, das die der Zone 2 entsprechenden Daten nicht enthält. Daher wird der vorhergehende Datensatz für Zone 2 zum Feld 142 als die Daten für Zone 2 hinzugefügt. Jedes Feld 140 und 142 wird in einem anderen Datenpuffer gespeichert.
8 veranschaulicht die Logik für die hardwarebeschleunigte Entsprechungsberechnung 144. Die Logik umfasst digitale Abbildung und Datenausrichtung (Schritte 150 und 152), wie mit Bezug auf 7 diskutiert. Datenausrichtung ist die Restrukturierung der Bilddatenfelder in entsprechende Datenblöcke, die in jeder Entsprechungsberechnung verwendet werden. Entsprechungsberechnungen werden verwendet, um die Tiefenkarte und den optischen Fluss unter Verwendung der Information in den neu abgebildeten Feldern 140 und 142 zu berechnen. Wie dargestellt, werden die vorhergehenden Daten für Zone 2 (Schritt 152) sowie die gegenwärtigen Daten für Zone 2 (Schritt 156) in der Entsprechungsberechnung für Zone 2 verwendet (Schritt 158). Die der Zone 1 entsprechenden Daten aus jedem Feld 140 und 142 (Schritte 160 und 162) werden für die Entsprechungsberechnung der Zone 1 verwendet (Schritt 164). Die den vorhergehenden Daten für Zone 3 entsprechenden Daten (Schritt 168) und die gegenwärtigen Daten für Zone 3 (Schritt 166) werden in der Entsprechungsberechnung für Zone 3 verwendet (Schritt 172).
Entsprechungsberechnungen sind aufwändig und erfordern lange Rechenzeit, wenn hohe Genauigkeit und Robustheit verlangt sind. Um die Geschwindigkeit der Entsprechungsberechnungen weiter zu beschleunigen, werden die Entsprechungsberechnungen parallel unter Verwendung einer speziell konstruierten strukturierten Elementemaschine in Rechenvorrichtungen oder einer parallelen Hardware-Architektur wie etwa feldprogrammierbaren Gate Arrays (FPGAs) und anwendungsspezifischen integrierten Schaltungen (ASICs) durchgeführt. Natürlich kann andere Hardware verwendet werden, um die Berechnungen zu beschleunigen.
Die Erfindung liefert also unter Anderem ein multifunktionales rückwärtsblickendes Kamerasystem, das diverse Kollisionslinderungs- und -vermeidungssysteme bietet. Diverse Merkmale und Vorteile der Erfindung sind in den folgenden Ansprüchen dargelegt.

Claims

Rückwärtsblickendes Kamerasystem für ein Fahrzeug, welches umfasst: eine erste an einer Rückseite des Fahrzeugs positionierte Kamera, wobei die erste Kamera einen ersten Datensatz erzeugt, der einem ersten Blickfeld entsprechende Bilddaten umfasst; eine zweite an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positionierte Kamera, wobei die zweite Kamera einen zweiten Datensatz erzeugt, der einem zweiten Blickfeld entsprechende Bilddaten umfasst, wobei das erste Blickfeld und das zweite Blickfeld einen zur Rückseite des Fahrzeugs benachbarten Raum abdecken; eine elektronische Steuereinheit, die den ersten Datensatz und den zweiten Datensatz empfängt und den ersten Datensatz und den zweiten Datensatz verarbeitet, um das Vorhandensein eines Objekts in dem zur Rückseite des Fahrzeugs benachbarten Raum zu bestimmen, wobei die elektronische Steuereinheit konfiguriert ist, den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht; eine Mensch-Maschine-Schnittstelle, die einen benachbart zu einem Führer des Fahrzeugs positionierten Anzeigeschirm umfasst, wobei die Mensch-Maschine-Schnittstelle konfiguriert ist, das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit einen Fahrkorridor berechnet, eine zeit bis zur Kollision des Objektes im Fahrkorridor bestimmt und dem Führer des Fahrzeugs eine Warnung liefert.
Rückwärtsblickendes Kamerasystem nach Anspruch 2, bei dem die Warnung eine hörbare Warnung, eine sichtbare Warnung oder eine fühlbare Warnung ist.
Rückwärtsblickendes Kamerasystem nach Anspruch 2, bei dem die Warnung das Hervorheben des Objekts in dem Panoramabild umfasst.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem der zur Rückseite des Fahrzeugs benachbarte Raum ein Blickfeld von zwischen 100° und 180° definiert.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem der zur Rückseite des Fahrzeugs benachbarte Raum ein Blickfeld von 180° oder mehr definiert.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die Bilddaten ein Videostrom von Bilddaten sind.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit für die Parallelverarbeitung der Bilddaten konfigurierter Hardware.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die Hardware eine anwendungsspezifische integrierte Schaltung oder ein feldprogrammierbares Gate Array umfasst.
Rückwärtsblickendes Kamerasystem nach Anspruch 2, ferner mit einem Kollisionslinderungssystem und einem Bremssystem, wobei das Kollisionslinderungssystem und das Bremssystem konfiguriert sind, um in Reaktion auf die Feststellung, dass der Führer nicht auf die Warnung reagiert, zu arbeiten.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit einen Fahrkorridor berechnet, eine Zeit bis zur Kollision des Objekts mit dem Fahrzeug im Fahrkorridor bestimmt, und von der elektronischen Steuereinheit erzeugte Information verwendet wird, um eine Tote-Winkel-Warnung und/oder eine Spurwechselanzeige zu liefern.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit einem Bremssystem und einem vorwärtsblickenden Kollisionserfassungssystem, wobei Information über eine bevorstehende rückseitige Kollision von der elektronischen Steuereinheit an das vorwärtsblickende Kollisionserfassungssystem geliefert wird, und das vorwärtsblickende Kollisionserfassungssystem konfiguriert ist, um das Bremssystem basierend sowohl auf der Information über die bevorstehende rückseitige Kollision als auch auf der Erfassung einer bevorstehenden vorderseitigen Kollision zu steuern.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit in Reaktion auf eine Benutzereingabe einen Blickwinkel des Panoramabildes ändert.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die erste und die zweite Kamera betreibbar sind, um Bildströme im sichtbaren Spektrum und im Infrarotspektrum aufzufangen.
Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit Infrarotlichtquellen, die betreibbar sind, um das erste Blickfeld und das zweite Blickfeld mit Infrarotlicht zu beleuchten.
Verfahren zum Erfassen eines zu einer Rückseite eines Fahrzeugs benachbarten Objekts, wobei das Verfahren umfasst: Aufnehmen eines ersten Bilddatensatzes, der einem ersten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, mit einer ersten Kamera; Aufnehmen eines zweiten Bilddatensatzes, der einem zweiten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, mit einer zweiten Kamera; in einer elektronischen Verarbeitungseinheit Abbilden des ersten Bilddatensatzes auf ein erstes Pixelfeld; Abbilden des zweiten Bilddatensatzes auf ein zweites Pixelfeld; Berechnen einer Entsprechung zwischen dem ersten Pixelfeld und dem zweiten Pixelfeld, um einen dritten Bilddatensatz zu erzeugen; Berechnen eines Fahrkorridors, der einem vorhergesagten Bewegungspfad des Fahrzeugs entspricht; Bestimmen des Vorhandenseins eines Objekts in dem dritten Bilddatensatz; Bestimmen einer möglichen Kollision zwischen dem Objekt und dem Fahrkorridor; und Berechnen einer Zeit bis zur Kollision.
Verfahren nach Anspruch 16, bei dem das Abbilden des ersten Bilddatensatzes und das Abbilden des zweiten Bilddatensatzes mit einer anwendungsspezifischen integrierten Schaltung oder einem feldprogrammierbaren Gate Array durchgeführt wird.
Verfahren nach Anspruch 16, welches ferner umfasst: Bestimmen, ob das Fahrzeug in einem Rückwärtsmodus arbeitet, und, wenn das Fahrzeug in dem Rückwärtsmodus arbeitet, Erzeugen eines dem ersten Raum und dem zweiten Raum entsprechenden Panoramabildes und Anzeigen des Panoramabildes für einen Führer des Fahrzeugs.
Verfahren nach Anspruch 18, welches ferner ein Hervorheben des Objekts in dem Panoramabild umfasst.
Verfahren nach Anspruch 18, mit dem Ändern eines Blickwinkels des Panoramabildes in Reaktion auf eine Benutzereingabe.
Verfahren nach Anspruch 16, bei dem der dritte Bilddatensatz Bilddaten umfasst, die einem direkt hinter der Rückseite des Fahrzeugs positionierten Raum entsprechen.
Verfahren nach Anspruch 21, ferner mit: Berechnen einer Tiefenkarte für die Bilddaten, die dem direkt hinter der Rückseite des Fahrzeugs positionierten Raum entsprechen, und Berechnen einer Bewegungskarte für benachbarte Bilddaten des dritten Bilddatensatzes, wobei die benachbarten Bilddaten einem Raum entsprechen, der zu dem direkt hinter der Rückseite des Fahrzeugs positionierten Raum benachbart ist.
Verfahren nach Anspruch 16, ferner mit dem Warnen eines Führers des Fahrzeugs, wenn die mögliche Kollision bestimmt wird.
Verfahren nach Anspruch 23, bei dem das Warnen des Führers das Bereitstellen einer hörbaren Warnung, einer sichtbaren Warnung oder einer fühlbaren Warnung umfasst.
Verfahren nach Anspruch 23, ferner mit dem Erfassen einer Nichtreaktion des Führers auf die Warnung und dem aktiven Bremsen in Antwort auf die Nichtreaktion, um zu versuchen, die Kollision zu vermeiden,.
Verfahren nach Anspruch 23, ferner mit dem Erfassen einer Nichtreaktion des Führers auf die Warnung, Vergleichen der Zeit bis zur Kollision mit einer Schwelle und Bereitstellen von Kollisionslinderung und/oder aktiver Bremsung, wenn die Zeit bis zur Kollision kleiner als die Schwelle ist.
Verfahren nach Anspruch 16, mit dem Bereitstellen einer Tote-Winkel-Warnung und/oder eines Spurwechselhinweises basierend auf von der elektronischen Verarbeitungseinheit erzeugter Information.
Verfahren nach Anspruch 16, ferner mit: Bereitstellen von Information über eine bevorstehende rückseitige Kollision von der elektronischen Verarbeitungseinheit an ein vorwärtsblickendes Kollisionserfassungssystem basierend auf der möglichen Kollision und der Zeit bis zur Kollision, Erfassen einer bevorstehenden vorderseitigen Kollision, Bereitstellen von Steuersignalen vom vorwärtsblickenden Kollisionserfassungssystem an ein Bremssystem basierend sowohl auf der Information über die bevorstehende rückseitige Kollision als auch der Erfassung der bevorstehenden vorderseitigen Kollision.
Verfahren nach Anspruch 16, bei dem das Aufnehmen des ersten Bilddatensatzes und des zweiten Bilddatensatzes das Auffangen von Bildströmen im sichtbaren Spektrum und im infraroten Spektrum umfasst.
Verfahren nach Anspruch 16, ferner mit dem Beleuchten des ersten Blickfeldes und des zweiten Blickfeldes mit Infrarotlicht.