DE102010052942A1 - Rückwärtsblickendes multifunktionales Kamerasystem - Google Patents
Rückwärtsblickendes multifunktionales Kamerasystem Download PDFInfo
- Publication number
- DE102010052942A1 DE102010052942A1 DE102010052942A DE102010052942A DE102010052942A1 DE 102010052942 A1 DE102010052942 A1 DE 102010052942A1 DE 102010052942 A DE102010052942 A DE 102010052942A DE 102010052942 A DE102010052942 A DE 102010052942A DE 102010052942 A1 DE102010052942 A1 DE 102010052942A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- image data
- collision
- data set
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 10
- 230000000116 mitigating effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000002329 infrared spectrum Methods 0.000 claims description 4
- 238000001429 visible spectrum Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 15
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Rückwärtsblickendes Kamerasystem für ein Fahrzeug. Das rückwärtsblickende Kamerasystem umfasst eine erste an einer Rückseite des Fahrzeugs positionierte Kamera. Die erste Kamera erzeugt einen ersten Datensatz, der einem ersten Blickfeld entsprechende Bilddaten umfasst. Eine zweite Kamera ist an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positioniert. Die zweite Kamera erzeugt einen zweiten Datensatz, der einem zweiten Blickfeld entsprechende Bilddaten umfasst. Das erste Blickfeld und das zweite Blickfeld decken einen zur Rückseite des Fahrzeugs benachbarten Raum ab. Eine elektronische Steuereinheit empfängt den ersten Datensatz und den zweiten Datensatz und verarbeitet den ersten Datensatz und den zweiten Datensatz, um das Vorhandensein eines Objekts in dem zur Rückseite des Fahrzeugs benachbarten Raum zu bestimmen. Die elektronische Steuereinheit ist konfiguriert, den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht. Eine Mensch-Maschine-Schnittstelle umfasst einen benachbart zu einem Führer des Fahrzeugs positionierten Anzeigeschirm, und die Mensch-Maschine-Schnittstelle ist konfiguriert, um das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.
Description
- Hintergrund
- Die vorliegende Erfindung betrifft ein rückwärtsblickendes multifunktionales Kamerasystem.
- Es gibt diverse Situationen, in denen es wünschenswert ist, hinter ein Kraftfahrzeug oder ein anderes Fahrzeug zu sehen. In den meisten Fällen unterscheiden sich die Anforderungen verschiedener Videoanwendungen voneinander. Z. B. unterscheiden sich die Anforderungen eines rückwärtsblickenden Kamerasystems in einem PKW häufig von den Anforderungen eines rückwärtsblickenden Kamerasystems in einem Nutzfahrzeug.
- Kurzbeschreibung
- Wenigstens teilweise aufgrund der unterschiedlichen Erfassungsabdeckung hinter den Fahrzeugen bei unterschiedlichen Videoanwendungen haben Systemdesigner Mühe gehabt, eine einzige Erfassungskonfiguration zu finden, die den meisten Anwendungen mit ausreichender Datenintegrität genügt.
- Die vorliegende Erfindung liefert eine Rückwärtsblick-Konfiguration, die ein Blickfeld von bis zu 180° mit hoher Bildauflösung für Beobachtungszwecke hinter dem Fahrzeug abdeckt. Sie liefert auch Tiefen- und Bewegungsinformation von hoher Integrität für multiple Funktionalitäten, darunter Fahrzeugkomfortsysteme und Fahrzeugsicherheitssysteme. Das Kamerasystem arbeitet sowohl im Vorwärts- als auch im Rückwärtsfahrzustand.
- In Fahrzeugen verwendete Fahrzeugerfassungssysteme können verwendet werden, um einen Führer des Fahrzeugs vor ungünstigen Bedingungen zu warnen, die bestehen oder deren Auftreten in der Zukunft vorhergesagt wird. Solche Fahrzeugerfassungssysteme können einen Fahrer vor dem Vorhandensein eines Objekts hinter dem Fahrzeug beim Rückwärtsfahren warnen, die Bewegung eines Objekts berechnen und eine mögliche Kollision sowie die Zeit der Kollision vorhersagen, ein virtuelles Bild der Objekte hinter dem Fahrzeug liefern, Abstände berechnen, Sicherheitsmerkmale in einem Fahrzeug aktiv steuern, Bremswirkung und Lenkwinkel eines Fahrzeugs aktiv steuern und andere Funktionen ausführen. Das Fahrzeugerfassungssystem nach der vorliegenden Erfindung führt mehrere Funktionen aus und beseitigt den Bedarf für mehrere Erfassungssysteme.
- Einer Ausgestaltung zufolge sieht die Erfindung ein rückwärtsblickendes Kamerasystem für ein Fahrzeug vor. Das rückwärtsblickende Kamerasystem umfasst eine erste an der Rückseite des Fahrzeugs positionierte Kamera. Die erste Kamera liefert einen ersten Datensatz, der einem ersten Blickfeld entsprechende Bilddaten enthält. Eine zweite Kamera ist an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positioniert. Die zweite Kamera liefert einen zweiten Datensatz, der einem zweiten Blickfeld entsprechende Bilddaten enthält. Das erste Blickfeld und das zweite Blickfeld decken einen zu der Rückseite des Fahrzeugs benachbarten Raum ab. Eine elektronische Steuereinheit empfängt den ersten Datensatz und den zweiten Datensatz und verarbeitet den ersten Datensatz und den zweiten Datensatz, um die Anwesenheit eines Objekts in dem zu der Rückseite des Fahrzeugs benachbarten Raum zu bestimmen. Die elektronische Steuereinheit ist konfiguriert, um den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht.
- Das Kamerasystem umfasst eine Mensch-Maschine-Schnittstelle (human-machine-interface, HMI) mit einem benachbart zum Führer des Fahrzeugs positionierten Anzeigeschirm. Die HMI ist konfiguriert, um das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.
- Einer anderen Ausgestaltung zufolge liefert die Erfindung ein Verfahren zum Erfassen eines zu einer Rückseite eines Fahrzeugs benachbarten Objekts. Das Verfahren umfasst das Aufnehmen eines ersten Bilddatensatzes, der einem ersten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, und das Aufnehmen eines zweiten Bilddatensatzes, der einem zweiten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht. Das Verfahren umfasst ferner das Abbilden des ersten Bilddatensatzes auf ein erstes Pixelfeld, das Abbilden des zweiten Bilddatensatzes auf ein zweites Pixelfeld und das Berechnen einer Entsprechung zwischen dem ersten Pixelfeld und dem zweiten Pixelfeld, um einen dritten Bilddatensatz zu erzeugen, der eine erste Zone, eine zweite Zone und eine dritte Zone umfasst. Das Verfahren umfasst ferner das Berechnen eines Fahrkorridors, der einem vorhergesagten Bewegungspfad des Fahrzeugs entspricht, zunächst das Versuchen, die Anwesenheit eines Objekts in der ersten Zone zu bestimmen, das Versuchen, die Anwesenheit eines Objekts in der zweiten Zone oder der dritten Zone zu bestimmen, wenn kein Objekt in der ersten Zone erfasst wurde, das Bestimmen einer möglichen Kollision zwischen dem Objekt mit dem Fahrzeugkorridor und das Berechnen einer Zeit bis zur Kollision.
- Andere Aspekte der Erfindung werden deutlich anhand der detaillierten Beschreibung und der beigefügten Zeichnungen.
- Kurze Beschreibung der Zeichnungen
-
1 zeigt die Montagepositionen und Blickfelder von zwei Kameras an der Rückseite eines Lastwagens. -
2 zeigt die Montagepositionen und Blickfelder von zwei Kameras an der Rückseite eines PKWs -
3 ist ein Diagramm, das die räumliche Abbildungsabdeckung, einer jeden von zwei an einem Fahrzeug montierten Kameras und eine elektronische Steuereinheit zeigt, die die von den zwei Kameras erhaltenen Bilder verarbeitet. -
4 zeigt eine Mensch-Maschine-Schnittstelle mit einem Anzeigeschirm, der von den zwei Kameras der1 oder2 erhaltene Bilder einem Fahrzeugführer anzeigt. -
5 zeigt die von dem rückwärtsblickenden Kamerasystem der1 und2 durchgeführte Logik. -
6 ist eine Fortsetzung der Logik von5 . -
7 veranschaulicht die von der Logik der5 und6 durchgeführte digitale Abbildung. -
8 zeigt die zum Verbessern der Verarbeitungsgeschwindigkeit der Logik von5 und6 verwendete Logik. - Detaillierte Beschreibung:
- Bevor Ausgestaltungen der Erfindung im Detail erläutert werden, sei darauf hingewiesen, dass die Erfindung in ihrer Anwendung nicht auf die in der folgenden Beschreibung dargestellten oder in den folgenden Zeichnungen gezeigten Konstruktionsdetails und Komponentenanordnungen beschränkt ist. Die Erfindung ist geeignet für andere Ausgestaltungen und in diversen Weisen anwendbar oder ausführbar.
- Ein rückwärtsblickendes Kamerasystem
20 bietet mehrere Funktionalitäten unter Verwendung von zwei an der Rückseite26 eines Fahrzeugs28 montierten Kameras22 ,24 . Es versteht sich, dass die Kameras22 ,24 an anderen geeigneten Oberflächen des Fahrzeugs28 (z. B. Rückseite, Flanke, Oberseite, Unterseite) so montiert sein können, dass die Kameras in der Lage sind, den zur Rückseite26 des Fahrzeugs benachbarten Raum zu überwachen. Das rückwärtsblickende Kamerasystem20 nimmt digitalisierte Bilder aus einem benachbart zur Rückseite26 des Fahrzeugs28 positionierten Raum auf. Bilddaten von den Kameras22 ,24 werden an eine elektronische Verarbeitungseinheit29 (3 ), auch als elektronische Steuereinheit (electronic control unit, ECU) bezeichnet, geliefert, die einen programmierbaren Mikroprozessor, einen Speicher, Betriebssystemsoftware und andere einschlägige Komponenten umfassen kann. Konditionierschaltungen oder periphere Treiber (C/D)30 und31 können verwendet werden, um die elektronische Verarbeitungseinheit29 mit den Kameras22 ,24 zu verknüpfen. -
1 zeigt ein Fahrzeug28 in Form eines Lastwagens28A , der ein rückwärtsblickendes Kamerasystem20A aufweist. Das rückwärtsblickende Kamerasystem20A umfasst eine erste Kamera22A (hier als rechte Kamera bezeichnet), die nahe einer rechten Seite30A des Lastwagens28A montiert ist, und eine zweite Kamera24A (hier als linke Kamera bezeichnet), die nahe einer linken Seite32A des Lastwagens28A montiert ist. Die rechte und linke Kamera22A ,24A sind gleich und arbeiten gleich. Die rechte und linke Kamera22A ,24A haben jeweils ein Blickfeld von ca. 100°. Die rechte Kamera22A ist nahe einer Oberseite34A des Lastwagen28A über einem rechten Heckscheinwerfer36A montiert, und die linke Kamera24A ist nahe der Oberseite34A des Lastwagens28A über einem linken Heckscheinwerfer38A montiert. Die rechte Kamera22A ist zur linken Seite32A des Lastwagens28A ausgerichtet, so dass die rechte Kamera22A Bilddaten aufnimmt, die dem unmittelbar hinter dem Lastwagen28A zur linken Seite32A hin positionierten Raum entsprechen. Die linke Kamera24A ist zur rechten Seite30A des Lastwagens28A ausgerichtet, so dass die linke Kamera24A Bilddaten aufnimmt, die dem unmittelbar hinter dem Lastwagen28A zur rechten Seite30A hin positionierten Raum entsprechen. - In anderen Konstruktionen kann die rechte Kamera
22A von der linken24A verschieden sein (z. B. ein anderes Blickfeld haben). Die Blickfelder der Kameras erstrecken sich typischerweise über 90° bis 130°. Bei manchen Konstruktionen sind die Kameras22A und24A an anderen Positionen an dem Lastwagen28A montiert, oder die Kameras22A und24A sind in andere Richtungen ausgerichtet. - Der Lastwagen
28A umfasst ferner ein Paar Vorderräder40A und ein Paar Hinterräder42A . Im Betrieb des Lastwagens28A lenkt ein Führer die Vorderräder40A , um den Lastwagen28A in eine gewünschte Richtung zu steuern. Bekanntlich kann das Drehen unabhängig davon erfolgen, ob das Fahrzeug sich vorwärts (Vorwärtsmodus) oder rückwärts (Rückwärtsmodus). bewegt. -
2 zeigt ein Fahrzeug28 in Form eines PKWs28B mit einem rückwärtsblickenden Kamerasystem20B . Das rückwärtsblickende Kamerasystem20B gleicht dem in1 gezeigten rückwärtsblickenden Kamerasystem20A . Gleiche Komponenten sind mit gleichen Bezugszeichen versehen und werden kurz diskutiert. Das rückwärtsblickende Kamerasystem20B umfasst eine nahe einer rechten Seite30B des PKWs28B montierte rechte Kamera22B und eine nahe einer linken Seite32B des PKWs28B montierte linke Kamera24B . Linke und rechte Kamera22B und24B sind gleich und arbeiten gleich. Rechte und linke Kamera22B und24B haben jeweils ein Blickfeld von ca. 100°. Die rechte Kamera22B ist benachbart zu einem Nummernschild36B positioniert und zur linken Seite32B des PKWs28B ausgerichtet, so dass die rechte Kamera22B Bilddaten aufnimmt, die dem unmittelbar hinter dem PKW28B zur linken Seite32B hin gelegenen Raum entsprechen. Entsprechend ist die linke Kamera24B benachbart zum Nummernschild36B positioniert und zur rechten Seite30B des PKWs28B ausgerichtet, so dass die linke Kamera24B Bilddaten aufnimmt, die dem unmittelbar hinter dem PKW28B zur rechten Seite30B hin gelegenen Raum entsprechen. - Bei manchen Ausgestaltungen einschließlich der in
1 und2 gezeigten sind die verwendeten Kameras CMOS- oder CCD-Typ-Kameras und fangen Bildströme im sichtbarem Spektrum, dem Infrarotspektrum, dem nahen Infrarotspektrum (NIR) oder einer Kombination von diesen kontinuierlich auf. Bei einer Ausgestaltung sind die Kameras empfindlich auf Licht mit einer Wellenlänge im Bereich von ca. 400 nm bis ca. 1000 nm, und ein Infrarotfilter wird an den Kameras verwendet, um Wellenlängen oberhalb ca. 1200 nm abzublocken. Bei manchen Ausgestaltungen sind das Fahrzeug oder die Kameras mit NIR-Lichtquellen23 (z. B. LEDs) ausgestattet, um interessierende Bereiche auszuleuchten. Die Ausrüstung des Fahrzeugs, der Kameras oder beider mit NIR-Lichtquellen hilft, die Qualität der von den Kameras erhaltenen Bilder, insbesondere bei Nacht, zu verbessern. -
3 zeigt schematisch den zur Rückseite26 des Fahrzeugs28 benachbarten Raum in der Vogelschau. Die rechte Kamera22 hat ein Blickfeld von 100° und nimmt Bilder von 0° bis 100° auf, wie in3 definiert. Die Kameras22 und24 sind so positioniert, dass ihre Blickfelder überlappen und die Kameras22 und24 ein kombiniertes Blickfeld von 180° haben. Bei der gezeigten Ausgestaltung ist der abgebildete Raum durch fünf Zonen definiert. Zone 1 ist direkt hinter dem Fahrzeug28 positioniert und umfasst den gesamten von sowohl der rechten Kamera22 als auch der linken Kamera24 abgebildeten Raum. Zone 2 ist hinter dem Fahrzeug28 und links von diesem positioniert und umfasst den gesamten nur von der rechten Kamera22 abgebildeten Raum. Zone 3 ist hinter dem Fahrzeug28 und rechts von diesem positioniert und umfasst den gesamten nur von der linken Kamera24 abgebildeten Raum. Zone 4 ist hinter dem Fahrzeug28 zur linken Seite32 hin positioniert und wird nur von der linken Kamera24 abgebildet. Zone 5 ist hinter dem Fahrzeug28 zur rechten Seite30 hin positioniert und wird nur von der rechten Kamera22 abgebildet. -
3 zeigt auch einen exemplarischen Fahrkorridor44 . Wenn das Fahrzeug28 in einer Vorwärtsrichtung gefahren wird, bewegt sich das Fahrzeug28 in einer durch einen Pfeil46 definierten Richtung. Wenn das Fahrzeug28 in einer Rückwärtsrichtung gefahren wird, bewegt sich das Fahrzeug in einer zum Pfeil46 entgegen gesetzten Richtung. Genauer gesagt bewegen sich die Vorderräder40 und die Hinterräder42 im Wesentlichen entlang des Fahrkorridors44 , wenn sich das Fahrzeug28 bewegt. - Im Betrieb, wenn der Führer das Fahrzeug
28 einschaltet, wird die ECU29 des Fahrzeugs28 mit Energie versorgt. Wie erwähnt umfasst die ECU29 Hardware und Software, und diese Komponenten arbeiten zusammen, um die Logik des rückwärtsblickenden Kamerasystems20 auszuführen. Wie in3 gezeigt, gewinnt eine Ein-/Ausgabeschnittstelle47 (I/O-Schnittstelle) Bilder von den Kameras22 ,24 und liefert die Bilder an die ECU29 . Die I/O-Schnittstelle47 kann die Bilder von den Kameras22 ,24 verarbeiten, bevor sie sie an die ECU29 liefert. In Abhängigkeit von der Bewegungsrichtung des Fahrzeugs gibt die ECU29 Bilder (z. B. aus von den Bildern der Kameras22 ,24 erzeugte Panoramabilder) auf einen Anzeigeschirm48 aus. Wie in4 gezeigt, ist der Anzeigeschirm48 Teil einer Mensch-Maschine-Schnittstelle (HMI)49 . Die HMI49 ist an einem Armaturenbrett49b des Fahrzeugs positioniert und liefert einem Fahrzeugführer Informationen in diversen Formaten. Zusätzlich zum Anzeigeschirm48 umfasst die HMI49 einen Lautsprecher49c , um dem Fahrzeugführer hörbare Informationen zu liefern, und ein oder mehrere Warnlichter oder Leuchtdioden (LEDs)51 , um dem Fahrzeugführer visuelle Informationen zu liefern. Bei manchen Ausgestaltungen umfasst die HMI49 eine oder mehrere haptische Schnittstellen, um dem Fahrzeugführer fühlbare Informationen wie etwa Schwingungen oder Bewegungen des Lenkrades, des Sitzes, des Bremspedals etc. des Fahrzeugs zu liefern. - Wenn das Fahrzeug
28 im Vorwärtsmodus betrieben wird (d. h. wenn der Führer das Fahrzeug28 in Vorwärtsrichtung46 fährt), bietet das rückwärtsblickende Kamerasystem20 mehrere Systeme und Funktionalitäten. Das rückwärtsblickende Kamerasystem20 bietet Rückwärts-Kollisionslinderung unter Verwendung von videobasierten Fahrzeugerfassungsalgorithmen. Einer der Wege, auf dem die Konsequenzen einer Kollision gelindert werden, ist die Verwendung von durch das System20 erzeugter Informationen zum Voraktivieren von Rückhaltesystemen. Wenn z. B. Information von dem System20 anzeigt, dass eine rückseitige Kollision bevorsteht, werden Nackenstützen in eine Position bewegt, die die Fahrzeuginsassen besser schützt, Sicherheitsgurte werden vorgespannt, Airbags auf die Entfaltung vorbereitet, oder eine Kombination daraus. Information von dem System20 wird (bei manchen Ausgestaltungen) auch an ein automatisches Bremssystem geliefert. Automatische Notfallbremsverstärkung wird erreicht durch Bestimmen der Geschwindigkeit des Fahrzeugs28 sowie der Geschwindigkeit und des Folgeabstands eines hinter dem Fahrzeug28 fahrenden zweiten Fahrzeugs. Wenn das Fahrzeug28 mit einem vorwärtsblickenden Kamera-, Radar- oder Lidarsystem ausgestattet ist, und das System Information erzeugt, die die Anwendung einer automatischen Notfallbremsung aufgrund einer bevorstehenden Vorderseitenkollision bewirkt, und gleichzeitig das System20 Information erzeugt, dass eine Rückseitenkollision bevorsteht, wird Information von dem System20 an das vorwärtsblickende System geliefert, so dass das vorwärtsblickende System beide Ereignisse berücksichtigt und einen Steuerungskompromiss festlegt, um ein verbessertes Gesamtsicherheitsergebnis zu erreichen. Das rückwärtsblickende Kamerasystem20 bietet auch ein Spurverlasswarnsystem (lane departure warning, LDW) und ein Spurhaltesystem (lane keeping system, LKS) durch Erfassen der Fahrspurmarkierungen hinter dem Fahrzeug und Anpassen von Fahrspurmodellen, um die relative Fahrzeugposition auf der Spur vorherzusagen. Das System kann zur Spurwechselunterstützung auch Fahrzeuge im toten Winkel eines Spiegels oder sich schnell von hinten nähernde Fahrzeuge erfassen. Mit anderen Worten kann, wenn das System arbeitet, während sich das Fahrzeug vorwärts bewegt (z. B. mit 120 km/h auf einer Autobahn), von dem System erzeugte Information verwendet werden, um Tote-Winkel-Erfassung und Spurwechselunterstützung zu bieten. - Wenn das Fahrzeug
28 in einem Rückwärtsmodus ist (d. h. wenn der Führer das Fahrzeug rückwärts fährt), bietet das rückwärtsblickende Kamerasystem20 mehrere Systeme und Funktionalitäten, die den beim Betreiben des Fahrzeugs28 in Vorwärtsrichtung bereitgestellten gleich oder von diesen verschieden sein können. Das rückwärtsblickende Kamerasystem20 liefert einen hochqualitativen rückwärtsblickenden Videostrom mit 180° Blickfeld, Verzerrungskorrektur und Hindernishervorhebung, wie im Folgenden genauer erläutert. Das rückwärtsblickende Kamerasystem20 bildet ein Rückwärtsfahrwarnsystem mit hörbarem, sichtbarem und fühlbarem Feedback. Beispiele für hörbaren Feedback sind Pieptöne und Sprachmeldungen. Beispiele für sichtbaren Feedback sind Leuchtdioden (LEDs) im Armaturenbrett des Fahrzeugs und das Hervorheben eines Gegenstandes. Beispiele für fühlbares Feedback sind Bremsenschwingungen, Lenkradschwingungen, Sitzschwingungen, Sicherheitsgurtschwingungen, Bremsrucken etc. Die ECU kann auch die Bremse aktiv steuern, um das Fahrzeug teilweise oder vollständig anzuhalten, oder das Fahrzeug lenken, um eine Kollision zu vermeiden. Das rückwärtsblickende Kamerasystem kann auch eine Bremsvorspannung, ein Rückfahrunfallverhütungssystem mit aktivem Bremsen, videobasierte Hinderniserkennung, ein automatisches Einparksystem, das freien Raum und Hindernisse genau erfasst, und ein Querverkehrwarnsystem bilden, das Gegenstände in Querbewegung erfasst. -
5 bis8 veranschaulichen den Betrieb des rückwärtsblickenden Kamerasystems20 nach dem Einschalten des Fahrzeugs28 . In Schritt52 nehmen die rechte und linke Kamera22 ,24 einem Rahmen (frame) oder einem Bild entsprechende Bilddaten auf. Die rechte und linke Kamera22 ,24 sind Videokameras und nehmen Daten im Wesentlichen kontinuierlich auf. Der Einfachheit halber wird eine Iteration durch die Logik in5 bis8 im Detail erläutert. Es versteht sich, dass die Logik von der ECU29 schnell ausgeführt wird, und dass die Daten im Wesentlichen kontinuierlich aufgenommen und angezeigt werden. - Wie in Schritt
52 gezeigt, nimmt die Kamera22 einen Rahmen von Bilddaten in Form eines rechten Bilddatenfeldes auf, und die linke Kamera24 nimmt einen Rahmen von Daten in Form eines linken Bilddatenfeldes auf. Jedes Bilddatenfeld ist ein Feld von Pixeln, das den jeweils abgebildeten Räumen entspricht. In Schritt53 wird die Bildentsprechung zwischen dem rechten Bilddatenfeld und dem linken Bilddatenfeld berechnet. Das rechte und das linke Bilddatenfeld werden synchron (d. h. im Wesentlich gleichzeitig) aufgenommen und enthalten somit in Zone 1 Pixel, die den gleichen dreidimensionalen Punkten im Raum entsprechen. Da die Kameras22 ,24 an entgegen gesetzten Seiten des Fahrzeugs28 positioniert sind, wird der der Zone 1 entsprechende Raum aus unterschiedlichen Perspektiven abgebildet. Die Entsprechungsberechnung bestimmt, welche Pixel im rechten Datenfeld und im linken Datenfeld dem gleichen Punkt im dreidimensionalen Raum entsprechen. In Schritt54 wird das Ergebnis der Entsprechungsberechnung verwendet, um eine Tiefenkarte für die Zone 1 zu bestimmen. Genauer gesagt wird die Tiefenkarte in Zone 1 aus einer Disparitätsberechnung errechnet. - Die Grundebene (d. h. der Datensatz, der der das Fahrzeug
28 tragenden Oberfläche entspricht) wird als in jedem Bilddatenfeld vorhanden angenommen und wird deshalb in Schritt56 aus der Tiefenkarte entfernt. Es bleiben also nur über der Grundebene positionierte Objekte in der Tiefenkarte. In Schritt58 wird an der Tiefenkarte eine Segmentierung vorgenommen. Anhand der segmentierten Daten wird eine Objekterkennung durchgeführt (60 ), um das Vorhandensein von interessierenden Objekten in Zone 1 (d. h. in der Tiefenkarte) unter Verwendung von Auszugdeskriptoren zu bestimmen. Die Auszugdeskriptoren umfassen Bildmerkmale (z. B. Intensität, Farbe, Textur etc.), dreidimensionale Gestaltinformation und anderes. Die Durchführung einer Hinderniserkennung unter der Verwendung der Auszugdeskriptoren ermöglicht eine weitere Klassifizierung der interessierenden Gegenstände. So werden falsche Positiva reduziert, und Objekte in Zone 1 können identifiziert werden (Schritt62 ). - Wie in
3 gezeigt, kann jede Zone ein Objekt63 wie etwa einen Einkaufswagen oder ein Kind enthalten. Die ECU29 verwendet Auszugdeskriptoren, um diese Objekte63 in einer bestimmten Zone zu erkennen. Wenn ein Objekt in der Tiefenkarte vorhanden ist, werden die Fahrzeugdaten aufgenommen (Schritt64 ). Die Fahrzeugdaten können eine Geschwindigkeit, Beschleunigung, Lenkwinkel etc. umfassen. Der Fahrzeugkorridor wird basierend auf dem Lenkwinkel und dem Ort des Schwerpunkts des Fahrzeugs vorhergesagt. Der Fahrzeugkorridor hat eine Breite, die ungefähr gleich der Breite des Fahrzeugs ist. Der vorhergesagte Fahrzeugkorridor hat eine Polynomkurve, die vom Lenkwinkel des Fahrzeugs und der für das Fahrzeug spezifischen Dynamik (wie etwa Radabstand, Geschwindigkeit, Gewicht und Beschleunigung) abhängt. Der Fahrzeugkorridor verändert sich im Laufe der Zeit (unter der Annahme, dass sich das Fahrzeug bewegt). - Die in Schritt
60 identifizierten Objekte63 werden verfolgt, und Gleichungen werden verwendet, um zu bestimmen, ob das verfolgte Objekt mit dem Fahrkorridor kollidieren kann. Insbesondere wird in Schritt70 bestimmt, ob das verfolgte Objekt auf einem Kollisionskurs zum Fahrkorridor ist. - Wenn das Fahrzeug im Rückwärtsmodus ist (wird in Schritt
72 bestimmt), erzeugt die ECU29 in Schritt74 ein Panoramabild (z. B. ein Bild von ca. 180°) aus den von der rechten und linken Kamera22 bzw.24 aufgenommen Bilddaten. Die ECU29 erzeugt ein Panoramabild unter Verwendung von „image stitching”. Image stitching kombiniert oder verknüpft mehrere Bilder mit überlappenden Blickfeldern, um ein einziges Panoramabild zu erzeugen. Image stitching umfasst mehrere Schritte oder Prozesse wie etwa das Kalibrieren der einzelnen Bilder, das Registrieren der Bilder unter Verwendung von direkten oder merkmalsbasierten Bildausrichtverfahren, um Bildorientierung und Überlappungen zu bestimmen, und das Überlagern der mehreren Bilder, um die überlappenden Abschnitte zu kombinieren und Fehler oder Verzerrungen zu korrigieren. Das Panoramabild kann auch in einer Weise erzeugt werden, die eine veränderte Perspektive liefert (z. B. Vogelschauperspektive im Gegensatz zum Aufriss), indem eine Bildtransformation (zum Verändern des wahrgenommenen Blickwinkels), gefolgt von einem Verknüpfen (stitching) der transformierten Bilder vorgenommen wird. Bei einer solchen Ausgestaltung umfasst das System auch einen Eingabe- oder Auswahlmechanismus (z. B. eine tatsächliche oder virtuelle Taste im Fahrzeugcockpit), so dass der Fahrer auswählen oder festlegen kann, welche Perspektive oder welcher Blickwinkel des Panoramabildes dem Fahrer angezeigt wird. - Nach Erzeugung des Panoramabildes in Schritt
74 hebt die ECU29 alle verfolgten Objekte in dem Panoramabild in Schritt76 hervor, bevor sie dem Führer in Schritt78 das Panoramabild anzeigt. Wie in4 gezeigt, zeigt die ECU29 das Panoramabild dem Führer auf dem Anzeigeschirm48 der HMI49 an. - Unabhängig davon, ob das Fahrzeug im Rückwärtsmodus oder im Vorwärtsmodus ist, wird über die HMI
49 eine Warnung erzeugt (Schritt80 ), wenn ein Objekt auf einem Kollisionskurs zum Fahrkorridor ist. Die Warnung wird erzeugt durch Hervorheben, Markieren oder Blinkenlassen von verfolgten Objekten in einem auf dem Anzeigeschirm48 angezeigten Panoramabild, Einschalten einer der Warnleuchten51 , Ausgeben einer hörbaren Warnung mit dem Lautsprecher49c und/oder Erzeugen einer fühlbaren Warnung über eine haptische Schnittstelle (siehe4 ). Wenn der Führer nicht reagiert oder auf die Warnung nicht anspricht, reagiert das System durch Berechnen der Zeit bis zur Kollision (time to collision, TTC) in Schritt86 . Die TTC wird mit einer vordefinierten Schwelle verglichen. Wenn die TTC unter der Schwelle ist und das Fahrzeug sich rückwärts bewegt, steuert das System ein aktives Bremsen, um eine Kollision zu vermeiden (Schritt90 ). Mit anderen Worten erzeugt das rückwärtsblickende Kamerasystem einen Bremsbefehl, und das so informierte oder aktivierte Bremssystem bildet ein aktives Bremssystem. Wenn eine Kollision unvermeidbar ist, werden zusätzliche Sicherheitsmerkmale (z. B. Sicherheitsgurt, Nackenstütze etc.) während einer Kollisionslinderung (Schritt88 ) aktiviert. Diese zusätzlichen Komponenten bilden, insbesondere wenn sie von dem rückwärtsblickenden Kamerasystem aktiviert oder informiert werden, ein Kollisionslinderungssystem. Das Kollisionslinderungssystem empfängt Daten wie etwa Objekttyp, Kollisionsgeschwindigkeit, Kollisionsposition etc. und reagiert entsprechend durch Senden von Signalen an Sicherheitsvorrichtungen wie etwa Sicherheitsgurte, Airbags, aktive Nackenstützen und dergleichen. - Wenn kein Objekt in Zone 1 erfasst wird (Schritt
62 ), werden Zonen 2 und 3 verarbeitet. (Um den Berechnungsaufwand zu verringern, werden die Zonen 2 und 3 nicht untersucht, wenn ein Objekt in Zone 1 erfasst wird.) Die vorhergehenden Bilddaten für Zonen 2 und 3, auch als benachbarte Bilddaten bezeichnet, sind in einem Puffer gespeichert. Wie am besten mit Bezug auf6 zu erkennen, wird eine Entsprechung zwischen den aktuellen Bilddaten für Zone 2 und den vorhergehenden Bilddaten für Zone 2 berechnet (Schritt92 ). Genauso wird eine Entsprechung zwischen den aktuellen Bilddaten für Zone 3 und den vorhergehenden Bilddaten für Zone 3 berechnet (Schritt92 ). - Anhand der Entsprechungsdaten wird ein optischer Fluss durchgeführt, um eine Bewegungsflusskarte für Zonen 2 und 3 in Schritt
94 zu berechnen. Der optische Fluss wird durchgeführt unter Verwendung der Entsprechung zwischen den gegenwärtigen und den vorhergehenden Bilddaten. Es wird angenommen, dass der optische Fluss nur von Objekten in Zone 2 und 3 verursacht wird, weil die Bewegungskarte nur berechnet wird, wenn 1. das Fahrzeug im Rückwärtsmodus ist und 2. keine Objekte in Schritt62 von5 erfasst werden. (Die Disparitätsberechnung für Zone 1 ist zwar immer aktiv, doch hat eine mögliche Rückfahrkollision auf dem Fahrkorridor (nur) dann Bedeutung, wenn das Fahrzeug im Rückwärtsmodus ist. Allerdings könnte die Erfassung eines Objekts in Zone 1 auf ein sich von hinten näherndes, relativ schnell bewegtes Objekt zurückzuführen sein, das je nach Situation zu einer rückseitigen Kollision oder einer vorderseitigen Kollision führen könnte (z. B. wenn sich das Objekt schneller nähert, als das Fahrzeug wegfahren kann). Die Pixel, die Objekten in Zone 2 und 3 entsprechen, werden als sich in der gleichen Höhe bewegend angenommen, um die Gleichungen zu vereinfachen und weil nur kreuzende Bewegung relevant ist. So wird die Bewegung in die Vogelperspektive transformiert. Zusätzlich ist die Fahrzeugeigenbewegung (z. B. Fahrzeuggeschwindigkeit, Fahrzeugrichtung, Lenkwinkel etc.) bekannt, und die tatsächliche Bewegung eines Pixels oder Objekts kann aus der Fahrzeugeigenbewegung und der verfolgten Bewegung bestimmt werden. Nur tatsächliche Bewegung auf die Zone 1 zu und auf den Fahrkorridor zu wird als relevant angenommen. Andere Bewegung wird ignoriert. Die Bewegungspixel werden geclustert, um zu bestimmen, ob ein mögliches Objekt sich auf das Fahrzeug zu bewegt, und ob das mögliche Objekt auf einem Kollisionskurs zum Fahrkorridor ist (Schritt106 ). Wenn keine Objekte erfasst werden, die sich auf einem Kollisionskurs befinden, werden (in Schritt50 ) neue rechte und linke Bilddatenfelder aufgenommen, und der Prozess wiederholt sich. - Wenn bestimmt wird, dass ein Objekt in Zone 2 oder 3 sich auf einem Kollisionskurs befindet (Schritt
106 ), dann wird der Fahrzeugmodus bestimmt. Wenn das Fahrzeug28 im Rückwärtsmodus ist (wird in Schritt110 bestimmt), wird in Schritt112 ein Panoramabild (z. B. unter Verwendung von Image stitching wie oben für Schritt74 beschrieben) erzeugt, und das verfolgte Objekt wird in Schritt114 in dem Panoramabild hervorgehoben oder markiert. Das Panoramabild wird dann in Schritt116 dem Führer auf dem Anzeigeschirm48 der HMI49 (siehe4 ) angezeigt. - Eine Warnung wird über die HMI
49 erzeugt (Schritt118 ) (unabhängig von Vorwärts- oder Rückwärtsmodus oder der Bewegung des Fahrzeugs). Die Warnung wird erzeugt durch Hervorheben, Markieren oder Blinkenlassen von verfolgten Objekten in einem auf dem Anzeigeschirm48 angezeigten Panoramabild, Einschalten einer der Warnleuchten51 , Ausgeben einer hörbaren Warnung über den Lautsprecher49c und/oder Erzeugen einer fühlbaren Warnung über eine haptische Schnittstelle (siehe4 ). Wenn der Führer auf die Warnung nicht reagiert (Schritt122 ), berechnet das System die Zeit bis zur Kollision (TTC) in Schritt128 . Wenn die TTC unter einer vordefinierten Schwelle ist, ordnet das System aktives Bremsen an, um eine Kollision zu vermeiden (Schritt134 ). Wenn eine Kollision unvermeidbar ist, werden während einer Kollisionslinderung (Schritt132 ) zusätzliche Sicherheitsmerkmale aktiviert (z. B. Sicherheitsgurt, Nackenstütze etc.). Wie oben angegeben, basiert die Kollisionslinderung auf Daten wie etwa Objekttyp, Kollisionsgeschwindigkeit, Kollisionsposition etc. - Aufgrund der Komplexität der in Schritt
52 von5 und Schritt92 von6 durchgeführten Entsprechungsberechnungen werden die Bilddaten vor der Verarbeitung digital abgebildet.7 veranschaulicht visuell die an den Bilddatenfeldern durchgeführte digitale Abbildung. Die Kameras22 und24 haben jeweils eine unterschiedliche Perspektive, was zu nicht gleichförmig strukturierten Zonen führt. Die digitale Abbildung wird daher an den Bilddaten vorgenommen, um die Bilddaten in ein strukturierteres Format umzuwandeln. Die digitale Abbildung beschreibt eine Bildtransformation wie etwa Strecken oder Stauchen von manchen Bildbereichen, um die Verwendung von Pixeldaten zu normalisieren. Beispiele für digitale Abbildungen sind Bildverzerrungskorrektur, Perspektivtransformation und Projektion. Bestimmte Gebiete in den Bilddaten können als wichtiger oder nützlicher als andere Gebiete angesehen werden. Die wichtigen Gebiete können abgewandelt werden, um die digitalisierte Pixelauflösung zu erhöhen, und die weniger wichtigen Gebiete können abgewandelt werden, um die Pixelauflösung zu verringern. Digitale Abbildung in die Vogelperspektive erlaubt es auch, das Ungleichförmigkeitsproblem zu lösen. Das Ungleichförmigkeitsproblem ergibt sich aus einer Kameraperspektive mit einem Blickwinkel, der zu zu vielen Pixeln im Nahfeld führt. Nach der digitalen Abbildung wird der abgebildete Raum gleichförmig wahrgenommen. Wie in7 gezeigt, werden die Bilddaten in Datenblöcke restrukturiert, um eine schnellere Entsprechungsberechnung zu ermöglichen. - Wie in
1 gezeigt, ist die rechte Kamera22 an der rechten Seite30 des Fahrzeugs28 montiert und auf die linke Seite32 ausgerichtet. Die von der rechten Kamera22 aufgenommenen Daten sind in7 schematisch als Feld136 dargestellt. Die Bilddaten im Feld136 entsprechen der linken Seite32 und umfassen L (Zone 1), L (Zone 2) und Zone 5. Genauso sind die von der linken Kamera24 aufgenommenen Bilddaten schematisch als Feld138 dargestellt. Die Bilddaten im Feld138 entsprechen der rechten Seite30 und umfassen R (Zone 1), R (Zone 3) und Zone 4. Die digitale Abbildung wird durchgeführt, um die Daten der Felder136 und138 gleichmäßig in entsprechende Abschnitte oder Datenblöcke aufzuteilen, so dass die Entsprechungsberechnungen schneller durchgeführt werden können. Genauer gesagt werden die der Zone 1 im Feld136 entsprechenden Bilddaten auf Zone 1 in Feld140 und die der Zone 2 im Feld136 entsprechenden Bilddaten auf Zone 2 im Feld140 abgebildet, und die der Zone 5 im Feld136 entsprechenden Bilddaten werden ignoriert. Die rechte Kamera22 hat ein Blickfeld, das die der Zone 3 entsprechenden Bilddaten nicht enthält. Daher werden die Zone 3 entsprechenden Bilddaten aus dem vorhergehenden Datensatz zum Feld140 als die Daten für Zone 3 hinzugefügt. Eine gleiche digitale Abbildung wird für das Feld138 durchgeführt. Das abgebildete Feld142 umfasst die der Zone 1 und Zone 3 des Feldes138 entsprechenden Bilddaten. Die Bilddaten in Zone 4 von Feld138 werden ignoriert. Die linke Kamera24 hat ein Blickfeld, das die der Zone 2 entsprechenden Daten nicht enthält. Daher wird der vorhergehende Datensatz für Zone 2 zum Feld142 als die Daten für Zone 2 hinzugefügt. Jedes Feld140 und142 wird in einem anderen Datenpuffer gespeichert. -
8 veranschaulicht die Logik für die hardwarebeschleunigte Entsprechungsberechnung144 . Die Logik umfasst digitale Abbildung und Datenausrichtung (Schritte150 und152 ), wie mit Bezug auf7 diskutiert. Datenausrichtung ist die Restrukturierung der Bilddatenfelder in entsprechende Datenblöcke, die in jeder Entsprechungsberechnung verwendet werden. Entsprechungsberechnungen werden verwendet, um die Tiefenkarte und den optischen Fluss unter Verwendung der Information in den neu abgebildeten Feldern140 und142 zu berechnen. Wie dargestellt, werden die vorhergehenden Daten für Zone 2 (Schritt152 ) sowie die gegenwärtigen Daten für Zone 2 (Schritt156 ) in der Entsprechungsberechnung für Zone 2 verwendet (Schritt158 ). Die der Zone 1 entsprechenden Daten aus jedem Feld140 und142 (Schritte160 und162 ) werden für die Entsprechungsberechnung der Zone 1 verwendet (Schritt164 ). Die den vorhergehenden Daten für Zone 3 entsprechenden Daten (Schritt168 ) und die gegenwärtigen Daten für Zone 3 (Schritt166 ) werden in der Entsprechungsberechnung für Zone 3 verwendet (Schritt172 ). - Entsprechungsberechnungen sind aufwändig und erfordern lange Rechenzeit, wenn hohe Genauigkeit und Robustheit verlangt sind. Um die Geschwindigkeit der Entsprechungsberechnungen weiter zu beschleunigen, werden die Entsprechungsberechnungen parallel unter Verwendung einer speziell konstruierten strukturierten Elementemaschine in Rechenvorrichtungen oder einer parallelen Hardware-Architektur wie etwa feldprogrammierbaren Gate Arrays (FPGAs) und anwendungsspezifischen integrierten Schaltungen (ASICs) durchgeführt. Natürlich kann andere Hardware verwendet werden, um die Berechnungen zu beschleunigen.
- Die Erfindung liefert also unter Anderem ein multifunktionales rückwärtsblickendes Kamerasystem, das diverse Kollisionslinderungs- und -vermeidungssysteme bietet. Diverse Merkmale und Vorteile der Erfindung sind in den folgenden Ansprüchen dargelegt.
Claims (30)
- Rückwärtsblickendes Kamerasystem für ein Fahrzeug, welches umfasst: eine erste an einer Rückseite des Fahrzeugs positionierte Kamera, wobei die erste Kamera einen ersten Datensatz erzeugt, der einem ersten Blickfeld entsprechende Bilddaten umfasst; eine zweite an der Rückseite des Fahrzeugs in einem horizontalen Abstand von der ersten Kamera positionierte Kamera, wobei die zweite Kamera einen zweiten Datensatz erzeugt, der einem zweiten Blickfeld entsprechende Bilddaten umfasst, wobei das erste Blickfeld und das zweite Blickfeld einen zur Rückseite des Fahrzeugs benachbarten Raum abdecken; eine elektronische Steuereinheit, die den ersten Datensatz und den zweiten Datensatz empfängt und den ersten Datensatz und den zweiten Datensatz verarbeitet, um das Vorhandensein eines Objekts in dem zur Rückseite des Fahrzeugs benachbarten Raum zu bestimmen, wobei die elektronische Steuereinheit konfiguriert ist, den ersten Datensatz und den zweiten Datensatz zu verknüpfen, um ein Panoramabild zu erzeugen, das dem zur Rückseite des Fahrzeugs benachbarten Raum entspricht; eine Mensch-Maschine-Schnittstelle, die einen benachbart zu einem Führer des Fahrzeugs positionierten Anzeigeschirm umfasst, wobei die Mensch-Maschine-Schnittstelle konfiguriert ist, das Panoramabild zu empfangen und das Panoramabild auf dem Anzeigeschirm anzuzeigen.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit einen Fahrkorridor berechnet, eine zeit bis zur Kollision des Objektes im Fahrkorridor bestimmt und dem Führer des Fahrzeugs eine Warnung liefert.
- Rückwärtsblickendes Kamerasystem nach Anspruch 2, bei dem die Warnung eine hörbare Warnung, eine sichtbare Warnung oder eine fühlbare Warnung ist.
- Rückwärtsblickendes Kamerasystem nach Anspruch 2, bei dem die Warnung das Hervorheben des Objekts in dem Panoramabild umfasst.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem der zur Rückseite des Fahrzeugs benachbarte Raum ein Blickfeld von zwischen 100° und 180° definiert.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem der zur Rückseite des Fahrzeugs benachbarte Raum ein Blickfeld von 180° oder mehr definiert.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die Bilddaten ein Videostrom von Bilddaten sind.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit für die Parallelverarbeitung der Bilddaten konfigurierter Hardware.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die Hardware eine anwendungsspezifische integrierte Schaltung oder ein feldprogrammierbares Gate Array umfasst.
- Rückwärtsblickendes Kamerasystem nach Anspruch 2, ferner mit einem Kollisionslinderungssystem und einem Bremssystem, wobei das Kollisionslinderungssystem und das Bremssystem konfiguriert sind, um in Reaktion auf die Feststellung, dass der Führer nicht auf die Warnung reagiert, zu arbeiten.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit einen Fahrkorridor berechnet, eine Zeit bis zur Kollision des Objekts mit dem Fahrzeug im Fahrkorridor bestimmt, und von der elektronischen Steuereinheit erzeugte Information verwendet wird, um eine Tote-Winkel-Warnung und/oder eine Spurwechselanzeige zu liefern.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit einem Bremssystem und einem vorwärtsblickenden Kollisionserfassungssystem, wobei Information über eine bevorstehende rückseitige Kollision von der elektronischen Steuereinheit an das vorwärtsblickende Kollisionserfassungssystem geliefert wird, und das vorwärtsblickende Kollisionserfassungssystem konfiguriert ist, um das Bremssystem basierend sowohl auf der Information über die bevorstehende rückseitige Kollision als auch auf der Erfassung einer bevorstehenden vorderseitigen Kollision zu steuern.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die elektronische Steuereinheit in Reaktion auf eine Benutzereingabe einen Blickwinkel des Panoramabildes ändert.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, bei dem die erste und die zweite Kamera betreibbar sind, um Bildströme im sichtbaren Spektrum und im Infrarotspektrum aufzufangen.
- Rückwärtsblickendes Kamerasystem nach Anspruch 1, ferner mit Infrarotlichtquellen, die betreibbar sind, um das erste Blickfeld und das zweite Blickfeld mit Infrarotlicht zu beleuchten.
- Verfahren zum Erfassen eines zu einer Rückseite eines Fahrzeugs benachbarten Objekts, wobei das Verfahren umfasst: Aufnehmen eines ersten Bilddatensatzes, der einem ersten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, mit einer ersten Kamera; Aufnehmen eines zweiten Bilddatensatzes, der einem zweiten benachbart zur Rückseite des Fahrzeugs positionierten Raum entspricht, mit einer zweiten Kamera; in einer elektronischen Verarbeitungseinheit Abbilden des ersten Bilddatensatzes auf ein erstes Pixelfeld; Abbilden des zweiten Bilddatensatzes auf ein zweites Pixelfeld; Berechnen einer Entsprechung zwischen dem ersten Pixelfeld und dem zweiten Pixelfeld, um einen dritten Bilddatensatz zu erzeugen; Berechnen eines Fahrkorridors, der einem vorhergesagten Bewegungspfad des Fahrzeugs entspricht; Bestimmen des Vorhandenseins eines Objekts in dem dritten Bilddatensatz; Bestimmen einer möglichen Kollision zwischen dem Objekt und dem Fahrkorridor; und Berechnen einer Zeit bis zur Kollision.
- Verfahren nach Anspruch 16, bei dem das Abbilden des ersten Bilddatensatzes und das Abbilden des zweiten Bilddatensatzes mit einer anwendungsspezifischen integrierten Schaltung oder einem feldprogrammierbaren Gate Array durchgeführt wird.
- Verfahren nach Anspruch 16, welches ferner umfasst: Bestimmen, ob das Fahrzeug in einem Rückwärtsmodus arbeitet, und, wenn das Fahrzeug in dem Rückwärtsmodus arbeitet, Erzeugen eines dem ersten Raum und dem zweiten Raum entsprechenden Panoramabildes und Anzeigen des Panoramabildes für einen Führer des Fahrzeugs.
- Verfahren nach Anspruch 18, welches ferner ein Hervorheben des Objekts in dem Panoramabild umfasst.
- Verfahren nach Anspruch 18, mit dem Ändern eines Blickwinkels des Panoramabildes in Reaktion auf eine Benutzereingabe.
- Verfahren nach Anspruch 16, bei dem der dritte Bilddatensatz Bilddaten umfasst, die einem direkt hinter der Rückseite des Fahrzeugs positionierten Raum entsprechen.
- Verfahren nach Anspruch 21, ferner mit: Berechnen einer Tiefenkarte für die Bilddaten, die dem direkt hinter der Rückseite des Fahrzeugs positionierten Raum entsprechen, und Berechnen einer Bewegungskarte für benachbarte Bilddaten des dritten Bilddatensatzes, wobei die benachbarten Bilddaten einem Raum entsprechen, der zu dem direkt hinter der Rückseite des Fahrzeugs positionierten Raum benachbart ist.
- Verfahren nach Anspruch 16, ferner mit dem Warnen eines Führers des Fahrzeugs, wenn die mögliche Kollision bestimmt wird.
- Verfahren nach Anspruch 23, bei dem das Warnen des Führers das Bereitstellen einer hörbaren Warnung, einer sichtbaren Warnung oder einer fühlbaren Warnung umfasst.
- Verfahren nach Anspruch 23, ferner mit dem Erfassen einer Nichtreaktion des Führers auf die Warnung und dem aktiven Bremsen in Antwort auf die Nichtreaktion, um zu versuchen, die Kollision zu vermeiden,.
- Verfahren nach Anspruch 23, ferner mit dem Erfassen einer Nichtreaktion des Führers auf die Warnung, Vergleichen der Zeit bis zur Kollision mit einer Schwelle und Bereitstellen von Kollisionslinderung und/oder aktiver Bremsung, wenn die Zeit bis zur Kollision kleiner als die Schwelle ist.
- Verfahren nach Anspruch 16, mit dem Bereitstellen einer Tote-Winkel-Warnung und/oder eines Spurwechselhinweises basierend auf von der elektronischen Verarbeitungseinheit erzeugter Information.
- Verfahren nach Anspruch 16, ferner mit: Bereitstellen von Information über eine bevorstehende rückseitige Kollision von der elektronischen Verarbeitungseinheit an ein vorwärtsblickendes Kollisionserfassungssystem basierend auf der möglichen Kollision und der Zeit bis zur Kollision, Erfassen einer bevorstehenden vorderseitigen Kollision, Bereitstellen von Steuersignalen vom vorwärtsblickenden Kollisionserfassungssystem an ein Bremssystem basierend sowohl auf der Information über die bevorstehende rückseitige Kollision als auch der Erfassung der bevorstehenden vorderseitigen Kollision.
- Verfahren nach Anspruch 16, bei dem das Aufnehmen des ersten Bilddatensatzes und des zweiten Bilddatensatzes das Auffangen von Bildströmen im sichtbaren Spektrum und im infraroten Spektrum umfasst.
- Verfahren nach Anspruch 16, ferner mit dem Beleuchten des ersten Blickfeldes und des zweiten Blickfeldes mit Infrarotlicht.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/621,977 | 2009-11-19 | ||
US12/621,977 US8633810B2 (en) | 2009-11-19 | 2009-11-19 | Rear-view multi-functional camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102010052942A1 true DE102010052942A1 (de) | 2011-05-26 |
DE102010052942B4 DE102010052942B4 (de) | 2021-11-04 |
Family
ID=43902292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010052942.7A Active DE102010052942B4 (de) | 2009-11-19 | 2010-11-18 | Rückwärtsblickendes multifunktionales Kamerasystem |
Country Status (3)
Country | Link |
---|---|
US (4) | US8633810B2 (de) |
JP (2) | JP5864850B2 (de) |
DE (1) | DE102010052942B4 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011084589A1 (de) | 2011-10-17 | 2013-04-18 | Robert Bosch Gmbh | Vorrichtung zur Assistenz des Fahrers eines Fahrzeuges bei nächtlicher Rückwärtsfahrt |
DE102013207323A1 (de) * | 2013-04-23 | 2014-10-23 | Robert Bosch Gmbh | Kamerasystem |
DE102013014908A1 (de) | 2013-09-06 | 2015-03-12 | Man Truck & Bus Ag | Fahrerassistenzsystem eines Fahrzeugs, insbesondere eines Nutzfahrzeugs |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060061008A1 (en) | 2004-09-14 | 2006-03-23 | Lee Karner | Mounting assembly for vehicle interior mirror |
US10144353B2 (en) | 2002-08-21 | 2018-12-04 | Magna Electronics Inc. | Multi-camera vision system for a vehicle |
KR101351656B1 (ko) * | 2012-03-30 | 2014-01-16 | 대성전기공업 주식회사 | 차량용 글랜스 라이트 장치 |
US9201504B2 (en) | 2007-11-29 | 2015-12-01 | Daesung Electric Co., Ltd. | Vehicular glance lighting apparatus and a method for controlling the same |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
JP5437855B2 (ja) * | 2010-03-02 | 2014-03-12 | パナソニック株式会社 | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 |
NL2004996C2 (nl) * | 2010-06-29 | 2011-12-30 | Cyclomedia Technology B V | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. |
DE102010063133A1 (de) * | 2010-12-15 | 2012-06-21 | Robert Bosch Gmbh | Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs |
DE102011081892A1 (de) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug |
US20130057397A1 (en) * | 2011-09-01 | 2013-03-07 | GM Global Technology Operations LLC | Method of operating a vehicle safety system |
WO2013043661A1 (en) | 2011-09-21 | 2013-03-28 | Magna Electronics, Inc. | Vehicle vision system using image data transmission and power supply via a coaxial cable |
US20130093889A1 (en) * | 2011-10-14 | 2013-04-18 | Continental Automotive Systems, Inc. | Smart rear-view display |
US9174574B2 (en) | 2011-10-19 | 2015-11-03 | Magna Electronics Inc. | Vehicle vision system for controlling a vehicle safety feature responsive to an imaging sensor having an exterior rearward field of view and before a collision occurs |
CN103123722B (zh) * | 2011-11-18 | 2016-04-27 | 株式会社理光 | 道路对象检测方法和*** |
WO2013081985A1 (en) | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
US9297641B2 (en) * | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
US20140139669A1 (en) * | 2012-01-30 | 2014-05-22 | Steven Petrillo | System and method for providing front-oriented visual information to vehicle driver |
DE102012002695B4 (de) * | 2012-02-14 | 2024-08-01 | Zf Cv Systems Hannover Gmbh | Verfahren zur Ermittlung einer Notbremssituation eines Fahrzeuges |
DE102012004791A1 (de) * | 2012-03-07 | 2013-09-12 | Audi Ag | Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur |
US10089537B2 (en) | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
DE102012215026A1 (de) * | 2012-08-23 | 2014-05-28 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs |
US9242602B2 (en) * | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
JP6014440B2 (ja) * | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | 移動物体認識装置 |
US9221396B1 (en) * | 2012-09-27 | 2015-12-29 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
US20140092249A1 (en) * | 2012-09-28 | 2014-04-03 | Ford Global Technologies, Llc | Vehicle perimeter detection system |
US9215448B2 (en) | 2013-01-31 | 2015-12-15 | Here Global B.V. | Stereo panoramic images |
US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
US9747898B2 (en) | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
US10215583B2 (en) | 2013-03-15 | 2019-02-26 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
US9378644B2 (en) | 2013-03-15 | 2016-06-28 | Honda Motor Co., Ltd. | System and method for warning a driver of a potential rear end collision |
US10339711B2 (en) | 2013-03-15 | 2019-07-02 | Honda Motor Co., Ltd. | System and method for providing augmented reality based directions based on verbal and gestural cues |
US9251715B2 (en) | 2013-03-15 | 2016-02-02 | Honda Motor Co., Ltd. | Driver training system using heads-up display augmented reality graphics elements |
US9393870B2 (en) | 2013-03-15 | 2016-07-19 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
US10029621B2 (en) * | 2013-05-16 | 2018-07-24 | Ford Global Technologies, Llc | Rear view camera system using rear view mirror location |
TWI552897B (zh) * | 2013-05-17 | 2016-10-11 | 財團法人工業技術研究院 | 影像動態融合方法與裝置 |
US9988047B2 (en) | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
US20150175088A1 (en) * | 2013-12-23 | 2015-06-25 | Teddy Chang | Extendable Surround Image Capture System for Vehicles |
US9552732B2 (en) * | 2014-04-02 | 2017-01-24 | Robert Bosch Gmbh | Driver assistance system including warning sensing by vehicle sensor mounted on opposite vehicle side |
JP6313646B2 (ja) * | 2014-04-24 | 2018-04-18 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
JP6374695B2 (ja) * | 2014-04-28 | 2018-08-15 | 日立建機株式会社 | 路肩検出システムおよび鉱山用運搬車両 |
EP3014579B1 (de) | 2014-04-30 | 2018-09-26 | Intel Corporation | System und verfahren zur verarbeitungsbegrenzung durch ein 3d-rekonstruktionssystem einer umgebung in einer 3d-rekonstruktion eines in einem ereignisraum auftretenden ereignisses |
JP6386794B2 (ja) * | 2014-06-04 | 2018-09-05 | 日立建機株式会社 | 運搬車両 |
US20160014443A1 (en) * | 2014-07-08 | 2016-01-14 | Umm Al-Qura University | Broadcasting of land, water, and air cameras |
CN104202564A (zh) * | 2014-08-27 | 2014-12-10 | 莱阳市科盾通信设备有限责任公司 | 一种车辆辅助驾驶*** |
US9925980B2 (en) | 2014-09-17 | 2018-03-27 | Magna Electronics Inc. | Vehicle collision avoidance system with enhanced pedestrian avoidance |
DE112015004722T5 (de) * | 2014-10-15 | 2017-07-06 | Trw Automotive U.S. Llc | Auffahrunfallschutz |
KR102149276B1 (ko) * | 2014-10-23 | 2020-08-28 | 한화테크윈 주식회사 | 영상 정합 방법 |
KR101644370B1 (ko) * | 2014-10-23 | 2016-08-01 | 현대모비스 주식회사 | 물체 검출 장치 및 그 동작 방법 |
KR102225617B1 (ko) * | 2014-11-03 | 2021-03-12 | 한화테크윈 주식회사 | 영상 정합 알고리즘을 설정하는 방법 |
US20160165211A1 (en) * | 2014-12-08 | 2016-06-09 | Board Of Trustees Of The University Of Alabama | Automotive imaging system |
JP2016114963A (ja) * | 2014-12-11 | 2016-06-23 | 株式会社リコー | 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム |
KR101692628B1 (ko) * | 2014-12-24 | 2017-01-04 | 한동대학교 산학협력단 | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 |
US9803985B2 (en) * | 2014-12-26 | 2017-10-31 | Here Global B.V. | Selecting feature geometries for localization of a device |
US10277888B2 (en) * | 2015-01-16 | 2019-04-30 | Qualcomm Incorporated | Depth triggered event feature |
JP6455193B2 (ja) * | 2015-02-04 | 2019-01-23 | 株式会社デンソー | 電子ミラーシステム及び画像表示制御プログラム |
US9933264B2 (en) * | 2015-04-06 | 2018-04-03 | Hrl Laboratories, Llc | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation |
JP6393653B2 (ja) * | 2015-04-09 | 2018-09-19 | 株式会社東海理化電機製作所 | 車両用視認装置 |
KR101741433B1 (ko) * | 2015-06-09 | 2017-05-30 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
EP3139340B1 (de) * | 2015-09-02 | 2019-08-28 | SMR Patents S.à.r.l. | System und verfahren zur verbesserung der sichtbarkeit |
US10144419B2 (en) | 2015-11-23 | 2018-12-04 | Magna Electronics Inc. | Vehicle dynamic control system for emergency handling |
US10805538B2 (en) * | 2015-12-16 | 2020-10-13 | Martineau & Associates, Inc. | Method and apparatus for remanent imaging control |
US9843734B2 (en) | 2016-02-19 | 2017-12-12 | David DiMenichi | Retractable camera for vehicle |
CN105691295A (zh) * | 2016-03-04 | 2016-06-22 | 北方工业大学 | 一种基于红外光的车载盲区生命预警装置 |
WO2017154317A1 (ja) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
JP6401733B2 (ja) * | 2016-04-15 | 2018-10-10 | 本田技研工業株式会社 | 画像表示装置 |
KR101816423B1 (ko) * | 2016-07-12 | 2018-01-08 | 현대자동차주식회사 | 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 |
JP6451704B2 (ja) * | 2016-08-02 | 2019-01-16 | トヨタ自動車株式会社 | 車両用乗員保護装置 |
KR101949438B1 (ko) * | 2016-10-05 | 2019-02-19 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 이를 포함하는 차량 |
CN106650671B (zh) * | 2016-12-27 | 2020-04-21 | 深圳英飞拓科技股份有限公司 | 人脸识别方法、装置及*** |
CN108248688A (zh) * | 2016-12-29 | 2018-07-06 | 长城汽车股份有限公司 | 倒车辅助线设置方法及倒车辅助*** |
US10313584B2 (en) * | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
US10609339B2 (en) * | 2017-03-22 | 2020-03-31 | GM Global Technology Operations LLC | System for and method of dynamically displaying images on a vehicle electronic display |
US11214248B2 (en) * | 2017-05-11 | 2022-01-04 | Mitsubishi Electric Corporation | In-vehicle monitoring camera device |
CN108197523B (zh) * | 2017-05-15 | 2021-09-14 | 武汉光庭科技有限公司 | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及*** |
US10434947B2 (en) * | 2017-05-19 | 2019-10-08 | Georgios Zafeirakis | Driver sitting position controlled vehicle collision avoidance |
US11027652B2 (en) | 2017-05-19 | 2021-06-08 | Georgios Zafeirakis | Vehicle collision avoidance system |
US10390001B2 (en) | 2017-06-27 | 2019-08-20 | He Li ZHOU | Rear view vision system for a vehicle |
US10231376B1 (en) | 2017-08-31 | 2019-03-19 | Cnh Industrial America Llc | Systems and method for determining trench closure by a planter or seeder |
US10455755B2 (en) | 2017-08-31 | 2019-10-29 | Cnh Industrial America Llc | System and method for strip till implement guidance monitoring and adjustment |
US10356307B2 (en) * | 2017-09-13 | 2019-07-16 | Trw Automotive U.S. Llc | Vehicle camera system |
CN109842782A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市航盛电子股份有限公司 | 一种车辆辅助测试方法、测试设备以及存储介质 |
US11514789B2 (en) * | 2018-01-05 | 2022-11-29 | Arriver Software Llc | Illumination-based object tracking within a vehicle |
DE102018200944A1 (de) | 2018-01-22 | 2019-07-25 | Ford Global Technologies, Llc | Cross Traffic Alert mit Blinkerkennung |
JP6749952B2 (ja) * | 2018-02-07 | 2020-09-02 | 株式会社Nippo | 作業機械の緊急停止装置及び緊急停止方法 |
US10837788B1 (en) | 2018-05-03 | 2020-11-17 | Zoox, Inc. | Techniques for identifying vehicles and persons |
US11846514B1 (en) * | 2018-05-03 | 2023-12-19 | Zoox, Inc. | User interface and augmented reality for representing vehicles and persons |
US10809081B1 (en) | 2018-05-03 | 2020-10-20 | Zoox, Inc. | User interface and augmented reality for identifying vehicles and persons |
US10864860B2 (en) * | 2018-07-24 | 2020-12-15 | Black Sesame International Holding Limited | Model-based method for 360 degree surround view using cameras and radars mounted around a vehicle |
US11699207B2 (en) | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
US11227409B1 (en) | 2018-08-20 | 2022-01-18 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
WO2020068800A1 (en) * | 2018-09-25 | 2020-04-02 | Inteva Products, Llc | Deployable side shark fin with integrated side view camera and sensing device |
US10300851B1 (en) * | 2018-10-04 | 2019-05-28 | StradVision, Inc. | Method for warning vehicle of risk of lane change and alarm device using the same |
WO2020112382A1 (en) * | 2018-11-26 | 2020-06-04 | Gentex Corporation | System for rearview camera as a glare sensor |
CN113498527A (zh) * | 2019-02-19 | 2021-10-12 | 奥拉科产品有限责任公司 | 具有动态拼接的镜更换*** |
JP7306047B2 (ja) * | 2019-05-13 | 2023-07-11 | スズキ株式会社 | 後方表示装置 |
US11320830B2 (en) | 2019-10-28 | 2022-05-03 | Deere & Company | Probabilistic decision support for obstacle detection and classification in a working area |
US10882468B1 (en) * | 2019-10-29 | 2021-01-05 | Deere & Company | Work vehicle composite panoramic vision systems |
US11006068B1 (en) | 2019-11-11 | 2021-05-11 | Bendix Commercial Vehicle Systems Llc | Video recording based on image variance |
JP7322728B2 (ja) * | 2020-01-30 | 2023-08-08 | いすゞ自動車株式会社 | 報知装置 |
CN111951565B (zh) * | 2020-08-25 | 2021-07-02 | 上海建工集团股份有限公司 | 一种施工现场智慧车辆围栏管理方法 |
CN111959417B (zh) * | 2020-08-31 | 2022-03-08 | 安徽江淮汽车集团股份有限公司 | 汽车全景影像显示控制方法、装置、设备及存储介质 |
US20240064274A1 (en) * | 2021-01-06 | 2024-02-22 | Magna Mirrors Of America, Inc. | Vehicular vision system with mirror display for vehicle and trailer cameras |
US11766968B2 (en) | 2021-05-18 | 2023-09-26 | Magna Mirrors Of America, Inc. | Vehicular interior rearview mirror assembly with video mirror display and VRLC stack |
CN113635834B (zh) * | 2021-08-10 | 2023-09-05 | 东风汽车集团股份有限公司 | 基于电子外后视镜的变道辅助方法 |
CN114339157B (zh) * | 2021-12-30 | 2023-03-24 | 福州大学 | 一种观察区域可调式多相机实时拼接***及方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4200343B2 (ja) * | 1999-02-19 | 2008-12-24 | ソニー株式会社 | モニタ装置 |
DE60009114T2 (de) | 1999-09-20 | 2004-08-05 | Matsushita Electric Industrial Co. Ltd. | Vorrichtung zur unterstützung von kraftfahrzeugführern |
JP2001195699A (ja) * | 2000-01-14 | 2001-07-19 | Yazaki Corp | 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体 |
WO2001064481A2 (en) * | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
JP3645196B2 (ja) | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
JP2003002138A (ja) * | 2001-06-19 | 2003-01-08 | Toshiba Corp | 車載後方監視方法およびその装置 |
JP2004114879A (ja) * | 2002-09-27 | 2004-04-15 | Clarion Co Ltd | 駐車補助装置および画像表示装置 |
JP2004198211A (ja) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
JP2005196423A (ja) * | 2004-01-06 | 2005-07-21 | Sumitomo Electric Ind Ltd | 画像表示方法、画像表示システム、及び画像処理装置 |
US20050146607A1 (en) | 2004-01-06 | 2005-07-07 | Romeo Linn | Object Approaching Detection Anti Blind e-Mirrors System |
JP2006054662A (ja) * | 2004-08-11 | 2006-02-23 | Mitsubishi Electric Corp | 運転支援装置 |
JP4573242B2 (ja) | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
JP4094604B2 (ja) | 2004-11-30 | 2008-06-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4557712B2 (ja) * | 2004-12-28 | 2010-10-06 | 三洋電機株式会社 | 運転支援システム |
JP4432801B2 (ja) | 2005-03-02 | 2010-03-17 | 株式会社デンソー | 運転支援装置 |
US8130269B2 (en) | 2005-03-23 | 2012-03-06 | Aisin Aw Co., Ltd. | Visual recognition apparatus, methods, and programs for vehicles |
JP4823781B2 (ja) | 2005-08-31 | 2011-11-24 | 本田技研工業株式会社 | 車両の走行安全装置 |
JP4809019B2 (ja) | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
US7400236B2 (en) | 2005-10-21 | 2008-07-15 | Gm Global Technology Operations, Inc. | Vehicular lane monitoring system utilizing front and rear cameras |
KR100696392B1 (ko) | 2005-12-07 | 2007-03-19 | 주식회사단해 | 차량 외곽 모니터링 시스템 및 그 방법 |
US7884705B2 (en) | 2005-12-12 | 2011-02-08 | Panasonic Corporation | Safety-drive assistance device |
EP1976296A4 (de) | 2006-01-20 | 2011-11-16 | Sumitomo Electric Industries | Infrarot-abbildungssystem |
US7576639B2 (en) | 2006-03-14 | 2009-08-18 | Mobileye Technologies, Ltd. | Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle |
JP4812510B2 (ja) | 2006-05-17 | 2011-11-09 | アルパイン株式会社 | 車両周辺画像生成装置および撮像装置の測光調整方法 |
US7633383B2 (en) | 2006-08-16 | 2009-12-15 | International Business Machines Corporation | Systems and arrangements for providing situational awareness to an operator of a vehicle |
US20080079553A1 (en) | 2006-10-02 | 2008-04-03 | Steven James Boice | Turn signal integrated camera system |
JP4902368B2 (ja) * | 2007-01-24 | 2012-03-21 | 三洋電機株式会社 | 画像処理装置及び画像処理方法 |
JP4286876B2 (ja) * | 2007-03-01 | 2009-07-01 | 富士通テン株式会社 | 画像表示制御装置 |
GB2447672B (en) | 2007-03-21 | 2011-12-14 | Ford Global Tech Llc | Vehicle manoeuvring aids |
JP2009001104A (ja) * | 2007-06-20 | 2009-01-08 | Fujitsu Ten Ltd | 追突被害軽減装置および追突被害軽減方法 |
US8068135B2 (en) | 2007-07-06 | 2011-11-29 | Chol Kim | Device and method for detection and prevention of motor vehicle accidents |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
-
2009
- 2009-11-19 US US12/621,977 patent/US8633810B2/en active Active
-
2010
- 2010-11-18 JP JP2010257705A patent/JP5864850B2/ja active Active
- 2010-11-18 DE DE102010052942.7A patent/DE102010052942B4/de active Active
-
2013
- 2013-12-13 US US14/105,869 patent/US9061635B2/en active Active
- 2013-12-13 US US14/105,966 patent/US8988493B2/en active Active
- 2013-12-13 US US14/105,914 patent/US8953014B2/en active Active
-
2015
- 2015-10-29 JP JP2015213015A patent/JP6185970B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011084589A1 (de) | 2011-10-17 | 2013-04-18 | Robert Bosch Gmbh | Vorrichtung zur Assistenz des Fahrers eines Fahrzeuges bei nächtlicher Rückwärtsfahrt |
DE102013207323A1 (de) * | 2013-04-23 | 2014-10-23 | Robert Bosch Gmbh | Kamerasystem |
DE102013207323B4 (de) | 2013-04-23 | 2022-08-18 | Robert Bosch Gmbh | Kamerasystem für ein Fahrzeug und Fahrzeug |
DE102013014908A1 (de) | 2013-09-06 | 2015-03-12 | Man Truck & Bus Ag | Fahrerassistenzsystem eines Fahrzeugs, insbesondere eines Nutzfahrzeugs |
Also Published As
Publication number | Publication date |
---|---|
US8988493B2 (en) | 2015-03-24 |
US20110115615A1 (en) | 2011-05-19 |
US8633810B2 (en) | 2014-01-21 |
US20140118486A1 (en) | 2014-05-01 |
US9061635B2 (en) | 2015-06-23 |
JP2016076229A (ja) | 2016-05-12 |
JP2011159278A (ja) | 2011-08-18 |
US20140118484A1 (en) | 2014-05-01 |
JP5864850B2 (ja) | 2016-02-17 |
US20140118485A1 (en) | 2014-05-01 |
US8953014B2 (en) | 2015-02-10 |
JP6185970B2 (ja) | 2017-08-23 |
DE102010052942B4 (de) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010052942B4 (de) | Rückwärtsblickendes multifunktionales Kamerasystem | |
DE102008039136B4 (de) | Kamerasystem für ein Fahrzeug und Verfahren zum Steuern eines Kamerasystems | |
EP3138736B1 (de) | Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs | |
DE102012102508B4 (de) | Justierverfahren und System einer intelligenten Fahrzeugbildgebungsvorrichtung | |
DE102010035772B4 (de) | System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs | |
DE102017111530A1 (de) | Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten | |
DE102017005040A1 (de) | Anzeigeapparat für ein Fahrzeug, Verfahren zum Ausbilden eines virtuellen Bilds und Computerprogrammprodukt | |
DE102013209418A1 (de) | Fahrzeugkollisionswarnsystem und -verfahren | |
DE102017100004A1 (de) | Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug | |
DE112018000171T5 (de) | Vorrichtung und Verfahren zur Anzeige von Informationen | |
DE102007059735A1 (de) | Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse | |
DE102017009743A1 (de) | Parkassistenzsystem und Verfahren zur Steuerung desselben | |
EP3219533A2 (de) | Sichtsystem für ein fahrzeug, insbesondere nutzfahrzeug | |
EP2637898A1 (de) | Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung | |
DE102008006375A1 (de) | Überwachungssystem | |
EP3167427A1 (de) | Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels | |
WO2023284920A1 (de) | Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem | |
EP3655299B1 (de) | Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz | |
EP2603403B1 (de) | Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug | |
DE102013010233B4 (de) | Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug | |
EP2129548B1 (de) | Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug | |
DE102020135098B4 (de) | Fahrzeuganzeigesteuervorrichtung, fahrzeuganzeigesteuersystem und fahrzeuganzeigesteuerverfahren | |
DE102021126353A1 (de) | Anzeigesteuervorrichtung, anzeigevorrichtung und anzeigesteuerprogrammprodukt | |
DE102023122807A1 (de) | System und verfahren für die erleichterte wahrnehmung für einen insassen | |
WO2024132701A1 (de) | Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |