DE102007017038A1

DE102007017038A1 - System und Verfahren zur Überwachung der Umgebung eines Fahrzeugs

Info

Publication number: DE102007017038A1
Application number: DE102007017038A
Authority: DE
Inventors: Hitoshi Toyota Kumon
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-04-12
Filing date: 2007-04-11
Publication date: 2007-10-18
Anticipated expiration: 2027-04-12
Also published as: CN101055176B; JP4321543B2; CN101055176A; US20080129539A1; DE102007017038B4; JP2007288282A; US8009869B2

Abstract

Ein System zur Überwachung der Umgebung eines Fahrzeugs, in dem ein Bild eines Bereichs um ein Fahrzeug angezeigt wird, weist eine Bildaufnahmeeinrichtung (10FR, 10RR), eine Speichereinrichtung (116), eine Einrichtung (120) zur Erzeugung eines Anzeigebilds und eine Anzeigeeinrichtung auf. Die Bildaufnahmeeinrichtung (10FR, 10RR) nimmt zumindest das Bild eines Teils eines Bereichs um ein Fahrzeug auf. Die Speichereinrichtung (116) speichert das von der Bildaufnahmeeinrichtung (10FR, 10RR) aufgenommene Bild. Die Einrichtung (120) zur Erzeugung eines Anzeigebilds erzeugt ein synthetisiertes Bild für die Anzeige und Verwendung eines letzten Bilds, das von der Bildaufnahmeeinrichtung (10FR, 10RR) aufgenommen wurde, und eines früheren Bilds, das aufgenommen wurde, bevor das letzte Bild aufgenommen ist. Das synthetisierte Bild wird auf der Anzeigeeinrichtung angezeigt. Die Einrichtung (120) zur Erzeugung des Anzeigebilds verringert den Grad der Sichtbarkeit eines Bildbereichs, der sich auf das frühere Bild bezieht, in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des früheren Bilds.

Description

Die Erfindung bezieht sich auf ein System und ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs, bei welchem das Bild eines Bereichs um ein Fahreug angezeigt wird.
Die Patentanmeldung JP-A-2003-191810 offenbart ein System zur Überwachung einer Fahrzeugumgebung, das eine Bildaufnahmeeinrichtung, eine Einrichtung zur Umwandlung in die Vogelperspektive und eine Anzeigeeinrichtung aufweist. Die Bildaufnahmeeinrichtung ist im hinteren Bereich eines Fahrzeugs angeordnet. Die Einrichtung zur Umwandlung in die Vogelperspektive wandelt das Bild eines Bereichs hinter dem Fahrzeug, das von der Bildaufnahmevorrichtung aufgenommen wird, in ein Bild aus der Vogelperspektive um. Das Bild aus der Vogelperspektive, in welches das Bild von der Einrichtung zur Umwandlung in die Vogelperspektive umgewandelt wird, wird auf der Anzeigeeinrichtung angezeigt. Das System zur Überwachung der Umgebung des Fahrzeugs umfasst weiterhin eine Einrichtung zur Erzeugung einer synthetischen Vogelperspektive und eine Anzeigesteuereinrichtung. Die Einrichtung zur Erzeugung einer synthetischen Vogelperspektive erzeugt ein synthetisches Bild aus der Vogelperspektive, indem eine frühere Vogelperspektive mit einer derzeitigen Vogelperspektive kombiniert wird. Die Anzeigesteuereinrichtung zeigt das synthetisierte Bild aus der Vogelperspektive, das von der Einrichtung zur Erzeugung des synthetisierten Bilds aus der Vogelperspektive erzeugt wird, zusammen mit einer Fahrzeugfigur auf der Anzeigevorrichtung an, um die Beziehung zwischen der Position des Fahrzeugs und dem Bereich zu zeigen, der in der synthetisierten Vogelperspektive gezeigt ist.
In dem vorstehend beschriebenen System wird das synthetisierte Bild zur Anzeige unter Verwendung des früheren Bilds erzeugt, das zuvor aufgenommen wurde. Mit diesem Aufbau kann auch die Situation außerhalb des Sichtfelds der Bildaufnahmeeinrichtung unter Verwendung des früheren Bilds angezeigt werden, weil das frühere Bild verwendet wird. In Übereinstimmung damit kann einem Benutzer im Vergleich zu dem Aufbau, in dem nur das derzeitige Bild angezeigt wird, viel Information vermittelt werden.
Die Verlässlichkeit der Information, die von dem früheren Bild bereitgestellt wird, ist jedoch geringer als die Verlässlichkeit der Information, die durch das derzeitige Bild bereitgestellt wird, weil die Situation während des Zeitabschnitts von dem Zeitpunkt, zu dem das frühere Bild aufgenommen wurde, bis zum derzeitigen Zeitpunkt veränderlich ist. Daher wird in der vorstehend beschriebenen Technologie das frühere Bild mit einem Graufilter abgedeckt, um es zu ermöglichen, das derzeitige Bild von dem früheren Bild zu unterscheiden. Der Nutzer kann jedoch den Grad der Verringerung der Verlässlichkeit des früheren Bilds nicht bestimmen. Das heißt, in dem Aufbau, in dem die früheren Bilder in gleichförmiger Weise angezeigt werden, kann der Nutzer den Unterschied der Verlässlichkeit zwischen den früheren Bildern nicht erfassen.
Es ist eine Aufgabe der Erfindung, ein System und ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs zu schaffen, die es einem Nutzer ermöglichen, die Verlässlichkeit eines früheren Bilds einfach zu bestimmen.
Ein erster Aspekt der Erfindung bezieht sich auf ein System zur Überwachung der Umgebung eines Fahrzeugs, in dem ein Bild eines Bereichs, der ein Fahrzeug umgibt, angezeigt wird. Das System zur Überwachung der Umgebung des Fahrzeugs umfasst eine Bildaufnahmeeinrichtung, eine Speichereinrichtung, eine Einrichtung zur Erzeugung eines Anzeigebilds und eine Anzeigeeinrichtung. Die Einrichtung zur Bildaufnahme nimmt das Bild zumindest eines Teils des Bereichs um das Fahrzeug auf. Die Speichereinrichtung speichert das von der Bildaufnahmeeinrichtung aufgenommene Bild. Die Einrichtung zur Erzeugung des angezeigten Bilds erzeugt ein synthetisiertes Bild zur Anzeige und Verwendung eines neuesten Bilds, das von der Bildaufnahmevorrichtung aufgenommen wird, und eines früheren Bilds, das vor der Aufnahme des neuesten Bilds aufgenommen wurde. Das synthetisierte Bild wird auf der Anzeigeeinrichtung angezeigt. Die Einrichtung zur Erzeugung des Anzeigebilds verringert den Grad der Sichtbarkeit eines Bildbereichs bezüglich des früheren Bilds in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des früheren Bilds.
Im System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann die Einrichtung zur Erzeugung des Anzeigebilds das synthetisierte Bild unter Verwendung einer Vielzahl von früheren Bildern erzeugen, die zu verschiedenen Zeitpunkten aufgenommen wurden. Daher wird das synthetisierte Bild so erzeugt, dass der Grad der Sichtbarkeit des Bildbereichs, der zu jedem der früheren Bilder gehört, schrittweise oder kontinuierlich in Übereinstimmung mit der verstrichenen Zeit seit der Aufnahme jedes der früheren Bilder geändert wird. Daher kann der Nutzer den Unterschied der Verlässlichkeit der früheren Bilder leicht bestimmen.
In dem System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann die Einrichtung zur Erzeugung des Anzeigebilds den Grad der Sichtbarkeit des Bildbereichs, der zu dem bestimmten früheren Bild in jedem der zusammengesetzten bzw. synthetisierten Bilder in der Vielzahl von Einzelbildern gehört, in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des bestimmten früheren Bilds allmählich verringern, wenn die Einrichtung zur Erzeugung des Anzeigebilds das synthetisierte Bild in einer Vielzahl von Einzelbildern unter Verwendung eines bestimmten früheren Bilds erzeugt. Daher kann der Grad der Sichtbarkeit des Bildbereichs in jedem der synthetisierten Bilder, der zu dem früheren Bild gehört, in einer Art ähnlich derjenigen geändert werden, in der die menschliche Erinnerung allmählich über die Zeit schwindet.
In dem System zur Überwachung der Fahrzeugumgebung nach dem vorstehend beschriebenen Aspekt kann die Einrichtung zur Erzeugung des Anzeigebilds den Grad der Sichtbarkeit des Bildbereichs, der zu dem früheren Bild gehört, durch Korrektur zumindest entweder eines Kontrastverhältnisses oder einer Helligkeit verringern.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann weiterhin eine Einrichtung zur Speicherung von Fahrzeugbildern zum Vorabspeichern eines Fahrzeugbilds aufweisen. Das in der Einrichtung zur Speicherung des Fahrzeugbilds gespeicherte Fahrzeugbild kann in dem synthetisierten Bild angeordnet und auf der Anzeigeeinrichtung angezeigt sein.
Das System zur Überwachung der Fahrzeugumgebung nach dem vorstehend beschriebenen Aspekt kann weiterhin eine Einrichtung zur Umwandlung in ein Überkopfbild bzw. ein Bild aus der Vogelperspektive aufweisen, um das von der Bildaufnahmeeinrichtung aufgenommene Bild durch eine Vorverarbeitung in ein Überkopfbild umzuwandeln. Die Speichereinrichtung kann das Überkopfbild speichern, in das das Bild von der Einrichtung zur Umwandlung in das Überkopfbild mittels der Vorverarbeitung umgewandelt wird.
In dem System zur Überwachung der Fahrzeugumgebung nach dem vorstehend beschriebenen Aspekt kann die Vorverarbeitung, die von der Einrichtung zur Umwandlung des Überkopfbilds durchgeführt wird, zumindest entweder eine Koordinatentransformation, eine Verzerrungskorrektur oder eine Perspektivkorrektur umfassen.
In dem System zur Überwachung der Fahrzeugumgebung nach dem vorstehend beschriebenen Aspekt kann das frühere Bild eines bestimmten Abschnitts verwendet werden, wenn ein Bild eines bestimmten Abschnitts des Bereichs um das Fahrzeug nicht in einem Bildbereich enthalten ist, auf welchen sich das neueste Bild bezieht.
In dem System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann die Bildaufnahmevorrichtung mehrfach vorgesehen sein. Wenn die Bilder, die von der Mehrzahl von Bildaufnahmeeinrichtungen aufgenommen sind, einander teilweise überlappen, kann die Vielzahl von Bildaufnahmeeinrichtungen die Bilder in Kooperation miteinander aufnehmen.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann weiterhin eine Einrichtung zur Bestimmung des Türzustands aufweisen, um einen geöffneten/geschlossenen Zustand mindestens einer der Türen des Fahrzeugs zu bestimmen. Die Bildaufnahmevorrichtung kann in mindestens einer der Türen angeordnet sein. Die Speichervorrichtung kann ein Bild speichern, das abhängig von dem geöffneten/geschlossenen Zustand der mindestens einen unter den Türen von der in der Tür angeordneten Bildaufnahmevorrichtung aufgenommen wurde.
In dem System zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann die Einrichtung zur Bestimmung des Türzustands den geöffneten/geschlossenen Zustand zumindest einer der Türen durch Überwachung einer Weise bestimmen, in der sich das von der Bildaufnahmevorrichtung aufgenommene Bild ändert, wenn sich ein Einzelbild ändert, wobei die Bildaufnahmevorrichtung in mindestens einer der Türen angeordneten.
Die Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann weiterhin eine Fahrzeugbildspeichereinrichtung aufweisen, um vorab eine Vielzahl von Fahrzeugbildern zu speichern, die verschiedene geöffnete/geschlossene Zustände der mindestens einen der Türen zeigen. Ein Fahrzeugbild unter der Vielzahl von Fahrzeugbildern wird aus der Fahrzeugbildspeichereinrichtung in Übereinstimmung mit der Bestimmung durch die Einrichtung zur Bestimmung des Türzustands ausgelesen.
Ein zweiter Aspekt der Erfindung bezieht sich auf ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs, bei dem ein Bild eines Bereichs um ein Fahr zeug angezeigt wird. Das Verfahren umfasst eine Aufnahme des Bilds mindestens eines Teils des Bereichs um das Fahrzeug; Speichern des aufgenommenen Bilds; Erzeugen eines synthetisierten Bilds unter Verwendung eines neuesten aufgenommenen Bilds und eines früheren Bilds, das vor dem neuesten Bild aufgenommen wurde; Anzeigen des synthetisierten Bilds; und Verringern des Grads der Sichtbarkeit eines Bildbereichs, der sich auf das frühere Bild bezieht, in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des früheren Bilds.
In dem Verfahren zur Überwachung einer Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann das synthetisierte Bild unter Verwendung einer Vielzahl von früheren Bildern erzeugt werden, die zu verschiedenen Zeitpunkten aufgenommen wurden. Daher wird das Anzeigebild so synthetisiert, dass der Grad der Sichtbarkeit des Bildbereichs, der sich auf jedes der früheren Bilder bezieht, in Stufen oder kontinuierlich in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme jedes der früheren Bilder geändert wird. Daher kann der Nutzer leicht den Unterschied der Verlässlichkeit zwischen den früheren Bildern bestimmen.
In dem Verfahren zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann der Grad der Sichtbarkeit des Bildbereichs, der sich auf das bestimmte frühere Bild in jedem der synthetisierten Bilder in der Vielzahl von Einzelbildern bezieht, in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme des bestimmten früheren Bilds verringert werden, wenn die synthetisierten Bilder unter Verwendung eines bestimmten früheren Bilds in einer Vielzahl von Einzelbildern erzeugt werden. Daher kann der Grad der Sichtbarkeit des Bildbereichs, auf den sich das frühere Bild in jedem der synthetisierten Bilder bezieht, in der Weise ähnlich jener Weise verändert werden, in der die menschliche Erinnerung allmählich über die Zeit schwindet.
In dem Verfahren zur Überwachung der Umgebung eines Fahrzeugs nach dem vorstehend beschriebenen Aspekt kann der Grad der Sichtbarkeit des Bildbereichs, der zu dem früheren Bild gehört, verringert werden, indem zumindest entweder ein Kontrastverhältnis oder eine Helligkeit korrigiert werden.
In Übereinstimmung mit der Erfindung ist es möglich, das System und das Verfahren zur Überwachung der Umgebung eines Fahrzeugs zu schaffen, die es einem Nutzer ermöglichen, die Verlässlichkeit des früheren Bilds einfach zu bestimmen.
Die vorstehenden und/oder weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der nachstehenden Beschreibung von beispielhaften Ausführungsformen mit Bezug auf die beigefügten Zeichnungen deutlicher, in denen gleiche Bezugszeichen verwendet werden, um ähnliche Elemente wiederzugeben, und in denen:
1 ein Systemkonfigurationsschaubild ist, das ein System zur Überwachung der Umgebung eines Fahrzeugs nach einer ersten Ausführungsform der Erfindung zeigt;
2 eine Draufsicht ist, die schematisch ein Beispiel einer Art und Weise zeigt, auf welche Kameras angeordnet sind und ein Beispiel von Bereichen, deren Bilder durch die Kameras nach der ersten Ausführungsform aufgenommen werden;
3 ein Schaubild ist, das schematisch ein Beispiel eines Anzeigebilds zeigt, das auf einer Anzeige nach der ersten Ausführungsform angezeigt wird;
4 ein Funktionsblockschaubild ist, das die Hauptfunktionen einer Bildsynthetisiervorrichtung nach der ersten Ausführungsform zeigt;
5 eine Draufsicht ist, die schematisch ein Beispiel einer Umwelt zeigt, die ein Fahrzeug nach der ersten Ausführungsform umgibt;
6 ein Schaubild ist, das schematisch ein Bild zeigt, das zu einem Park-Start-Zeitpunkt bzw. einem Zeitpunkt am Begin des Parkens nach der ersten Ausführungsform erzeugt wird;
7 eine Draufsicht ist, die schematisch ein Beispiel einer Umwelt zeigt, die das Fahrzeug nach der ersten Ausführungsform umgibt, das an einer Position im Parkvorgang ist;
8 ein Schaubild ist, das schematisch ein Anzeigebild (synthetisiertes Bild) zeigt, das während eines Zeitpunkts im Parkvorgang nach der ersten Ausführungsform erzeugt wird;
9 eine Draufsicht ist, die ein Beispiel einer Art zeigt, in der Kameras vorgesehen sind, und ein Beispiel von Bereichen, deren Bilder von den Kameras nach einer zweiten Ausführungsform der Erfindung aufgenommen werden;
10 ein Funktionsblockschaubild ist, das die Hauptfunktionen einer Bildsynthetisiervorrichtung nach der zweiten Ausführungsform zeigt; und
11 ein Diagramm ist, das schematisch ein Anzeigebild zeigt, das zu einem Zeitpunkt erzeugt wird, wenn in der zweiten Ausführungsform bestimmt wird, dass sich eine Tür in einem offenen Zustand befindet.
Nachstehend werden beispielhafte Ausführungsformen der Erfindung mit Bezug auf die Figuren erläutert.
1 ist ein Systemkonfigurationsschaubild, das ein System zur Überwachung der Umgebung eines Fahrzeugs nach einer ersten Ausführungsform der Erfindung zeigt. Ein System 70 zur Überwachung der Umgebung eines Fahrzeugs nach der ersten Ausführungsform umfasst eine Bildsynthetisiervorrichtung 100. Die Bildsynthetisiervorrichtung 100 zeigt ein Bild (Anzeigebild) eines Bereichs um ein Fahrzeug auf der Grundlage von Bildern, die von in dem Fahrzeug angeordneten Kameras 10 aufgenommen werden, auf einer in dem Fahrzeug vorgesehenen Anzeige 20 an. Die Anzeige 20 kann beispielsweise eine Flüssigkristallanzeige sein. Die Anzeige 20 wird so an einer Stelle angeordnet, dass ein Insasse die Anzeige 20 leicht sehen kann. Beispielsweise kann die Anzeige 20 in einer Instrumententafel angeordnet sein. Die Kamera 10 wird als "der Bildaufnahmeabschnitt" und die Anzeige 20 als "der Anzeigeabschnitt" nach der Erfindung angesehen.
2 ist eine Draufsicht, die ein Beispiel einer Weise zeigt, in der die Kameras 10 angeordnet sind, und ein Beispiel von Bereichen, deren Bilder von den Kameras 10 aufgenommen werden. Wie in 2 gezeigt ist eine der Kameras 10 im vorderen Abschnitt des Fahrzeugs vorgesehen, und die andere Kamera 10 ist im hinteren Abschnitt vorgesehen. Das bedeutet, die Kameras 10 sind an insgesamt zwei Orten vorgesehen. Jede der Kameras 10 (10FR und 10RR) nimmt das Bild des umgebenden Abschnitts auf, das eine Straßenoberfläche umfasst, wozu sie ein abbildendes Element wie ein CCD (charge-coupled device) und ein CMOS (complementary metal oxide semiconductor) verwenden. Jede Kamera 10 kann eine Weitwinkelkamera sein, die ein Fischaugenobjektiv aufweist.
Wie schematisch in 2 gezeigt ist die vordere Kamera 10FR im vorderen Abschnitt des Fahrzeugs (beispielsweise in der Nähe einer Stoßstange) vorgesehen, um das Bild des umgebenden Abschnitts aufzunehmen, zu dem die Oberfläche einer Straße vor dem Fahrzeug gehört. Wie schematisch in 2 gezeigt ist die hintere Kamera 10RR im hinteren Abschnitt des Fahrzeugs (beispielsweise in der Nähe einer hinteren Stoßstange oder in einer Hecktür) angeordnet, um das Bild des umgebenden Bereichs aufzunehmen, zu dem die Oberfläche einer Straße hinter dem Fahrzeug gehört.
2 zeigt schematisch ein Beispiel der Bereiche, deren Bilder von den Kameras 10 aufgenommen werden. In dem in 2 gezeigten Beispiel ist jede Kamera 10 eine Weitwinkelkamera. Der Bereich, dessen Bild von jeder Kamera 10 aufgenommen wird, wird in Sektorform gezeigt. In 2 sind ein aufgenommener Bereich Rf, dessen Bild von der Frontkamera 10FR aufgenommen wird, und ein aufgenommener Bereich Rr, dessen Bild von der Heckkamera 10RR aufgenommen wird, durch Schraffur hervorgehoben.
3 zeigt schematisch ein Beispiel eines Anzeigebilds, das auf der Anzeige 20 angezeigt wird. Das Anzeigebild wird synthetisiert, indem die Bilder zusammengesetzt werden, die von den zwei Kameras 10FR und 10RR aufgenommen werden. In dem in 3 gezeigten Beispiel wird ein Bild, das das Fahrzeug wiedergibt (Fahrzeugbild) in einem mittleren bzw. zentralen Bildbereich des Anzeigebilds wiedergegeben. Es kann ein Fahrzeugbild verwendet werden, das vorab erzeugt und in einem vorab bestimmten Speicher (einem Abschnitt 115 zum Speichern eines Fahrzeugbilds, der später beschrieben wird) gespeichert wird. Man erhält das Anzeigebild, indem man das Fahrzeugbild in dem mittleren Bildbereich anordnet und die Bilder, die von den Kameras 10 aufgenommen werden, in anderen Bildbereichen anordnet. Die Bilder, die von den Kameras 10 aufgenommen werden, werden einer geeigneten Vorverarbeitung (beispielsweise einer Koordinatentransformation, einer Verzerrungskorrektur und einer Perspektivkorrektur) unterzogen, so dass die aufgenommenen Bilder in die Überkopfbilder einer Straßenoberfläche umgewandelt werden, also in Bilder, die von oben gesehen werden (das heißt Bilder aus der Vogelperspektive). Dann werden die Überkopfbilder auf der Anzeige 20 angezeigt. In 3 zeigt jeder schraffierte Abschnitt die Straßenoberfläche oder ein Objekt auf der Straßenoberfläche von oben gesehen. Ein Bildbereich R3 auf den Seiten des Fahrzeugs in 3 wird erzeugt, indem ein früheres Bild, das zuvor von den Kameras 10FR oder 10RR aufgenommen wird, geeignet angeordnet ist. Wenn sich das Fahrzeug beispielsweise vorwärts bewegt, wird der Bildbereich R3 durch das frühere Bild abgedeckt, das zuvor durch die Frontkamera FR aufgenommen wurde. Wenn das Fahrzeug rückwärts fährt, wird der Bildbereich R3 durch das frühere Bild abgedeckt, das zuvor durch die Heckkamera RR aufgenommen wurde. Die Art, in der das frühere Bild angezeigt wird, wird später genau beschrieben. Daher ist es möglich, das Bild der Bereiche in allen Richtungen um das Fahrzeug zu erzeugen, ohne eine Kamera auf den seitlichen Abschnitten des Fahrzeugs vorzusehen. In Übereinstimmung damit kann der Nutzer den Zustand der Straßenoberfläche und den Zustand von Objekten auf der Straße (beispielsweise Trennlinien auf der Straße und die Position von Hindernissen) in allen Richtungen um das Fahrzeug feststellen.
4 ist ein Funktionsblockschaubild, das die Hauptfunktionen der Bildsynthetisiervorrichtung 100 nach der Ausführungsform zeigt. Der Hardwareaufbau der Bildsynthetisiervorrichtung 100 umfasst hauptsächlich einen Mikrocomputer. Das heißt, die Bildaufnahmevorrichtung 100 weist eine CPU, Speicher (beispielsweise ROM, RAM und EEPROM), einen Zeitgeber, einen Zähler, eine Ein-/Ausgabeschnittstelle, und ähnliche Teile auf. Die CPU führt Vorgänge in Übereinstimmung mit den vorab bestimmten Ausführprogrammen durch. Die Speicher speichern die auszuführenden Programme, die von der CPU ausgeführt werden, Bilddaten, die Ergebnisse von Berechnungen und Ähnliches. Die CPU, die Speicher und die Ein-/Ausgabeschnittstelle sind miteinander durch einen Datenbus verbunden. Abschnitte der Bildsynthetisiervorrichtung 100, die nachstehend beschrieben wird, werden durch die Speicher realisiert, auf die die CPU zugreifen kann, und durch die Programme, die von der CPU ausgeführt werden.
Die Bildsynthetisiervorrichtung 100 nach der Ausführungsform umfasst einen Abschnitt 112 zur Umwandlung in ein Überkopfbild, den Abschnitt 115 zum Speichern des Fahrzeugbilds, einen Abschnitt 116 zum Speichern eines früheren Bilds und einen Abschnitt 120 zur Bildsynthetisierung. Der Abschnitt 116 zum Speichern eines früheren Bilds wird als "der Speicherabschnitt" betrachtet, und der Abschnitt 120 zur Bildsynthetisierung wird als "der Abschnitt zur Erzeugung des Anzeigebilds" nach der Erfindung angesehen.
Die Bildsynthetisiervorrichtung 100 empfängt notwendige Informationen in Echtzeit über eine Kommunikationsleitung wie ein CAN (Controller Area Network, Steuerbereichsnetzwerk). Die Informationen können Ausgaben von Sensoren wie einem Fahrzeuggeschwindigkeitssensor, einem Gierratensensor und einem Lenkwinkelsensor und Informationen umfassen, die von ECUs wie einer Parkassistenz-ECU übertragen werden.
Die Bildsynthetisiervorrichtung 100 empfängt die von den Kameras 10FR und 10RR aufgenommenen Bilder in Echtzeit über die Kommunikationsverbindung. Die Bilder können in einem Stream-Format mit einer geeigneten Einzelbildrate an die Bildsynthetisiervorrichtung 100 übertragen werden. Die Bildsynthetisiervorrichtung 100 erzeugt das Anzeigebild in jedem Einzelbild wie in 3 gezeigt, indem sie die Vorgänge durchführt, die nachstehend beschrieben werden. In Übereinstimmung damit wird das Anzeigebild, das auf der Anzeige 20 angezeigt wird, jedes Mal aktualisiert, wenn sich das Einzelbild ändert (das heißt, das Anzeigebild auf der Anzeige 20 ist animiert).
Der Abschnitt 112 zur Umwandlung in ein Überkopfbild führt eine geeignete Vorverarbeitung wie die Koordinatentransformation so durch, dass die Bilder, die von den Kameras 10FR und 10RR aufgenommen werden, in Überkopfbilder umgewandelt werden, die die Bilder der von oben gesehenen Straßenoberfläche (das heißt, Bilder aus der Vogelperspektive) sind. Eine Koordinatentransformationsformel wird geeignet auf der Grundlage der bekannten Richtungen der Sichtlinien der Kameras 10FR und 10RR und der bekannten Positionen festgelegt, an denen die Kameras 10FR und 10RR vorgesehen sind. Die Überkopfbilder, die von dem Abschnitt 112 zur Umwandlung in Überkopfbilder erzeugt werden, werden dem Bildsynthetisierabschnitt 120 und dem Abschnitt 116 zum Speichern früherer Bilder bereitgestellt.
Der Abschnitt 116 zum Speichern früherer Bilder speichert und behält die Überkopfbilder, die von dem Abschnitt 112 zur Umwandlung in Überkopfbilder erzeugt werden, als die früheren Bilder. Jedes frühere Bild wird mit Informationen bezüglich des Zeitpunkts versehen, zu dem das frühere Bild aufgenommen wurde (das heißt, einem Zeitstempel). Dann wird jedes frühere Bild in dem Abschnitt 116 zum Speichern früherer Bilder gespeichert. Daher kann der (nachstehend beschriebene) Bildsynthetisierabschnitt 120 den Zeitpunkt bestimmen, zu dem jedes frühere Bild, das in dem Abschnitt 116 zum Speichern früherer Bilder gespeichert ist, aufgenommen wurde. Es ist möglich, dass der Abschnitt 116 zum Speichern früherer Bilder in Übereinstimmung mit dem FIFO (First-In, First-Out-) Verfahren nur die früheren Bilder behält, die nach einem vorab bestimmten Zeitpunkt vor dem derzeitigen Zeitpunkt aufgenommen wurden, um die Speicherkapazität effektiv zu nutzen.
Der Abschnitt 115 zum Speichern von Fahrzeugbildern speichert das Fahrzeugbild, das wie in 3 gezeigt in dem im Wesentlichen mittleren Bildbereich des Anzeigebilds anzuordnen ist. Das Fahrzeugbild gibt schematisch die Vogelperspektive des Fahrzeugs wie in 3 gezeigt wieder.
Der Bildsynthetisierabschnitt 120 synthetisiert das Anzeigebild durch Kombination der neuesten Bilder (aktuellen Bilder) aus der Vogelperspektive, die während des derzeitigen Einzelbildzyklus aufgenommen wurden, und des früheren Bilds, das während des letzten Einzelbildzyklus oder vor dem letzten Einzelbildzyklus aufgenommen wurde und in dem Abschnitt 116 zum Speichern früherer Bilder gespeichert ist.
Die derzeitigen Bilder werden in feststehenden Positionen angezeigt, die ungefähr auf der Grundlage von bekannten Richtungen der Sichtlinien der Kameras 10FR und 10RR, den bekannten Positionen, in denen die Kameras 10FR und 10RR vorgesehen sind und ähnlicher Daten bestimmt werden. Die Position, an der das frühere Bild angezeigt wird, muss in Übereinstimmung mit der Bewegung des Fahrzeugs verändert werden. Daher wird die Position, an der das frühere Bild angezeigt wird, auf der Grundlage der Art ungefähr bestimmt, in der das Fahrzeug sich seit dem Zeitpunkt, an dem das frühere Bild aufgenommen wurde, bis zum aktuellen Zeitpunkt bewegt hat.
Beispielsweise bestimmt der Bildsynthetisierabschnitt 120 einen Bewegungsabstand β von dem Ort, an dem das frühere Bild aufgenommen wurde, zu der derzeitigen Position des Fahrzeugs auf der Grundlage von Signalen von dem Fahrzeuggeschwindigkeitssensor. Zusätzlich berechnet der Bildsynthetisierabschnitt 120 die Größe der Änderung der Richtung des Fahrzeugs in dem Zeitabschnitt von dem Zeitpunkt, zu dem das frühere Bild aufgenommen wurde, zum derzeitigen Zeitpunkt (nachstehend wird diese Änderungsgröße als "Ablenkungswinkel α" bezeichnet) auf der Grundlage der Signale von dem Lenkwinkelsensor und dem Fahrzeuggeschwindigkeitssensor. Wenn der Ablenkungswinkel α ein positiver Wert ist, zeigt der Ablenkungswinkel α an, dass das Fahrzeug eine Kurve im Uhrzeigersinn fährt. Wenn der Ablenkungswinkel α einen negativen Wert aufweist, zeigt der Ablenkungswinkel α an, dass das Fahrzeug eine Kurve im Gegenuhrzeigersinn fährt. Der Ablenkungswinkel α wird allgemein in Übereinstimmung mit der nachstehend beschriebenen Gleichung (1) berechnet. In der Gleichung (1) gibt "ds" einen kleinen Abstand an, um den sich das Fahrzeug bewegt, und "γ" gibt eine Kurvenkrümmung an (die äquivalent zum Kehrwert des Kurvenradius des Fahrzeugs ist). Die Gleichung (1) wird verwendet, um den Ablenkungswinkel α zu berechnen, der die Größe der Änderung in der Richtung des Fahrzeugs ist, wenn das Fahrzeug sich um den Abstand von βm bewegt. α = ∫0 βγ·ds (1)
Durch Modifizierung der Gleichung (1) erhält man Gleichung (2). Der Bildsynthetisierabschnitt 120 berechnet jedes Mal, wenn sich das Fahrzeug um einen vorab bestimmten Abstand (in dieser Ausführungsform 0,5 m) bewegt, einen kleinen Ablenkungswinkel α_i. Zusätzlich berechnet der Bildsynthetisierabschnitt 120 den Ablenkungswinkel α durch Aufsummieren der kleinen Ablenkungswinkel α₁ bis α_k in Übereinstimmung mit der Gleichung (2).
Es wird durch Integration der Signale, die von dem Fahrzeuggeschwindigkeitssensor ausgegeben werden (das heißt der Raddrehzahlsignale) über die Zeit bzw. den Weg überwacht, ob sich das Fahrzeug um den vorab bestimmten Abstand (in dieser Ausführungsform 0,5 m) bewegt. Die Kurvenkrümmung γ wird auf der Grundlage eines Lenkwinkels Ha bestimmt, den man vom Lenkwinkelsensor erhält. Beispielsweise wird die Kurvenkrümmung γ in Übereinstimmung mit der Gleichung γ = Ha/L × η berechnet. In dieser Gleichung gibt L die Länge eines Radstands wieder, und η gibt das gesamte Übersetzungsverhältnis des Fahrzeugs (das heißt das Verhältnis des Lenkwinkels Ha zum Einschlagwinkel des Rads) wieder. Der kleine Ablenkungswinkel α_i kann erhalten werden, indem man die Kurvenkrümmung, die man jedes Mal erhält, wenn sich das Fahrzeug um einen kleinen Abstand von 0,01 m bewegt, mit dem kleinen Abstand von 0,01 m multipliziert und dann die sich ergebenden Werte, die man durch die Multiplikation erhält, integriert, während sich das Fahrzeug über den Abstand von 0,5 m bewegt. Eine Abbildung bzw. Tabelle, welche die Beziehung zwischen der Kurvenkrümmung γ und dem Lenkwinkel Ha wiedergibt, kann auf Grund von Daten über die Beziehung hergestellt werden, die man vorab für jedes Fahrzeug erhält, und die Abbildung kann in dem Speicher gespeichert werden, auf den die Bildsynthetisiervorrichtung 100 zugreifen kann.
In diesem Fall bestimmt der Bildsynthetisierabschnitt 120 die Position, bei der das frühere Bild aufgenommen wurde, in Relation zu den Positionen, zu denen die aktuellen Bilder aufgenommen wurden, auf der Grundlage des Bewegungsabstands β, der in der vorstehend beschriebenen Weise bestimmt wurde. Zusätzlich bestimmt der Bildsynthetisierabschnitt 120 die Richtung, in welche das frühere Bild orientiert ist (das heißt den Winkel, um den das frühere Bild gedreht ist), auf der Grundlage des Ablenkungswinkels α, der in der vorstehend beschriebenen Weise bestimmt wurde. Die Verfahren zum Bestimmen der Position, an der das frühere Bild aufgenommen wurde, und der Richtung, in welcher das frühere Bild orientiert ist, sind nicht auf die vorstehend beschriebenen Verfahren beschränkt. Die Position, an der das frühere Bild aufgenommen wurde, und die Richtung, in welcher das frühere Bild orientiert ist, kann auf der Grundlage der Position oder der Richtung eines Merkmalspunkts bestimmt werden, der auf der Grundlage des Ergebnisses der Bilderkennung extrahiert wurde. Alternativ kann die Position, bei der das frühere Bild wiedergegeben wurde, und die Richtung, in der das frühere Bild orientiert ist, unter Verwendung eines anderen Sensors (wie des Gierratensensors) oder etwas Ähnlichem bestimmt werden.
Als Nächstes wird die Weise, in welcher der Bildsynthetisierabschnitt 120 nach der Ausführungsform das Anzeigebild erzeugt, mit Bezug auf die 4 bis 8 beschrieben. Nachstehend wird die Weise beispielhaft beschrieben, in welcher der Bildsynthetisierabschnitt 120 das Anzeigebild zum Bereitstellen einer Unterstützung einer Rückwärtssicht zur Zeit der Parkassistenz erzeugt.
5 ist eine Draufsicht, die schematisch ein Beispiel eines Bereichs um das Fahrzeug zeigt, das an einer Position ist, an welcher das Fahrzeug beginnt, zum Parken rückwärts zu fahren (nachstehend wird diese Position als eine "Park-Start-Position" bezeichnet). 5 zeigt die Situation, in welcher das Fahrzeug (eigene Fahrzeug), das mit dem System 70 zur Überwachung der Umgebung eines Fahrzeugs nach der Ausführungsform ausgestattet ist, beginnt, rückwärts in einen Parkbereich zu fahren, der durch eine Rahmenlinie definiert ist. Ein anderes Fahrzeug X ist auf der rechten Seite hinter dem Fahrzeug vorhanden. Ein Fahrrad liegt in dem Parkbereich. Das Fahrzeug fährt von der Position, die in 5 gezeigt ist, in Übereinstimmung mit einer gestrichelten Linie in 5 rückwärts.
6 zeigt schematisch das Anzeigebild (synthetisierte Bild), das zu dem in 5 gezeigten Zeitpunkt erzeugt wird (das heißt, dem Zeitpunkt, wenn das Fahrzeug mit der Rückwärtsfahrt zum Parken beginnt, der nachstehend als "Park-Start-Zeitpunkt" bezeichnet wird). In diesem Beispiel erzeugt die Bildsynthetisiervorrichtung 100 das Anzeigebild unter Verwendung der Bilder (des derzeitigen Bilds und des früheren Bilds), die von der Kamera 10RR aufgenommen wurden, um eine Rückblickassistenz bereitzustellen. In Übereinstimmung damit ist der Bildbereich, der den Heckbereich in dem Anzeigebild in 6 zeigt, größer als in dem Anzeigebild in 3.
Wie in 6 gezeigt kann eine Grenzlinie T im Anzeigebild angezeigt werden. Die Grenzlinie T definiert einen Bildbereich R1, in dem das derzeitige Bild angezeigt wird. Daher kann ein Benutzer leicht erkennen, dass der Bildbereich, der durch die Grenzlinie T definiert ist, zu dem derzeitigen Bild in dem Anzeigebild gehört und ent sprechend das Bild in dem Bildbereich, der durch die Grenzlinie T definiert ist, das Echtzeitbild ist.
Weil das andere Fahrzeug X wie in 5 gezeigt zum Park-Start-Zeitpunkt im Gesichtsfeld der Heckkamera 10RR vorhanden ist, wird das Bild des anderen Fahrzeugs X in dem Bildbereich R1 an einer Position auf der rechten Seite hinter dem Fahrzeugbild in dem Anzeigebild auf der Grundlage des derzeitigen Bilds angezeigt. Obwohl das schematische Bild des anderen Fahrzeugs X in 5 angezeigt ist, ist das aktuelle Bild des anderen Fahrzeugs X realistisch (das aktuelle Bild des (später beschriebenen) Fahrrads ist ebenfalls realistisch). Daher kann der Nutzer leicht erkennen, dass das andere Fahrzeug X auf der rechten Seite hinter dem Fahrzeug vorhanden ist.
In dem in 6 gezeigten Beispiel ist beispielsweise der gesamte Bildbereich R3 auf den Seiten des Fahrzeugbilds weiß, das heißt, der Bildbereich R3 ähnelt einem Bereich, der auf Grund einer Überbelichtung weiß wird. In anderen Worten wird im Wesentlichen kein Bild im Bildbereich R3 angezeigt. Dies zeigt an, dass das Bild des Bereichs auf den Seiten des Fahrzeugs nicht aufgenommen wird, wenn das Fahrzeug zur Park-Start-Position vorfährt (das heißt, es gibt kein früheres Bild des Bereichs auf den Seiten des Fahrzeugs) wie in 5 gezeigt. Wenn jedoch das Bild des Bereichs auf den Seiten des Fahrzeugs von der Frontkamera 10FR aufgenommen wird, wenn das Fahrzeug sich vorwärts zur Park-Start-Position bewegt, kann das Bild in dem Bildbereich R3 auf den Seiten des Fahrzeugbilds angezeigt werden, wobei das frühere Bild, das von der Frontkamera 10FR aufgenommen wurde, in Übereinstimmung mit einem Verfahren verwendet wird, das ähnlich dem Verfahren zum Anzeigen des früheren Bilds ist, das nachstehend beschrieben wird.
7 ist eine Draufsicht, die schematisch ein Beispiel des Bereichs zeigt, der das Fahrzeug umgibt, das sich in einer bestimmten Position befindet, während das Fahrzeug rückwärts fährt (nachstehend wird diese Position als "Parkvorgangsposition" bezeichnet). Wie in 7 gezeigt hat sich das andere Fahrzeug X, das auf der rechten Seite hinter dem Fahrzeug vorhanden war, als das Fahrzeug mit der Rückwärtsfahrt begann (siehe 5), aus dem Sichtfeld der Heckkamera 10RR bewegt und sich dann nach rechts bewegt.
8 zeigt schematisch das Anzeigebild (synthetisiertes Bild), das zu einem bestimmten Zeitpunkt erzeugt wurde, während das Fahrzeug rückwärts fährt (nachstehend wird dieser Zeitpunkt als "Parkvorgangszeitpunkt" bezeichnet). Zum in 7 gezeigten Parkvorgangszeitpunkt ist das liegende Fahrrad im Sichtfeld der Heckkamera 10RR. Daher wird das Bild des liegenden Fahrrads im Bildbereich R1 an einer Position hinter dem Fahrzeugbild in dem Anzeigebild auf der Grundlage des derzeitigen Bilds angezeigt. Daher kann der Benutzer leicht erkennen, dass das Fahrrad nun hinter dem Fahrzeug liegt. Das Bild der Bereiche auf den Seiten des Fahrzeugs wird in dem Bildbereich R3 auf den Seiten des Fahrzeugbilds in dem Anzeigebild auf der Grundlage mindestens eines früheren Bilds angezeigt, das von der Heckkamera 10RR während des Zeitabschnitts vom Park-Start-Zeitpunkt zum Parkvorgangszeitpunkt aufgezeichnet und in dem Abschnitt 116 zum Speichern früherer Bilder gespeichert ist. Wenn der Bildsynthetisierabschnitt 120 das Bild in dem Bildbereich R3 unter Verwendung einer Vielzahl von früheren Bildern anzeigt, kann die Vielzahl von früheren Bildern teilweise miteinander überlappen. In diesem Fall wird das neueste Bild aus der Vielzahl von früheren Bildern im Vordergrund angezeigt und die anderen früheren Bilder werden geeignet beschnitten. Das heißt, das letzte Bild aus der Vielzahl von früheren Bildern wird den anderen früheren Bildern überlagert. Daher wird unter Verwendung der Vielzahl von früheren Bildern ein nahtloses Bild im Bildbereich R3 angezeigt.
In dem in 8 gezeigten Beispiel werden die Bilder in den Bildbereichen R3 auf den Seiten des Fahrzeugbilds unter Verwendung von vier früheren Bildern angezeigt, die zu unterschiedlichen Zeitpunkten aufgenommen werden. In 8 wird ein Bild G1, das unter Verwendung des zu einem Zeitpunkt t1 aufgenommenen früheren Bilds angezeigt wird, in dem Bildbereich R3d dargestellt; ein Bild G2, das unter Verwendung des zu einem Zeitpunkt t2 aufgenommenen früheren Bilds angezeigt wird, wird in dem Bildbereich R3c dargestellt; ein Bild G3, das unter Verwendung des zu einem Zeitpunkt t3 aufgenommenen früheren Bilds angezeigt wird, wird in dem Bildbereich R3b dargestellt, und ein Bild G4, das unter Verwendung des zu einem Zeitpunkt t4 aufgenommenen früheren Bilds angezeigt wird, wird in dem Bildbereich R3a dargestellt. In diesem Beispiel ist der Park-Start-Zeitpunkt t0 und der Parkvorgangszeitpunkt (derzeitige Zeitpunkt), der in 7 gezeigt ist, ist der Zeitpunkt t5. Das Verhältnis zwischen den Zeitpunkten wird durch die Gleichung t0 < t1 < t2 < t3 < t4 < t5 wiedergegeben.
8 zeigt schematisch das Kontrastverhältnis des Anzeigebilds unter Verwendung unterschiedlicher Schraffuren. Wie in 8 gezeigt erzeugt der Bildsyntheseabschnitt 120 die Kontrastverhältnisse der Bilder G1 bis G4 abhängig von den Zeitpunkten unterschiedlich an, zu denen die früheren Bilder aufgenommen wurden, die verwendet werden, um die Bilder G1 bis G4 in den Bildbereichen anzuzeigen. Das Kontrastverhältnis kann beispielsweise durch Korrektur eines Kontrastverhältnisfilters oder einer Tonkurve korrigiert werden.
Genauer gesagt zeigt der Bildsyntheseabschnitt 120 wie in 8 gezeigt das Bild G4 unter Verwendung des letzten früheren Bilds in dem Bildbereich R3a mit dem höchsten Kontrastverhältnis L4 an. Das Kontrastverhältnis L4 des Bilds G4 ist niedriger als das Kontrastverhältnis (das heißt das Standardkontrastverhältnis) des Bildbereichs R1, in welchem das Bild auf der Grundlage des derzeitigen Bilds angezeigt wird. Der Bildsyntheseabschnitt 120 zeigt die Bilder G3 bis G1 unter Verwendung der früheren Bilder in den Bildbereichen R3b, R3c und R3d jeweils so an, dass sich der Kontrast allmählich jeweils von L3 bis L1 verringert, je älter das frühere Bild ist. In Übereinstimmung damit zeigt der Bildsyntheseabschnitt 120 das Bild G1 unter Verwendung des ältesten früheren Bilds in dem Bildbereich R3d mit dem geringsten Kontrastverhältnis L1 an. Daher wird das Anzeigebild so erzeugt, dass das Kontrastverhältnis stufenweise vom Kontrastverhältnis L4 des Bilds G4 zum Kontrastverhältnis L1 des Bilds G1 verringert wird.
Die Verlässlichkeit des Bildbereichs, in welchem das Bild unter Verwendung des früheren Bilds angezeigt wird, verringert sich über die Zeit. Daher kann sich die Verlässlichkeit des Bildbereichs, in welchem das Bild unter Verwendung des früheren Bilds dargestellt wird, das vor einer längeren Zeit aufgenommen wurde, deutlich von der Verlässlichkeit des Bildbereichs unterscheiden, in welchem das Bild unter Verwendung des gerade erst aufgenommenen früheren Bilds dargestellt wird. In Übereinstimmung damit ist es nicht wünschenswert, dass die früheren Bilder, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, in gleicher Weise angezeigt werden, weil der Benutzer die Verlässlichkeit nicht bestimmen kann.
Nach der Ausführungsform ändert sich jedoch das Kontrastverhältnis jedes Bildbereichs in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme jedes früheren Bilds wie vorstehend beschrieben, wenn das Anzeigebild durch Kombination der früheren Bilder mit dem derzeitigen Bild synthetisiert wird. Daher kann der Benutzer leicht die Verlässlichkeit der Informationen bestimmen, die durch jedes frühere Bild bereitgestellt wird. Außerdem verringert sich nach dieser Ausführungsform das Kontrastverhältnis, das heißt der Grad der Sichtbarkeit wird verringert, wenn die verstrichene Zeit nach der Aufnahme des früheren Bilds steigt. Daher kann jedes frühere Bild in Übereinstimmung mit dem Grad der Verringerung der Verlässlichkeit angezeigt werden. Beispielsweise zeigt in dem in 8 gezeigten Beispiel das Bild G1 das andere Fahrzeug X, das nicht tatsächlich vorhanden ist, in dem Bildbereich R3d.
Weil jedoch das Kontrastverhältnis L1 des Bilds G1 am niedrigsten ist und der Grad der Sichtbarkeit des Bilds G1 am niedrigsten ist, sieht der Benutzer das verschwommene Bild des anderen Fahrzeugs X. Daher kann der Benutzer wahrnehmen, dass die Verlässlichkeit des Bilds des anderen Fahrzeugs X gering ist. Das Kontrastverhältnis L4 des Bilds G4, das in dem Bildbereich R3a unter Verwendung des letzten früheren Bilds angezeigt wird, ist unter den Kontrastverhältnissen der Bilder G1 bis G4, die in den Bildbereichen unter Verwendung der früheren Bilder angezeigt werden, am höchsten. Daher kann der Benutzer visuell ein Objekt, das in dem Bild G4 angezeigt wird, relativ leicht erkennen. In diesem Beispiel kann der Nutzer visuell und einfach die Positionsbeziehung zwischen der horizontalen Linie, welche den Parkbereich festlegt, und dem hinteren Abschnitt des Fahrzeugs erkennen.
Außerdem wird in dieser Ausführungsform das Kontrastverhältnis des Bildbereichs, in dem ein bestimmtes früheres Bild in jedem der Anzeigebilder in einer Vielzahl von Einzelbildern angezeigt wird, in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme des bestimmten früheren Bilds verringert. Daher können die Anzeigebilder in der Vielzahl von Einzelbildern in der Weise ähnlich einer Weise erzeugt werden, in welcher die menschliche Erinnerung über die Zeit verschwimmt. Beispielsweise kann das Fahrzeug mit einer konstanten Geschwindigkeit rückwärts fahren, ohne anzuhalten. In diesem Fall wird das Bild, welches das andere Fahrzeug X zeigt, das verwendet wird, um das Bild G1 in dem Bildbereich zu zeigen, wie folgt angezeigt. Zum Zeitpunkt t1 wird das Bild als das derzeitige Bild im Bildbereich R1 mit dem Standardkontrastverhältnis angezeigt. Zum Zeitpunkt t2 wird das frühere Bild in dem Bildbereich R3a mit dem Kontrastverhältnis L4 angezeigt, das niedriger als das Standardkontrastverhältnis ist (siehe 8). Zum Zeitpunkt t3 wird das frühere Bild in den Bildbereich R3b mit dem Kontrastverhältnis L3 angezeigt, das niedriger als das Kontrastverhältnis L4 ist. Zum Zeitpunkt t4 wird das frühere Bild in dem Bildbereich R3c mit dem Kontrastverhältnis L2 angezeigt, das niedriger als das Kontrastverhältnis L3 ist. Zum Zeitpunkt t5 wird das frühere Bild in dem Bildbereich R3d (= Bild G1 in 8) mit dem Kontrastverhältnis L1 angezeigt, das niedriger als das Kontrastverhältnis L2 ist. Das heißt, das Kontrastverhältnis des Bildbereichs, in dem das frühere Bild in jedem der Bildbereiche angezeigt wird, verringert sich stufenweise bzw. allmählich vom Zeitpunkt t1 zum Zeitpunkt t5. Daher kann das Kontrastverhältnis des Bilds des anderen Fahrzeugs X in der Weise ähnlich jener Weise verringert werden, in welcher die Erinnerung des Nutzers bezüglich des anderen Fahrzeugs X über die Zeit verschwimmt.
In dieser Ausführungsform wird das Bild mit dem Standardkontrastverhältnis in dem Bildbereich R1 auf der Grundlage des derzeitigen Bilds beibehalten, das konstant bereitgestellt wird, wenn das Fahrzeug vorübergehend zum Zeitpunkt des Parkvorgangs gestoppt wird. Die Kontrastverhältnisse der Bildbereiche R3, die sich auf frühere Bilder beziehen, verringern sich allmählich über die Zeit. Beispielsweise wird das Kontrastverhältnis des Bildbereichs R3a (das Kontrastverhältnis L4 zum Zeitpunkt t5) über die Zeit allmählich vom Kontrastverhältnis L4 bis auf das Kontrastverhältnis L1 verringert, während das Fahrzeug stoppt. Wenn die Zeit weiter verstreicht, kann das Kontrastverhältnis des Bildbereichs R3a auf dem Kontrastverhältnis L1 gehalten werden. Alternativ kann das Kontrastverhältnis des Bildbereichs R3a auf 0 verringert werden. In diesem Fall sind die Bildbereiche R3, an denen die Bilder unter Verwendung des früheren Bilds angezeigt werden, die Bereiche, die auf Grund einer Überbelichtung weiß werden, wie in 6 gezeigt.
In dem mit Bezug auf 8 beschriebenen Beispiel werden die vier früheren Bilder, die zu unterschiedlichen Zeitpunkten aufgenommen werden, verwendet. Die Anzahl der früheren Bilder, die verwendet werden, wird jedoch geeignet in Übereinstimmung mit der Weise, in der sich das Fahrzeug bewegt, dem Einzelbildzyklus und ähnlichen Daten bestimmt. Das Anzeigebild kann unter Verwendung eines früheren Bilds und des derzeitigen Bilds erzeugt werden, oder unter Verwendung von fünf oder mehr früheren Bildern und des derzeitigen Bilds.
Die zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform im Wesentlichen in der Weise, in der die Kameras vorgesehen sind, und in der Weise, in der die früheren Bilder verwendet werden. In der nachstehenden Beschreibung werden die Abschnitte mit denselben Aufbauten wie in der ersten Ausführungsform durch dieselben Bezugszeichen bezeichnet und ihre Beschreibung wird ausgelassen.
9 ist eine Draufsicht, die ein Beispiel der Weise zeigt, in welcher die Kameras 10 vorgesehen sind, und ein Beispiel von Bereichen der Bilder, die von den Kameras 10 aufgenommen werden. Wie in 9 gezeigt sind vier Kameras 10FR, 10SL, 10SR und 10RR jeweils am vorderen Abschnitt, den seitlichen Abschnitten und dem hinteren Abschnitt des Fahrzeugs vorgesehen. Jede der Kameras 10 FR, 10SL, 10SR und 10RR kann eine Weitwinkelkamera sein, die wie in der ersten Ausführungsform ein Fischaugenobjektiv aufweist.
Wie in 9 schematisch gezeigt ist die linke Kamera 10SL in einem linken Seitenspiegel vorgesehen, um das Bild des umgebenden Bereichs aufzunehmen, das eine Straßenoberfläche auf der linken Seite des Fahrzeugs umfasst. Wie schematisch in 9 gezeigt, ist die rechte Kamera 10SR in einem rechten Seitenspiegel vorgesehen, um das Bild des umgebenden Bereichs aufzunehmen, das eine Straßenoberfläche auf der rechten Seite des Fahrzeugs umfasst.
9 zeigt schematisch ein Beispiel von Bereichen, deren Bilder von den Kameras 10 aufgenommen werden. In dem in 9 gezeigten Beispiel ist jede Kamera 10 eine Weitwinkelkamera. Der Bereich, dessen Bild durch jede Kamera 10 aufgenommen wird, wird in einer Sektorform gezeigt. In 9 werden ein abgebildeter Bereich Rf, dessen Bild von der Frontkamera 10FR aufgenommen wird, und ein abgebildeter Bereich Rs, dessen Bild von der rechten Kamera 10SR aufgenommen wird, durch Schraffur hervorgehoben. Wie in 9 gezeigt kann jeder abgebildete Bereich mindestens einen Bereich aufweisen, der sich mit dem anderen abgebildeten Bereich überlappt (beispielsweise einen Bereich Rsf in 9). Daher nehmen die vier Kameras 10FR, 10SL, 10SR und 10RR in dem in 9 gezeigten Beispiel die Bilder der Szenerie um das Fahrzeug in Kooperation miteinander auf. In Übereinstimmung damit kann der Insasse den Zustand der Straßenoberfläche und den Zustand von Objekten auf der Straße (beispielsweise Trennlinien auf der Straße und die Position von Hindernissen) in allen Richtungen um das Fahrzeug feststellen. Das endgültige Anzeigebild des Bereichs, in dem die abgebildeten Bereiche miteinander überlappen (beispielsweise des Bereichs Rsf in 9) kann erzeugt werden, indem eines aus den Bildern der abgebildeten Bereiche ausgewählt wird, oder indem beide Bilder der abgebildeten Bereiche kooperativ genutzt werden.
10 ist ein Funktionsblockschaubild, das die hauptsächlichen Funktionen der Bildsynthetisiervorrichtung 100' nach der zweiten Ausführungsform zeigt. Der Hardwareaufbau der Bildsynthetisiervorrichtung 100' umfasst hauptsächlich einen Mikrocomputer. Das heißt, die Bildsynthetisiervorrichtung 100' umfasst eine CPU, Speicher (beispielsweise ROM, RAM und EEPROM), einen Zeitgeber, einen Zähler, eine Ein-/Ausgabeschnittstelle und Ähnliches. Die CPU führt Vorgänge in Übereinstimmung mit den vorab bestimmten Ausführungsprogrammen durch. Die Speicher speichern die ausführbaren Programme, die von der CPU ausgeführt werden, Bilddaten, die Ergebnisse von Berechnungen und Ähnliches. Die CPU, die Speicher und die Eingabe-/Ausgabeschnittstelle sind miteinander durch einen Datenbus verbunden. Abschnitte der Bildsynthetisiervorrichtung 100', die nachstehend beschrieben werden, sind durch Speicher, auf welche die CPU Zugriff hat, und die Programme realisiert, die von der CPU ausgeführt werden.
Die Bildsynthetisiervorrichtung 100' nach der Ausführungsform umfasst den Überkopfbildumwandlungsabschnitt 112, einen Türzustandsbestimmungsabschnitt 114, einen Abschnitt 115' zum Speichern von Fahrzeugbildern, einen Abschnitt 116' zum Speichern früherer Bilder und einen Bildsynthetisierabschnitt 120'. Der Abschnitt 116' zum Speichern früherer Bilder wird als "der Speicherabschnitt" und der Bildsynthetisierabschnitt 120' als "der Abschnitt zur Erzeugung eines Anzeigebilds" nach der Erfindung angesehen.
Die Bildsynthetisiervorrichtung 100' empfängt notwendige Informationen in Echtzeit über eine Kommunikationsverbindung wie ein CAN (Controller Area Network). Zu den Informationen können Fahrzeuggeschwindigkeitsinformationen gehören, die von dem Fahrzeuggeschwindigkeitssensor erhalten werden und Informationen, die notwendig für einen Türzustandsbestimmungsvorgang sind, der später beschrieben wird (beispielsweise Ein-/Aussignale von einem Türschalter 30). Die Bildsynthetisiervorrichtung 100' empfängt die von den Kameras 10FR, 10SL, 10SR und 10RR aufgenommenen Bilder in Echtzeit über die Kommunikationsleitung. Die Bilder können der Bildsynthetisiervorrichtung 100' im Stream-Format mit einer geeigneten Einzelbildrate übertragen werden. Die Bildsynthetisiervorrichtung 100' erzeugt das Anzeigebild in jedem Einzelbild durch Durchführen der nachstehend beschriebenen Vorgänge. In Übereinstimmung damit wird das Anzeigebild, das auf der Anzeige 20 angezeigt wird, jedes Mal aktualisiert, wenn das Einzelbild geändert wird (das heißt, das Anzeigebild auf der Anzeige 20 ist animiert).
Der Türzustandsbestimmungsabschnitt 114 stellt fest, ob sich die Türen, an denen die rechten und linken Kameras 10SR und 10SL vorgesehen sind, in einem geöffneten Zustand oder einem geschlossenen Zustand befinden. Noch genauer bestimmt der Türzustandsbestimmungsabschnitt 114 zumindest, ob sich die vordere linke Tür, die mit der linken Kamera 10SL versehen ist, im geöffneten Zustand oder in geschlossenem Zustand befindet, und ob sich die vordere rechte Tür, die mit der rechten Kamera 10SR versehen ist, in dem geöffneten oder in dem geschlossenen Zustand befindet. Der Türzustandsbestimmungsabschnitt 114 kann feststellen, ob alle Türen, die zu öffnen/schließen sind, in dem geöffneten Zustand oder dem geschlossenen Zustand ist.
Beispielsweise kann der Türzustandsbestimmungsabschnitt 114 auf der Grundlage einer Ausgabe von dem Türschalter 30, der herkömmlich in der Tür vorgesehen ist (das heißt einem Schalter zur Warnung, der das EIN-Signal ausgibt, wenn die Tür geöffnet ist) für jede Tür bestimmen, ob sie sich in dem geöffneten oder dem geschlossenen Zustand befindet.
Alternativ kann der Türzustandsbestimmungsabschnitt 114 auf der Grundlage der Bilder, die von den rechten und linken Kameras 10SR und 10SL aufgenommen werden, feststellen, ob sich die Türen im geöffneten oder im geschlossenen Zustand befinden, weil die Sichtlinien (optischen Achsen) der rechten und linken Kameras 10SR und 10SL sich abhängig von dem geöffneten/geschlossenen Zustand der Türen ändern und sich daher die Positionen oder die Richtungen von Objekten in den von den rechten und linken Kameras 10SR und 10SL aufgenommenen Bildern in Übereinstimmung mit dem geöffneten/geschlossenen Zustand der Türen ändern. Beispielsweise führt der Türzustandsbestimmungsabschnitt 114 eine Kantenverarbeitung oder etwas Ähnliches für die Bilder durch, die von den rechten und linken Kameras 10SR und 10SL aufgenommen werden, wodurch er einen Merkmalspunkt bezüglich eines bestimmten Objekts (beispielsweise ein Merkmalspunkt bezüglich einer Trennlinie auf der Straße) extrahiert. Dann überwacht der Türzustandsbestimmungsabschnitt 114 die Weise, in welcher sich die Position oder die Richtung des Merkmalspunkts bezüglich des bestimmten Objekts ändert, wenn sich das Einzelbild ändert. Wenn sich die Position oder die Richtung des Merkmalspunkts bezüglich des spezifischen Objekts ändert, obwohl sich die Position des Fahrzeugs nicht geändert hat, bestimmt der Türzustandsbestimmungsabschnitt 114, dass die Tür geöffnet oder geschlossen wurde.
Der Abschnitt 115' zum Speichern von Fahrzeugbildern speichert das Fahrzeugbild, das in dem im Wesentlichen zentralen Bereich des Anzeigebilds angeordnet ist. Eine Vielzahl von Fahrzeugbildern, die verschiedene Kombinationen der geöffneten/geschlossenen Zustände der Türen zeigen, können vorbereitet werden. Das heißt, das Fahrzeugbild, das zeigt, dass sich alle Türen im geschlossenen Zustand befinden, das Fahrzeugbild, das zeigt, dass sich die vordere linke Tür in dem offenen Zustand befindet, das Fahrzeugbild, das zeigt, dass sich die vordere rechte Tür in dem offenen Zustand befindet, das Fahrzeugbild, das zeigt, dass sich die vorderen linken und vorderen rechten Türen offen sind und Vergleichbares kann beispielsweise in der Form einer Vorlage vorbereitet und gespeichert werden.
Der Abschnitt 116' zum Speichern früherer Bilder speichert und hält die Seitenbilder, die von den rechten und linken Kameras 10SR und 10SL aufgenommen werden, wenn der Türzustandsbestimmungsabschnitt 114 auf der Grundlage des Ergebnisses der Bestimmung feststellt, dass sich die Türen in dem geschlossenen Zustand befinden. Der Abschnitt 116' zum Speichern früherer Bilder muss nicht alle Seitenbilder speichern, die wie vorstehend beschrieben über die Zeit konstant bereitgestellt werden. Der Abschnitt 116' zum Speichern früherer Bilder kann nur die neuesten Seitenbilder speichern und halten, die von den rechten und linken Kameras 10SR und 10SL aufgenommen wurden, als die Türen geschlossen waren. Das heißt, wenn der Türzustandsbestimmungsabschnitt 114 feststellt, dass sich die Türen im derzeitigen Einzelbildzyklus im geschlossenen Zustand befinden, werden die Seitenbilder, die zuvor gespeichert waren (das heißt die Seitenbilder, die im letzten Einzelbildzyklus oder vor dem letzten Einzelbildzyklus gespeichert wurden) gelöscht, und die Seitenbilder, die im derzeitigen Einzelbildzyklus aufgenommen werden, können gespeichert und erhalten werden. Wenn der Türzustandsbestimmungsabschnitt 114 beispielsweise feststellt, dass die vordere rechte Tür geöffnet wird, speichert der Abschnitt 116' zum Speichern früherer Bilder nicht das danach von der rechten Kamera 10SR aufgenommene Bild, obwohl das von der rechten Kamera 10SR aufgenommene Bild in dem anderen Speicherbereich vorübergehend gespeichert werden kann. Die Seitenbilder, die in dem Abschnitt 116' zum Speichern früherer Bilder in der vorstehend beschriebenen Weise gespeichert werden, werden wie später beschrieben von dem Bildsynthetisierabschnitt 120' verwendet. Der Überkopfbildumwandlungsabschnitt 112 führt eine geeignete Vorverarbeitung für die Bilder durch, die von den rechten und linken Kameras 10SR und 10SL aufgenommen werden, um die aufgenommenen Bilder in die Überkopfbilder der Straßenoberfläche auf den Seiten des Fahrzeugs zu übertragen, welche die Bilder aus der Vogelperspektive sind. Dann speichert der Abschnitt 116' zum Speichern früherer Bilder die Überkopfbilder.
Wenn der Türzustandsbestimmungsabschnitt 114 bestimmt, dass sich die Türen in dem geschlossenen Zustand befinden, erzeugt und aktualisiert der Bildsynthetisierabschnitt 120' das Anzeigebild auf der Grundlage der Bilder, die von den Kameras 10FR, 10SL, 10SR und 10RR aufgenommen und konstant jedes Mal bereitgestellt werden, wenn das Einzelbild geändert wird. Noch genauer liest der Bildsynthetisierabschnitt 120' "das Fahrzeugbild, das zeigt, dass sich alle Türen in dem geschlossenen Zustand befinden" aus, das in dem Abschnitt 115' zum Speichern der Fahrzeugbilder gespeichert ist. Dann zeigt der Bildsynthetisierabschnitt 120' das Fahrzeugbild in dem mittleren Bildbereich des Anzeigebilds an. Außerdem zeigt der Bildsynthetisierabschnitt 120' die von den Kameras 10FR, 10SL, 10SR und 10RR aufgenommenen Bilder in geeigneten Bildbereichen um das Fahrzeugbild in dem Anzeigebild an. So wird das Anzeigebild erzeugt. Die Positionen (Bereiche), in denen die von den Kameras 10FR, 10SL, 10SR und 10RR aufgenommenen Bilder angezeigt werden, werden auf der Grundlage der abgebildeten Bereiche, deren Bilder von den Kameras 10FR, 10SL, 10SR und 10RR aufgenommen werden, vorab festgelegt, wenn sich die Türen im geschlossenen Zustand befinden (siehe 9). Das Anzeigebild, das in der vorstehend beschriebenen Weise erzeugt wird, wird auf der Anzeige 20 angezeigt.
Wenn der Türzustandsbestimmungsabschnitt 114 bestimmt, dass sich mindestens entweder die vordere rechte oder die vordere linke Tür im geöffneten Zustand befindet, synthetisiert der Bildsynthetisierabschnitt 120' das Anzeigebild durch Kombination der letzten Überkopfbilder, die in dem derzeitigen Einzelbildzyklus aufgenommen wurden (das heißt, der derzeitigen Bilder) mit mindestens einem früheren Bild, das im letzten Einzelbildzyklus oder vor dem letzten Einzelbildzyklus aufgenommen und in dem Abschnitt 116' zum Speichern früherer Bilder gespeichert ist.
11 zeigt schematisch das Anzeigebild, das zu dem Zeitpunkt erzeugt wird, zu dem festgestellt wird, dass mindestens eine aus den vorderen rechten und vorderen linken Türen im geöffneten Zustand ist. 11 zeigt als ein Beispiel das Anzeigebild, das erzeugt wird, wenn die vordere rechte Tür im offenen Zustand ist.
Wenn die vordere rechte Tür, an der die rechte Kamera 10SR angebracht ist, wie in diesem Beispiel geöffnet ist, ändert sich die Richtung der optischen Achse der rechten Kamera 10SR. Daher kann das Bild des Bereichs hinter der rechten Tür danach nicht aufgenommen werden, bis die vordere rechte Tür geschlossen ist. Das bedeutet, dass der Bereich hinter der vorderen rechten Tür zu einem "toten Bereich" wird. In Übereinstimmung damit kann ein Bildbereich R3r auf der rechten Seite des Fahrzeugbilds in dem Anzeigebild nicht angezeigt werden, wenn sich die vordere rechte Tür wie in 11 gezeigt im offenen Zustand befindet, wenn nur das derzeitige Bild verwendet wird, das von der rechten Kamera 10SR aufgenommen ist.
In dieser Ausführungsform wird jedoch das frühere Bild des Bereichs hinter der vorderen rechten Tür verwendet. Das heißt, wenn der Türzustandsbestimmungsabschnitt 114 bestimmt, dass sich die vordere rechte Tür in dem offenen Zustand befindet, liest der Bildsynthetisierabschnitt 120' "das Fahrzeugbild, das zeigt, dass die vordere rechte Tür geöffnet ist" aus, das in dem Abschnitt 115' zum Speichern von Fahrzeugbildern gespeichert ist. Dann zeigt der Bildsynthetisierabschnitt 120' das Fahrzeugbild in dem mittleren Bildbereich des Anzeigebilds an. Außerdem zeigt der Bildsynthetisierabschnitt 120' die Bilder, die von den Kameras 10FR, 10SL, und 10RR aufgenommen werden, jeweils in den vorderen, linken und hinteren Bildbereichen im Anzeigebild an. Zudem zeigt der Bildsynthetisierabschnitt 120' das frühere Bild in dem Bildbereich auf der rechten Seite des Fahrzeugbilds in dem Anzeigebild an. So wird das Anzeigebild erzeugt. Das frühere Bild ist das letzte Bild, das aufgenommen wurde, als die vordere rechte Tür sich wie vorstehend beschrieben in dem geschlossenen Zustand befand (das heißt das Bild, das aufgenommen wurde, unmittelbar bevor die vordere rechte Tür geöffnet wurde). Daher ist es unwahrscheinlich, dass sich die Situation in dem Bereich hinter der vorderen rechten Tür (dem toten Bereich) während des Zeitabschnitts von dem Zeitpunkt an, zu dem das frühere Bild aufgenommen wurde, bis zum derzeitigen Zeitpunkt (das heißt dem Zeitpunkt, zu dem die Tür geöffnet ist) stark ändert. Weil das Anzeigebild durch das frühere Bild des toten Bereichs ergänzt wird, kann daher das Anzeigebild dem Benutzer eine höchst verlässliche Information liefern, während es das Bild des toten Bereichs bereitstellt, das nicht durch die rechte Kamera 10SR aufgenommen werden kann.
Der Bildsynthetisierabschnitt 120' in der zweiten Ausführungsform verringert das Kontrastverhältnis des früheren Bilds in Übereinstimmung mit der verstrichenen Zeit nach der Öffnung der Tür wie in der ersten Ausführungsform. Das heißt, das Kontrastverhältnis des Bildbereichs, in dem das frühere Bild ursprünglich zu dem Zeitpunkt wiedergegeben wird, zu dem es bestimmt wird, dass die Tür geöffnet ist, wird auf einen hohen Wert festgelegt (beispielsweise auf das Kontrastverhältnis L4 in der ersten Ausführungsform). Dann wird das Kontrastverhältnis des Bildbereichs, in dem das frühere Bild angezeigt wird, allmählich in Übereinstimmung mit der verstrichenen Zeit verringert, solange die Tür offengehalten wird. Dies ist so, weil sich die Verlässlichkeit der Information, die von dem früheren Bild bereitgestellt wird, wie vorstehend beschrieben über die Zeit verringert. Daher kann das frühere Bild in Übereinstimmung mit der Abnahme der Verlässlichkeit angezeigt werden. Außerdem verringert sich das Kontrastverhältnis des Bildbereichs, in dem ein bestimmtes früheres Bild in jedem der Anzeigebilder in einer Vielzahl von Einzelbildern angezeigt wird, allmählich in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme des bestimmten früheren Bilds. Daher können die Anzeigebilder in der Vielzahl von Einzelbildern in einer Weise erzeugt werden, welche der Weise ähnelt, in der die menschliche Erinnerung mit der Zeit verblasst.
In dieser Ausführungsform kann beispielsweise das frühere Bild des toten Bereichs verwendet werden, wenn die Tür, die nicht mit der Kamera 10 versehen ist (beispielsweise die hintere Tür) geöffnet wird und die geöffnete Tür das Sichtfeld der Kamera so beschränkt, dass ein toter Bereich erzeugt wird. In diesem Fall verringert der Bildsynthetisierabschnitt 120' ebenfalls das Kontrastverhältnis des früheren Bilds in Übereinstimmung mit der nach der Öffnung der Tür verstrichenen Zeit.
Obwohl die beispielhaften Ausführungsformen der Erfindung genau beschrieben wurden, ist die Erfindung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt.
Beispielsweise korrigiert der Bildsynthetisierabschnitt 120 (120') in jeder der vorstehend beschriebenen Ausführungsformen das Kontrastverhältnis oder die Schärfe, wodurch die Sichtbarkeit des Bildbereichs bezüglich des früheren Bilds in Übereinstimmung mit der verstrichenen Zeit verringert wird. Anstelle der Korrektur des Kontrastverhältnisses oder der Bildschärfe oder zusätzlich dazu kann der Bildsynthetisierabschnitt 120 (120') die Helligkeit oder Leuchtstärke des früheren Bilds durch Gammakorrektur erhöhen oder verringern, wodurch der Grad der Sichtbarkeit des Bildbereichs bezüglich des früheren Bilds in Übereinstimmung mit der verstrichenen Zeit verringert wird. Beispielsweise kann der Bildsynthetisierabschnitt 120 (120') das Kontrastverhältnis und die Helligkeit korrigieren, wodurch die Sichtbarkeit in Übereinstimmung mit der verstrichenen Zeit verringert wird, bis der Bildbereich weiß (oder schwarz) wird. Außerdem können andere Parameter wie Farbschattierung und Farbe verwendet werden, solange die Sichtbarkeit durch Änderung der Parameter änderbar ist.

Claims

Ein System zur Überwachung der Umgebung eines Fahrzeugs, in dem ein Bild eines Bereichs angezeigt wird, der ein Fahrzeug umgibt, wobei das System Folgendes umfasst: eine Bildaufnahmeeinrichtung (10), um ein Bild zumindest eines Abschnitts des Bereichs um das Fahrzeug aufzunehmen; eine Speichereinrichtung (116; 116') zum Speichern des von der Bildaufnahmeeinrichtung (10) aufgenommenen Bilds; eine Einrichtung (120; 120') zur Erzeugung eines Anzeigebilds, um ein synthetisiertes Bild für die Anzeige unter Verwendung eines neuesten Bilds, das von der Bildaufnahmeeinrichtung (10) aufgenommen ist und eines früheren Bilds zu erzeugen, das aufgenommen wurde, bevor das neueste Bild aufgenommen wurde; und eine Anzeigeeinrichtung (20), auf der das synthetisierte Bild angezeigt wird, wobei die Einrichtung (120; 120') zur Erzeugung des Anzeigebilds einen Grad der Sichtbarkeit eines Bildbereichs, der zu dem früheren Bild gehört, in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des früheren Bilds verringert.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei die Einrichtung (120; 120') zur Erzeugung des Anzeigebilds das synthetisierte Bild unter Verwendung einer Vielzahl von früheren Bildern erzeugt, die zu verschiedenen Zeitpunkten aufgenommen wurden.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1 oder 2, wobei die Einrichtung (120; 120') zur Erzeugung eines Anzeigebilds allmählich einen Grad der Sichtbarkeit eines zu einem bestimmten früheren Bild gehörenden Bildbereichs in jedem der synthetisierten Bilder in einer Vielzahl von Einzelbildern in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme der bestimmten früheren Bilder verringert, wenn die Einrichtung (120; 120') zur Erzeugung des Anzeigebilds das synthetisierte Bild in einer Vielzahl von Einzelbildern unter Verwendung eines bestimmten früheren Bilds erzeugt.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach einem der Ansprüche 1 bis 3, wobei die Einrichtung (120; 120') zur Erzeugung des Anzeigebilds den Grad der Sichtbarkeit des Bildbereichs bezüglich des früheren Bilds durch Korrektur entweder eines Kontrastverhältnisses oder einer Helligkeit verringert.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, das weiterhin eine Einrichtung (115; 115') zur Speicherung von Fahrzeug bildern aufweist, um ein Fahrzeugbild vorab zu speichern, wobei das in der Einrichtung (115; 115') gespeicherte Fahrzeugbild in dem synthetisierten Bild angeordnet und auf der Anzeigevorrichtung (20) angezeigt ist.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, das weiterhin eine Einrichtung (112) zur Umwandlung in Überkopfbilder aufweist, um das von der Bildaufnahmeeinrichtung (10) aufgenommene Bild in ein Überkopfbild umzuwandeln, indem eine Vorverarbeitung durchgeführt wird, wobei die Speichereinrichtung (116; 116') das Überkopfbild speichert, in das die Einrichtung (112) zur Umwandlung in das Überkopfbild das Bild unter Durchführung der Vorverarbeitung umgewandelt hat.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 6, wobei die Vorverarbeitung, die von der Einrichtung (112) zur Umwandlung in das Überkopfbild durchgeführt wird, zumindest eine Koordinatentransformation oder eine Verzerrungskorrektur oder eine Perspektivkorrektur umfasst.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei das frühere Bild eines bestimmten Abschnitts verwendet wird, wenn ein Bild eines bestimmten Abschnitts des Bereichs um das Fahrzeug nicht in einem Bildbereich enthalten ist, auf den sich das neueste Bild bezieht.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei: die Bildaufnahmevorrichtung (10) mehrfach vorhanden ist; und wenn die Bilder, die von der Vielzahl von Einrichtungen (10) zur Bildaufnahme aufgenommen sind, sich teilweise überlappen, die Vielzahl von Einrichtungen (10) zur Bildaufnahme die Bilder in Kooperation miteinander aufnehmen.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 1, das weiterhin eine Einrichtung (114) zur Bestimmung des Türzustands aufweist, um einen geöffneten/geschlossenen Zustand zumindest einer der Türen des Fahrzeugs zu bestimmen, wobei: die Bildaufnahmeeinrichtung (10) in der mindestens einen Tür angebracht ist; und die Speichereinrichtung (116; 116') ein Bild, das von der Bildaufnahmeeinrichtung (10) aufgenommen ist, die in der mindestens einen der Türen angeordnet ist, auf der Grundlage des geöffneten/geschlossenen Zustands der mindestens einen der Türen speichert.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 10, wobei die Einrichtung (114) zur Bestimmung des Türzustands den geöffneten/geschlossenen Zustands mindestens einer der Türen durch Überwachung einer Weise bestimmt, in welcher sich das von der Bildaufnahmeeinrichtung, die in der mindestens einen der Türen angeordnet ist, aufgenommene Bild ändert, wenn sich ein Einzelbild ändert.
Das System zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 10, das weiterhin eine Einrichtung (115; 115') zum Speichern von Fahrzeugbildern aufweist, um eine Vielzahl von Fahrzeugbildern vorab zu speichern, die verschiedene geöffnete/geschlossene Zustände mindestens einer der Türen zeigen, wobei ein Fahrzeugbild unter der Vielzahl von Fahrzeugbildern von der Einrichtung (115; 115') zum Speichern von Fahrzeugbildern in Übereinstimmung mit einer Bestimmung ausgelesen wird, die von der Einrichtung (114) zur Bestimmung des Türzustands durchgeführt wird.
Ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs, in dem ein Bild eines Bereichs um ein Fahrzeug angezeigt wird, das Folgendes aufweist: Aufnehmen eines Bilds zumindest eines Abschnitts des Bereichs um das Fahrzeug; Speichern des aufgenommenen Bilds; Erzeugen eines synthetisierten Bilds unter Verwendung eines letzten aufgenommenen Bilds und eines früheren Bilds, das aufgenommen wurde, bevor das letzte Bild aufgenommen wird; Anzeigen des synthetisierten Bilds; und Verringern eines Grads der Sichtbarkeit eines Bildbereichs, der zu dem früheren Bild gehört, in Übereinstimmung mit einer verstrichenen Zeit nach der Aufnahme des früheren Bilds.
Das Verfahren zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 13, wobei das synthetisierte Bild unter Verwendung einer Vielzahl von früheren Bildern erzeugt wird, die zu verschiedenen Zeitpunkten aufgenommen wurden.
Das Verfahren zur Überwachung der Umgebung eines Fahrzeugs nach Anspruch 13 oder 14, wobei ein Grad der Sichtbarkeit eines Bildbereichs, der sich auf ein bestimmtes früheres Bild in jedem der synthetisierten Bilder in der Vielzahl von Einzelbildern bezieht, in Übereinstimmung mit der verstrichenen Zeit nach der Aufnahme des bestimmten früheren Bildes verringert wird, wenn die synthetisierten Bilder in einer Vielzahl von Einzelbildern unter Verwendung eines bestimmten früheren Bildes erzeugt werden.
Das Verfahren zur Überwachung der Umgebung eines Fahrzeugs nach einem der Ansprüche 13 bis 15, wobei der Grad der Sichtbarkeit des Bildbereichs, der zu dem früheren Bild gehört, verringert wird, indem zumindest entweder ein Kontrastverhältnis oder eine Helligkeit korrigiert werden.