DE112020006319T5

DE112020006319T5 - Fahrassistenzvorrichtung, fahrassistenzverfahren und programm

Info

Publication number: DE112020006319T5
Application number: DE112020006319.4T
Authority: DE
Inventors: Noriyuki Tani; Yuya Matsumoto; Shota Akaura
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-12-25
Filing date: 2020-09-29
Publication date: 2022-11-24
Also published as: WO2021131201A1; JP2021103481A; US20220319192A1; CN114902309A

Abstract

Eine Fahrassistenzvorrichtung umfasst: eine Erlangungseinheit (11), die dazu ausgelegt ist, ein selbsterzeugtes Bild, das durch Erfassen eines Bildes einer Umgebung eines Host-Fahrzeugs (10) unter Verwendung von Kameras (21A) bis (21D), die als Bilderfassungseinheiten dienen, die am Host-Fahrzeug (10), das als ein eigener beweglicher Körper dient, angebracht sind, erhalten wird, und ein fremderzeugtes Bild, das durch eine Kamera (31) eines anderen Fahrzeugs (30), die als eine andere Bilderfassungseinheit dient, erfasst wird, zu erlangen; und eine Zusammensetzungseinheit (12), die als eine Verarbeitungseinheit dient, die dazu ausgelegt ist, ein sichtbares zusammengesetztes Bild durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, zu generieren. Das sichtbare zusammengesetzte Bild wird auf einer Anzeigeeinheit (13) angezeigt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Fahrassistenzvorrichtung, ein Fahrassistenzverfahren und ein Programm zum Assistieren des Fahrens.
HINTERGRUND
In der verwandten Technik ist in einem Fahrzeug, wie z. B. einem Wagen, eine Vorrichtung an sich bekannt, die ein Bild anzeigt, in dem erfasste Bilder einer Vielzahl von fahrzeugmontierten Kameras, die in einem Host-Fahrzeug aufgenommen sind, zu einem Bild zusammengeführt werden, so dass ein gesamter Bereich, der durch die Vielzahl von fahrzeugmontierten Kameras erfasst wird, überblickt werden kann, anstatt dass die Bilder unabhängig voneinander angezeigt werden (siehe zum Beispiel Patentliteratur 1).
AUFLISTUNG VON ENTGEGENHALTUNGEN
PATENTLITERATUR
Patentliteratur 1: JP-B2-3286306
KURZDARSTELLUNG DER ERFINDUNG
LÖSUNG DER AUFGABE
Gemäß einem Aspekt der vorliegenden Offenbarung wird eine Fahrassistenzvorrichtung zum Assistieren des Fahrens eines beweglichen Körpers bereitgestellt, wobei die Fahrassistenzvorrichtung umfasst: eine Erlangungseinheit, die dazu ausgelegt ist, ein selbsterzeugtes Bild, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und ein fremderzeugtes Bild, das durch eine andere Bilderfassungseinheit erfasst wird, zu erlangen; und eine Verarbeitungseinheit, die dazu ausgelegt ist, ein sichtbares zusammengesetztes Bild durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, zu generieren.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Fahrassistenzverfahren in einer Fahrassistenzvorrichtung zum Assistieren des Fahrens eines beweglichen Körpers bereitgestellt. Das Fahrassistenzverfahren umfasst: einen Schritt des Erlangens eines selbsterzeugten Bildes, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und eines fremderzeugten Bildes, das durch eine andere Bilderfassungseinheit erfasst wird; und einen Schritt des Generierens eines sichtbaren zusammengesetzten Bildes durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Programm bereitgestellt, das einen Rechner dazu veranlasst, jeden Schritt eines Fahrassistenzverfahrens zum Assistieren des Fahrens eines beweglichen Körpers auszuführen. Das Fahrassistenzverfahren umfasst: einen Schritt des Erlangens eines selbsterzeugten Bildes, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und eines fremderzeugten Bildes, das durch eine andere Bilderfassungseinheit erfasst wird; und einen Schritt des Generierens eines sichtbaren zusammengesetzten Bildes durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel für eine Ausgestaltung einer Fahrassistenzvorrichtung gemäß einer Ausführungsform zeigt.
2 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer ersten Ausführungsform zeigt.
3 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer zweiten Ausführungsform zeigt.
4 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer dritten Ausführungsform zeigt.
5 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer vierten Ausführungsform zeigt.
6 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer fünften Ausführungsform zeigt.
7 ist ein Ablaufdiagramm, das ein Beispiel einer Generierungsverarbeitung eines sichtbaren zusammengesetzten Bildes zeigt.
8 ist ein Sequenzdiagramm, das ein erstes Beispiel für eine Bilderlangungsoperation des Erlangens eines erfassten Bildes eines fremderzeugten Bildes zeigt.
9 ist ein Sequenzdiagramm, das ein zweites Beispiel für eine Bilderlangungsoperation des Erlangens eines erfassten Bildes eines fremderzeugten Bildes zeigt.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
(Einführung in die vorliegende Offenbarung)
Wenn eine Fahrassistenz unter Verwendung eines erfassten Bildes, das durch eine an einem beweglichen Körper, wie z. B. einem Fahrzeug, angebrachte Kamera erfasst wird, durchgeführt wird, ist, wie vorstehend beschrieben, eine Generierung eines geeigneten Bildes gemäß einem Operationszustand des beweglichen Körpers, einem Umgebungszustand und dergleichen erforderlich.
In der in Patentliteratur 1 beschriebenen verwandten Technik ist es möglich, erfasste Bilder der Umgebung des Fahrzeugs, die durch Kameras, welche an einer Vielzahl von Positionen (zum Beispiel vier Positionen vorne, hinten, links und rechts) des Host-Fahrzeugs bereitgestellt sind, erfasst werden, zusammenzusetzen und ein Bild aus der Vogelperspektive, wie zum Beispiel von oberhalb des Fahrzeugs gesehen, zu generieren und anzuzeigen.
Jedoch besteht in der vorstehend beschriebenen verwandten Technik ein Problem darin, dass lediglich ein zusammengesetztes Bild in einem Bereich, der durch eine fahrzeugmontierte Kamera, die im Host-Fahrzeug aufgenommen ist, erfasst werden kann, erlangt wird, und ein Benutzer ein Bild in einem Bereich außerhalb eines Bilderfassungsbereichs des Host-Fahrzeugs nicht erkennen kann. Der Bereich außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs umfasst zum Beispiel einen Bereich, der aufgrund eines blockierenden Objekts, wie z. B. eines Hindernisses, zu einem toten Winkel wird und nicht erfasst werden kann, und einen Bereich, der sich aufgrund einer Leistungsfähigkeit der fahrzeugmontierten Kamera oder eines Sichtwinkels der fahrzeugmontierten Kamera außerhalb des Bilderfassungsbereichs der fahrzeugmontierten Kamera befindet.
Daher wird in der vorliegenden Offenbarung ein Ausgestaltungsbeispiel einer Fahrassistenzvorrichtung gezeigt, bei dem ein geeignetes Bild gemäß dem Operationszustand, dem Umgebungszustand oder dergleichen des beweglichen Körpers generiert werden kann und die Fahrassistenz durchgeführt werden kann, und der Benutzer auch einen Bereich außerhalb des Bilderfassungsbereichs der am beweglichen Körper, wie z. B. dem Fahrzeug, montierten Kamera zur Kenntnis nehmen kann.
Nachstehend werden Ausführungsformen, die insbesondere eine Fahrassistenzvorrichtung, ein Fahrassistenzverfahren, und ein Programm gemäß der vorliegenden Offenbarung offenbaren, unter Bezugnahme auf die begleitende Zeichnung, soweit dies angemessen ist, ausführlich beschrieben. Jedoch können unnötig detaillierte Beschreibungen weggelassen sein. Beispielsweise kann eine ausführliche Beschreibung eines bereits wohl bekannten Gesichtspunkts oder eine wiederholte Beschreibung der im Wesentlichen gleichen Anordnung weggelassen sein. Dies dient dem Vermeiden unnötiger Redundanz bei der folgenden Beschreibung und dem Erleichtern des Verständnisses durch Fachleute. Es ist anzumerken, dass die begleitende Zeichnung und die folgende Beschreibung vorgesehen sind, um ein gründliches Verständnis der vorliegenden Offenbarung für Fachleute bereitzustellen, und den in den Ansprüchen beschriebenen Gegenstand nicht einschränken sollen.
(Ausgestaltung der Ausführungsform)
1 ist ein Blockdiagramm, das ein Beispiel für eine Ausgestaltung einer Fahrassistenzvorrichtung gemäß einer Ausführungsform zeigt. In der vorliegenden Ausführungsform wird ein Ausgestaltungsbeispiel beschrieben, in dem ein Bild, das eine ein Fahrzeug umgebende Situation umfasst, durch eine an einem Fahrzeug als einem Beispiel eines beweglichen Körpers montierte Kamera erfasst wird, und eine Bildzusammensetzung unter Verwendung des erfassten Bildes durchgeführt wird.
Ein als ein erstes Fahrzeug dienendes Host-Fahrzeug 10 ist ein Fahrzeug, in dem ein Benutzer selbst fährt und es steuert oder mitfährt, und entspricht einem beweglichen Körper des Benutzers selbst. Das Host-Fahrzeug 10 umfasst Kameras 21A, 21B, 21C und 21D als Bilderfassungseinheiten, die ein Bild einer Umgebungssituation des Host-Fahrzeugs erfassen. Die Vielzahl von Kameras 21A, 21B, 21C und 21D ist zum Beispiel an einer vorderen, hinteren, linken und rechten Fahrzeugkarosserie des Fahrzeugs angebracht und deckt einen Bereich in gesamter Umfangsrichtung eines Außenumfangs des Fahrzeugs als einen Bilderfassungsbereich ab.
Das Host-Fahrzeug 10 umfasst eine Erlangungseinheit 11, die ein erfasstes Bild empfängt und erlangt, eine Zusammensetzungseinheit 12, die als eine Verarbeitungseinheit, die eine Verarbeitung des erlangten erfassten Bildes durchführt, eine Bildzusammensetzungsverarbeitung durchführt, und eine Anzeigeeinheit 13, die ein zusammengesetztes Bild anzeigt. Die Erlangungseinheit 11 weist eine Schnittstelle mit einer Kommunikationsfunktion, wie z. B. eine Kameraschnittstelle oder eine Kommunikationsschnittstelle, auf und erlangt erfasste Bilder (selbsterzeugte Bilder), die durch die Vielzahl von Kameras 21A, 21B, 21C und 21D des Host-Fahrzeugs erfasst werden, und erfasste Bilder (fremderzeugte Bilder), die durch andere Bilderfassungseinheiten erfasst werden, durch die Kommunikationsfunktionsfunktion der Schnittstellen.
Die Zusammensetzungseinheit 12 umfasst eine Verarbeitungsvorrichtung, die einen Prozessor und einen Speicher umfasst, und implementiert, zum Beispiel durch einen Prozessor, der ein vorgegebenes Programm, das im Speicher gehalten wird, ausführt, verschiedene Funktionen. Die Zusammensetzungseinheit 12 führt eine Zusammensetzungsverarbeitung der Vielzahl von erfassen Bildern, die durch die Erlangungseinheit 11 erlangt werden, durch und generiert ein sichtbares zusammengesetztes Bild. Der Prozessor kann eine Mikroverarbeitungseinheit (MPU), eine zentrale Verarbeitungseinheit (CPU), einen digitalen Signalprozessor (DSP), eine Grafikverarbeitungseinheit (GPU) und dergleichen umfassen. Der Speicher kann einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM) und dergleichen umfassen. Der Speicher kann ein Festplattenlaufwerk (HDD), ein Solid-State-Laufwerk (SSD), ein optisches Laufwerk, eine Speicherkarte und dergleichen umfassen.
Die Zusammensetzungseinheit 12 gibt das sichtbare zusammengesetzte Bild, das durch die Zusammensetzungsverarbeitung generiert wird, an die Anzeigeeinheit 13 aus und stellt das sichtbare zusammengesetzte Bild an die Anzeigeeinheit 13 bereit, und veranlasst, dass das sichtbare zusammengesetzte Bild auf der Anzeigeeinheit 13 angezeigt wird.
Die Anzeigeeinheit 13 zeigt das durch die Zusammensetzungseinheit 12 generierte sichtbare zusammengesetzte Bild, das mit der Umgebungssituation des Host-Fahrzeugs im Zusammenhang steht, an. Die Anzeigeeinheit 13 wird durch verschiedene Anzeigevorrichtungen implementiert, wie z. B. eine Anzeigevorrichtung, die auf einem vorderen Abschnitt eines Fahrzeugs, wie z. B. ein Augmented-Reality-Head-Up-Display (AR-HUD) oder ein HUD, angebracht wird und auf eine Frontscheibe projiziert und darauf anzeigt, eine organische EL-Anzeige, die auf einem Armaturenbrett oder dergleichen des Fahrzeugs angebracht wird, und eine Anzeigevorrichtung, wie z. B. eine Flüssigkristallanzeige.
Ein anderes Fahrzeug 30 stellt als ein zweites Fahrzeug ein vom Host-Fahrzeug verschiedenes Fahrzeug dar, zum Beispiel ein Fahrzeug, das in der Nähre des Host-Fahrzeugs 10 fährt oder hält, und entspricht einem anderen beweglichen Körper. Das andere Fahrzeug 30 umfasst eine Kamera 31 als eine Bilderfassungseinheit, die ein Bild einer Umgebungssituation des anderen Fahrzeugs 30 erfasst. Die Anzahl von Kameras 31 kann eine oder mehrere betragen. Die Kamera 31 ist zum Beispiel an der Fahrzeugkarosserie des Fahrzeugs angebracht und deckt einen Teil des Außenumfangs des Fahrzeugs oder einen Bereich in der gesamten Umfangsrichtung als einen Bilderfassungsbereich ab. Das andere Fahrzeug 30 kommuniziert mit der Erlangungseinheit 11 des Host-Fahrzeugs 10, sendet ein erfasstes Bild, das durch die Kamera 31 erfasst wird, und stellt das erfasste Bild als ein fremderzeugtes Bild bereit. Die Bilderfassungseinheit, die das fremderzeugte Bild erfasst, ist nicht auf die Kamera 31 des anderen Fahrzeugs 30 beschränkt, und kann eine Bilderfassungseinheit sein, die an einer verwandten Einrichtung, die auf einer Straße oder einem Parkplatz, auf der/dem das Host-Fahrzeug 10 als das erste Fahrzeug fährt, installiert ist, angebracht ist. Zum Beispiel können Kameras verwendet werden, die an verschiedenen, vom Host-Fahrzeug verschiedenen Positionen bereitgestellt sind, wie z. B. eine Infrastrukturkamera, die an einer Kreuzung einer Straße, einer Seite einer Straße, oder einer Hochstraße installiert ist, eine Kamera, die in einem Gebäude entlang der Straße installiert ist, und eine Kamera, die auf einem Parkplatz installiert ist.
Eine Bildübertragung zwischen der Erlangungseinheit 11 und der Kamera 31 des anderen Fahrzeugs 30 kann unter Verwendung eines Hochgeschwindigkeits-Kommunikationssystems implementiert werden, das ein vorgegebenes Kommunikationsband aufweist, wie z. B. eine Fahrzeug-zu-Fahrzeug-Kommunikation (VtoV-Kommunikation) oder eine 5G-Mobilkommunikation. Wenn die Infrastrukturkamera als die Bilderfassungseinheit, die das fremderzeugte Bild erfasst, verwendet wird, können zum Beispiel entsprechend einer Systemkonfiguration der Fahrassistenzvorrichtung verschiedene Kommunikationssysteme, wie z. B. eine Fahrzeug-zu-Infrastruktur-Kommunikation (VtoI-Kommunikation) und eine Fahrzeug-zu-X-Kommunikation (VtoX-Kommunikation) verwendet werden, wenn eine andere Kamera verwendet wird.
Im Host-Fahrzeug 10 erlangt die Erlangungseinheit 11 ein erfasstes Bild des selbsterzeugten Bildes, das durch die Kameras 21A, 21B, 21C und 21D des Host-Fahrzeugs 10 erfasst wird. In einer Szene, die eine vorgegebene Bedingung erfüllt, erlangt die Erlangungseinheit 11 ein erfasstes Bild eines fremderzeugten Bildes, das durch die Kamera 31 des anderen Fahrzeugs 30 oder eine andere Bilderfassungseinheit erfasst wird. Die Zusammensetzungseinheit 12 führt eine Zusammensetzungsverarbeitung am erfassten Bild des selbsterzeugten Bildes, das durch das Host-Fahrzeug 10 erlangt wird, durch. Die Zusammensetzungseinheit 12 setzt das erfasste Bild des fremderzeugten Bildes, das vom anderen Fahrzeug 30 oder einer anderen Bilderfassungseinheit erlangt wird, mit dem selbsterzeugten Bild zusammen. Die Zusammensetzungseinheit 12 generiert als ein sichtbares zusammengesetztes Bild nach der Zusammensetzungsverarbeitung zum Beispiel ein Bild aus der Vogelperspektive, das von oberhalb eines Bilderfassungsbereichs, der das Host-Fahrzeug 10 umfasst, herabblickt. Zusätzlich zu dem Bild aus der Vogelperspektive können verschiedene zusammengesetzte Bilder, wie z. B. ein Panoramabild des gesamten Umfangs von 360 Grad oder einer Umgebung eines vorgegebenen Winkelbereichs des Host-Fahrzeugs 10 und ein Bild aus der Vogelperspektive, das von einer vorgegebenen Betrachtungspunktposition gesehen wird, generiert werden, oder es kann ein zusammengesetztes Bild generiert werden, in dem eine Vielzahl von Bildtypen, wie z. B. das Bild aus der Vogelperspektive und das Panoramabild eines vorderen Sichtwinkelbereichs, zusammengesetzt sind.
Die Anzeigeeinheit 13 zeigt das sichtbare zusammengesetzte Bild, das durch die Zusammensetzungseinheit 12 generiert wurde, an. Wenn ein AR-HUD in der Frontscheibe des Host-Fahrzeugs 10 als die Anzeigeeinheit 13 bereitgestellt ist, wird das sichtbare zusammengesetzte Bild auf der Frontscheibe durch das AR-HUD angezeigt, und es wird einem realen Bild eines Sichtfelds vor dem Fahrzeug überlagert, das aus Sicht des Benutzers durch die Frontscheibe gesehen wird. Wenn die Anzeigevorrichtung auf dem Armaturenbrett oder dergleichen des Fahrzeugs als die Anzeigevorrichtung 13 bereitgestellt ist, wird das sichtbare zusammengesetzte Bild auf der Anzeigevorrichtung angezeigt, und ein eine Umgebungssituation anzeigendes Bild, das ein erfasstes Bild außerhalb des Host-Fahrzeugs umfasst, wird dem Benutzer präsentiert. Als die Anzeigeeinheit 13 kann eine andere Mensch-Maschine-Schnittstelle (HMI) verwendet werden.
Zusätzlich zur Anzeigeeinheit 13 kann das Host-Fahrzeug 10 eine Benachrichtigungseinheit umfassen, die den Benutzer durch Ton, Licht oder dergleichen benachrichtigt. Die Zusammensetzungseinheit 12 oder die Anzeigeeinheit 13 sendet Benachrichtigungsinformationen an die Benachrichtigungseinheit, wenn die Umgebungssituation zu einem vorgegebenen Zustand wird, und veranlasst, dass die Benachrichtigungseinheit den Benutzer über die vorgegebene Umgebungssituation benachrichtigt. Die Benachrichtigungseinheit benachrichtigt den Benutzer durch einen Benachrichtigungston, eine Benachrichtigungsbeleuchtung oder dergleichen über die Anwesenheit eines vorgegebenen Objekts, wenn auf der Grundlage des sichtbaren zusammengesetzten Bildes, das durch die Zusammensetzungseinheit 12 generiert wird, ein vorgegebenes, zu beachtendes Objekt, wie z. B. ein Fahrzeug, eine Person oder dergleichen, außerhalb eines Bilderfassungsbereichs des Host-Fahrzeugs 10 vorhanden ist. Außerdem kann die Anzeigeeinheit 13 eine Funktion der Benachrichtigungseinheit umfassen, und in der Anzeige des sichtbaren zusammengesetzten Bildes kann ein Bereich, der einem Fall, in dem ein vorgegebenes, zu beachtendes Objekt wie z. B. ein anderes Fahrzeug, eine Person oder dergleichen, im Bild vorhanden ist, entspricht, hervorgehoben werden, eine bestimmte Farbanzeige, eine Illustrationsanzeige oder dergleichen kann unverwechselbar angezeigt werden, so dass der Benutzer den Bereich leicht erkennen kann. In der Anzeige des sichtbaren zusammengesetzten Bildes auf der Anzeigeeinheit 13 kann die Anzeige des Host-Fahrzeugs leicht identifiziert werden, indem eine charakteristische Anzeige vorgenommen wird, wie z. B. die spezifische Farbanzeige oder die Illustrationsanzeige.
Die Fahrassistenzvorrichtung gemäß der vorliegenden Ausführungsform umfasst die Erlangungseinheit 11 und die Zusammensetzungseinheit 12 im Host-Fahrzeug 10. Mindestens eine von der Erlangungseinheit 11 und der Zusammensetzungseinheit 12 kann außerhalb des Host-Fahrzeugs 10 bereitgestellt werden. Die Fahrassistenzvorrichtung kann die Anzeigeeinheit 13 umfassen, die das sichtbare zusammengesetzte Bild anzeigt. Die Fahrassistenzvorrichtung kann die Benachrichtigungseinheit umfassen, die darüber benachrichtigt, dass sich die Umgebungssituation in einem vorgegebenen Zustand befindet, zum Beispiel wenn das vorgegebene Objekt im Bild des sichtbaren zusammengesetzten Bildes vorhanden ist.
Nachstehend werden als Ausführungsformen der vorliegenden Offenbarung einige Operationszustände einer Szene (Szenenbeispiele) erläutert, in denen ein zusammengesetztes Bild, das ein selbsterzeugtes Bild und ein fremderzeugtes Bild umfasst, generiert wird.
(Erste Ausführungsform)
2 ist ein Diagramm, das ein Beispiel für eine Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer ersten Ausführungsform zeigt. Die erste Ausführungsform zeigt ein Beispiel des Generierens eines zusammengesetzten Bildes in einer Szene (eine Szene einer Kreuzung), in der das Host-Fahrzeug auf einer Kreuzung mit mangelhafter Sichtbarkeit oder einer Straße, die auf eine Einfahrt von einer Nebenstraße zusteuert, fährt, als einer Situation des Host-Fahrzeugs, die einer Szene entspricht, welche eine vorgegebene Bedingung erfüllt.
In der Szene der ersten Ausführungsform fährt ein erstes Fahrzeug 10A das das Host-Fahrzeug ist, auf einer Hauptstraße 51, die eine große Breite aufweist. Vor dem ersten Fahrzeug 10A befindet sich eine Einfahrt 52A einer Seitenstraße 52, die mit der Hauptstraße 51 verbunden ist, was eine Kreuzung mit schlechter Sichtbarkeit darstellt. Ein zweites Fahrzeug 30A, das ein anderes Fahrzeug darstellt, fährt auf die Seitenstraße 52 ein, und ein drittes Fahrzeug 30B, das ein weiteres, dem zweiten Fahrzeug 30A folgendes Fahrzeug ist, fährt hinter dem zweiten Fahrzeug 30A. In diesem Fall werden ein Teil des zweiten Fahrzeugs 30A und die Gesamtheit des dritten Fahrzeugs 30B aufgrund von Mauern, Zäunen und dergleichen von Gebäuden an Straßenrändern zu toten Winkeln vom ersten Fahrzeug 10A und befinden sich außerhalb des Bilderfassungsbereichs, das heißt außerhalb eines Bilderfassungsbereichs 120 der Kamera des ersten Fahrzeugs 10A. Daher ist es für das erste Fahrzeug 10A schwierig, ein Bild des dritten Fahrzeugs 30B zu erfassen, das erfasste Bild des ersten Fahrzeugs 10A umfasst nicht das dritte Fahrzeug 30B, und das dem zweiten Fahrzeug 30A folgende dritte Fahrzeug 30B kann im ersten Fahrzeug 10A nicht erkannt werden. Andererseits umfasst ein Bilderfassungsbereich 130 der Kamera des zweiten Fahrzeugs 30A das dritte Fahrzeug 30B zusammen mit dem zweiten Fahrzeug 30A, und ein Bild des dritten Fahrzeugs 30B kann vom zweiten Fahrzeug 30A erfasst werden. Daher wird das dritte Fahrzeug 30B im erfassten Bild des zweiten Fahrzeugs 30A aufgenommen.
In der vorliegenden Ausführungsform wird, wenn eine Fahrtrichtung des ersten Fahrzeugs 10A und die Fahrtrichtung des zweiten Fahrzeugs 30A einander überschneiden, im ersten Fahrzeug 10A ein fremderzeugtes Bild, das durch das zweite Fahrzeug 30A erfasst wird, erlangt, und ein zusammengesetztes Bild 100A wird unter Verwendung des selbsterzeugten Bildes, das durch das Host-Fahrzeug erfasst wurde, und des erlangten fremderzeugten Bildes generiert. Das dritte Fahrzeug 30B kann anstelle des zweiten Fahrzeugs 30A als das andere Fahrzeug verwendet werden, und das fremderzeugte Bild, das durch das dritte Fahrzeug 30B erfasst wird, kann vom dritten Fahrzeug 30B erlangt und zusammengesetzt werden. Eine Kommunikation, wie z. B. eine Bildübertragung zwischen dem ersten Fahrzeug 10A und dem zweiten Fahrzeug 30A oder dem dritten Fahrzeug 30B, kann eine VtoV-Kommunikation, eine 5G-Mobilkommunikation, eine Netzwerkkommunikation eines Rechnernetzwerks unter Verwendung eines drahtlosen LAN oder dergleichen, oder dergleichen sein. Die Übertragung des erfassten Bildes kann durchgeführt werden, indem eine Anfrage wegen des erfassten Bildes vom ersten Fahrzeug 10A an das zweite Fahrzeug 30A oder das dritte Fahrzeug 30B gestellt wird und das erfasste Bild als das fremderzeugte Bild erlangt wird, wenn das vor das Host-Fahrzeug in der Fahrtrichtung einfahrende andere Fahrzeug erkannt wird, oder kann durchgeführt werden, indem das erfasste Bild vom zweiten Fahrzeug 30A oder dem dritten Fahrzeug 30B an das in der Nähe befindliche erste Fahrzeug 10A gesendet wird, wenn das andere Fahrzeug auf die Kreuzung fährt. Wenn das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B versuchen, mit der Umgebung zu einem vorgegebenen Zeitpunkt zu kommunizieren, und miteinander kommunizieren können, können das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B Informationen, die anzeigen, dass ein verbindbares Fahrzeug in der Nähe des Host-Fahrzeugs vorhanden ist, als Statusinformationen halten und Bilddaten und dergleichen senden und empfangen. Die erfassten Bilder können nicht nur mit dem Host-Fahrzeug und einem einzelnen weiteren Fahrzeug, sondern auch mit dem Host-Fahrzeug und einer Vielzahl von anderen Fahrzeugen zusammengesetzt werden, und Bilder, die in einem beliebigen der Vielzahl von Fahrzeugen erlangt werden, können zusammengesetzt werden.
Im Beispiel von 2 ist das zusammengesetzte Bild 100A des Bildes aus der Vogelperspektive gezeigt, das von oberhalb des Host-Fahrzeugs gesehen wird. Im zusammengesetzten Bild 100A wird das erste Fahrzeug 10A des Host-Fahrzeugs zum Beispiel an einer unteren Mittelposition angezeigt. Das zusammengesetzte Bild 100A umfasst ein Bild des zweiten Fahrzeugs 30A, das aus der Seitenstraße 52 auf die Hauptstraße 51 fährt, und ein Bild des nachfolgenden dritten Fahrzeugs 30B, und ein Insasse (Fahrer, Mitfahrer) des ersten Fahrzeugs 10A kann ein Objekt, wie z. B. ein Fahrzeug oder eine Person, in einem Bereich erkennen, der durch das Host-Fahrzeug nicht erfasst werden kann. Dementsprechend ist es möglich, dass das Host-Fahrzeug die Annäherung des anderen Fahrzeugs von außerhalb des Bilderfassungsbereichs zur Kenntnis nimmt. Im dargestellten Beispiel werden Bilder, die durch das nachfolgende dritte Fahrzeug außerhalb des Bilderfassungsbereichs erfasst werden, zusammengesetzt und angezeigt, und die Anwesenheit des Fahrzeug oder dergleichen, das vom Host-Fahrzeug nicht erfasst werden kann, kann frühzeitig erkannt werden.
Wenn das AR-HUD als die Anzeigeeinheit verwendet wird, wird ein sichtbares zusammengesetztes Bild überlagert und auf der Frontscheibe des Host-Fahrzeugs durch eine AR-Technik (Augmented Reality, erweiterte Realität) angezeigt. Dementsprechend kann das dritte Fahrzeug, das dem zweiten Fahrzeug folgt und sich aus dem toten Winkel außerhalb des Bilderfassungsbereichs nähert, im sichtbaren zusammengesetzten Bild angezeigt werden, und der Benutzer kann beim Betrachten der Vorderseite des Fahrzeugs die Annäherung des dritten Fahrzeugs zusammen mit einem realen Bild des Sichtfeldes erkennen.
(Zweite Ausführungsform)
3 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer zweiten Ausführungsform zeigt. Die zweite Ausführungsform zeigt ein Beispiel des Generierens eines zusammengesetzten Bildes in einer Szene, in der ein Fahrzeug, das auf einem Seitenstreifen einer Straße parkt oder hält, auf der das Fahrzeug fährt, vorhanden ist (eine Szene, in der ein geparktes oder gestopptes Fahrzeug vorhanden ist), als einer Situation des Host-Fahrzeugs, die der Szene entspricht, welche die vorgegebene Bedingung erfüllt.
In der Szene der zweiten Ausführungsform fährt das erste Fahrzeug 10A das das Host-Fahrzeug ist, auf der Straße 53. Vor dem ersten Fahrzeug 10A ist das zweite Fahrzeug 30A, das das andere Fahrzeug ist, auf dem Seitenstreifen der Straße 53 geparkt oder gestoppt, und eine Person 40 steht in einem Schatten des zweiten Fahrzeugs 30A und wird möglicherweise auf die Straße 53 hervorspringen.
In diesem Fall befindet sich die Person 40 aufgrund des zweiten Fahrzeugs 30A, das ein geparktes oder gestopptes Fahrzeug ist, in einem toten Winkel, und die Vorderseite des zweiten Fahrzeugs 30A befindet sich außerhalb des Bilderfassungsbereichs, d. h. außerhalb des Bilderfassungsbereichs 120 der Kamera des ersten Fahrzeugs 10A. Daher ist es für das erste Fahrzeug 10A schwierig, ein Bild der Person 40 oder dergleichen in einem Schattenabschnitt des zweiten Fahrzeugs 30A zu erfassen, und die Person 40 kann im ersten Fahrzeug 10A nicht erkannt werden. Andererseits umfasst der Bilderfassungsbereich 130 der Kamera des zweiten Fahrzeugs 30A einen Vorderbereich, der der tote Winkel des ersten Fahrzeugs 10A ist, und ein Bild der Person 40 kann vom zweiten Fahrzeug 30A erfasst werden. Daher wird die Person 40 im erfassten Bild des zweiten Fahrzeugs 30A aufgenommen.
In der vorliegenden Ausführungsform wird, wenn das zweite Fahrzeug 30A auf einer Fahrspur, auf der das erste Fahrzeug 10A fährt, anhält, im ersten Fahrzeug 10A ein fremderzeugtes Bild, das durch das zweite Fahrzeug 30A erfasst wird, erlangt, und ein zusammengesetztes Bild 100B wird unter Verwendung des selbsterzeugten Bildes, das durch das Host-Fahrzeug erfasst wurde, und des erlangten fremderzeugten Bildes generiert. In diesem Fall wird eine Anfrage wegen des erfassten Bildes vom ersten Fahrzeug 10A an das zweite Fahrzeug 30A gestellt und es wird als das fremderzeugte Bild erlangt. Das zweite Fahrzeug 30A befindet sich im Schlafzustand, in dem lediglich eine Empfangsfunktion aktiv ist. Wenn eine Anfrage vom ersten Fahrzeug 10A empfangen wird, aktiviert das zweite Fahrzeug 30A die Kamera, um ein Bild zu erfassen, sendet das erfasste Bild an das erste Fahrzeug 10A, und kehrt dann in den Schlafzustand zurück. Alternativ kann das bewegliche Objekt, wie z. B. die Person, im zweiten Fahrzeug 30A detektiert werden, die Kamera kann aktiviert werden, um das Bild zu erfassen, wenn ein Auftreten eines Ereignisses des beweglichen Objekts oder dergleichen detektiert wird, und das erfasste Bild kann an das erste Fahrzeug 10A gesendet werden. Das zweite Fahrzeug 30A erfasst das Bild mit der Kamera, wenn das Ereignis auftritt, benachrichtigt das erste Fahrzeug 10A über den Abschluss einer Vorbereitung für die Übertragung des erfassten Bildes, und sendet das erfasste Bild vom zweiten Fahrzeug 30A an das erste Fahrzeug 10A als das fremderzeugte Bild. Alternativ sendet das zweite Fahrzeug 30A ein Ereignisdetektionssignal an das erste Fahrzeug 10A, und sendet das erfasste Bild an das erste Fahrzeug 10A als Antwort auf die Anfrage vom ersten Fahrzeug 10A. Eine Kommunikation, wie z. B. eine Bildübertragung zwischen dem ersten Fahrzeug 10A und dem zweiten Fahrzeug 30A, kann eine VtoV-Kommunikation, eine 5G-Mobilkommunikation, eine Netzwerkkommunikation eines Rechnernetzwerks unter Verwendung eines drahtlosen LAN oder dergleichen, oder dergleichen sein. Wenn das erste Fahrzeug 10A und das zweite Fahrzeug 30A versuchen, mit der Umgebung zu einem vorgegebenen Zeitpunkt zu kommunizieren, und miteinander kommunizieren können, können das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B Informationen, die anzeigen, dass ein verbindbares Fahrzeug in der Nähe des Host-Fahrzeugs vorhanden ist, als Statusinformationen halten und Bilddaten und dergleichen senden und empfangen. Die erfassten Bilder können nicht nur mit dem Host-Fahrzeug und einem einzelnen weiteren Fahrzeug, sondern auch mit dem Host-Fahrzeug und einer Vielzahl von anderen Fahrzeugen zusammengesetzt werden, und Bilder, die in einem beliebigen der Vielzahl von Fahrzeugen erlangt wurden, können zusammengesetzt werden.
Im Beispiel von 3 ist das zusammengesetzte Bild 100B des Bildes aus der Vogelperspektive gezeigt, das von oberhalb des Host-Fahrzeugs gesehen wird. Im zusammengesetzten Bild 100B wird das erste Fahrzeug 10A des Host-Fahrzeugs zum Beispiel an einer unteren Mittelposition angezeigt. Das zusammengesetzte Bild 100B umfasst auch ein Bild der Person 40, die im Schatten des zweiten Fahrzeugs 30A vorhanden ist, und ein Insasse (Fahrer, Mitfahrer) des ersten Fahrzeugs 10A kann ein Objekt, wie z. B. eine Person oder ein Fahrrad, in einem Bereich erkennen, der durch das Host-Fahrzeug nicht erfasst werden kann. Dementsprechend kann die Anwesenheit eines Hindernisses im Schatten des zweiten Fahrzeugs 30A im Voraus aufgefasst werden, und es ist möglich damit umzugehen, dass die Person, das Fahrrad oder dergleichen aus dem Schatten des geparkten oder gestoppten Fahrzeugs hervorspringt.
Wenn das Host-Fahrzeug die Benachrichtigungseinheit umfasst, ist es außerdem möglich, den Benutzer über die Anwesenheit des beweglichen Objekts, wie z. B. der Person, zu benachrichtigen, und den Benutzer dazu zu veranlassen, frühzeitig das bewegliche Objekt, wie z. B. die Person oder das Fahrrad, außerhalb des Bilderfassungsbereichs zu erkennen oder ein charakteristisches Objekt zu bemerken.
(Dritte Ausführungsform)
4 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer dritten Ausführungsform zeigt. Die dritte Ausführungsform zeigt ein Beispiel des Generierens eines zusammengesetzten Bildes in einer Szene (Einmündungsszene), in der das Host-Fahrzeug von einer Einmündungsspur in eine Hauptstraße, wie z. B. eine Schnellstraße oder eine Umgehungsstraße, einmündet, als einer Situation des Host-Fahrzeugs, die einer Szene entspricht, welche die vorgegebene Bedingung erfüllt.
In der Szene der dritten Ausführungsform fährt das erste Fahrzeug 10A, das das Host-Fahrzeug ist, auf der Einmündungsspur 54 der Schnellstraße. Auf einer Hauptstraße 55 der Schnellstraße fährt das zweite Fahrzeug 30A, das ein anderes Fahrzeug ist, auf einer ersten Spur, und das dritte Fahrzeug 30B, das ein anderes Fahrzeug ist, fährt auf einer benachbarten zweiten Spur. In diesem Fall wird das dritte Fahrzeug 30B aufgrund des zweiten Fahrzeugs 30A, einer Schallschutzwand der Schnellstraße oder dergleichen zu einem toten Winkel vom ersten Fahrzeug 10A und befindet sich außerhalb des Bilderfassungsbereichs, d. h. außerhalb des Bilderfassungsbereichs 120 der Kamera des ersten Fahrzeugs 10A. Daher ist es für das erste Fahrzeug 10A schwierig, ein Bild des dritten Fahrzeugs 30B zu erfassen, das erfasste Bild des ersten Fahrzeugs 10A umfasst nicht das dritte Fahrzeug 30B, und das erste Fahrzeug 10A kann das dritte Fahrzeug 30B, das auf der zweiten Spur der Hauptstraße 55 fährt, nicht erkennen. Andererseits umfasst der Bilderfassungsbereich 130 der Kamera des zweiten Fahrzeugs 30A das dritte Fahrzeug 30B zusammen mit dem zweiten Fahrzeug 30A, und ein Bild des dritten Fahrzeugs 30B kann vom zweiten Fahrzeug 30A erfasst werden. Daher wird das dritte Fahrzeug 30B im erfassten Bild des zweiten Fahrzeugs 30A aufgenommen.
In der vorliegenden Ausführungsform wird, wenn die Fahrspur des ersten Fahrzeugs 10A und die Fahrspur des zweiten Fahrzeugs 30A zusammenlaufen, im ersten Fahrzeug 10A das fremderzeugte Bild, das durch das zweite Fahrzeug 30A erfasst wird, erlangt, und ein zusammengesetztes Bild 100C wird unter Verwendung des selbsterzeugten Bildes, das durch das Host-Fahrzeug erfasst wurde, und des erlangten fremderzeugten Bildes generiert. Das dritte Fahrzeug 30B kann anstelle des zweiten Fahrzeugs 30A als das andere Fahrzeug verwendet werden, und das fremderzeugte Bild, das durch das dritte Fahrzeug 30B erfasst wird, kann vom dritten Fahrzeug 30B erlangt und zusammengesetzt werden. Eine Kommunikation, wie z. B. eine Bildübertragung zwischen dem ersten Fahrzeug 10A und dem zweiten Fahrzeug 30A oder dem dritten Fahrzeug 30B, kann die VtoV-Kommunikation, die 5G-Mobilkommunikation oder dergleichen verwenden, wie in der ersten Ausführungsform. Die Übertragung des erfassten Bildes kann durchgeführt werden, indem eine Anfrage wegen des erfassten Bildes vom ersten Fahrzeug 10A an das zweite Fahrzeug 30A oder das dritte Fahrzeug 30B gestellt wird und das erfasste Bild als das fremderzeugte Bild erlangt wird, wenn das Host-Fahrzeug einfädelt, oder kann durchgeführt werden, indem das erfasste Bild vom zweiten Fahrzeug 30A oder dem dritten Fahrzeug 30B an das in der Nähe befindliche erste Fahrzeug 10A gesendet wird, wenn sich das Host-Fahrzeug einem Einfädelpunkt nähert. Wenn das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B versuchen, mit der Umgebung zu einem vorgegebenen Zeitpunkt zu kommunizieren, und miteinander kommunizieren können, können das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B Informationen, die anzeigen, dass ein verbindbares Fahrzeug in der Nähe des Host-Fahrzeugs vorhanden ist, als Statusinformationen halten und Bilddaten und dergleichen senden und empfangen. Die erfassten Bilder können nicht nur mit dem Host-Fahrzeug und einem einzelnen weiteren Fahrzeug, sondern auch mit dem Host-Fahrzeug und einer Vielzahl von anderen Fahrzeugen zusammengesetzt werden, und Bilder, die in einem beliebigen der Vielzahl von Fahrzeugen erlangt wurden, können zusammengesetzt werden.
Im Beispiel von 4 ist das zusammengesetzte Bild 100C des Bildes aus der Vogelperspektive gezeigt, das von oberhalb des Host-Fahrzeugs gesehen wird. Im zusammengesetzten Bild 100C wird das erste Fahrzeug 10A des Host-Fahrzeugs zum Beispiel an einer Position der Mitte des Bildes angezeigt. Das zusammengesetzte Bild 100C umfasst ein Bild des zweiten Fahrzeugs 30A, das auf der ersten Spur der Hauptstraße 55 der Schnellstraße fährt, und ein Bild des dritten Fahrzeugs 30B, das auf der zweiten Spur fährt, und ein Insasse (Fahrer, Mitfahrer) des ersten Fahrzeugs 10A kann die Anwesenheit eines Objekts, wie z. B. des dritten Fahrzeugs 30B, in einem Bereich erkennen, der durch das Host-Fahrzeug nicht erfasst werden kann. Da es möglich ist, einen Bereich zu vergrößern, in dem sogar der Bereich außerhalb des Bilderfassungsbereichs oder der Bereich des toten Winkels zur Kenntnis genommen werden kann, und es möglich ist, das Fahrzeug in einem weiter entfernten und breiteren Bereich zur Kenntnis zu nehmen, ist es dementsprechend möglich, die Sicherheit zum Zeitpunkt des Einfädelns des Fahrzeugs weiter zu verbessern.
Wenn das AR-HUD als die Anzeigeeinheit verwendet wird, wird das sichtbare zusammengesetzte Bild überlagert und auf der Frontscheibe des Host-Fahrzeugs angezeigt. Da das dritte Fahrzeug, das im Bereich des toten Winkels außerhalb des Bilderfassungsbereichs fährt, im sichtbaren zusammengesetzten Bild zusammen mit dem zweiten Fahrzeug angezeigt werden kann, können dementsprechend der Fahrer und der Insasse das zusammengesetzte Bild in einem Zustand, in dem sie der Vorderseite des Fahrzeugs zugewandt sind, visuell erkennen, können die Annäherung des dritten Fahrzeugs zusammen mit dem realen Bild des Sichtfeldes erkennen, und können problemlos in einem Zustand, in dem die Sicherheit weiter erhöht wird, einfädeln.
(Vierte Ausführungsform)
5 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer vierten Ausführungsform zeigt. Die vierte Ausführungsform zeigt ein Beispiel des Generierens eines zusammengesetzten Bildes in einer Szene (einer Szene, wie z. B. einer Verkehrsstauung), in der ein Ereignis, wie z. B. eine Verkehrsstauung, vorne auf einer Straße auftritt, auf der das Fahrzeug fährt, als einer Situation des Host-Fahrzeugs, die einer Szene entspricht, welche die vorgegebene Bedingung erfüllt.
In der Szene der vierten Ausführungsform fährt das zweite Fahrzeug 30A, das ein anderes Fahrzeug ist, vorne auf der Straße 56, auf der das erste Fahrzeug 10A, das das Host-Fahrzeug ist, fährt, und das dritte Fahrzeug 30B, das ein geparktes Fahrzeug eines anderen Fahrzeugs ist, ist auf einem Seitenstreifen vor dem zweiten Fahrzeug 30A geparkt. Das dritte Fahrzeug 30B, das das geparkte Fahrzeug ist, bremst oder stoppt das zweite Fahrzeug 30A, das erste Fahrzeug 10A, das das Host-Fahrzeug ist, und die nachfolgenden Fahrzeuge, und eine Verkehrsstauung tritt auf. In diesem Fall wird das dritte Fahrzeug 30B aufgrund des zweiten Fahrzeugs 30A zu einem toten Winkel, und die Vorderseite des zweiten Fahrzeugs 30A befindet sich außerhalb des Bilderfassungsbereichs, d. h. außerhalb des Bilderfassungsbereichs 120 der Kamera des ersten Fahrzeugs 10A. Daher ist es für das erste Fahrzeug 10A schwierig, ein Bild des dritten Fahrzeugs 30B oder dergleichen, das das geparkte Fahrzeug ist, zu erfassen, und die Verkehrssituation vor dem ersten Fahrzeug 10A in Fahrtrichtung kann nicht erkannt werden. Andererseits umfasst der Bilderfassungsbereich 130 der Kamera des zweiten Fahrzeugs 30A einen Vorderbereich außerhalb des Bilderfassungsbereichs des ersten Fahrzeugs 10A, und ein Bild des dritten Fahrzeugs 30B kann vom zweiten Fahrzeug 30A erfasst werden. Daher wird das dritte Fahrzeug 30B im erfassten Bild des zweiten Fahrzeugs 30A aufgenommen.
In der vorliegenden Ausführungsform wird im ersten Fahrzeug 10A ein fremderzeugtes Bild, das durch das zweite Fahrzeug 30A erfasst wird, erlangt, und ein zusammengesetztes Bild 100D wird unter Verwendung des selbsterzeugten Bildes, das durch das Host-Fahrzeug erfasst wurde, und des erlangten fremderzeugten Bildes generiert. In diesem Fall ist das zweite Fahrzeug 30A mindestens eines von Fahrzeugen, die ein Fahrzeug vor dem ersten Fahrzeug 10A in der Fahrtrichtung und ein Fahrzeug vor dem ersten Fahrzeug 10A und in einer entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen. Im dargestellten Beispiel ist das zweite Fahrzeug 30A das Fahrzeug vor dem ersten Fahrzeug 10A in der Fahrtrichtung. Die Übertragung des erfassten Bildes kann durch Stellen einer Anfrage wegen des erfassten Bildes vom ersten Fahrzeug 10A des Host-Fahrzeugs an das zweite Fahrzeug 30A des anderen Fahrzeugs und Erlangen des erfassten Bildes als des fremderzeugten Bildes durchgeführt werden, oder kann durch Übertragen des erfassten Bildes vom zweiten Fahrzeug 30A an das erste Fahrzeug 10A, wenn das zweite Fahrzeug 30A das Auftreten eines Ereignisses, wie z. B. das geparkte oder gestoppte Fahrzeug oder die Verkehrsstauung, detektiert, durchgeführt werden. Wenn das erste Fahrzeug 10A und das zweite Fahrzeug 30A versuchen, zu einem vorgegebenen Zeitpunkt mit der Umgebung zu kommunizieren, und miteinander kommunizieren können, können das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B Informationen, die anzeigen, dass ein verbindbares Fahrzeug in der Nähe des Host-Fahrzeugs vorhanden ist, als Statusinformationen halten und Bilddaten und dergleichen senden und empfangen. Die erfassten Bilder können nicht nur mit dem Host-Fahrzeug und einem einzelnen weiteren Fahrzeug, sondern auch mit dem Host-Fahrzeug und einer Vielzahl von anderen Fahrzeugen zusammengesetzt werden, und Bilder, die in einem beliebigen der Vielzahl von Fahrzeugen erlangt werden, können zusammengesetzt werden.
Im Beispiel von 5 ist das zusammengesetzte Bild 100D des Bildes aus der Vogelperspektive gezeigt, das von oberhalb des Host-Fahrzeugs gesehen wird. Im zusammengesetzten Bild 100D wird das erste Fahrzeug 10A des Host-Fahrzeugs zum Beispiel an einer unteren Mittelposition angezeigt. Das zusammengesetzte Bild 100D umfasst außerdem ein Bild des dritten Fahrzeugs 30B des geparkten Fahrzeugs, das vor dem zweiten Fahrzeug 30A vorhanden ist, und der Insasse (Fahrer, Mitfahrer) des ersten Fahrzeugs 10A kann das Auftreten eines Ereignisses, wie z. B. das geparkte Fahrzeug, die Verkehrsstauung, eine gefrorene Fahrbahnfläche, eine Unebenheit einer Straße, und ein Unfall in einem Bereich, der durch das Host-Fahrzeug nicht erfasst werden kann, und die Verkehrssituation erkennen. Dementsprechend kann die Verkehrssituation vor dem zweiten Fahrzeug 30A in einem breiten Bereich aufgefasst werden.
Außerdem kann als ein Anwendungsbeispiel der vierten Ausführungsform ein fremderzeugtes Bild, das durch ein anderes Fahrzeug vorne auf der Straße, auf der das Host-Fahrzeug fährt, in der Fahrtrichtung und ein anderes Fahrzeug vor dem Host-Fahrzeug und in einer entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, erlangt werden, und das fremderzeugte und das selbsterzeugte Bild können zusammengesetzt werden, um ein zusammengesetztes Bild zu generieren, das einen breiteren Bereich abdeckt. Das heißt, das zweite Fahrzeug als das andere Fahrzeug ist mindestens eines von den Fahrzeugen, die das Fahrzeug vor dem ersten Fahrzeug als dem Host-Fahrzeug in der Fahrtrichtung und das Fahrzeug vor dem ersten Fahrzeug und in der entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen, und das erfasste Bild, das durch das zweite Fahrzeug erfasst wird, wird als das fremderzeugte Bild erlangt und zusammengesetzt. In diesem Fall wird zum Beispiel ein durch jedes Fahrzeug erfasstes Bild an eine Servervorrichtung als Sondierungsinformation, die Ereignisinformationen umfasst, gesendet, ein zusammengesetztes Bild, wie z. B. ein Bild aus der Vogelperspektive, eines breiteren Bereichs wird generiert und in der Servervorrichtung zusammen mit Straßenverkehrsinformationen gesammelt, die Servervorrichtung verteilt das zusammengesetzte Bild als Antwort auf eine Anfrage vom Host-Fahrzeug, und das zusammengesetzte Bild wird im Host-Fahrzeug erlangt und angezeigt. Alternativ kann das zusammengesetzte Bild durch Erlangen eines erfassten Bildes eines gewünschten Bereichs vom Host-Fahrzeug unter Verwendung der in der Servervorrichtung gesammelten erfassten Bilder der breiten Palette von Fahrzeugen generiert werden. Es ist außerdem möglich, die erfassten Bilder zwischen einer Vielzahl von Fahrzeugen durch ein Weiterleitungsverfahren ohne eine Verwendung der Servervorrichtung zu übertragen, die erfassten Bilder, die durch die Vielzahl von Fahrzeugen erfasst werden, zu erlangen, und das zusammengesetzte Bild im breiten Bereich zusammenzusetzen. In dem Anwendungsbeispiel ist die Zusammensetzung mit dem selbsterzeugten Bild nicht wesentlich, und ein zusammengesetztes Bild zwischen anderen kann von der Servervorrichtung erlangt und im Host-Fahrzeug angezeigt werden. Ein Medium, das das zusammengesetzte Bild zwischen anderen Fahrzeugen von der Servervorrichtung erlangt und anzeigt, ist nicht auf die Anzeigevorrichtung des Host-Fahrzeugs beschränkt, und kann eine Form sein, in der das zusammengesetzte Bild auf einem mobilen Endgerät eines Benutzers, das einen Personal Computer, ein Smartphone, ein Tablet-Endgerät und dergleichen umfasst, angezeigt wird.
Gemäß einem solchen Anwendungsbeispiel ist es möglich, das zusammengesetzte Bild des Bildes aus der Vogelperspektive, in dem eine große Anzahl von erfassten Bildern zusammengesetzt ist und der breite Bereich überblickt wird, anzuzeigen, und es ist möglich, das Auftreten des Ereignisses in einem breiteren Bereich, die aktuelle Straßenbedingung und die Verkehrssituation, wie z. B. die Anwesenheit eines großen Lochs auf der Straße 5 km vor dem Host-Fahrzeug, das Auftreten einer gefrorenen Fahrbahnfläche und das Auftreten einer Verkehrsstauung 3 km voraus, leicht zu erkennen.
(Fünfte Ausführungsform)
6 ist ein Diagramm, das ein Beispiel einer Positionsbeziehung zwischen einem Host-Fahrzeug und einem anderen Fahrzeug und ein zusammengesetztes Bild gemäß einer fünften Ausführungsform zeigt. Die fünfte Ausführungsform zeigt ein Beispiel des Generierens eines zusammengesetzten Bildes in einer Szene (einer Szene eines Parkplatzes), in der beim Parken auf einem Parkplatz, der eine Vielzahl von Parklücken aufweist, ein anderes Fahrzeug eines geparkten Fahrzeugs in der Nähe vorhanden ist, als einer Situation des Host-Fahrzeugs, die einer Szene entspricht, welche die vorgegebene Bedingung erfüllt.
Die Szene der fünften Ausführungsform stellt eine Situation dar, in der das erste Fahrzeug 10A, das das Host-Fahrzeug ist, in einer von der Vielzahl von Parklücken 58, die auf einem Parkplatz 57 bereitgestellt sind, geparkt ist und nun den Parkplatz 57 verlassen wird. Alternativ ist dies eine Situation, in der das erste Fahrzeug 10A in eine der Parklücken 58 fährt. Zum Beispiel findet eine solche Szene auf einer Raststätte einer Schnellstraße, einem Parkplatz einer kommerziellen Einrichtung oder dergleichen statt. Das zweite Fahrzeug 30A, das ein anderes Fahrzeug ist, ist in der benachbarten Parklücke 58 geparkt und die Person 40 steht im Schatten des zweiten Fahrzeugs 30A und versucht in Richtung des Host-Fahrzeugs zu gehen. Das zweite Fahrzeug 30A ist nicht darauf beschränkt, dass es zum ersten Fahrzeug 10A benachbart ist, und es kann an einer beliebigen Position des Parkplatzes, wie z. B. in der in der Nähe befindlichen Parklücke 58, geparkt sein. In diesem Fall befindet sich die Person 40 aufgrund des geparkten zweiten Fahrzeugs 30A in einem toten Winkel, und die Vorderseite des zweiten Fahrzeugs 30A befindet sich außerhalb des Bilderfassungsbereichs, d. h. außerhalb des Bilderfassungsbereichs 120 der Kamera des ersten Fahrzeugs 10A. Daher ist es für das erste Fahrzeug 10A schwierig, ein Bild der Person 40 oder dergleichen in einem Schattenabschnitt des zweiten Fahrzeugs 30A zu erfassen, und die Person 40 kann im ersten Fahrzeug 10A nicht erkannt werden. Andererseits umfasst der Bilderfassungsbereich 130 der Kamera des zweiten Fahrzeugs 30A einen Vorderbereich, der der tote Winkel des ersten Fahrzeugs 10A ist, und ein Bild der Person 40 kann vom zweiten Fahrzeug 30A erfasst werden. Daher wird die Person 40 im erfassten Bild des zweiten Fahrzeugs 30A aufgenommen.
In der vorliegenden Ausführungsform wird, wenn das erste Fahrzeug 10A auf den Parkplatz fährt oder diesen verlässt und das zweite Fahrzeug 30A an einer beliebigen Position auf dem Parkplatz geparkt ist, im ersten Fahrzeug 10A ein fremderzeugtes Bild, das durch das zweite Fahrzeug 30A erfasst wird, erlangt, und ein zusammengesetztes Bild 100E wird unter Verwendung des selbsterzeugten Bildes, das durch das Host-Fahrzeug erfasst wurde, und des erlangten fremderzeugten Bildes generiert. Eine Kommunikation, wie z. B. eine Bildübertragung zwischen dem ersten Fahrzeug 10A und dem zweiten Fahrzeug 30A, kann die VtoV-Kommunikation, die 5G-Mobilkommunikation, die Netzwerkkommunikation des Rechnernetzwerks unter Verwendung des drahtlosen LAN oder dergleichen verwenden, wie in der zweiten Ausführungsform.. Die Übertragung des erfassten Bildes kann durch Stellen einer Anfrage nach dem erfassten Bild vom ersten Fahrzeug 10A an das zweite Fahrzeug 30A, wenn das Host-Fahrzeug auf den Parkplatz fährt oder diesen verlässt, und Erlangen des erfassten Bildes als des fremderzeugten Bildes durchgeführt werden, oder kann durch Übertragen des erfassten Bildes vom zweiten Fahrzeug 30A an das in der Nähe befindliche erste Fahrzeug 10A, wenn das bewegliche Objekt im zweiten Fahrzeug 30A detektiert wird, durchgeführt werden. Wenn das erste Fahrzeug 10A und das zweite Fahrzeug 30A versuchen, mit der Umgebung zu einem vorgegebenen Zeitpunkt zu kommunizieren, und miteinander kommunizieren können, können das erste Fahrzeug 10A, das zweite Fahrzeug 30A und das dritte Fahrzeug 30B Informationen, die anzeigen, dass ein verbindbares Fahrzeug in der Nähe des Host-Fahrzeugs vorhanden ist, als Statusinformationen halten und Bilddaten und dergleichen senden und empfangen. Die erfassten Bilder können nicht nur mit dem Host-Fahrzeug und einem einzelnen weiteren Fahrzeug, sondern auch mit dem Host-Fahrzeug und einer Vielzahl von anderen Fahrzeugen zusammengesetzt werden, und Bilder, die in einem beliebigen der Vielzahl von Fahrzeugen erlangt wurden, können zusammengesetzt werden.
Im Beispiel von 6 ist das zusammengesetzte Bild 100E des Bildes aus der Vogelperspektive gezeigt, das von oberhalb des Host-Fahrzeugs gesehen wird. Im zusammengesetzten Bild 100E wird das erste Fahrzeug 10A des Host-Fahrzeugs zum Beispiel an einer unteren Mittelposition angezeigt. Das zusammengesetzte Bild 100E umfasst auch ein Bild der Person 40, die im Schatten des zweiten Fahrzeugs 30A vorhanden ist, und ein Insasse (Fahrer, Mitfahrer) des ersten Fahrzeugs 10A kann ein Objekt, wie z. B. eine Person, in einem Bereich erkennen, der durch das Host-Fahrzeug nicht erfasst werden kann. Dementsprechend kann die Anwesenheit eines Hindernisses im Schatten des zweiten Fahrzeugs 30A zum Zeitpunkt des Beginns des Einfahrens auf den Parkplatz oder des Verlassens von diesem oder zum Zeitpunkts der Fahrt im Voraus aufgefasst werden, und es ist möglich, damit umzugehen, dass die Person oder dergleichen aus dem Schatten des geparkten Fahrzeug hervorspringt.
Wenn das Host-Fahrzeug die Benachrichtigungseinheit umfasst, ist es außerdem möglich, den Benutzer über die Anwesenheit des beweglichen Objekts, wie z. B. der Person, zu benachrichtigen, und den Benutzer dazu zu veranlassen, das Objekt, wie z. B. die Person oder das Fahrrad, außerhalb des Bilderfassungsbereichs frühzeitig zu erkennen.
Nachstehend wird eine Generierungsoperation des sichtbaren zusammengesetzten Bildes unter Verwendung des fremderzeugten Bildes zusammen mit dem selbsterzeugten Bild anhand eines Beispiels konkret beschrieben.
(Beispiel der Generierungsverarbeitung eines zusammengesetzten Bildes)
7 ist ein Ablaufdiagramm, das ein Beispiel für eine Generierungsverarbeitung des sichtbaren zusammengesetzten Bildes zeigt. 7 zeigt ein Beispiel, in dem die Erlangungseinheit 11 und die Zusammensetzungseinheit 12 des Host-Fahrzeugs 100 ein zusammengesetztes Bild generieren.
Die Erlangungseinheit 11 des Host-Fahrzeugs 10 erlangt ein erfasstes Bild des selbsterzeugten Bildes von den Kameras 21A, 21B, 21C und 21D, die am Host-Fahrzeug angebracht sind. Die Erlangungseinheit 11 kommuniziert mit dem anderen Fahrzeug 30 und erlangt das erfasste Bild des fremderzeugten Bildes von der Kamera 31 des anderen Fahrzeugs 30. Das erfasste Bild des fremderzeugten Bildes kann durch Kommunizieren mit einer anderen Bilderfassungseinheit, die in einer Infrastruktur, wie z. B. einem Seitenstreifen einer Straße, einer Verkehrsampel, einem Schild, einer Leittafel, einer Fußgängerbrücke oder einer Hochstraße, bereitgestellt ist, erlangt werden Auf diese Weise erlangt die Erlangungseinheit 11 zusätzlich zum selbsterzeugten Bild das erfasste Bild des fremderzeugten Bildes (S11).
Um ein zusammengesetztes Bild, wie z. B. ein Bild aus der Vogelperspektive, aus einer Vielzahl von erfassten Bildern zu generieren, ist es möglich, ein von einem gewünschten Betrachtungspunkt gesehenes zusammengesetztes Bild zu generieren, indem eine Verarbeitung, wie z. B. eine räumliche Rekonstruktion und eine Blickpunkttransformation, einer Vielzahl von erfassten Bildern unter Verwendung eines Verfahrens in der verwandten Technik verwendet wird, das zum Beispiel in Patentliteratur 1 beschrieben ist. Wenn nur die Kamera des Host-Fahrzeugs vorhanden ist, sind die Position jeder Kamera und der Sichtwinkel des erfassten Bildes im Voraus bekannt, und eine relative Position zwischen den Kameras und dem Bilderfassungsbereich jeder Kamera wird durch eine Einstellung zum Zeitpunkt der Lieferung oder dergleichen definiert. Wenn das zusammengesetzte Bild generiert wird, ist es daher möglich, jedes Pixel eines Objekts in einer Vielzahl von erfassten Bildern in einem dreidimensionalen Raum umzuordnen und die Pixel zusammenzusetzen.
Andererseits werden, wie in der vorliegenden Ausführungsform, wenn das fremderzeugte Bild zusätzlich zum selbsterzeugten Bild verwendet wird, Merkmalpunkte, die in der Vielzahl von erfassten Bildern gemeinsam vorhanden sind, extrahiert, und die Pixel werden auf der Grundlage der Wahrscheinlichkeit der Merkmalpunkte im dreidimensionalen Raum derart umgeordnet, dass sie mit den dreidimensionalen Positionen der Merkmalpunkte übereinstimmen, und die Vielzahl von erfassten Bildern wird zusammengesetzt.
Ein hochpräzises Positionierungssystem, wie z. B. ein Quasi-Zenit-Satellitensystem (QZSS) oder ein Lichterkennungs- und Entfernungsmessungssystem (LiDAR), kann verwendet werden, um die relative Position des anderen Fahrzeugs und der Vielzahl von Bilderfassungseinheiten des Host-Fahrzeugs zu detektieren, und das zusammengesetzte Bild kann auf der Grundlage der Positionsinformationen jeder Bilderfassungseinheit generiert werden
Die Zusammensetzungseinheit 12 des Host-Fahrzeugs 10 extrahiert die Merkmalpunkte in der Vielzahl von erfassten Bildern, die zusammengesetzt werden sollen (S12). Als der Merkmalpunkt kann eine Begrenzungslinie der Straße, eine weiße Linie oder eine gelbe Linie, die eine Fahrspur anzeigt, eine weiße Linie, die einen Parkplatz anzeigt, ein festes Objekt an einem Straßenrandabschnitt, wie z. B. eine Leitplanke oder eine Schallschutzwand, oder dergleichen, verwendet werden.
Die Zusammensetzungseinheit 12 führt eine räumliche Rekonstruktionsverarbeitung der erfassten Bilder auf der Grundlage der Wahrscheinlichkeit der Merkmalpunkte, die in der erlangten Vielzahl von erfassten Bildern extrahiert wurden, aus (S13). Zu diesem Zeitpunkt berechnet die Zusammensetzungseinheit 12 eine Korrespondenzbeziehung zwischen jedem Pixel des Objekts und dem Punkt im dreidimensionalen Koordinatensystem auf der Grundlage der Wahrscheinlichkeit der Merkmalspunkte, und ordnet den Merkmalspunkt im dreidimensionalen Raum neu an, so dass er mit der dreidimensionalen Position des Merkmalspunktes übereinstimmt.
Anschließend führt die Zusammensetzungseinheit 12 eine Betrachtungspunkt-Transformationsverarbeitung zu einer vorgegebenen Betrachtungspunktposition unter Verwendung der Pixelinformationen jedes Pixels, das im dreidimensionalen Raum umgeordnet wird, durch, so dass zum Beispiel eine vertikal obere Seite des Host-Fahrzeugs 10 als die Betrachtungspunktposition eingestellt wird (S14). Die Zusammensetzungseinheit 12 setzt jedes Pixel des erfassten Bildes nach der Betrachtungspunkttransformation zusammen, und generiert das zusammengesetzte Bild des Bildes aus der Vogelperspektive, das von direkt oberhalb des Host-Fahrzeugs 10 herunterblickt (S15). Die Betrachtungspunktposition ist nicht auf eine Position direkt oberhalb des Host-Fahrzeugs 10 beschränkt, und eine vorgegebene Position, wie z. B. eine Position schräg über dem Host-Fahrzeug 10, kann eingestellt werden, und ein zusammengesetztes Bild von einem gewünschten Betrachtungspunkt, wie z. B. ein Bild aus der Vogelperspektive, das von schräg oben gesehen wird, kann generiert werden.
Auf diese Weise ist es durch Generieren des zusammengesetzten Bildes des Bildes aus der Vogelperspektive, das das erfasste Bild des fremderzeugten Bildes zusammen mit dem selbsterzeugten Bild umfasst, möglich, das sichtbare zusammengesetzte Bild eines breiten Bereichs zu erhalten, der den Bereich außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs umfasst, und es ist möglich, einen visuellen Erkennungsbereich des Benutzers zu vergrößern.
(Erstes Beispiel der Erlangungsoperation des fremderzeugten Bildes)
8 ist ein Sequenzdiagramm, das ein erstes Beispiel für eine Bilderlangungsoperation des Erlangens eines erfassten Bildes eines fremderzeugten Bildes zeigt. Das erste Beispiel zeigt ein Operationsbeispiel, wenn das Host-Fahrzeug eine Anfrage an ein anderes Fahrzeug, das eine andere Bilderfassungseinheit aufweist, stellt, um ein fremderzeugtes Bild zu erlangen. Im ersten Beispiel wird angenommen, dass sich, wenn das Host-Fahrzeug das fremderzeugte Bild, das durch eine andere Bilderfassungseinheit erfasst wird, erlangt und ein zusammengesetztes Bild generiert, das andere Fahrzeug, das ein Bilderlangungsziel darstellt, im Schlafzustand während des Parkens oder dergleichen befindet. Zu diesem Zeitpunkt hält das andere Fahrzeug die Bilderfassung durch seine eigene Bilderfassungseinheit an, und hält die Zusammensetzungsverarbeitung, die Anzeigeverarbeitung und dergleichen des erfassten Bildes an, und die Bilderfassungseinheit und die Steuereinheit befinden sich im Schlafzustand.
In einer Szene, die eine vorgegebene Bedingung erfüllt, sendet die Erlangungseinheit 11 des Host-Fahrzeugs eine Bildanfrage wegen des fremderzeugten Bildes an einen eigenen Kommunikationsbereich, und sendet die Bildanfrage an das andere Fahrzeug 30, das in der Nähe vorhanden ist (S21). Wenn die Steuereinheit des anderen Fahrzeugs 30 im Schlafzustand die Bildanfrage von dem in der Nähe befindlichen Fahrzeug empfängt (S31), wird die Steuereinheit des anderen Fahrzeugs 30 aktiviert, um den Schlafzustand der Kamera 31, die die Bilderfassungseinheit ist, aufzuheben (S32), und startet einen Timer für den Nichtempfang einer Bildanfrage, der eine Zeitdauer misst, in der die Bildanfrage nicht empfangen wird (S33). Dann erfasst die Steuereinheit des anderen Fahrzeugs 30 ein Umgebungsbild mit der Kamera 31 (S34), und sendet das erfasste Bild an das Host-Fahrzeug 10, das die Bildanfrage empfängt (S35).
Die Erlangungseinheit 11 des Host-Fahrzeugs 10 führt eine Bildempfangsverarbeitung am erfassten Bild des fremderzeugten Bildes durch, das vom anderen Fahrzeug 30 gesendet wird, um das fremderzeugte Bild zu erlangen (S22). Die Erlangungseinheit 11 erlangt ein erfasstes Bild des selbsterzeugten Bildes, das durch die Kameras 21A bis 21D, die Bilderfassungseinheiten des Host-Fahrzeugs 10 darstellen, erfasst wird. Die Zusammensetzungseinheit 12 des Host-Fahrzeugs 10 führt die Bildzusammensetzungsverarbeitung, wie in 7 dargestellt, unter Verwendung der erlangten erfassten Bilder des selbsterzeugten Bildes und des fremderzeugten Bildes aus, und generiert ein zusammengesetztes Bild des Bildes aus der Vogelperspektive (S23). Dann führt die Anzeigeeinheit 13 des Host-Fahrzeugs 10 eine Bildanzeigeverarbeitung des generierten zusammengesetzten Bildes aus, und zeigt das zusammengesetzte Bild des Bildes aus der Vogelperspektive an (S24). Zum Beispiel wird, wenn ein AR-HUD als die Anzeigeeinheit 13 verendet wird, ein zusammengesetztes Bild überlagert und auf der Frontscheibe des Host-Fahrzeugs durch die AR-Technologie angezeigt, so dass der Benutzer ein reales Bild des Sichtfeldes vor dem Fahrzeug und ein zusammengesetztes Bild, das die aktuelle Umgebungssituation des Fahrzeugs repräsentiert, visuell erkennen kann.
Die Steuereinheit des anderen Fahrzeugs 30 überwacht einen Wert des Timers für den Nichtempfang einer Bildanfrage und bestimmt, ob der Wert des Timers für den Nichtempfang einer Bildanfrage einen vorgegebenen Schwellenwert übersteigt (S36). Wenn der Wert des Timers für den Nichtempfang einer Bildanfrage den vorgegebenen Schwellenwert übersteigt, das heißt, wenn die Zeitdauer, in der die Bildanfrage nicht empfangen wird, gleich einer vorgegebenen Zeit oder länger als diese ist, führt hierbei die Steuereinheit des anderen Fahrzeugs 30 eine Schlafzustandsübergangsverarbeitung aus, um zu veranlassen, dass die Bilderfassungseinheit und die Steuereinheit in den Schlafzustand übergehen (S37). Dementsprechend kehrt das andere Fahrzeug 30 in den Zustand vor dem Empfang der Bildanfrage zurück, und wartet im Schlafzustand.
Auf diese Weise ist es möglich, eine Anfrage vom Host-Fahrzeug an das andere Fahrzeug in einer vorgegebenen Szene zu senden, ein erfasstes Bild des fremderzeugten Bildes zu erlangen, und ein sichtbares zusammengesetztes Bild, das das selbsterzeugte Bild und das fremderzeugte Bild umfasst, zu generieren.
(Zweites Beispiel der Erlangungsoperation eines fremderzeugten Bildes)
9 ist ein Sequenzdiagramm, das ein zweites Beispiel für eine Bilderlangungsoperation des Erlangens eines erfassten Bildes eines fremderzeugten Bildes zeigt. Das zweite Beispiel zeigt ein Operationsbeispiel, wenn ein das andere Fahrzeug umgebendes bewegliches Objekt detektiert wird, das andere Fahrzeug aus dem Schlafzustand aktiviert wird, und ein fremderzeugtes Bild an das Host-Fahrzeug gesendet und durch dieses erlangt wird. Im zweiten Beispiel wird angenommen, dass eine Funktion des Detektierens des beweglichen Objekts aktiviert ist, wenn sich das andere Fahrzeug im Schlafzustand während des Parkens oder dergleichen befindet, und ein Umgebungsbild bei einem niedrigen Zyklus erfasst wird.
Die Steuereinheit des anderen Fahrzeugs 30 im Schlafzustand erfasst das Umgebungsbild bei einem niedrigen Zyklus durch die Kamera 31 (S41). Hierbei bestimmt die Steuereinheit des anderen Fahrzeugs 30, ob, als eine Szene, die die vorgegebene Bedingung erfüllt, ein bewegliches Umgebungsobjekt durch einen an dem anderen Fahrzeug 30 angebrachten Sensor detektiert wird (S42). Als der Sensor zum Detektieren des beweglichen Objekts können verschiedene Sensoren, wie z. B. ein Vibrationssensor, ein Beschleunigungssensor und ein Infrarotsensor, verwendet werden. Wenn das bewegliche Objekt, wie z. B. die Person, in der Nähe des anderen Fahrzeugs 30 detektiert wird, wird hierbei die Steuereinheit des anderen Fahrzeugs 30 aktiviert, um den Schlafzustand der Kamera 31, die die Bilderfassungseinheit ist, aufzuheben (S43), und startet einen Timer des beweglichen Objekts, der eine Zeitdauer von der Detektion des beweglichen Objekts misst (S44). Dann erfasst die Steuereinheit des anderen Fahrzeugs 30 das Umgebungsbild mit der Kamera 31 (S45), und stellt eine Verbindungsanfrage an das Umgebungsfahrzeug, um zu bestätigen, ob ein Fahrzeug vorhanden ist, das in der Lage ist, das erfasste Bild in seinem eigenen Kommunikationsbereich zu erlangen. Anschließend sendet die Steuereinheit des anderen Fahrzeugs 30 das erfasste Bild an das Host-Fahrzeug 10 in der Nähe des Host-Fahrzeugs (S46).
Die Erlangungseinheit 11 des Host-Fahrzeugs 10 führt eine Bildempfangsverarbeitung am erfassten Bild des fremderzeugten Bildes, das vom anderen Fahrzeug 30 gesendet wird, um das fremderzeugte Bild zu erlangen (S51). Die Erlangungseinheit 11 erlangt ein erfasstes Bild des selbsterzeugten Bildes, das durch die Kameras 21A bis 21D, die Bilderfassungseinheiten des Host-Fahrzeugs 10 darstellen, erfasst wird. Die Zusammensetzungseinheit 12 des Host-Fahrzeugs 10 führt die Bildzusammensetzungsverarbeitung, wie in 7 dargestellt, unter Verwendung der erlangten erfassten Bilder des selbsterzeugten Bildes und des fremderzeugten Bildes aus, und generiert ein zusammengesetztes Bild des Bildes aus der Vogelperspektive (S52). Dann führt die Anzeigeeinheit 13 des Host-Fahrzeugs 10 eine Bildanzeigeverarbeitung des generierten zusammengesetzten Bildes aus, und zeigt das zusammengesetzte Bild des Bildes aus der Vogelperspektive an (S53).
Nach der Bildübertragungsverarbeitung bestimmt die Steuereinheit des anderen Fahrzeugs 30, ob das bewegliche Umgebungsobjekt weiterhin detektiert wird (S47), und wenn die Detektion des beweglichen Objekts fortgesetzt wird, kehrt die Verarbeitung zu Schritt S45 zurück und fährt mit der Verarbeitung des Erfassens und Sendens des Umgebungsbildes fort. Wenn das bewegliche Objekt nicht in der Nähe detektiert wird, überwacht die Steuereinheit des anderen Fahrzeugs 30 einen Wert des Timers für die Detektion des beweglichen Objekts und bestimmt, ob der Wert des Timers für die Detektion des beweglichen Objekts einen vorgegebenen Schwellenwert übersteigt (S48). Wenn der Wert des Timers für die Detektion des beweglichen Objekts den vorgegebenen Schwellenwert übersteigt, das heißt, wenn die Detektion des beweglichen Objekts nicht fortgesetzt wird, nachdem das bewegliche Objekt detektiert wurde, und die vorgegebene Zeit vergeht, führt hierbei die Steuereinheit des anderen Fahrzeugs 30 die Schlafzustandsübergangsverarbeitung aus, um zu veranlassen, dass die Bilderfassungseinheit und die Steuereinheit in den Schlafzustand übergehen (S49). Dementsprechend kehrt das andere Fahrzeug 30 in den Zustand vor der Detektion des beweglichen Objekts zurück, und wartet im Schlafzustand.
Auf diese Weise ist es möglich, das erfasste Bild vom anderen Fahrzeug an das Host-Fahrzeug in der vorgegebenen Szene zu senden, das erfasste Bild des fremderzeugten Bildes durch das Host-Fahrzeug zu erlangen, und das sichtbare zusammengesetzte Bild, das das selbsterzeugte Bild und das fremderzeugte Bild umfasst, zu generieren.
Der bewegliche Körper, an dem die Fahrassistenzvorrichtung gemäß der vorliegenden Ausführungsform angebracht wird, ist nicht auf ein Fahrzeug, wie z. B. einen Personenkraftwagen oder Lastwagen, beschränkt, und sie ist auch auf einen fliegenden Körper, wie z. B. eine Drohne und andere fliegende Körper, anwendbar.
Gemäß der vorliegenden Ausführungsform wird in Bezug auf einen Bereich außerhalb des Bilderfassungsbereichs (der einen Bereich umfasst, der sich aufgrund eines toten Winkels außerhalb des Bilderfassungsbereichs befindet), der durch den eigenen beweglichen Körper nicht erfasst werden kann, ein erfasstes Bild, das durch eine andere Bilderfassungseinheit erfasst wird, erlangt, und das erfasste Bild und das erfasste Bild, das durch den eigenen beweglichen Körper erfasst wird, werden der Bildzusammensetzung unterzogen, um ein sichtbares zusammengesetztes Bild zu erhalten. Daher ist es möglich, ohne eine Beschränkung auf den Bilderfassungsbereich des Benutzers ein geeignetes Bild gemäß dem Operationszustand des beweglichen Körpers, dem Umgebungszustand und dergleichen zu generieren, und der Benutzer kann außerdem einen Bereich außerhalb des Bilderfassungsbereichs der am beweglichen Körper, wie z. B. dem Fahrzeug, angebrachten Kamera zur Kenntnis nehmen.
Wie vorstehend beschrieben, stellen die Fahrassistenzvorrichtung, das Fahrassistenzverfahren und das Programm gemäß der vorliegenden Ausführungsform Fahrassistenzvorrichtungen zum Assistieren des Fahrens des beweglichen Körpers, wie z. B. des Fahrzeugs, dar und umfassen zum Beispiel eine Verarbeitungseinheit (zum Beispiel eine Verarbeitungsvorrichtung), indem die Zusammensetzungseinheit 12 oder dergleichen einen Prozessor und einen Speicher umfasst, und eine Erlangungseinheit 11 (zum Beispiel eine Schnittstelle, wie z. B. eine Kameraschnittstelle oder eine Kommunikationsschnittstelle), die eine Kommunikationsfunktion aufweist. Zum Beispiel umfasst das Host-Fahrzeug 10 die Erlangungseinheit 11 und die Zusammensetzungseinheit 12. Die Erlangungseinheit 11 gibt ein selbsterzeugtes Bild, das durch Erfassen des Bildes der Umgebung des beweglichen Körpers durch die Bilderfassungseinheiten (die Kameras 21A, 21B, 21C und 21D), die am eigenen beweglichen Körper (dem Host-Fahrzeug 10) angebracht sind, erhalten wird, und ein fremderzeugtes Bild, das durch Erfassen des Bildes der Umgebung des beweglichen Körpers durch eine andere Bilderfassungseinheit (die Kamera 31 des anderen Fahrzeugs 30) erhalten wird, ein und erlangt diese. Die Zusammensetzungseinheit 12 als die Verarbeitungseinheit setzt eine Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, zusammen, um ein sichtbares zusammengesetztes Bild zu generieren. Dementsprechend kann sogar außerhalb des Bilderfassungsbereichs des selbsterzeugten Bildes das fremderzeugte Bild erlangt und zusammengesetzt werden, und der im sichtbaren zusammengesetzten Bild dargestellte Bereich kann vergrößert werden. Zum Beispiel kann die Anwesenheit des Objekts, wie z. B. eines anderen beweglichen Körpers oder der Person, das außerhalb des Bilderfassungsbereichs des eigenen beweglichen Körpers vorhanden ist, durch das sichtbare zusammengesetzte Bild aufgefasst werden. Daher ist es möglich, ein geeignetes Bild gemäß dem Operationszustand, dem Umgebungszustand und dergleichen des beweglichen Körpers, wie z. B. des Fahrzeugs, zu generieren und eine Fahrassistenz durchzuführen.
Beim Generieren des sichtbaren zusammengesetzten Bildes kann die Zusammensetzungseinheit 12 als die Verarbeitungseinheit ein erstes zusammengesetztes Bild, das durch Zusammensetzen einer Vielzahl von selbsterzeugten Bildern erhalten wird, und ein zweites zusammengesetztes Bild, das durch Zusammensetzen einer Vielzahl von fremderzeugten Bildern erhalten wird, zusammensetzen. Beim Generieren des sichtbaren zusammengesetzten Bildes kann die Zusammensetzungseinheit 12 als die Verarbeitungseinheit jedes aus der Vielzahl von selbsterzeugten Bildern und jedes von einem oder einer Vielzahl von fremderzeugten Bildern zusammenzusetzen. Beim Generieren des sichtbaren zusammengesetzten Bildes kann die Zusammensetzungseinheit 12 als die Verarbeitungseinheit das erste zusammengesetzte Bild, das durch Zusammensetzen der Vielzahl von selbsterzeugten Bildern erhalten wird, und ein oder eine Vielzahl von fremderzeugten Bildern zusammenzusetzen. Dementsprechend ist es möglich, das sichtbare zusammengesetzte Bild durch geeignetes Zusammensetzen des selbsterzeugten Bildes und des fremderzeugten Bildes gemäß der Situation zu generieren.
Die Zusammensetzungseinheit 12 als die Verarbeitungseinheit kann Merkmalpunkte in jedem von dem selbsterzeugten Bild und dem fremderzeugten Bild extrahieren, und eine Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, auf der Grundlage der Wahrscheinlichkeit der Merkmalpunkte zusammensetzen. Dementsprechend ist es möglich, auf der Grundlage der Wahrscheinlichkeit der Merkmalpunkte jedes Pixel im dreidimensionalen Raum derart in jedem Bild umzuordnen, dass es mit der dreidimensionalen Position der Merkmalpunkte übereinstimmt, und eine Vielzahl von erfassten Bildern zusammenzusetzen. Die relativen Positionen der Bilderfassungseinheit des eigenen beweglichen Körpers und der anderen Bilderfassungseinheiten können detektiert werden, und das zusammengesetzte Bild kann auf der Grundlage der Positionsinformation jeder Bilderfassungseinheit generiert werden. Dementsprechend ist es möglich, jedes Pixel der Vielzahl von erfassten Bildern im dreidimensionalen Raum auf der Grundlage der Positionsinformation jeder Bilderfassungseinheit umzuordnen und die Vielzahl von erfassten Bildern zusammenzusetzen.
Die Zusammensetzungseinheit 12 als die Verarbeitungseinheit kann jedes Pixel des Objekts in jedem Bild von dem selbsterzeugten Bild und dem fremderzeugten Bild im dreidimensionalen Raum umordnen, die Betrachtungspunkttransformationsverarbeitung zu einer vorgegebenen Betrachtungspunktposition durchführen, eine Vielzahl von Bildern zusammensetzen, und ein sichtbares zusammengesetztes Bild generieren. Dementsprechend wird ein zusammengesetztes Bild, das der Betrachtungspunkttransformationsverarbeitung unterzogen wird, generiert, und es wird zum Beispiel ein Bild aus der Vogelperspektive, das von direkt über dem eigenen beweglichen Körper gesehen wird, ein Bild aus der Vogelperspektive, das von einer vorgegebenen Betrachtungspunktposition gesehen wird, oder dergleichen angezeigt, so dass der Benutzer die aktuelle Umgebungssituation leicht zur Kenntnis nehmen kann.
Die Zusammensetzungseinheit 12 als die Verarbeitungseinheit kann das zusammengesetzte Bild an die Anzeigeeinheit 13 bereitstellen und die Anzeigeeinheit 13 (z. B. eine Anzeigevorrichtung) dazu veranlassen, das sichtbare zusammengesetzte Bild anzuzeigen. Dementsprechend kann der Benutzer die aktuelle Umgebungssituation leicht zur Kenntnis nehmen, indem das sichtbare zusammengesetzte Bild auf der Anzeigeeinheit 13 angezeigt wird. Durch Bereitstellen der Anzeigeeinheit 13 im Host-Fahrzeug 10, das der eigene bewegliche Körper ist, kann der Benutzer das sichtbare zusammengesetzte Bild, das die aktuelle Umgebungssituation anzeigt, leicht zur Kenntnis nehmen.
Die Anzeigeeinheit 13 kann eine Anzeigevorrichtung, die das AR-HUD umfasst, sein. Durch Verwenden des AR-HUD als der Anzeigeeinheit 13 kann der Benutzer das reale Umgebungsbild und das sichtbare zusammengesetzte Bild in einem Zustand, in dem der Benutzer der Vorderseite zugewandt ist, visuell erkennen, und die Bedienbarkeit und Sichtbarkeit während des Fahrens können verbessert werden.
Die Zusammensetzungseinheit 12, die als die Verarbeitungseinheit dient, kann Benachrichtigungsinformationen an die Benachrichtigungseinheit senden, wenn ein vorgegebenes Objekt im Bild des sichtbaren zusammengesetzten Bildes vorhanden ist, und die Benachrichtigungseinheit dazu veranlassen, einen Benutzer über die Anwesenheit des vorgegebenen Objekts zu benachrichtigen. Dementsprechend ist es, zum Beispiel durch Benachrichtigen des Benutzers mithilfe von Ton, Licht oder dergleichen, möglich, den Benutzer darüber zu benachrichtigen, dass das vorgegebene Objekt in der Umgebung vorhanden ist und die Umgebung zum vorgegebenen Zustand wird. Durch Bereitstellen der Benachrichtigungseinheit im Host-Fahrzeug 10, das der eigene bewegliche Körper ist, kann der Benutzer die aktuelle Umgebungssituation leicht erkennen.
Außerdem kann der eigene bewegliche Körper das Host-Fahrzeug 10 sein, und die andere Bilderfassungseinheit kann eine Bilderfassungseinheit (die Kamera 31), die am anderen Fahrzeug 30, das ein anderer beweglicher Körper ist, angebracht ist, oder eine Bilderfassungseinheit sein, die an einer verwandten Einrichtung angebracht ist, welche auf einer Straße oder einem Parkplatz, auf der/dem das Host-Fahrzeug 10 fährt, installiert ist. Dementsprechend kann sogar außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs das fremderzeugte Bild von der Bilderfassungseinheit der Infrastruktur des anderen Fahrzeugs oder der verwandten Einrichtung erlangt und zusammengesetzt werden, und die Anwesenheit eines Hindernisses, wie z. B. eines anderen Fahrzeugs oder einer Person, das außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs vorhanden ist, kann durch das sichtbare zusammengesetzte Bild aufgefasst werden.
Wenn das erste Fahrzeug 10A als das Host-Fahrzeug die Erlangungseinheit 11, die Zusammensetzungseinheit 12 als die Verarbeitungseinheit, und die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A als das andere Fahrzeug die Bilderfassungseinheit umfasst, und die Fahrtrichtung des ersten Fahrzeugs 10A und die Fahrtrichtung des zweiten Fahrzeugs 30A einander überschneiden, kann die Erlangungseinheit 11 des ersten Fahrzeugs das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit des ersten Fahrzeugs kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen. Dementsprechend ist es zum Beispiel in der Szene der Kreuzung möglich, das andere Fahrzeug außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs zu erkennen, und es ist möglich, die Annäherung des anderen Fahrzeugs von außerhalb des Bilderfassungsbereichs zur Kenntnis zu nehmen.
Wenn das erste Fahrzeug 10A, das das Host-Fahrzeug ist, die Erlangungseinheit 11, die Zusammensetzungseinheit 12 als die Verarbeitungseinheit, und die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A, dass das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und das zweite Fahrzeug 30A auf der Fahrspur, auf der das erste Fahrzeug 10A fährt, gestoppt ist, kann die Erlangungseinheit 11 des ersten Fahrzeugs das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit des ersten Fahrzeugs kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen. Dementsprechend ist es zum Beispiel in der Szene, in der das geparkte oder gestoppte Fahrzeug vorhanden ist, möglich, das im toten Winkel außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs vorhandene Objekt zu erkennen, um es zu ermöglichen, dass die Anwesenheit eines Hindernisses, wie z. B. der Person, das im Schatten des anderen Fahrzeugs vorhanden ist, im Voraus aufgefasst wird, und mit einem Hervorspringen oder dergleichen umzugehen.
Wenn das erste Fahrzeug 10A, das das Host-Fahrzeug ist, die Erlangungseinheit 11, die Zusammensetzungseinheit 12 als die Verarbeitungseinheit, und die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und die Fahrspur des ersten Fahrzeugs 10A und die Fahrspur des zweiten Fahrzeugs 30A zusammenlaufen, kann die Erlangungseinheit 11 des ersten Fahrzeugs das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit des ersten Fahrzeugs kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen. Dementsprechend kann zum Beispiel in der Szene des Einmündens der Bereich, der durch das Host-Fahrzeug zur Kenntnis genommen werden kann, vergrößert werden, und das andere Fahrzeug außerhalb des Bilderfassungsbereichs oder im toten Winkel kann erkannt werden, so dass die Sicherheit des Einfädelns des Fahrzeugs weiter erhöht werden kann.
Wenn das erste Fahrzeug 10A als das Host-Fahrzeug die Erlangungseinheit 11, die Zusammensetzungseinheit 12 als die Verarbeitungseinheit, und die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A als das andere Fahrzeug die Bilderfassungseinheit umfasst, das zweite Fahrzeug 30A mindestens ein Fahrzeug von Fahrzeugen ist, die ein Fahrzeug vor dem ersten Fahrzeug in der Fahrtrichtung und ein Fahrzeug vor dem ersten Fahrzeug in der entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen, kann die Erlangungseinheit 11 des ersten Fahrzeugs das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit des ersten Fahrzeugs kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen. Dementsprechend ist es zum Beispiel in der Szene, wie z. B. der Verkehrsstauung, möglich, die Situation des anderen Fahrzeugs oder dergleichen außerhalb des Bilderfassungsbereichs des Host-Fahrzeugs zu erkennen, und es ist möglich, das Auftreten eines Ereignisses, wie z. B. des geparkten Fahrzeugs, der Verkehrsstauung, der gefrorenen Fahrbahnfläche, der Straßenunebenheit, und des Unfalls in einem Bereich, in dem ein Bild durch das Host-Fahrzeug nicht erfasst werden kann, und die Verkehrssituation in einem breiten Bereich aufzufassen.
Wenn das erste Fahrzeug 10A als das Host-Fahrzeug die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A als das andere Fahrzeug die Bilderfassungseinheit umfasst, die Servervorrichtung, die in der Lage ist, mit dem Host-Fahrzeug und dem anderen Fahrzeug zu kommunizieren, die Erlangungseinheit 11 und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit umfasst, das zweite Fahrzeug 30A mindestens ein Fahrzeug von den Fahrzeugen ist, die das Fahrzeug vor dem ersten Fahrzeug in der Fahrtrichtung und das Fahrzeug vor dem ersten Fahrzeug in der entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen, kann die Erlangungseinheit 11 der Servervorrichtung das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit der Servervorrichtung kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen, und kann das sichtbare zusammengesetzte Bild an die Anzeigeeinheit 13 des ersten Fahrzeugs senden. Dementsprechend ist es möglich, das zusammengesetzte Bild des Bildes aus der Vogelperspektive, das durch Zusammensetzen einer großen Anzahl von erfassten Bildern zusammengesetzt wird und einen breiten Bereich überblickt, anzuzeigen, und es ist möglich, das Auftreten des Ereignisses in einem breiteren Bereich, die aktuelle Straßenbedingung und die Verkehrssituation, wie z. B. die Straßenbedingung einige Kilometer voraus, leicht zu erkennen.
Wenn das erste Fahrzeug 10A als das Host-Fahrzeug die Erlangungseinheit 11, die Zusammensetzungseinheit 12 als die Verarbeitungseinheit, und die Anzeigeeinheit 13, die das sichtbare zusammengesetzte Bild anzeigt, umfasst, das zweite Fahrzeug 30A als das andere Fahrzeug die Bilderfassungseinheit umfasst, das erste Fahrzeug auf den Parkplatz fährt oder diesen verlässt, und das zweite Fahrzeug an einer beliebigen Position auf dem Parkplatz geparkt ist, kann die Erlangungseinheit 11 des ersten Fahrzeugs das fremderzeugte Bild, das durch die Bilderfassungseinheit (Kamera 31) des zweiten Fahrzeugs erfasst wird, vom zweiten Fahrzeug erlangen, und die Zusammensetzungseinheit 12 als die Verarbeitungseinheit des ersten Fahrzeugs kann das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit (Kameras 21A, 21B, 21C und 21D) erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzen. Dementsprechend ist es zum Beispiel in der Szene des Parkplatzes möglich, ein Objekt im Bereich zu erkennen, der durch das Host-Fahrzeug nicht erfasst werden kann, und es ist möglich, die Anwesenheit eines Hindernisses, wie z. B. der Person, im Schatten des anderen Fahrzeugs zum Zeitpunkt des Beginns der Einfahrt auf den Parkplatz oder der Ausfahrt aus diesem oder zum Zeitpunkt der Fahrt im Voraus aufzufassen, und es ist möglich, mit dem Hervorspringen der Person oder dergleichen aus dem Schatten des geparkten Fahrzeugs umzugehen.
Obwohl die verschiedenen Ausführungsformen vorstehend unter Bezugnahme auf die Zeichnung beschrieben sind, ist es unnötig zu erwähnen, dass die vorliegende Offenbarung nicht auf solche Beispiele beschränkt ist. Für Fachleute auf dem Gebiet wird es offensichtlich sein, dass verschiedene Änderungen, Abwandlungen, Ersetzungen, Hinzufügungen, Weglassungen und Äquivalente innerhalb des Geltungsbereichs der Ansprüche ersonnen werden können, und es versteht sich, dass solche Veränderungen ebenfalls zum technischen Geltungsbereich der vorliegenden Erfindung gehören. Bestandteile in verschiedenen vorstehend beschriebenen Ausführungsformen können wahlweise in einem Bereich kombiniert werden, ohne vom Geist der Erfindung abzuweichen.
Die vorliegende Anmeldung basiert auf der japanischen Patentanmeldung (japanische Patentanmeldung Nr. 2019-235099 ), die am 25. Dezember 2019 eingereicht wurde, und Inhalte davon sind hier durch Bezugnahme aufgenommen.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Offenbarung weist eine Wirkung des Generierens eines geeigneten Bildes gemäß einem Operationszustand, einem Umgebungszustand und dergleichen eines beweglichen Körpers, wie z. B. eines Fahrzeugs, und des Durchführens einer Fahrassistenz auf, und ist als eine Fahrassistenzvorrichtung, ein Fahrassistenzverfahren und ein Programm zum Assistieren des Fahrens des beweglichen Körpers, wie z. B. des Fahrzeugs, nützlich.
Bezugszeichenliste

10: Host-Fahrzeug
10A: erstes Fahrzeug
11: Erlangungseinheit
12: Zusammensetzungseinheit
13: Anzeigeeinheit
21A, 21B, 21C, 21D, 31: Kamera
30: anderes Fahrzeug
30A: zweites Fahrzeug
30B: drittes Fahrzeug
40: Person
51: Hauptstraße
52: Seitenstraße
53, 56: Straße
54: Einmündungsspur
55: Hauptstraße
57: Parkplatz
58: Parklücke
100A, 100B, 100C, 100D, 100E: zusammengesetztes Bild
120, 130: Bilderfassungsbereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3286306 B2 [0003]
JP 2019235099 [0089]

Claims

Fahrassistenzvorrichtung zum Assistieren des Fahrens eines beweglichen Körpers, wobei die Fahrassistenzvorrichtung umfasst: eine Erlangungseinheit, die dazu ausgelegt ist, ein selbsterzeugtes Bild, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und ein fremderzeugtes Bild, das durch eine andere Bilderfassungseinheit erfasst wird, zu erlangen; und eine Verarbeitungseinheit, die dazu ausgelegt ist, ein sichtbares zusammengesetztes Bild durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, zu generieren.
Fahrassistenzvorrichtung nach Anspruch 1, wobei die Verarbeitungseinheit dazu ausgelegt ist, ein erstes zusammengesetztes Bild, das durch Zusammensetzen einer Vielzahl von selbsterzeugten Bildern erhalten wird, und ein zweites zusammengesetztes Bild, das durch Zusammensetzen einer Vielzahl von fremderzeugten Bildern erhalten wird, zusammenzusetzen, um das sichtbare zusammengesetzte Bild zu generieren.
Fahrassistenzvorrichtung nach Anspruch 1, wobei die Verarbeitungseinheit dazu ausgelegt ist, jedes aus einer Vielzahl von selbsterzeugten Bildern und jedes von einem oder mehreren fremderzeugten Bildern zusammenzusetzen, um das sichtbare zusammengesetzte Bild zu generieren.
Fahrassistenzvorrichtung nach Anspruch 1, wobei die Verarbeitungseinheit dazu ausgelegt ist, ein erstes zusammengesetztes Bild, das durch Zusammensetzen einer Vielzahl von selbsterzeugten Bildern erhalten wird, und ein oder eine Vielzahl von fremderzeugten Bildern zusammenzusetzen, um das sichtbare zusammengesetzte Bild zu generieren.
Fahrassistenzvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Verarbeitungseinheit dazu ausgelegt ist, ein Merkmalpunkt in jedem von dem selbsterzeugten Bild und dem fremderzeugten Bild zu extrahieren, und eine Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen, auf der Grundlage einer Wahrscheinlichkeit des Merkmalpunktes zusammenzusetzen.
Fahrassistenzvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Verarbeitungseinheit zum Folgenden ausgelegt ist: Umordnen jedes Pixels eines Objekts in jedem von dem selbsterzeugten Bild und dem fremderzeugten Bild in einem dreidimensionalen Raum; Durchführen einer Betrachtungspunkttransformationsverarbeitung zu einer vorgegebenen Betrachtungspunktposition; und Zusammensetzen der Vielzahl von Bildern, um das sichtbare zusammengesetzte Bild zu generieren.
Fahrassistenzvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Verarbeitungseinheit dazu ausgelegt ist, das zusammengesetzte Bild an eine Anzeigeeinheit bereitzustellen, um die Anzeigeeinheit dazu zu veranlassen, das sichtbare zusammengesetzte Bild anzuzeigen.
Fahrassistenzvorrichtung nach Anspruch 7, wobei die Anzeigeeinheit eine Anzeigevorrichtung ist, die ein Augmented-Reality-Head-Up-Display (AR-HUD) umfasst.
Fahrassistenzvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Verarbeitungseinheit dazu ausgelegt ist, Benachrichtigungsinformationen an eine Benachrichtigungseinheit in einem Fall, in dem ein vorgegebenes Objekt im Bild des sichtbaren zusammengesetzten Bildes vorhanden ist, zu senden, um die Benachrichtigungseinheit dazu zu veranlassen, einen Benutzer über eine Anwesenheit des vorgegebenen Objektes zu benachrichtigen.
Fahrassistenzvorrichtung nach Anspruch 1, wobei der eigene bewegliche Körper ein Host-Fahrzeug ist, und wobei die andere Bilderfassungseinheit eine Bilderfassungseinheit, die an einem anderen Fahrzeug, das ein anderer beweglicher Körper ist, angebracht ist, oder eine Bilderfassungseinheit ist, die an einer verwandten Einrichtung, die auf einer Straße oder einem Parkplatz, auf der/dem das Host-Fahrzeug fährt, installiert ist, angebracht ist.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, die Erlangungseinheit, die Verarbeitungseinheit und eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und wobei in einem Fall, in dem sich eine Fahrtrichtung des ersten Fahrzeugs und eine Fahrtrichtung des zweiten Fahrzeugs überschneiden, die Erlangungseinheit des ersten Fahrzeugs das fremderzeugte Bild vom zweiten Fahrzeug erlangt, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und die Verarbeitungseinheit des ersten Fahrzeugs das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeugt erlangt wird, zusammensetzt.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, die Erlangungseinheit, die Verarbeitungseinheit und eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und wobei in einem Fall, in dem das zweite Fahrzeug auf einer Fahrspur, auf der das erste Fahrzeug fährt, hält, die Erlangungseinheit des ersten Fahrzeugs das fremderzeugte Bild vom zweiten Fahrzeug erlangt, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und die Verarbeitungseinheit des ersten Fahrzeugs das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzt.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, die Erlangungseinheit, die Verarbeitungseinheit und eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und wobei in einem Fall, in dem eine Fahrspur des ersten Fahrzeugs und eine Fahrspur des zweiten Fahrzeugs zusammenlaufen, die Erlangungseinheit des ersten Fahrzeugs das fremderzeugte Bild vom zweiten Fahrzeug erlangt, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und die Verarbeitungseinheit des ersten Fahrzeugs das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeug erlangt wird, zusammensetzt.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, die Erlangungseinheit, die Verarbeitungseinheit und eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, wobei das zweite Fahrzeug mindestens eines von Fahrzeugen ist, die ein Fahrzeug vor dem ersten Fahrzeug in einer Fahrtrichtung und ein Fahrzeug vor dem ersten Fahrzeug und in einer entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen, wobei die Erlangungseinheit des ersten Fahrzeugs dazu ausgelegt ist, das fremderzeugte Bild vom zweiten Fahrzeug zu erlangen, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und wobei die Verarbeitungseinheit des ersten Fahrzeugs dazu ausgelegt ist, das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeugt erlangt wird, zusammenzusetzen.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, wobei eine Servervorrichtung, die in der Lage ist, mit dem Host-Fahrzeug und dem anderen Fahrzeug zu kommunizieren, die Erlangungseinheit und die Verarbeitungseinheit umfasst, wobei das zweite Fahrzeug mindestens eines von Fahrzeugen ist, die ein Fahrzeug vor dem ersten Fahrzeug in einer Fahrtrichtung und ein Fahrzeug vor dem ersten Fahrzeug und in einer entgegenkommenden Richtung, die dem Fahrzeug entgegengesetzt ist, umfassen, wobei die Erlangungseinheit der Servervorrichtung dazu ausgelegt ist, das fremderzeugte Bild vom zweiten Fahrzeug zu erlangen, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und wobei die Verarbeitungseinheit der Servervorrichtung zum Folgenden ausgelegt ist: Zusammensetzen des selbsterzeugten Bildes, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und des fremderzeugten Bildes, das vom zweiten Fahrzeugt erlangt wird, und Senden des sichtbaren zusammengesetzten Bildes an die Anzeigeeinheit des ersten Fahrzeugs.
Fahrassistenzvorrichtung nach Anspruch 10, wobei ein erstes Fahrzeug, das das Host-Fahrzeug ist, die Erlangungseinheit, die Verarbeitungseinheit und eine zum Anzeigen des sichtbaren zusammengesetzten Bildes ausgelegte Anzeigeeinheit umfasst, wobei ein zweites Fahrzeug, das das andere Fahrzeug ist, die Bilderfassungseinheit umfasst, und wobei in einem Fall, in dem das erste Fahrzeug auf einen Parkplatz fährt oder diesen verlässt und das zweite Fahrzeug an einer beliebigen Position auf dem Parkplatz geparkt ist, die Erlangungseinheit des ersten Fahrzeugs das fremderzeugte Bild vom zweiten Fahrzeug erlangt, wobei das fremderzeugte Bild durch die Bilderfassungseinheit des zweiten Fahrzeugs erfasst wird, und die Verarbeitungseinheit des ersten Fahrzeugs das selbsterzeugte Bild, das durch die im ersten Fahrzeug aufgenommene Bilderfassungseinheit erfasst wird, und das fremderzeugte Bild, das vom zweiten Fahrzeugt erlangt wird, zusammensetzt.
Fahrassistenzverfahren in einer Fahrassistenzvorrichtung zum Assistieren des Fahrens eines beweglichen Körpers, wobei das Fahrassistenzverfahren umfasst: einen Schritt des Erlangens eines selbsterzeugten Bildes, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und eines fremderzeugten Bildes, das durch eine andere Bilderfassungseinheit erfasst wird; und einen Schritt des Generierens eines sichtbaren zusammengesetzten Bildes durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte Bild und das fremderzeugte Bild umfassen.
Programm zum Veranlassen eines Rechners dazu, jeden Schritt eines Fahrassistenzverfahrens zum Assistieren des Fahrens eines beweglichen Körpers auszuführen, wobei das Fahrassistenzverfahren umfasst: einen Schritt des Erlangens eines selbsterzeugten Bildes, das durch Erfassen eines Bildes einer Umgebung eines eigenen beweglichen Körpers durch eine an dem beweglichen Körper angebrachte Bilderfassungseinheit erhalten wird, und eines fremderzeugten Bildes, das durch eine andere Bilderfassungseinheit erfasst wird; und einen Schritt des Generierens eines sichtbaren zusammengesetzten Bildes durch Zusammensetzen einer Vielzahl von Bildern, die das selbsterzeugte und das fremderzeugte Bild umfassen.