DE102017130118B4

DE102017130118B4 - Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren

Info

Publication number: DE102017130118B4
Application number: DE102017130118.6A
Authority: DE
Inventors: Yukiko Hatakeyama; Kouei Kiyo; Tamaki TAKEUCHI; Rie HABUTA; Akinari MOTOHIRO; Tomoyuki Sato; Kohei Maejima; Atsutoshi SAKAGUCHI; Masahiro Takahashi
Original assignee: Denso Ten Ltd; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2017-01-04
Filing date: 2017-12-15
Publication date: 2020-10-29
Anticipated expiration: 2037-12-16
Also published as: CN108267738B; US20180186287A1; US10343603B2; DE102017130118A1; JP6501805B2; JP2018109875A; CN108267738A

Abstract

Bildverarbeitungsvorrichtung (10), umfassend:eine Bildakquisitionseinheit (110), die ein aufgenommenes Bild akquiriert, wenn ein Bild von einer Umgebung eines Fahrzeugs von einer Bildaufnahmevorrichtung (20) aufgenommen wird;eine Informationsakquisitionseinheit (120), die Positionsinformationen zu einer erfassten Position eines Hindernisses akquiriert, das in einer Umgebung des Fahrzeugs existiert, wobei die Informationsakquisitionseinheit (120) die Positionsinformationen von einer Erfassungsvorrichtung (30) akquiriert, die das Hindernis erfasst;eine Generierungseinheit (130), die, auf Grundlage des aufgenommenen Bildes, ein virtuelles Betrachtungspunktbild generiert, bei dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird;eine Kompositionseinheit (160), die ein Benachrichtigungsbild zusammensetzt, das eine Benachrichtigung über die Existenz des Hindernisses an der erfassten Position mit dem virtuellen Betrachtungspunktbild bereitstellt, wobei die Kompositionseinheit (160) ein Bereichsbild, das einen Erfassungsbereich der Erfassungsvorrichtung (30) angibt, mit dem virtuellen Betrachtungspunktbild zusammensetzt, entsprechend des Abstands zum Fahrzeug das Bereichsbild in eine Mehrzahl von Bereichen aufteilt und das Benachrichtigungsbild zur Anzeige in einem Bereich aus der Mehrzahl von Bereichen, welcher der erfassten Position des Hindernisses entspricht, erzeugt;eine Anzeigesteuereinheit (150), die, auf Grundlage der Positionsinformationen, ein Anzeigeformat des Benachrichtigungsbildes steuert, das mit dem virtuellen Betrachtungspunktbild zusammengesetzt ist;eine Festlegungseinheit (180), die in einem Fall, in dem eine Anzeigeposition des Hindernisses auf dem virtuellen Betrachtungspunktbild sich von der erfassten Position unterscheidet, festlegt, dass das Hindernis an einer Position existiert, die höher als eine Bodenfläche ist, wobeidie Anzeigesteuereinheit (150) ein Anzeigeformat des Benachrichtigungsbildes steuert, das mit dem virtuellen Betrachtungspunktbild in einem Fall zusammengesetzt wird, in dem die Festlegungseinheit (180) festlegt, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, wobei, wenn festgelegt wird, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, das Benachrichtigungsbild hervorgehoben dargestellt wird.

Description

GEBIET
Die hierin diskutierte Ausführungsform ist auf eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren gerichtet.
HINTERGRUND
Es ist beispielsweise herkömmlich eine Vorrichtung bekannt, die ein Hindernis erfasst, das in einer Umgebung eines Fahrzeugs existiert, indem sie einen Sensor einer Radarvorrichtung oder dergleichen verwendet und einem Benutzer ein Resultat der Erfassung präsentiert. In der JP 2012-188057 A wird zum Beispiel, in einem Fall, in dem ein Hindernis erfasst wird, ein Erfassungsbereich eines Sensors überlagert und auf einem aufgenommenen Bild, das von einer Kamera aufgenommen wurde, dargestellt.
Bei einer herkömmlichen Technik besteht jedoch insofern Raum für eine weitere Verbesserung, als dass eine Position eines Hindernisses leicht erkannt wird.
In einer herkömmlichen Technik, wie vorstehend beschrieben, wird einem Benutzer lediglich ein Bereich, der dazu in der Lage ist ein Hindernis zu erfassen, präsentiert, und eine Position eines erfassten Hindernisses an sich wird dem Benutzer nicht präsentiert. Dementsprechend besteht eine Möglichkeit, dass ein Benutzer ein Hindernis übersieht. Aus JP 2016-052 867 A ist eine Fahrtunterstützungsvorrichtung bekannt, bei der ein dargestelltes Bild aus einem virtuellen Betrachtungspunkt eine Markierung enthält, die einen kürzesten Abstand zwischen dem Fahrzeug und einem erfassten Hindernis angibt, unter Berücksichtigung der Höhe des Hindernisses und der Form des Fahrzeugs.
Es wurde ein Aspekt einer Ausführungsform unter Berücksichtigung des Vorstehenden vorgelegt und Ziel ist es, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die dazu in der Lage sind, eine Position eines Hindernisses leicht zu erkennen.
KURZDARSTELLUNG
Eine Bildverarbeitungsvorrichtung nach einer Ausführungsform enthält eine Bildakquisitionseinheit, eine Informationsakquisitionseinheit, eine Generierungseinheit, eine Kompositionseinheit, eine Festlegungseinheit und eine Anzeigesteuereinheit. Die Bildakquisitionseinheit akquiriert ein aufgenommenes Bild, wenn ein Bild von einer Umgebung eines Fahrzeugs von einer Bildaufnahmevorrichtung aufgenommen wird. Die Informationsakquisitionseinheit akquiriert Positionsinformationen zu einer erfassten Position eines Hindernisses, das in einer Umgebung des Fahrzeugs existiert. Die Generierungseinheit generiert, auf Grundlage des aufgenommenen Bildes, ein virtuelles Betrachtungspunktbild, bei dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Kompositionseinheit setzt ein Benachrichtigungsbild zusammen, das eine Benachrichtigung über die Existenz des Hindernisses an der erfassten Position mit dem virtuellen Betrachtungspunktbild bereitstellt. Die Anzeigesteuereinheit steuert, auf Grundlage der Positionsinformationen, ein Anzeigeformat des Benachrichtigungsbildes, das mit dem virtuellen Betrachtungspunktbild zusammengesetzt ist.
Nach einem Aspekt der Ausführungsform ist es möglich, eine Position eines Hindernisses leicht zu erkennen.
Figurenliste

1A bis 1C sind Diagramme, die einen Entwurf eines Hindernispräsentationssystems gemäß einer Ausführungsform veranschaulichen.
2 ist ein Blockdiagramm, das eine Konfiguration eines Hindernispräsentationssystems gemäß einer Ausführungsform veranschaulicht.
3 ist ein Diagramm, das ein Beispiel einer Anordnung einer Bildaufnahmevorrichtung gemäß einer Ausführungsform veranschaulicht.
4A und 4B sind Diagramme, die ein Beispiel eines Festlegungsprozesses veranschaulichen, der von einer Festlegungseinheit gemäß einer Ausführungsform ausgeführt wird.
5 bis 7 sind Diagramme zur Veranschaulichung eines Bereichsbildes gemäß einer Ausführungsform.
8 ist ein Diagramm zur Veranschaulichung eines Benachrichtigungsbildes gemäß einer Ausführungsform.
9 ist ein Diagramm, das ein Beispiel eines Kompositbildes veranschaulicht, das von einer Kompositionseinheit gemäß einer Ausführungsform generiert wird.
10 ist ein Flussdiagramm, das Verarbeitungsschritte eines Bildgenerierungsprozesses, der von einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform ausgeführt wird, veranschaulicht.

BESCHREIBUNG DER AUSFÜHRUNGSFORM
Nachfolgend werden eine Ausführungsform einer Bildverarbeitungsvorrichtung und eines Bildverarbeitungsverfahrens, wie in der vorliegenden Patentanmeldung offenbart, ausführlich unter Bezugnahme auf die beigefügten Diagramme beschrieben. Weiterhin ist die vorliegende Erfindung nicht auf diese Ausführungsform(en) beschränkt.
Übersicht über das Hindernispräsentationssystem
Eine Übersicht über ein Hindernispräsentationssystem 1 gemäß einer Ausführungsform wird unter Verwendung von 1A bis 1C beschrieben. 1A bis 1C sind Diagramme, die einen Entwurf des Hindernispräsentationssystems 1 gemäß einer Ausführungsform veranschaulichen. Das Hindernispräsentationssystem 1 ist an einem Fahrzeug angebracht und erfasst und präsentiert einem Benutzer (Fahrer) ein Hindernis in einer Peripherie des Fahrzeugs.
Das Hindernispräsentationssystem 1 führt Koordinatentransformation eines aufgenommenen Bildes aus, wenn ein Bild einer Peripherie eines Fahrzeugs von einer bildaufnehmenden Vorrichtung aufgenommen wird, um ein virtuelles Betrachtungspunktbild zu erzeugen, wenn eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird. Des Weiteren setzt das Hindernispräsentationssystem 1 ein Benachrichtigungsbild, das eine Benachrichtigung über die Existenz eines Hindernisses an einer erfassten Position solch eines Hindernisses bereitstellt, mit einem virtuellen Betrachtungspunktbild zusammen. Zusätzlich erfasst eine Radarvorrichtung des Hindernispräsentationssystems 1 eine Position eines Hindernisses. Hierbei verändert das Hindernispräsentationssystem 1 ein Anzeigeformat eines Benachrichtigungsbildes, das damit zusammengesetzt ist, in Abhängigkeit davon, ob ein Hindernis an einer Position höher als eine Bodenfläche existiert, beispielsweise eine Leitplanke oder dergleichen.
Das ist so, weil, in einem Fall, in dem ein Hindernis an einer Position existiert, die höher als eine Bodenfläche ist, eine Position eines Benachrichtigungsbildes (erfasste Position eines Hindernisses) auf einem virtuellen Betrachtungspunktbild sich von einer Position eines Hindernisses, das in dem virtuellen Betrachtungspunktbild erscheint, unterscheidet. Das heißt, eine erfasste Position eines Hindernisses ist eine Position, die von einer Radarvorrichtung erfasst wird, und somit, da die Koordinatentransformation gemäß Koordinaten in einem virtuellen Betrachtungspunktbild ausgeführt wird, wird eine Anzeige eines virtuellen Betrachtungspunktbildes an einer Position ausgeführt, an der ein Hindernis tatsächlich existiert.
Andererseits ist es bei einem aufgenommenen Bild unmöglich, eine Höhe eines Hindernisses zu erfassen. Dementsprechend generiert das Hindernispräsentationssystem 1 ein virtuelles Betrachtungspunktbild, während angenommen wird, dass ein Hindernis in einem aufgenommenen Bild in einer Höhe bereitgestellt wird, die mit der einer Bodenfläche identisch ist. Dementsprechend wird ein Hindernis in einem virtuellen Betrachtungspunktbild dargestellt, wobei angenommen wird, dass es an einer Position existiert, die weiter entfernt ist als ein tatsächliches Hindernis.
Somit wird ein Hindernis, auf einem virtuellen Betrachtungspunktbild, das an einer höheren Position als eine Bodenfläche existiert, an einer Position dargestellt, die sich von einer erfassten Position, die von einer Radarvorrichtung bereitgestellt wird, unterscheidet. Dementsprechend besteht, beispielsweise wenn ein Benutzer ein Hindernis bestätigt, auf einem virtuellen Betrachtungspunktbild an sich eine Möglichkeit der Falscherkennung auf solche Weise, dass solch ein Hindernis weiter entfernt positioniert ist als eine erfasste Position eines tatsächlichen Hindernisses.
Somit verändert das Hindernispräsentationssystem 1 nach einer Ausführungsform ein Anzeigeformat eines Benachrichtigungsbildes, das damit zusammengesetzt ist, in Abhängigkeit davon, ob ein Hindernis an einer Position existiert, die höher als eine Bodenfläche ist, beispielsweise eine Leitplanke oder dergleichen. In einem Fall, in dem zum Beispiel ein Hindernis an einer höheren Position als eine Bodenfläche existiert, wird ein Benachrichtigungsbild hervorgehoben angezeigt.
Dadurch ist es, selbst in einem Fall, in dem ein Hindernis auf einem virtuellen Betrachtungspunktbild von einer erfassten Position, die von einer Radarvorrichtung bereitgestellt wird, versetzt ist, möglich, eine Position des Hindernisses einem Benutzer ordnungsgemäß darzustellen und es ist dem Benutzer möglich, eine Position des Hindernisses leichter zu bestätigen.
Das Hindernispräsentationssystem 1 enthält eine Bildverarbeitungsvorrichtung 10, eine Bildaufnahmevorrichtung 20, eine Radarvorrichtung 30 und ein Anzeigegerät (50).
Die Bildaufnahmevorrichtung 20 hat beispielsweise mehrere (nicht veranschaulichte) Kameras, die in einer Umgebung eines Fahrzeugs angeordnet sind. Jede Kamera der Bildaufnahmevorrichtung 20 nimmt ein Bild einer Peripherie eines Fahrzeugs mit einem konstanten Zeitraum auf.
Die Radarvorrichtung 30 emittiert eine Funkwelle an einer Peripherie eines Fahrzeugs und empfängt eine reflektierte Welle, die von einem Hindernis reflektiert wird, so dass ein Hindernis, das an einer Peripherie des Fahrzeugs existiert, erfasst wird. Des Weiteren erfasst die Radarvorrichtung 30 zum Beispiel eine Distanz von einem Fahrzeug zu einem Hindernis (was nachfolgend als Positionsinformationen eines Hindernisses beschrieben wird) als eine Position des Hindernisses.
Die Bildverarbeitungsvorrichtung 10 führt eine Koordinatentransformation eines aufgenommenen Bildes aus, das von der Bildaufnahmevorrichtung 20 aufgenommen wurde, um ein virtuelles Betrachtungspunktbild zu erzeugen, das von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Bildverarbeitungsvorrichtung 10 erzeugt ein Kompositbild, in dem ein Fahrzeugbild oder ein Benachrichtigungsbild mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird, und gibt dieses an das Anzeigegerät 50 aus. Die Bildverarbeitungsvorrichtung 10 enthält eine Bildakquisitionseinheit 110, eine Informationsakquisitionseinheit 120, eine Generierungseinheit 130, eine Anzeigesteuereinheit 150, eine Kompositionseinheit 160 und eine Festlegungseinheit 180.
Die Bildakquisitionseinheit 110 akquiriert ein aufgenommenes Bild von der Bildaufnahmevorrichtung 20. Die Informationsakquisitionseinheit 120 akquiriert Positionsinformationen eines Hindernisses von der Radarvorrichtung 30.
Die Generierungseinheit 130 führt einen Koordinatentransformationsprozess für ein aufgenommenes Bild durch, das von der Bildakquisitionseinheit 110 akquiriert wurde, um ein virtuelles Betrachtungspunktbild zu erzeugen, in dem ein Fahrzeug von einem virtuellen Betrachtungspunkt aus betrachtet wird.
Die Festlegungseinheit 180 legt, auf Grundlage eines virtuellen Betrachtungspunktbildes, das von der Generierungseinheit 130 generiert wird, und von Positionsinformationen eines Hindernisses, die von der Informationsakquisitionseinheit 120 akquiriert werden, fest, ob ein Hindernis an einer Position an oder über einer vorbestimmten Höhe von einer Bodenfläche existiert oder nicht.
Die Festlegungseinheit 180 legt beispielsweise auf Grundlage von Positionsinformationen des Hindernisses fest, ob ein Hindernis an einer Position, an der das Hindernis auf einem virtuellen Betrachtungspunktbild existiert (festgelegte Position), erscheint oder nicht, um festzulegen, ob das Hindernis an einer Position in oder über einer vorbestimmten Höhe von einer Bodenfläche existiert.
Die Festlegungseinheit 180 legt fest, ob ein Hindernis in einer Region erscheint, die eine Position enthält, in der das Hindernis in einem virtuellen Betrachtungspunktbild existiert, beispielsweise aufgrund von Musterabgleich oder dergleichen. In einem Fall, in dem ein Hindernis darin erscheint, wird festgelegt, dass das Hindernis an einer Position existiert, die niedriger als eine vorbestimmte Höhe ist. Des Weiteren wird, in einem Fall, in dem ein Hindernis nicht darin erscheint, festgelegt, dass das Hindernis an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert.
Die Anzeigesteuereinheit 150 steuert ein Anzeigeformat eines Benachrichtigungsbildes auf Grundlage von Positionsinformationen eines Hindernisses. Des Weiteren steuert die Anzeigesteuereinheit 150 ein Anzeigeformat eines Benachrichtigungsbildes auf Grundlage eines Resultats der Festlegung, die von der Festlegungseinheit 180 bereitgestellt wird. In einem Fall, in dem ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert, steuert die Anzeigesteuereinheit 150 die Kompositionseinheit 160 derart, dass ein Benachrichtigungsbild, das die Existenz des Hindernisses angibt, hervorgehoben angezeigt wird.
Die Kompositionseinheit 160 setzt ein Fahrzeugbild zusammen, wenn ein Erscheinen eines Fahrzeugs von einem virtuellen Betrachtungspunkt mit einem virtuellen Betrachtungspunktbild, das von der Generierungseinheit 130 generiert wird, betrachtet wird. Des Weiteren setzt die Kompositionseinheit 160 auf Grundlage von Positionsinformationen des Hindernisses, die von der Informationsakquisitionseinheit 120 akquiriert werden, ein Benachrichtigungsbild zusammen, das die Existenz eine Hindernisses mit einem virtuellen Betrachtungspunktbild an einer Position angibt, an der das Hindernis existiert (erfasste Position eines Hindernisses).
Hierbei zeigt die Kompositionseinheit 160 auf Grundlage der Steuerung, die von der Anzeigesteuereinheit 150 ausgeführt wird, in einem Fall, in dem ein Hindernis an oder über einer vorbestimmten Höhe von einer Bodenfläche existiert, hervorgehoben ein Benachrichtigungsbild, das die Existenz des Hindernisses angibt.
1 B und 1C veranschaulichen Beispiele eines Kompositbildes, das von der Kompositionseinheit 160 generiert wird. 1B veranschaulicht ein Kompositbild P1 in einem Fall, in dem ein Benachrichtigungsbild nicht hervorgehoben angezeigt wird, und 1C veranschaulicht ein Kompositbild P2 in einem Fall, in dem eine Anzeige hervorgehoben ausgeführt wird. In den Beispielen in 1B oder 1C setzt die Kompositionseinheit 160 ein Benachrichtigungsbild Ps mit einem Überblickbild zusammen, in dem ein Fahrzeug von direkt darüber betrachtet wird. Zusätzlich ist ein Bereichsbild R, wie in 1B oder 1C veranschaulicht, ein Bild, das einen Erfassungsbereich des Radargeräts 30 angibt. Einzelheiten eines Bereichsbildes R werden später unter Verwendung von 5 bis 7 beschrieben.
In einem Kompositbild P1, wie in 1B veranschaulicht, wird ein Benachrichtigungsbild Ps mit einer dünnen Linie dargestellt. Andererseits wird, in einem Kompositbild P2, wie in 1C veranschaulicht, ein Benachrichtigungsbild Ps hervorgehoben mit einer dicken Linie dargestellt. Weiterhin wird in 1C ein Mast S, der ein Hindernis ist, über einem Benachrichtigungsbild Ps dargestellt und versetzt von einer tatsächlichen Position des Hindernisses (Darstellungsposition eines Benachrichtigungsbildes Ps).
Dementsprechend besteht, wenn ein Benutzer einen Mast S auf einem Kompositbild P2 bestätigt, eine Möglichkeit des falschen Erkennens, dass der Mast S weiter entfernt ist als seine tatsächliche Position und der Bewegung eines Fahrzeugs nach vorne. Es wird daher, wie in 1C veranschaulicht, ein Benachrichtigungsbild Ps hervorgehoben auf einem Kompositbild P2 angezeigt, so dass ein Benutzer benachrichtigt wird, dass ein Hindernis in einer Umgebung existiert und ein Kollisionsrisiko hoch ist. Dadurch ist es einem Benutzer möglich, eine Position eines Hindernisses genauer zu erkennen.
Das Anzeigegerät 50 enthält zum Beispiel ein Display und zeigt ein Kompositbild P1 oder P2 an, das von der Kompositionseinheit 160 generiert wird. Dadurch ist es möglich, einem Benutzer ein Hindernis zu präsentieren.
Somit setzt die Bildverarbeitungsvorrichtung 10 nach einer Ausführungsform ein Fahrzeugbild und ein Benachrichtigungsbild Ps mit einem virtuellen Standortbild zusammen. Hierbei verändert die Bildverarbeitungsvorrichtung 10 ein Anzeigeformat eines Benachrichtigungsbildes Ps in Abhängigkeit davon, ob ein Hindernis an einer Position, die höher als eine Bodenfläche ist, existiert oder nicht. Dadurch ist es einem Benutzer möglich, eine Position eines Hindernisses leicht zu bestätigen.
Einzelheiten zu dem Hindernispräsentationssystem
Als nächstes werden Einzelheiten des Hindernispräsentationssystems 1 gemäß einer Ausführungsform unter Bezugnahme auf 2 bis 9 beschrieben. 2 ist ein Blockdiagramm, das eine Konfiguration des Hindernispräsentationssystems 1 nach einer Ausführungsform veranschaulicht. Zusätzlich wird in 2 eine Komponente, die für das Beschreiben einer Ausführungsform benötigt wird, durch einen Funktionsblock repräsentiert und eine Beschreibung einer allgemeinen Komponente wird ausgelassen.
Mit anderen Worten ist jede in 2 veranschaulichte Komponente funktional konzeptionell und muss nicht wie in den Zeichnungen veranschaulicht physisch konfiguriert werden. Eine spezifische Konfiguration der Dispersion oder Integration der jeweiligen Funktionsblöcke ist zum Beispiel nicht auf das in den Zeichnungen Veranschaulichte beschränkt und es ist möglich, es in einer beliebigen zu konfigurierenden Einheit in Abhängigkeit von diversen Arten von Lasten oder Verwendungen oder dergleichen insgesamt oder zum Teil physisch zu dispergieren oder zu integrieren.
Wie in 2 veranschaulicht, enthält das Hindernispräsentationssystem 1 eine Bildaufnahmevorrichtung 20, eine Radarvorrichtung 30, einen Sensor 40, eine Bildverarbeitungsvorrichtung 10 und eine Anzeigevorrichtung 50.
Bildaufnahmevorrichtung
Die Bildaufnahmevorrichtung 20 weist zum Beispiel mehrere Kameras am Fahrzeug 20a bis 20d mit einem bildaufnehmendem Element auf, wie etwa ein Charge Coupled Device (CCD) oder ein Complementary Metal Oxide Semiconductor (CMOS). Die Bildaufnahmevorrichtung 20 gibt die aufgenommenen Bilder, die von den Kameras am Fahrzeug 20a bis 20d aufgenommen wurden, an die Bildverarbeitungsvorrichtung 10 aus.
Kamera am Fahrzeug 20a ist zum Beispiel, wie in 3 veranschaulicht, an einer Vorderseite eines Fahrzeugs C angeordnet und die Kamera am Fahrzeug 20b ist an einer Rückseite des Fahrzeugs C angeordnet. Des Weiteren ist Kamera am Fahrzeug 20c an einer rechten Seite des Fahrzeugs C angeordnet und die Kamera am Fahrzeug 20d ist an einer linken Seite des Fahrzeugs C angeordnet. Die Kameras am Fahrzeug 20a bis 20d führen Bildaufnahmen aus, wobei die Bildaufnahmerichtungen eine Vorderseite, eine Rückseite, eine rechte Seite und eine linke Seite eines Fahrzeugs sind. Zusätzlich ist 3 ein Diagramm, das ein Beispiel der Anordnung der Bildaufnahmevorrichtung 20 veranschaulicht.
Des Weiteren werden als Objektive der Kameras am Fahrzeug 20a bis 20d ein Weitwinkelobjektiv, wie etwa ein Fisheye-Objektiv, eingesetzt und jede der Kameras am Fahrzeug 20a bis 20d hat einen Blickwinkel, der größer oder gleich 180 Grad ist. Die Kameras am Fahrzeug 20a bis 20d werden derart verwendet, dass es möglich ist, eine Bildaufnahme einer gesamten Peripherie eines Fahrzeugs C auszuführen. Weiterhin ist die Anordnung bzw. Anzahl der Kameras am Fahrzeug 20a bis 20d, wie in 3 veranschaulicht, beispielhaft und nicht darauf beschränkt. Solange es möglich ist, ein Bild einer Umgebung eines Fahrzeugs C aufzunehmen, kann die Anzahl der Kameras am Fahrzeug mehr oder weniger als vier sein.
Radarvorrichtung
Die Radarvorrichtung 30 enthält zum Beispiel mehrere Mikrowellenfrequenzradare 30a bis 30d. Die Mikrowellenfrequenzradare 30a bis 30d sind an einer Vorderseite eines Fahrzeugs C angeordnet, wie in 3 veranschaulicht, und erfassen ein Hindernis, das vor dem Fahrzeug C existiert. Die Radarvorrichtung 30 erfasst Positionsinformationen, wie etwa eine Distanz oder eine Azimutrichtung von einem Fahrzeug C zu einem Hindernis. Die Radarvorrichtung 30 gibt die erfassten Positionsinformationen an die Bildverarbeitungsvorrichtung 10 aus.
Weiterhin ist die Anordnung bzw. Anzahl der Radarvorrichtung 30, wie in 3 veranschaulicht, beispielhaft und nicht darauf beschränkt. Eine Radarvorrichtung kann zum Beispiel auch an einer Rückseite eines Fahrzeugs C bereitgestellt werden, um ein Hindernis hinter dem Fahrzeug C zu erfassen. Weiterhin kann die Anzahl der Mikrowellenfrequenzradare, die an einer Vorderseite eines Fahrzeugs C angeordnet sind, mehr oder weniger als vier sein.
Bildverarbeitungsvorrichtung
Die Bildverarbeitungsvorrichtung 10, wie in 2 veranschaulicht, führt eine Koordinatentransformation des aufgenommenen Bildes, das von der Bildaufnahmevorrichtung 20 aufgenommen wurde, aus, um ein virtuelles Betrachtungspunktbild zu erzeugen. Die Bildverarbeitungsvorrichtung 10 setzt eine Bewegungsvorhersagelinie eines Fahrzeugs C, ein Fahrzeugbild, ein Benachrichtigungsbild oder dergleichen mit einem virtuellen Standortbild zusammen und gibt es an das Anzeigegerät 50 aus.
Die Bildverarbeitungsvorrichtung 10 ist ein Mikrocomputer mit einer zentralen Verarbeitungseinheit (Central Processing Unit; CPU), einer Speichereinheit 170 und dergleichen. Die Bildverarbeitungsvorrichtung 10 ist beispielsweise in einer elektrischen Steuereinheit (Electric Control Unit; ECU) installiert.
Ein CPU der Bildverarbeitungsvorrichtung 10 liest beispielsweise ein Programm, das in einem ROM gespeichert ist, und führt es aus, und arbeitet dadurch als eine Bildakquisitionseinheit 110, eine Informationsakquisitionseinheit 120, eine Generierungseinheit 130, eine Bewegungsvorhersageeinheit 140, eine Anzeigesteuereinheit 150, eine Kompositionseinheit 160 und eine Festlegungseinheit 180.
Des Weiteren ist es auch möglich, die Bildakquisitionseinheit 110, die Informationsakquisitionseinheit 120, die Generierungseinheit 130, die Bewegungsvorhersageeinheit 140, die Anzeigesteuereinheit 150, die Kompositionseinheit 160 und/oder die Festlegungseinheit 180 Hardware so wie eine applikationsspezifische integrierte Schaltung (Application Specific Integrated Circuit; ASIC) oder ein feldprogrammiertes Gate-Array (Field Programmable Gate Array; FPGA) zusammenzustellen.
Bildakquisitionseinheit
Die Bildakquisitionseinheit 110 akquiriert sequenziell ein aufgenommenes Bild, das von der Bildaufnahmevorrichtung 20 aufgenommen wurde. Ein aufgenommenes Bild, das von der Bildakquisitionseinheit 110 akquiriert wurde, enthält aufgenommene Bilder, die von den Kameras am Fahrzeug 20a bis 20d (siehe 3) der Bildaufnahmevorrichtung 20 aufgenommen wurden. Die Bildakquisitionseinheit 110 gibt ein akquiriertes aufgenommenes Bild an die Generierungseinheit 130 aus.
Informationsakquisitionseinheit
Die Informationsakquisitionseinheit 120 akquiriert von der Radarvorrichtung 30 Positionsinformationen, die eine erfasste Position eines Hindernisses, das in einer Peripherie eines Fahrzeugs C existiert, enthalten. Die Informationsakquisitionseinheit 120 gibt die akquirierten Positionsinformationen an die Anzeigesteuereinheit 150 aus.
Generierungseinheit
Die Generierungseinheit 130 führt einen Koordinatentransformationsprozess für ein aufgenommenes Bild, das von der Bildakquisitionseinheit 110 akquiriert wurde, durch und generiert dadurch ein virtuelles Betrachtungspunktbild, in dem eine Umgebung eines Fahrzeugs C von einem beliebigen virtuellen Betrachtungspunkt aus betrachtet wird. Zusätzlich wird solch ein virtueller Betrachtungspunkt durch eine Betrachtungspunktfestlegungseinheit 155 der Anzeigesteuereinheit 150 wie später beschrieben festgelegt.
Die Generierungseinheit 130 projiziert beispielsweise (bildet ab) ein aufgenommenes Bild als ein Koordinatentransformationsprozess auf eine vorbestimmte Projektionsfläche und veranlasst ein Bild einer Region, die in einem vorbestimmten Blickwinkel enthalten ist, wenn dieser von einem beliebigen virtuellen Betrachtungspunkt aus betrachtet wird, unter den aufgenommenen Bildern, die auf die vorbestimmte Projektionsfläche projiziert wurden, ein virtuelles Betrachtungspunktbild zu sein.
Die Generierungseinheit 130 speichert zum Beispiel eine Tabelle, die eine Korrespondenzbeziehung zwischen Positionen von Daten, die in einem aufgenommenen Bild enthalten sind, und eine Position einer vorbestimmten Projektionsfläche angeben, und projiziert die Daten, die in einem aufgenommenen Bild enthalten sind, auf die vorbestimmte Projektionsfläche an einer entsprechenden Position durch Verwendung solch einer Tabelle.
Solch eine vorbestimmte Projektionsfläche hat beispielsweise eine im Wesentlichen hemisphärische Form (zum Beispiel eine Schalenform), wobei deren zentrale Region (zum Beispiel ein Unterteil einer Schale) sich an einer Position eines Fahrzeugs C befindet und eine Außenseite einer Position des Fahrzeugs C (zum Beispiel ein anderer Teil als ein Unterteil einer Schale) einer Region einer Umgebung des Fahrzeugs C entspricht. Weiterhin muss eine vorbestimmte Projektionsfläche keine gekrümmte Fläche haben und kann beispielsweise eine planare Fläche aufweisen.
Die Generierungseinheit 130 gibt ein generiertes virtuelles Betrachtungspunktbild an die Kompositionseinheit 160 aus.
Bewegungsvorhersageeinheit
Die Bewegungsvorhersageeinheit 140 sagt einen Bewegungsverlauf eines Fahrzeugs C auf Grundlage eines Resultats einer Ausgabe des Sensors 40 voraus. Die Bewegungsvorhersageeinheit 140 sagt einen Bewegungsverlauf eines Fahrzeugs C voraus, zum Beispiel in einem Fall, in dem eine Geschwindigkeit des Fahrzeugs C kleiner oder gleich einem vorbestimmten Wert ist. Der Sensor 40 enthält zum Beispiel einen Steuersensor, der einen Steuerwinkel erfasst, oder einen Schaltsensor, der einen Schaltzustand erfasst.
Die Bewegungsvorhersageeinheit 140 sagt eine Bewegungsrichtung eines Fahrzeugs C auf Grundlage eines Schaltzustands voraus. Die Bewegungsvorhersageeinheit 140 sagt zum Beispiel voraus, dass eine Bewegungsrichtung eines Fahrzeugs C vorwärts ist, wenn ein Schaltzustand des Fahrzeugs C „Drive“ ist.
Die Bewegungsvorhersageeinheit 140 sagt einen Bewegungswinkel eines Fahrzeugs C auf Grundlage eines Steuerwinkels voraus. Die Bewegungsvorhersageeinheit 140 sagt zum Beispiel aus einem Steuerwinkel, einer Dimension und einem Wenderadius des Fahrzeug C oder dergleichen einen Bewegungswinkel voraus wenn ein Fahrzeug C sich zu bewegen beginnt.
Die Bewegungsvorhersageeinheit 140 sagt, wenn ein Fahrzeug C sich zu bewegen beginnt, auf Grundlage einer Bewegungsrichtung und eines Bewegungswinkels, die vorhergesagt wurden, einen vorhergesagten Kurs voraus. Die Bewegungsvorhersageeinheit 140 gibt einen vorhergesagten Kurs an die Anzeigesteuereinheit 150 aus.
Festlegungseinheit
Die Festlegungseinheit 180 legt auf Grundlage von Positionsinformationen des Hindernisses, die von der Informationsakquisitionseinheit 120 akquiriert werden, und einem virtuellen Betrachtungspunktbild, das von der Generierungseinheit 130 generiert wird, fest, ob ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert oder nicht.
Ein Festlegungsprozess, der von der Festlegungseinheit 180 ausgeführt wird, wird unter Bezugnahme auf 4A und 4B beschrieben. 4A und 4B sind Diagramme, die ein Beispiel eines Festlegungsprozesses veranschaulichen, der von der Festlegungseinheit 180 gemäß einer Ausführungsform ausgeführt wird.
Es wird ein Fall beschrieben, in dem ein Hindernis S vor einem Fahrzeug C und an einer Position, die höher als eine Bodenfläche ist, existiert, wie in 4A veranschaulicht. In solch einem Fall legt die Festlegungseinheit 180 fest, ob ein Hindernis S an einer Position P, die von der Radarvorrichtung 30 (die auch als eine tatsächliche Position P beschrieben wird) auf einem virtuellen Betrachtungspunktbild, in dem Fahrzeug C direkt von oben betrachtet wird, wie in 4B veranschaulicht, existiert oder nicht. Die Festlegungseinheit 180 erfasst, beispielsweise durch Verwendung von Musterabgleich, Randerfassung oder dergleichen, aus dem virtuellen Betrachtungspunktbild ein Hindernis S, das in einem virtuellen Betrachtungspunktbild erscheint.
In einem Fall, in dem eine Position eines Hindernisses S, das in einem virtuellen Betrachtungspunktbild erscheint, sich von einer tatsächlichen Position P, die von der Radarvorrichtung 30 erfasst wird, wie in 4B veranschaulicht, unterscheidet, legt die Festlegungseinheit 180 fest, dass das Hindernis S an einer Position auf oder über einer vorbestimmten Höhe von der Bodenfläche existiert.
Andererseits legt die Festlegungseinheit 180, in einem Fall, in dem eine Position eines erfassten Hindernisses S mit einer tatsächlichen Position P, die von der Radarvorrichtung 30 erfasst wird, identisch ist, fest, dass das Hindernis an einer Position existiert, die niedriger ist als eine vorbestimmte Höhe von einer Bodenfläche. Die Festlegungseinheit 180 gibt ein Resultat der Festlegung an die Anzeigesteuereinheit 150 aus.
Zusätzlich wendet die Festlegungseinheit 180 hierin einen Prozess, wie etwa Musterabgleich oder Randerfassung, auf ein virtuelles Betrachtungspunktbild an, um ein Hindernis S aus dem virtuellen Betrachtungspunktbild zu erfassen und ist nicht darauf beschränkt. In einem Fall, in dem es zum Beispiel für die Radarvorrichtung 30 auch möglich ist, eine Höhe eines Hindernisses S zu erfassen, kann auf Grundlage einer Höhe, die von der Radarvorrichtung 30 erfasst wird, festgelegt werden, ob das Hindernis S an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert oder nicht.
Des Weiteren kann die Festlegungseinheit 180 nur einen vorbestimmten Bereich eines virtuellen Betrachtungspunktbildes absuchen, das eine tatsächliche Position P enthält, um ein Hindernis S zu erfassen. Ein Hindernis S wird somit aus einem vorbestimmten Bereich eines virtuellen Betrachtungspunktbildes erfasst, so dass es möglich ist, eine Verarbeitungsmenge eines Erfassungsprozesses, der von der Festlegungseinheit 180 ausgeführt wird, zu reduzieren.
Anzeigesteuereinheit
Die Anzeigesteuereinheit 150 legt ein Bild fest, das von der Kompositionseinheit 160 mit einem virtuellen Betrachtungspunktbild derart zusammengesetzt wird, dass ein Anzeigebild, das auf dem Anzeigegerät 50 dargestellt wird, gesteuert wird. Die Anzeigesteuereinheit 150 legt fest, dass eine Bewegungsvorhersagelinie, ein Fahrzeugbild, ein Benachrichtigungsbild Ps und/oder ein Bereichsbild, das einen Erfassungsbereich für ein Hindernis angibt, mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird. Des Weiteren legt die Anzeigesteuereinheit 150 ein Anzeigeformat eines zusammenzustellenden Bildes fest, wie etwa eine Anzeigefarbe oder ein Vorliegen oder Fehlen einer hervorgehobenen Anzeige.
Die Anzeigesteuereinheit 150 enthält eine Vorhersagelinienfestlegungseinheit 151, eine Bereichsbildfestlegungseinheit 152, eine Benachrichtigungsbildfestlegungseinheit 153 und eine Betrachtungspunktpositionsfestlegungseinheit 155.
In einem Fall, in dem die Bewegungsvorhersageeinheit 140 einen Vorhersageverlauf vorhersagt, legt die Vorhersagelinienfestlegungseinheit 151 fest, dass eine Bewegungsvorhersagelinie, die einen vorhergesagten Verlauf angibt, mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird, um festzulegen, dass eine Bewegungsvorhersagelinie auf dem Anzeigegerät 50 dargestellt wird. Es wird zum Beispiel angenommen, dass die Bewegungsvorhersageeinheit 140 einen Kurs vorhersagt, wenn ein Fahrzeug C nach links abbiegt. In solch einem Fall legt die Vorhersagelinienfestlegungseinheit 151 fest, dass eine Bewegungsvorhersagelinie L1, die von einem rechten Vorderrad eines Fahrzeugs C aus verläuft, mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird.
Die Bereichsbildfestlegungseinheit 152 legt fest, dass ein Bereichsbild R, das einen Erfassungsbereich der Radarvorrichtung 30 angibt, auf dem Anzeigegerät 50 dargestellt wird.
Zuerst wird ein Bereichsbild R unter Verwendung von 5 bis 7 beschrieben. 5 bis 7 sind Diagramme zur Veranschaulichung eines Bereichsbildes R nach einer Ausführungsform. Zuerst wird eine Form eines Bereichsbildes R unter Verwendung von 5 und 6 beschrieben.
Wie in 5 veranschaulicht enthält Bereichsbild R mehrere Bereiche Ra bis Rd. Jeweilige Bereiche Ra bis Rd entsprechen jeweiligen Erfassungsbereichen von Mikrowellenfrequenzradaren 30a bis 30d. Wie in 5 veranschaulicht, gibt ein Bereichsbild R Grenzlinien der jeweiligen Bereiche Ra bis Rd an. Dadurch ist es möglich, jeden der Erfassungsbereiche der Mikrowellenfrequenzradare 30a bis 30d visuell zu bestätigen.
Des Weiteren werden, wie in 5 veranschaulicht, Bereiche Ra bis Rd als konzentrisch kreisförmige und fächerförmige Bereiche repräsentiert. Hierbei scheint ein Bereichsbild R, da ein tatsächlicher Erfassungsbereich auf einem virtuellen Betrachtungspunktbild dargestellt wird, so, dass er zu einer Form eines Fahrzeugs C passt, wie in 6 veranschaulicht, als eine Wand vor dem Fahrzeug C zu stehen. Dementsprechend ist ein Mittelpunktswinkel θ einer Fächerform, wie in 5 veranschaulicht, kleiner als ein Mittelpunktswinkel θ1 eines Bereichsbildes R, wie in 6 veranschaulicht, so dass Fächerformen der Bereiche Ra bis Rd betont werden. Dadurch ist es der Bildverarbeitungsvorrichtung 10 möglich, ein Bereichsbild R auf einem virtuellen Betrachtungspunktbild auf eine Weise darzustellen, dass es auf einer Bodenfläche dargestellt wird.
Wenn somit ein Bereichsbild R in einem vorbestimmten Winkel auf einem virtuellen Betrachtungspunktbild dargestellt wird, verändert sich solch ein vorbestimmter Winkel auf Basis einer Position eines Hindernisses oder einer Positionsbeziehung zwischen einem Fahrzeug C und dem Bereichsbild R. Dadurch ist es möglich, ein Bereichsbild R einem Benutzer ordnungsgemäß zu präsentieren.
Zusätzlich ist ein Bereichsbild R, wie in 5 veranschaulicht, ein Bereich, über den ein Benutzer in einem Fall benachrichtigt wird, in dem die Radarvorrichtung 30 ein Hindernis erfasst, und kann sich von einem Bereich unterscheiden, in dem die Radarvorrichtung 30 fähig ist, ein Hindernis tatsächlich zu erfassen. Das bedeutet, die Anzeigesteuereinheit 150 benachrichtigt einen Benutzer über ein Hindernis in einem Fall, in dem solch ein Hindernis in Bereichen Ra bis Rd enthalten ist, auf Grundlage von Positionsinformationen, die von der Informationsakquisitionseinheit 120 akquiriert werden. Solch eine Angelegenheit wird später unter Verwendung von 8 beschrieben.
Des Weiteren enthält ein Bereichsbild R, wie in 5 veranschaulicht, vier Bereiche Ra bis Rd und ist nicht darauf beschränkt. Die Anzahl der Bereiche, die in einem Bereichsbild R enthalten sind können mehr oder weniger als vier sein.
Als nächstes wird ein Anzeigeformat eines Bereichsbildes R unter Verwendung von 7 beschrieben. Wie in 7 veranschaulicht, wird ein Inneres jedes der Bereiche Ra bis Rd in schwarzer Farbe dargestellt. Hierbei wird das Innere der Bereiche Ra bis Rd veranlasst, transparent zu sein. Dadurch ist es möglich, leicht ein virtuelles Betrachtungspunktbild zu bestätigen, das auf den Bereichen Ra bis Rd überlagert ist. Des Weiteren veranschaulicht 7 Grenzlinien der Bereiche Ra bis Rd mit einer schwarzen Farbe und die Grenzlinien der Bereiche Ra bis Rd werden beispielsweise mit einer weißen Farbe veranschaulicht, beispielsweise in einem Fall, in dem eine Hintergrundfarbe dunkel ist. Dadurch ist es möglich, leichter visuellen Kontakt mit Bereichen Ra bis Rd zu haben. Des Weiteren kann dem, da eine Grenzlinie mit einer weißen Farbe angezeigt wird, eine sogenannte leuchtsignalartige Anzeige, bei der die Anzeige radial und mit einer schrittweise erleuchtenden Farbe über einem vorbestimmten Bereich in Richtung einer Außenseite der Bereiche Ra bis Rd ausgeführt ist, hinzugefügt werden. In solch einem Fall wird eine Grenzlinie derart betont, dass es möglich ist, Bereiche Ra bis Rd eindeutiger festzustellen.
Es wird erneut auf 2 Bezug genommen. In einem Fall, in dem die Informationsakquisitionseinheit 120 Positionsinformationen eines Hindernisses akquiriert, das heißt, einem Fall, in dem ein Hindernis in einer Umgebung eines Fahrzeugs C existiert, legt die Benachrichtigungsbildfestlegungseinheit 153 fest, dass ein Benachrichtigungsbild Ps auf dem Anzeigegerät 50 dargestellt wird.
Die Benachrichtigungsbildfestlegungseinheit 153 legt fest, dass ein Benachrichtigungsbild Ps an einer Position auf einem virtuellen Betrachtungspunktbild, auf Grundlage von Positionsinformationen, die von der Informationsakquisitionseinheit 120 akquiriert werden, dargestellt wird, an der ein Hindernis existiert.
Zuerst legt die Benachrichtigungsbildfestlegungseinheit 153 fest, wo ein Hindernis in einem Erfassungsbereich positioniert ist. Insbesondere teilt die Anzeigesteuereinheit 150 Bereiche Ra bis Rd, die in einem Erfassungsbereich enthalten sind, in mehrere Regionen auf und legt fest, in welcher aufgeteilten Region ein Hindernis existiert. In 8 zum Beispiel wird ein Bereich Ra oder Rb in vier Regionen aufgeteilt und ein Bereich Rc oder Rd wird in fünf Regionen aufgeteilt. Zusätzlich ist 8 ein Diagramm zur Veranschaulichung eines Benachrichtigungsbildes Ps nach einer Ausführungsform.
Hierin ist in jeder Region Ra1 eines Bereichs Ra, einer Region Rb4 eines Bereichs Rb, einer Region Rc2 eines Bereichs Rc und eine Region Rd3 eines Bereichs Rd ein Hindernis positioniert, wie in 8 veranschaulicht. Zusätzlich werden Hindernispositionen von Punkten S1 bis S4 in 8 veranschaulicht. In solch einem Fall legt die Benachrichtigungsbildfestlegungseinheit 153 jede der Regionen Ra1, Rb4, Rc2 und Rd3 als eine Region zur Anzeige eines Benachrichtigungsbildes Ps darauf fest.
Die Benachrichtigungsbildfestlegungseinheit 153 veranlasst, dass ein Bild, in dem jede der Regionen Ra1, Rb4, Rc2 und Rd3 mit einer vorbestimmten Anzeigefarbe gefüllt ist, ein Benachrichtigungsbild Ps ist. Die Benachrichtigungsbildfestlegungseinheit 153 verändert solch eine Anzeigefarbe in Abhängigkeit von einer Distanz zu einem Hindernis.
Die Benachrichtigungsbildfestlegungseinheit 153 legt, da ein Bereich Ra in 8 als ein Beispiel beschrieben ist, beispielsweise fest, dass eine Anzeigefarbe eines Benachrichtigungsbildes Ps eine rote Farbe ist, da ein hohes Risiko in einem Fall besteht, in dem ein Hindernis in einer Region Ra1 oder Ra2 in der Nähe eines Fahrzeugs C unter den Regionen Ra1 bis Ra4 des Bereichs Ra existiert. Des Weiteren legt die Benachrichtigungsbildfestlegungseinheit 153 eine Anzeigefarbe eines Benachrichtigungsbildes Ps als eine gelbe Farbe fest, da in einem Fall ein niedriges Risiko besteht, in dem ein Hindernis in einer Region Ra3 oder Ra4 entfernt von einem Fahrzeug C existiert.
Wie in 7 veranschaulicht liegt eine Region Ra1 oder Rc2 nahe an einem Fahrzeug C und somit legt die Benachrichtigungsbildfestlegungseinheit 153 eine Anzeigefarbe eines Benachrichtigungsbildes Ps1 oder Ps2, die in einer Region Ra1 oder Rc2 angezeigt wird, als eine rote Farbe fest. Andererseits ist eine Region Rd3 oder Rb4 von einem Fahrzeug C entfernt und somit legt die Benachrichtigungsbildfestlegungseinheit 153 eine Anzeigefarbe eines Benachrichtigungsbildes Ps3 oder Ps4, das in einer Region Rd3 oder Rb4 angezeigt wird, als eine gelbe Farbe fest.
Hierbei kann die Bereichsbildfestlegungseinheit 152 beispielsweise eine Anzeigefarbe eines Bereichs Ra, der eine Region Ra2 enthält, als eine rote Farbe festlegen, die identisch mit einer Anzeigefarbe eines Benachrichtigungsbildes Ps ist. Dadurch ist es möglich, einen Benutzer über die Existenz eines Hindernisses mit einem hohen Risiko zu benachrichtigen, um den Aufmerksamkeitsgrad in Hinblick darauf zu erhöhen.
Des Weiteren kann für Regionen Rc und Rd wie in 7 und 8 veranschaulicht, veranlasst werden, dass das Innere der Regionen mit Ausnahmen der äußeren Rahmenlinien transparent ist. In solch einem Fall ist es möglich, auf ein Hindernis Bezug zu nehmen, das auf eine Region Rc oder Rd überlagert ist. Des Weiteren kann eine Abstufung von einem Zentrum zu einer äußeren Rahmenlinie auf eine Farbe der Rahmenlinien der Regionen Rc und Rd angewendet werden. In solch einem Fall ist es möglich, leicht auf einen äußeren Bereich der Regionen Rc und Rd Bezug zu nehmen. Zusätzlich ist es vorzuziehen, Transparenz oder Abstufung insbesondere auf einen Teil außerhalb der Bereiche Ra und Rb anzuwenden. Grund dafür ist, dass solch ein Teil leicht auf ein Hindernis überlagert werden kann.
Des Weiteren stellt die Benachrichtigungsbildfeststellungseinheit 153 fest, ob ein Benachrichtigungsbild Ps auf Grundlage von Positionsinformationen eines Hindernisses hervorgehoben dargestellt wird. In einem Fall, in dem auf Grundlage von Positionsinformationen eines Hindernisses festgelegt wird, dass ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert, zeigt die Benachrichtigungsbildfestlegungseinheit 153 eine Grenzlinie eines Benachrichtigungsbildes Ps mit einer dicken Linie an, so dass das Benachrichtigungsbild Ps hervorgehoben dargestellt wird. Des Weiteren legt die Benachrichtigungsbildfestlegungseinheit 153 auf Grundlage eines Resultats der Festlegung durch die Festlegungseinheit 180 fest, ob ein Benachrichtigungsbild Ps hervorgehoben dargestellt wird oder nicht. In einem Fall, in dem die Festlegungseinheit 180 festlegt, dass ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe von einer Bodenfläche existiert, stellt die Benachrichtigungsbildfestlegungseinheit 152 eine Grenzlinie eines Benachrichtigungsbild Ps mit einer dicken Linie dar, so dass das Benachrichtigungsbild Ps hervorgehoben dargestellt wird.
Alternativ kann die Benachrichtigungsbildfestlegungseinheit 153 blinken und ein Benachrichtigungsbild Ps darstellen, um das Benachrichtigungsbild Ps hervorgehoben darzustellen. Des Weiteren kann die Benachrichtigungsbildfestlegungseinheit 153 Graustufen einer Anzeigefarbe eines Benachrichtigungsbildes Ps auf Grundlage einer Höhe eines Hindernisses verändern. In solch einem Fall stellt die Benachrichtigungsbildfestlegungseinheit 153 ein Benachrichtigungsbild Ps dar, so dass es mit Zunehmen einer Position, an der ein Hindernis existiert, tiefer wird.
Des Weiteren kann die Benachrichtigungsbildfestlegungseinheit 153 ein Benachrichtigungsbild Ps in einer roten Farbe darstellen, wenn ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe existiert, selbst in einer Region, die üblicherweise in einer gelben Farbe dargestellt wird, zum Beispiel eine Region Rd3 oder Rb4.
Es wird erneut auf 2 Bezug genommen. Die Betrachtungspunktpositionsfestlegungseinheit 155 legt eine virtuelle Betrachtungspunktposition eines virtuellen Betrachtungspunktbildes, das auf dem Anzeigegerät 50 angezeigt wird, auf Grundlage eines Vorhersageverlaufs der Bewegungsvorhersageeinheit 140 fest.
In einem Fall, in dem die Bewegungsvorhersageeinheit 140 zum Beispiel vorhersagt, dass ein Fahrzeug C sich in einer geraden Linie bewegt, legt die Betrachtungspunktpositionsfestlegungseinheit 155 eine virtuelle Betrachtungspunktposition (direkt) über dem Fahrzeug C fest.
Kompositionseinheit
Die Kompositionseinheit 160 setzt eine Bewegungsvorhersagelinie oder dergleichen mit einem virtuellen Betrachtungspunktbild zusammen, das von der Generierungseinheit 130 gemäß der Festlegung durch die Anzeigesteuereinheit 150 generiert wurde, um ein Kompositbild zu generieren.
In einem Fall, in dem zum Beispiel ein Hindernis in einer Umgebung eines Fahrzeugs C existiert, setzt die Kompositionseinheit 160 eine Bewegungsvorhersagelinie, ein Bereichsbild R, ein Benachrichtigungsbild Ps und ein Fahrzeugbild mit einem virtuellen Betrachtungspunktbild zusammen. In solch einem Fall stellt die Kompositionseinheit 160 ein Benachrichtigungsbild Ps in einem Fall, in dem ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe existiert, gemäß einer Anweisung von der Anzeigesteuereinheit 150 hervorgehoben dar.
Ein Beispiel für ein Kompositbild, das von der Kompositionseinheit 160 generiert wird, wird unter Verwendung von 9 beschrieben. 9 ist ein Diagramm, das ein Beispiel eines Kompositbildes veranschaulicht, das von der Kompositionseinheit 160 gemäß einer Ausführungsform generiert wird. In einem Beispiel von 9 setzt die Kompositionseinheit 160 ein Benachrichtigungsbild Ps oder dergleichen mit einem virtuellen Betrachtungspunktbild zusammen, wobei ein Fahrzeug C direkt von oben betrachtet wird, um ein Kompositbild P4 zu generieren.
Wie in 9 veranschaulicht wird ein Kompositbild P4 mit einem Fahrzeugbild Pc, einer Bewegungsvorhersagelinie L1, einem Bereichsbild R und Benachrichtigungsbildern Ps11 bis Ps 13 zusammengesetzt. Des Weiteren wird ein Benachrichtigungsbild Ps12 hervorgehoben dargestellt. Weiterhin sind in 9 Führungslinien L2 und L3, die vorbestimmte Distanzen von einem Fahrzeug C angeben, damit zusammengesetzt. Die Bildverarbeitungsvorrichtung 10 kann somit eine andere Führungslinie als eine Bewegungsvorhersagelinie L1 darstellen. Des Weiteren können die Benachrichtigungsbilder Ps11 bis Ps13 derart dargestellt werden, dass eine Breite von ihnen mit Annähern an ein Hindernis zunimmt. In solch einem Fall ist es möglich, leicht zu erkennen, dass ein Hindernis näher daran ist.
Andererseits setzt die Kompositionseinheit 160, in einem Fall, in dem in einer Umgebung eines Fahrzeugs C kein Hindernis existiert, damit eine Bewegungsvorhersagelinie L1, ein Bereichsbild R und ein Fahrzeugbild Pc zusammen, um ein Kompositbild zu generieren.
Zusätzlich setzt die Kompositionseinheit 160 ein Fahrzeugbild Pc oder ein Bereichsbild R mit einem virtuellen Betrachtungspunktbild auf Grundlage von zum Beispiel Fahrzeugbildinformationen 171 oder Bereichsbildinformationen 172, die in der Speichereinheit 170 gespeichert sind, zusammen.
Speichereinheit
Die Speichereinheit 170 speichert Informationen, die in einem Prozess verwendet werden für jede Einheit der Bildverarbeitungsvorrichtung 10, wie etwa die Fahrzeugbildinformationen 171 oder die Bereichsbildinformationen 172. Des Weiteren speichert die Speichereinheit 170 ein Resultat eines Prozesses für jede Einheit.
Die Speichereinheit 170 enthält zum Beispiel einen RAM oder eine HDD. Es ist zum Beispiel möglich, dass ein RAM oder eine HDD Informationen für verschiedene Arten von Programmen oder dergleichen in Abhängigkeit von einem Prozess speichert, der von jeder Einheit der Bildverarbeitungsvorrichtung 10 ausgeführt wird. Zusätzlich kann die Bildverarbeitungsvorrichtung 10 Informationen für verschiedene Arten von Programmen oder dergleichen über einen anderen Computer oder ein tragbares Aufzeichnungsmedium, das über ein verdrahtetes oder drahtloses Netzwerk verbunden ist, akquirieren.
Anzeigegerät
Das Anzeigegerät 50 ist zum Beispiel ein Display, das an einem Fahrzeug C angebracht ist. Das Anzeigegerät 50 stellt ein Anzeigebild dar, das von der Bildverarbeitungsvorrichtung 10 generiert wird. In einem Fall, in dem zum Beispiel ein (nicht veranschaulichtes) Navigationsgerät an einem Fahrzeug C angebracht ist, kann das Anzeigegerät 50 ein Display sein, das in solch einem Navigationsgerät enthalten ist.
Bildgenerierungsprozess
Als nächstes werden Verarbeitungsschritte eines Bildgenerierungsprozesses, der von der Bildverarbeitungsvorrichtung 10 gemäß einer Ausführungsform ausgeführt wird, unter Verwendung von 10 beschrieben. 10 ist ein Flussdiagramm, das Verarbeitungsschritte eines Bildgenerierungsprozesses, der von der Bildverarbeitungsvorrichtung 10 gemäß einer Ausführungsform ausgeführt wird, veranschaulicht.
Die Bildverarbeitungsvorrichtung 10 führt einen Bildgenerierungsprozess in 10 aus, beispielsweise in einem Fall, in dem ein Fahrzeug C sich in einer geraden Linie mit einer vorbestimmten Geschwindigkeit oder weniger bewegt.
Die Bildverarbeitungsvorrichtung 10 führt einen Bildgenerierungsprozess in 10 aus, beispielsweise in einem konstanten Intervall für die Bildaufnahmevorrichtung 20, zum Aufnehmen eines aufgenommenen Bildes. Weiterhin ist ein Intervall für das Bildverarbeitungssystem 10 zum Ausführen eines Bildgenerierungsprozesses nicht auf solch ein konstantes Intervall beschränkt. Die Bildverarbeitungsvorrichtung 10 kann einen Bildgenerierungsprozess zum Beispiel jedes Mal ausführen, wenn mehrere aufgenommene Bilder akquiriert werden; das heißt, in einem Zeitraum, der länger ist als solch ein konstantes Intervall.
Wie in 10 veranschaulicht akquiriert die Bildverarbeitungsvorrichtung 10 zuerst ein aufgenommenes Bild von der Bildaufnahmevorrichtung 220 (Schritt S101). Die Bildverarbeitungsvorrichtung 10 generiert ein virtuelles Betrachtungspunktbild auf Grundlage eines akquirierten aufgenommenen Bildes (Schritt S102).
Die Bildverarbeitungsvorrichtung 10 legt dann in Abhängigkeit davon, ob die Informationsakquisitionseinheit 120 Positionsinformationen akquiriert oder nicht, fest, ob ein Hindernis erfasst wird oder nicht (Schritt S103). In einem Fall, in dem kein Hindernis erfasst wird (Nein im Schritt S103), fährt die Bildverarbeitungsvorrichtung 10 mit Schritt S107 fort.
Ansonsten, in einem Fall, in dem ein Hindernis erfasst wird (Ja im Schritt S103), legt die Bildverarbeitungsvorrichtung 10 fest, ob ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe existiert (Schritt S104). In einem Fall, in dem ein Hindernis an einer Position existiert, die niedriger ist als eine vorbestimmte Höhe (Nein im Schritt S104), setzt die Bildverarbeitungsvorrichtung 10 ein Benachrichtigungsbild Ps mit einem virtuellen Betrachtungspunktbild zusammen (Schritt S105).
Ansonsten, in einem Fall, in dem ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe existiert (Ja im Schritt S104), stellt die Bildverarbeitungsvorrichtung 10 hervorgehoben ein Benachrichtigungsbild Ps dar und setzt es mit einem virtuellen Betrachtungspunktbild zusammen (Schritt S106).
Die Bildverarbeitungsvorrichtung 10 stellt eine Bewegungsvorhersagelinie L1 und ein Bereichsbild R mit einem virtuellen Betrachtungspunktbild zusammen (Schritt S107) und setzt ein Fahrzeugbild Pc damit zusammen, um ein Kompositbild zu generieren (Schritt S108). Die Bildverarbeitungsvorrichtung 10 gibt ein generiertes Kompositbild an das Anzeigegerät 50 aus, um das Kompositbild darzustellen (Schritt S109).
Weiterhin können die Reihenfolgen der Prozesse im Schritt S107 und Schritt S108 verändert werden.
Des Weiteren stellt die Bildverarbeitungsvorrichtung 10 hierin hervorgehoben ein Benachrichtigungsbild Ps in Abhängigkeit davon dar, ob ein Hindernis an einer Position auf oder über einer vorbestimmten Höhe existiert und ist nicht darauf beschränkt. In einem Fall, in dem ein Hindernis erfasst wird (Ja im Schritt S103), kann die Bildverarbeitungsvorrichtung 10 zum Beispiel mit Schritt S105 fortfahren und sofort hervorgehoben ein Benachrichtigungsbild Ps darstellen und es mit einem virtuellen Betrachtungspunktbild zusammenfügen. Das heißt, Schritt S104 und Schritt S105 können ausgelassen werden. Die Bildverarbeitungsvorrichtung 10 steuert ein Anzeigeformat eines Benachrichtigungsbildes Ps unabhängig von einer Höhe eines Hindernisses und auf Grundlage einer erfassten Position des Hindernisses, so dass es für einen Benutzer möglich ist, eine Position des Hindernisses leicht zu bestätigen.
Wie vorstehend beschrieben stellt das Hindernispräsentationssystem 1 nach einer Ausführungsform auf dem Anzeigegerät 50 ein Kompositbild dar, wenn ein Fahrzeugbild Pc und ein Benachrichtigungsbild Ps mit einem virtuellen Betrachtungspunktbild zusammengesetzt werden. Hierbei wird ein Benachrichtigungsbild Ps hervorgehoben in Abhängigkeit von einer Höhe, in der ein Hindernis existiert, dargestellt. Dadurch ist es einem Benutzer möglich, eine Position eines Hindernisses leicht zu bestätigen.
Effekt
Die Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform enthält die Bildakquisitionseinheit 110, die Informationsakquisitionseinheit 120, die Generierungseinheit 130, die Kompositionseinheit 160, die Festlegungseinheit 180 und die Anzeigesteuereinheit 150. Die Bildakquisitionseinheit 110 akquiriert ein aufgenommenes Bild, wenn ein Bild von einer Umgebung eines Fahrzeugs C von der Bildaufnahmevorrichtung 20 aufgenommen wird. Die Informationsakquisitionseinheit 120 akquiriert Positionsinformationen zu einer erfassten Position eines Hindernisses, das in einer Umgebung des Fahrzeugs C existiert. Die Generierungseinheit 130 generiert auf Grundlage des aufgenommenen Bildes ein virtuelles Betrachtungspunktbild, in dem eine Umgebung des Fahrzeugs C von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Kompositionseinheit 160 setzt ein Benachrichtigungsbild Ps zusammen, das eine Benachrichtigung über die Existenz des Hindernisses an der erfassten Position mit dem virtuellen Betrachtungspunktbild bereitstellt. Die Anzeigesteuereinheit 150 steuert, auf Grundlage der Positionsinformationen, ein Anzeigeformat des Benachrichtigungsbildes Ps, das mit dem virtuellen Betrachtungspunktbild zusammengesetzt ist.
Dadurch ist es einem Benutzer möglich, ein Hindernis leichter zu erkennen.
Die Anzeigesteuereinheit 150 der Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform stellt das Benachrichtigungsbild Ps auf Grundlage der Positionsinformationen hervorgehoben dar.
Dadurch ist es möglich, einen Benutzer über eine Position eines Hindernisses ordnungsgemäß zu benachrichtigen.
Die Informationsakquisitionseinheit 120 der Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform akquiriert Informationen zu einer erfassten Position von einer Erfassungsvorrichtung (Radarvorrichtung 30), die das Hindernis erfasst. Die Kompositionseinheit 160 setzt ein Bereichsbild R, das einen Erfassungsbereich der Erfassungsvorrichtung (Radarvorrichtung 30) angibt, mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es einem Benutzer möglich, einen Erfassungsbereich einer Erfassungsvorrichtung zu erkennen, so dass es möglich ist, leicht zu bestätigen, ob ein Hindernis erfasst wird oder nicht.
Die Kompositionseinheit 160 der Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform setzt das Bereichsbild R, das auf einer Bodenfläche gerendert zu sein scheint, mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es einem Benutzer möglich, einen Erfassungsbereich der Radarvorrichtung 30 leichter zu erkennen.
Die Kompositionseinheit 160 der Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform setzt das Bereichsbild R, das Grenzlinien der Erfassungsbereiche mehrerer der Erfassungsvorrichtungen (Mikrowellenfrequenzradare 30a bis 30d) enthält, mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es einem Benutzer möglich, Erfassungsbereiche der mehreren Mikrowellenfrequenzradare 30a bis 30d leichter zu erkennen.
Die Kompositionseinheit 160 der Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform setzt das Bereichsbild R mit dem virtuellen Betrachtungspunktbild innerhalb eines Bereichs eines vorbestimmten Winkels zusammen und verändert den vorbestimmten Winkel auf Grundlage der Positionsinformationen.
Dadurch ist es möglich, ein Bereichsbild R einem Benutzer ordnungsgemäß zu präsentieren.
Die Bildverarbeitungsvorrichtung 10 gemäß der vorstehenden Ausführungsform enthält ferner die Festlegungseinheit 180, die in einem Fall, in dem eine Anzeigeposition des Hindernisses auf dem virtuellen Betrachtungspunktbild sich von der erfassten Position unterscheidet, festlegt, dass das Hindernis an einer Position existiert, die höher als eine Bodenfläche ist. Die Anzeigesteuereinheit 150 steuert ein Anzeigeformat des Benachrichtigungsbildes Ps, das mit dem virtuellen Betrachtungspunktbild in einem Fall zusammengesetzt wird, in dem die Festlegungseinheit 180 festgelegt hat, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche.
Dadurch ist es der Bildverarbeitungsvorrichtung 10 möglich festzulegen, ob ein Hindernis an einer Position existiert, die höher als eine Bodenfläche ist. Des Weiteren steuert die Bildverarbeitungsvorrichtung 10 ein Anzeigeformat eines Benachrichtigungsbildes Ps auf Grundlage eines Resultats der Festlegung, so dass es möglich ist, die Benachrichtigung über ein Hindernis in Abhängigkeit von einem Risiko ordnungsgemäß auszuführen.

Claims

Bildverarbeitungsvorrichtung (10), umfassend: eine Bildakquisitionseinheit (110), die ein aufgenommenes Bild akquiriert, wenn ein Bild von einer Umgebung eines Fahrzeugs von einer Bildaufnahmevorrichtung (20) aufgenommen wird; eine Informationsakquisitionseinheit (120), die Positionsinformationen zu einer erfassten Position eines Hindernisses akquiriert, das in einer Umgebung des Fahrzeugs existiert, wobei die Informationsakquisitionseinheit (120) die Positionsinformationen von einer Erfassungsvorrichtung (30) akquiriert, die das Hindernis erfasst; eine Generierungseinheit (130), die, auf Grundlage des aufgenommenen Bildes, ein virtuelles Betrachtungspunktbild generiert, bei dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird; eine Kompositionseinheit (160), die ein Benachrichtigungsbild zusammensetzt, das eine Benachrichtigung über die Existenz des Hindernisses an der erfassten Position mit dem virtuellen Betrachtungspunktbild bereitstellt, wobei die Kompositionseinheit (160) ein Bereichsbild, das einen Erfassungsbereich der Erfassungsvorrichtung (30) angibt, mit dem virtuellen Betrachtungspunktbild zusammensetzt, entsprechend des Abstands zum Fahrzeug das Bereichsbild in eine Mehrzahl von Bereichen aufteilt und das Benachrichtigungsbild zur Anzeige in einem Bereich aus der Mehrzahl von Bereichen, welcher der erfassten Position des Hindernisses entspricht, erzeugt; eine Anzeigesteuereinheit (150), die, auf Grundlage der Positionsinformationen, ein Anzeigeformat des Benachrichtigungsbildes steuert, das mit dem virtuellen Betrachtungspunktbild zusammengesetzt ist; eine Festlegungseinheit (180), die in einem Fall, in dem eine Anzeigeposition des Hindernisses auf dem virtuellen Betrachtungspunktbild sich von der erfassten Position unterscheidet, festlegt, dass das Hindernis an einer Position existiert, die höher als eine Bodenfläche ist, wobei die Anzeigesteuereinheit (150) ein Anzeigeformat des Benachrichtigungsbildes steuert, das mit dem virtuellen Betrachtungspunktbild in einem Fall zusammengesetzt wird, in dem die Festlegungseinheit (180) festlegt, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, wobei, wenn festgelegt wird, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, das Benachrichtigungsbild hervorgehoben dargestellt wird.
Bildverarbeitungsvorrichtung (10) nach Anspruch 1, wobei die Kompositionseinheit (160) das Bereichsbild, das auf einer Bodenfläche gerendert zu sein scheint, mit dem virtuellen Betrachtungspunktbild zusammensetzt.
Bildverarbeitungsvorrichtung (10) nach Anspruch 1 oder 2, wobei die Kompositionseinheit (160) das Bereichsbild, das Grenzlinien der Erfassungsbereiche mehrerer der Erfassungsgeräte (30) enthält, mit dem virtuellen Betrachtungspunktbild zusammensetzt.
Bildverarbeitungsvorrichtung (10) nach Anspruch 1, 2 oder 3, wobei die Kompositionseinheit (160) das Bereichsbild mit dem virtuellen Betrachtungspunktbild innerhalb eines Bereichs eines vorbestimmten Winkels zusammensetzt und den vorbestimmten Winkel auf Grundlage der Positionsinformationen ändert.
Bildverarbeitungsverfahren, umfassend: Akquirieren (S101) eines aufgenommenen Bildes, wenn ein Bild von einer Umgebung eines Fahrzeugs von einer Bildaufnahmevorrichtung aufgenommen wird; Akquirieren (S103) von Positionsinformationen zu einer erfassten Position eines Hindernisses, das in einer Umgebung des Fahrzeugs existiert wobei die Positionsinformationen von einer Erfassungsvorrichtung (30) akquiriert werden, die das Hindernis erfasst; Generieren (S102), auf Grundlage des aufgenommenen Bildes, eines virtuellen Betrachtungspunktbildes, bei dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird; Zusammensetzen eines Benachrichtigungsbildes, das das Hindernis an der erfassten Position angibt, mit dem virtuellen Betrachtungspunktbild, und Zusammensetzen eines Fahrzeugbildes mit dem virtuellen Betrachtungspunktbild zum Generieren eines Kompositbildes, wobei ein Bereichsbild, das einen Erfassungsbereich der Erfassungsvorrichtung angibt, mit dem virtuellen Betrachtungspunktbild zusammengesetzt wird, entsprechend des Abstands zum Fahrzeug das Bereichsbild in eine Mehrzahl von Bereichen aufgeteilt wird und das Benachrichtigungsbild zur Anzeige in einem Bereich aus der Mehrzahl von Bereichen, welcher der erfassten Position des Hindernisses entspricht, erzeugt wird; und Steuern (S106), auf Grundlage der Positionsinformationen, eines Anzeigeformats des Benachrichtigungsbildes, das mit dem Kompositbild zusammengesetzt ist; Festlegen, in einem Fall, in dem eine Anzeigeposition des Hindernisses auf dem virtuellen Betrachtungspunktbild sich von der erfassten Position unterscheidet, dass das Hindernis an einer Position existiert, die höher als eine Bodenfläche ist, wobei ein Anzeigeformat des Benachrichtigungsbildes gesteuert wird, das mit dem virtuellen Betrachtungspunktbild in einem Fall zusammengesetzt wird, in dem festgelegt ist, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, wobei, wenn festgelegt wird, dass das Hindernis an einer Position existiert, die höher ist als die Bodenfläche, das Benachrichtigungsbild hervorgehoben angezeigt wird.