DE112019006103B4

DE112019006103B4 - Informationsanzeigesteuervorrichtung, Verfahren, Programm und Aufzeichnungsmedium

Info

Publication number: DE112019006103B4
Application number: DE112019006103.8T
Authority: DE
Inventors: Yoshihiro Tomaru
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2022-10-20
Anticipated expiration: 2039-01-11
Also published as: JPWO2020144798A1; US20210256760A1; CN113302661B; CN113302661A; DE112019006103T5; JP6827609B2; WO2020144798A1; US11580689B2

Abstract

Informationsanzeigesteuervorrichtung (4, 4b, 4c) zur Anzeige, in einer Anzeigeregion (DL), eines Bilds eines virtuellen Objekts (BJ) zur Angabe einer Position (Vo) eines Objekts, die Informationsanzeigesteuervorrichtung (4, 4b, 4c) umfassend:einen Größenbestimmer (44) zur Bestimmung einer Größe (JS) des virtuellen Objekts (BJ) auf Basis der Position (Vo) des Objekts;einen dreidimensionalen Zeichner (45, 45c) zur Generierung eines Bilds (Gc) des virtuellen Objekts (BJ), indem das virtuelle Objekt (BJ), dessen Größe (JS) bestimmt wurde, an der Position (Vo) des Objekts platziert wird und indem eine perspektivische Projektion des virtuellen Objekts (BJ) auf eine virtuelle Region (VL), mit einem Benutzer-Standpunkt (Ue) als Referenz, erfolgt;einen Umwandlungstabellengenerator (46) zur Generierung einer Umwandlungstabelle (CT), die eine Beziehung zwischen mehreren Rasterpunkten (Pp00, Pp01) in der virtuellen Region (VL) und Punkten (Qp00, Qp01) darstellen, die den mehreren Rasterpunkten (Pp00, Pp01) in einer Ebene, die die Anzeigeregion (DL) einschließt, entsprechen;einen Bildumwandler (47) zur Generierung eines Anzeigebilds (Gd) des virtuellen Objekts (BJ), indem das Bild (Gc) des virtuellen Objekts (BJ) anhand der Umwandlungstabelle (CT) umgewandelt wird; undeine Anzeigesteuerung (48) zur Anzeige des Anzeigebilds (Gd) in der Anzeigeregion (DL),wobei das virtuelle Objekt (BJ) ein dreidimensionales Gebilde von der Art ist, dass eine Gesamtheit des dreidimensionalen Gebildes durch amodale Ergänzung ausgehend von einem Teil des dreidimensionalen Gebildes wahrnehmbar ist.

Description

Gebiet der Technik
Die vorliegende Erfindung betrifft eine Informationsanzeigesteuervorrichtung, ein Verfahren, ein Programm und ein Aufzeichnungsmedium.
Stand der Technik
Als herkömmliche Informationsanzeigevorrichtung ist eine Vorrichtung bekannt, die bei einem Zeigevorgang auf eine Stelle außerhalb einer Anzeigeregion einen Cursor in der Anzeigeregion anzeigt. Die Vorrichtung ändert die Größe, Farbe, Form, das Muster oder Ähnliches des Cursors, je nach dem Abstand zwischen Anzeigeregion und Zeigestelle (siehe z. B. Patentliteratur 1).
In der Druckschrift DE 11 2017 001 724 T5 wird eine ECU als eine Fahrzeugvorrichtung beschrieben, die eine Bilderzeugungseinheit, die ein Bild in einem vorbestimmten Referenz-Koordinatensystem erzeugt, eine Blickposition-Identifizierungseinheit, die eine Blickposition eines Fahrers identifiziert, eine Überlagerungsposition-Identifizierungseinheit, die eine Anzeigeposition identifiziert, bei der das Bild im Blickfeld des Fahrers angezeigt wird, eine Bildumwandlungseinheit, die ein umgewandeltes Bild erzeugt, das durch Umwandeln des Bildes in ein Koordinatensystem gewonnen wird, das die Blickposition des Fahrers als einen Referenzpunkt enthält und eine Benachrichtigungseinheit , die ein Anzeigebild anzeigt, das innerhalb des umgewandelten Bildes liegt, um so dem Blickfeld des Fahrers überlagert zu werden, mit der Projektionsvorrichtung umfasst.
In der Druckschrift CN 110 573 369 A wird eine Technologie beschrieben, die in der Lage ist, die Verschiebung der Anzeige des realen Bildes und des virtuellen Bildes zu reduzieren und eine geeignete AR-Anzeige zu realisieren. Ein HUD-Gerät ist versehen mit: einer Bildeingabeeinheit zum Eingeben eines von der Kamera aufgenommenen Bildes und zum Extrahieren eines vorbestimmten Objekts aus dem Bild; einer Informationserfassungseinheit, die Objektinformationen, einschließlich der Position eines Objekts in einem Bild, und Abstandsinformationen, einschließlich des Abstands zu dem Objekt im Raum, erfasst; einer AR-Bilderzeugungseinheit, die ein AR-Bild zum Anzeigen eines Objekts in einer überlagerten Weise erzeugt; und eine Anzeigepositionsumwandlungseinheit, die eine Umwandlungsverarbeitung unter Verwendung der erfassten Informationen durchführt, wobei die Umwandlungsverarbeitung zumindest die vertikale Korrektur der Position eines AR-Anzeigebereichs, der ein Bereich ist, in dem ein AR-Bild in dem Sichtbereich angezeigt werden kann, und der Anzeigeposition des AR-Bildes in dem AR-Anzeigebereich umfasst; eine AR-Anzeigeeinheit, die eine Steuerung zum Anzeigen eines AR-Bildes in einer überlagerten Weise auf dem Sichtbereich unter Verwendung der korrigierten Daten durchführt; und eine Anzeigeeinheit zum Anzeigen des AR-Bildes auf dem Sichtbereich in Übereinstimmung mit der Steuerung.
In der Druckschrift US 5 585 813 A werden ein Verfahren und eine Vorrichtung zur Echtzeitanalyse und -anzeige von Informationen beschrieben, um Informationen bereitzustellen, die es einem Benutzer ermöglichen, kontinuierlich über alle Objekte innerhalb eines vorbestimmten Radius vom Standort des Benutzers (einer „Interessensphäre“) informiert zu werden, während gleichzeitig die Position des Benutzers relativ zu einem festen Bezugssystem bestimmt wird. Die Lehre umfasst die Bestimmung des Standorts und der Ausrichtung des Benutzers in Bezug auf ein festes Bezugssystem (z. B. die Erde) sowie des Standorts und der Ausrichtung von Objekten in der Interessensphäre um den Benutzer. Die Darstellung dieser Informationen erfolgt auf einem Anzeigeformat, das auf einem optischen Medium wie einem Helmvisier, einem Head-up-Display, einer Projektionsfläche oder dem Auge des Benutzers realisiert werden kann.
Liste der Anführungen
Patentliteratur
Patentliteratur 1: Japanische Patentschrift Veröffentlichung Nr. 2016-53767 (siehe Absätze 0028 bis 0033)
Abriss der Erfindung
Technische Aufgabe
Die herkömmliche Vorrichtung hat ein Problem dahingehend, dass es zwar möglich ist, die Veränderung der Position wahrzunehmen, aber nicht, die Position selbst intuitiv wahrzunehmen.
Die vorliegende Erfindung wurde entwickelt, um das vorstehende Problem zu lösen, und sie soll bewirken, dass ein Benutzer intuitiv eine Position außerhalb einer Anzeigeregion wahrnehmen kann.
Technische Lösung
Eine Informationsanzeigesteuervorrichtung der vorliegenden Erfindung ist eine Informationsanzeigesteuervorrichtung zur Anzeige, in einer Anzeigeregion, eines Bilds eines virtuellen Objekts zur Angabe einer Position eines Objekts, wobei die Informationsanzeigesteuervorrichtung umfasst: einen Größenbestimmer zur Bestimmung einer Größe des virtuellen Objekts auf Basis der Position des Objekts; einen dreidimensionalen Zeichner zur Generierung eines Bilds des virtuellen Objekts, indem das virtuelle Objekt, dessen Größe bestimmt wurde, an der Position des Objekts platziert wird, und indem eine perspektivische Projektion des virtuellen Objekts auf eine virtuelle Region, mit einem Standpunkt eines Benutzers als Referenz, erfolgt; einen Umwandlungstabellengenerator zur Generierung einer Umwandlungstabelle, die eine Beziehung zwischen mehreren Rasterpunkten in der virtuellen Region und Punkten darstellt, die den mehreren Rasterpunkten in einer Ebene, die die Anzeigeregion einschließt, entsprechen; einen Bildumwandler zur Generierung eines Anzeigebilds des virtuellen Objekts, indem das Bild des virtuellen Objekts anhand der Umwandlungstabelle umgewandelt wird; und eine Anzeigesteuerung zur Anzeige des Anzeigebilds in der Anzeigeregion; wobei das virtuelle Objekt ein dreidimensionales Gebilde von der Art ist, dass eine Gesamtheit des dreidimensionalen Gebildes durch amodale Ergänzung ausgehend von einem Teil des dreidimensionalen Gebildes wahrnehmbar ist.
Vorteilhafte Wirkungen der Erfindung
Die vorliegende Erfindung ermöglicht einem Benutzer, die Position eines Objekts außerhalb einer Anzeigeregion intuitiv wahrzunehmen.
Figurenliste

1 ist ein funktionales Blockdiagramm, das eine Fahrassistenzvorrichtung veranschaulicht, die eine Informationsanzeigesteuervorrichtung nach einer ersten Ausführungsform der vorliegenden Erfindung umfasst.
2 ist ein schematisches Diagramm, das ein Fahrzeug veranschaulicht, das mit der Fahrassistenzvorrichtung ausgestattet ist.
3 ist ein funktionales Blockdiagramm, das ein Beispiel einer Konfiguration eines externen Situationsdetektors von 1 veranschaulicht.
4 ist ein Diagramm, das eine positionsbezogene Beziehung zwischen einem Standpunkt eines Benutzers, einer Anzeigeregion eines Displays und einer virtuellen Region veranschaulicht.
5 ist ein funktionales Blockdiagramm, das die Informationsanzeigesteuervorrichtung von 1 veranschaulicht.
6 ist ein Diagramm, das eine positionsbezogene Beziehung zwischen einem Benutzer-Standpunkt-Koordinatensystem und einem Anzeigeregion-Koordinatensystem veranschaulicht.
7 ist ein Diagramm, das eine Beziehung zwischen dem Benutzer-Standpunkt-Koordinatensystem, dem Anzeigeregion-Koordinatensystem und der virtuellen Region veranschaulicht.
8 ist ein Diagramm, das eine Beziehung zwischen einem horizontalen Referenz-Blickwinkel und einer Größe eines virtuellen Objekts veranschaulicht.
9A ist ein Diagramm, das eine Beziehung zwischen dem horizontalen Referenz-Blickwinkel und der Größe des virtuellen Objekts veranschaulicht, und
9B ist ein Diagramm, das einen Bereich veranschaulicht, in dem ein Bild des virtuellen Objekts in der virtuellen Region erzeugt wird.
10 ist ein Diagramm, das eine Entsprechungsbeziehung zwischen Punkten in der virtuellen Region und Punkten auf der Oberfläche der Anzeigeregion veranschaulicht.
11A ist ein Diagramm, das mehrere Rasterpunkte in der virtuellen Region veranschaulicht, und 11B ist ein Diagramm, das Punkte veranschaulicht, die den Rasterpunkten auf der Oberfläche der Anzeigeregion entsprechen.
12 ist ein Diagramm, das ein Beispiel einer Umwandlungstabelle veranschaulicht.
13A und 13B sind Diagramme, die einen Weg der Interpolation für ein Pixel in der virtuellen Region, die sich nicht an einem Rasterpunkt befindet, veranschaulichen.
14 ist ein funktionales Blockdiagramm, das eine Fahrassistenzvorrichtung veranschaulicht, die eine Informationsanzeigesteuervorrichtung nach einer zweiten Ausführungsform der vorliegenden Erfindung umfasst.
15 ist ein funktionales Blockdiagramm, das ein Beispiel einer Konfiguration eines internen Situationsdetektors von 14 veranschaulicht.
16 ist ein funktionales Blockdiagramm, das die Informationsanzeigesteuervorrichtung von 14 veranschaulicht.
17 ist ein funktionales Blockdiagramm, das eine Informationsanzeigesteuervorrichtung nach einer dritten Ausführungsform der vorliegenden Erfindung veranschaulicht.
18 ist ein Diagramm, das eine Beziehung zwischen der Position eines Objekts, einer Referenzposition und einer Animationsrichtung veranschaulicht.
19A und 19B sind Diagramme, die eine Variation in der Durchlässigkeit eines Variationsmusters veranschaulichen.
20A bis 20D sind Diagramme, die die Veränderung in einer räumlichen Verteilung der Durchlässigkeit über die Zeit veranschaulichen.
21A ist ein Diagramm, das ein virtuelles Objekt veranschaulicht, das so ausgerichtet ist, dass eine Variationsrichtung eines Variationsmusters mit einer Animationsrichtung übereinstimmt, und 21B ist ein Diagramm, das ein Bild des virtuellen Objekts veranschaulicht, das dadurch erzeugt wird, dass das virtuelle Objekt in 21A auf eine virtuelle Region projiziert wird.
22 ist ein funktionales Blockdiagramm, das einen Computer veranschaulicht, der einen Prozessor umfasst, der Funktionen der Informationsanzeigesteuervorrichtung der ersten, zweiten oder dritten Ausführungsform implementiert.
23 ist ein Flussdiagramm, das einen Ablauf eines Prozesses im Fall, dass der Prozessor veranlasst wird, einen Prozess der Informationsanzeigesteuervorrichtung der ersten Ausführungsform auszuführen, veranschaulicht.
24 ist ein Flussdiagramm, das einen Ablauf eines Prozesses im Fall, dass der Prozessor veranlasst wird, einen Prozess der Informationsanzeigesteuervorrichtung der zweiten Ausführungsform auszuführen, veranschaulicht.
25 ist ein Flussdiagramm, das einen Ablauf eines Prozesses im Fall, dass der Prozessor veranlasst wird, einen Prozess der Informationsanzeigesteuervorrichtung der dritten Ausführungsform auszuführen, veranschaulicht.

Beschreibung der Ausführungsformen
Auch wenn Informationsanzeigesteuervorrichtungen nach der vorliegenden Erfindung für verschiedene Zwecke verwendet werden können, beschreibt die folgende Beschreibung als Beispiele solche, in denen sie Teil von Fahrassistenzvorrichtungen sind.
Erste Ausführungsform
1 veranschaulicht eine Fahrassistenzvorrichtung 1, die eine Informationsanzeigesteuervorrichtung 4 nach einer ersten Ausführungsform der vorliegenden Erfindung umfasst.
Die veranschaulichte Fahrassistenzvorrichtung 1 ist zum Beispiel in einem Fahrzeug 10 eingebaut, wie in 2 veranschaulicht, und umfasst zusätzlich zur Informationsanzeigesteuervorrichtung 4 einen externen Situationsdetektor 2 und ein Display 6.
Der externe Situationsdetektor 2 detektiert eine Situation außerhalb des Fahrzeugs und gibt Detektionsinformation Sa in Bezug auf ein oder mehrere Objekte aus, die sich in der Umgebung des Fahrzeugs befinden.
Die hier beschriebenen Objekte sind Objekte (Objekte von Bedeutung), die beim Führen des Fahrzeugs zu beachten sind, und zu diesen gehören andere Fahrzeuge, Fußgänger und feste Installationen. Die anderen Fahrzeuge umfassen vierrädrige Fahrzeuge (etwa Personenkraftwagen, Lastkraftwagen oder Busse), zweirädrige Fahrzeuge und Fahrräder.
Der externe Situationsdetektor 2 umfasst zum Beispiel einen Bildgeber 21, einen Detektor 22, einen Kommunikator 23 und einen Detektionssignalprozessor 24, wie in 3 veranschaulicht.
Der Bildgeber 21 bildet einen Bereich um das Fahrzeug herum ab, um ein Bild zu generieren (Umgebungsbild), das die Umgebung darstellt, und ein Bildsignal auszugeben. Der Bildgeber 21 umfasst eine oder mehrere Kameras.
Der Detektor 22 umfasst einen oder mehrere von einem Millimeterwellen-Sensoren, einem Lasersensor, einem Infrarot-Sensor und einem Sonar und gibt ein Detektionssignal aus, das Abstände zu den rund herum vorhandenen Objekten, Richtungen, in denen sich diese Objekte befinden, oder Ähnliches angibt.
Der Kommunikator 23 erhält Informationen über andere Fahrzeuge, die von außerhalb des Fahrzeugs 10 bereitgestellt werden. Die Informationen über andere Fahrzeuge können Informationen umfassen, die die Positionen, Bewegungsrichtungen und Geschwindigkeiten der Bewegung der anderen Fahrzeuge angeben. Die Bereitstellung von außerhalb des Fahrzeugs 10 kann eine Bereitstellung durch direkte Kommunikation von den anderen Fahrzeugen oder die Bereitstellung durch Kommunikation über eine Basisstation sein.
Der Detektionssignalprozessor 24 generiert die Detektionsinformation Sa auf Basis des Bildsignals vom Bildgeber 21, des Detektionssignals vom Detektor 22 und der vom Kommunikator 23 erhaltenen Information und gibt diese aus.
Die Detektionsinformation Sa vom Detektionssignalprozessor 24 kann Informationen umfassen, die die Positionen der Objekte angeben.
Die Informationsanzeigesteuervorrichtung 4 steuert die Anzeige auf dem Display 6 auf Basis der Detektionsinformation Sa vom externen Situationsdetektor 2.
Das Display 6 ist durch ein Frontscheiben-Display ausgebildet, bei dem die Frontscheibe zum Beispiel als Halbspiegel eingesetzt wird.
Das Frontscheiben-Display ist ein transmissives Display, das ein virtuelles Bild in einem gegebenen Abstand zu einem Standpunkt eines Benutzers, z. B. eines Fahrers, bildet, und es wird auch als Head-up-Display bezeichnet, wenn ein spezieller Combiner verwendet wird.
Zum Beispiel zeigt die Informationsanzeigesteuervorrichtung 4, in einer Anzeigeregion des Displays 6, Bilder virtueller Objekte an, die die Positionen der Objekte um das Fahrzeug herum angeben.
Es wird eine virtuelle Region zur Erzeugung der Bilder der virtuellen Objekte genutzt, die in der Anzeigeregion des Displays 6 angezeigt werden.
4 veranschaulicht den Standpunkt Ue des Benutzers, die Anzeigeregion DL des Displays 6 und die virtuelle Region VL. Die Informationsanzeigesteuervorrichtung 4 erzeugt Anzeigebilder, indem Bilder der virtuellen Objekte BJ in der virtuellen Region VL erzeugt und die erzeugten Bilder der virtuellen Objekte BJ auf die Anzeigeregion DL projiziert werden.
Zum Beispiel, wie in 4 veranschaulicht, sind Bereich(e), mit einer Breite FW und entlang wenigstens einer linken Kante HEa und/oder rechten Kante HEb (in der Zeichnung die linke Kante HEa) der virtuellen Region VL verlaufend, als spezifizierte Region(en) AL festgelegt und die Bilder des einen oder der mehreren virtuellen Objekte BJ werden in der/den spezifizierten Region(en) AL erzeugt. Im veranschaulichten Beispiel wird ein Bild Gc eines virtuellen Objekts BJ nur in der spezifizierten Region AL, mit der Breite FW und entlang der linken Kante HEa verlaufend, erzeugt.
Um eine positionsbezogene Beziehung zwischen dem Standpunkt Ue des Benutzers, der Anzeigeregion DL, der virtuellen Region VL, den virtuellen Objekten BJ und Ähnlichem darzustellen, werden ein Benutzer-Standpunkt-Koordinatensystem und ein Anzeigeregion-Koordinatensystem verwendet.
Koordinaten im Benutzer-Standpunkt-Koordinatensystem werden durch (Xv, Yv, Zv) dargestellt und Koordinaten im Anzeigeregion-Koordinatensystem werden durch (Xd, Yd, Zd) dargestellt.
Das Benutzer-Standpunkt-Koordinatensystem nimmt die Position Ue des Standpunkts des Benutzers als einen Ursprung, die Richtung Ud einer Sichtlinie des Benutzers als eine Richtung entlang der Zv-Achse, eine horizontale Richtung als eine Richtung entlang der Xv-Achse und eine Richtung, die senkrecht zu sowohl der Zv-Achse als auch Xv-Achse ist, als eine Richtung entlang der Yv-Achse.
In dieser Ausführungsform werden als die Standpunkt-Position Ue und die Sichtlinienrichtung Ud des Benutzers eine normale Position und eine normale Richtung verwendet.
Hier wird angenommen, dass die Anzeigeregion DL rechteckig ist, und das Anzeigeregion-Koordinatensystem nimmt die linke obere Ecke als Ursprung, die Richtung von der linken oberen Ecke zur rechten oberen Ecke als eine Richtung entlang der Xd-Achse, die Richtung von der linken oberen Ecke zur linken unteren Ecke als eine Richtung entlang der Yd-Achse und eine Richtung, die senkrecht zu sowohl der Xd-Achse als auch Yd-Achse ist, als eine Richtung entlang der Zd-Achse.
Die Informationsanzeigesteuervorrichtung 4 umfasst einen Informationsspeicher 41, einen externen Situationsanalysator 42, einen virtuellen Objektselektor 43, einen Größenbestimmer 44, einen dreidimensionalen Zeichner 45, einen Umwandlungstabellengenerator 46, einen Bildumwandler 47 und eine Anzeigesteuerung 48, wie in 5 veranschaulicht.
Der Informationsspeicher 41 speichert die Information zum virtuellen Objekt FJ, Information zur Anzeigeregion FD, Information zur virtuellen Region FV und Information zur spezifizierten Region FA. Der Informationsspeicher 41 speichert auch die Information, die die Standpunkt-Position Ue des Benutzers relativ zum Fahrzeug angibt, und die Information, die die Sichtlinienrichtung Ud des Benutzers relativ zum Fahrzeug angibt. Der Ausdruck „relativ zum Fahrzeug“ bezieht sich auf „in einem Fahrzeugkoordinatensystem“. Das Fahrzeugkoordinatensystem ist so definiert, dass es, zum Beispiel, einen beliebigen Referenzpunkt im Fahrzeug als Ursprung und eine beliebige Richtung als eine Koordinatenachse nimmt.
Die Information zum virtuellen Objekt FJ ist eine Information, die die Eigenschaften jedes von mehreren virtuellen Objekten angibt. Jedes virtuelle Objekt ist ein Modell (dreidimensionales Modell) eines festen Gebildes, und es wird ein Modell, z. B. ein Polygonmodell, verwendet, das durch eine dreidimensionale Grafik dargestellt werden kann. Die Eigenschaften jedes virtuellen Objekts umfassen eine Information über die Form, eine Information über die Farbe und eine Information über die Durchlässigkeit.
Die Formen der mehreren virtuellen Objekte, die im Informationsspeicher 41 gespeichert sind, umfassen Kugeln und Kegel. Die Kegel umfassen kreisförmige Kegel und polygone Pyramiden. Die virtuellen Objekte können andere Formen haben. Sie haben jedoch bevorzugt Formen in der Art, dass nicht sichtbare Teile davon durch eine amodale Ergänzung wahrgenommen werden können.
Die Information zur Anzeigeregion FD umfasst Information (Positionsinformation), die die Position der Anzeigeregion DL angibt. So ist zum Beispiel, wenn das Display 6 ein Frontscheiben-Display ist, die Anzeigeregion DL eine virtuelle Fläche, auf der virtuelle Bilder erzeugt werden.
Die Information zur Angabe der Position der Anzeigeregion DL ist, zum Beispiel, eine Information, die die Positionen der vier Ecken der Anzeigeregion DL angibt.
Als Information, die die Position der Anzeigeregion DL angibt, sind dreidimensionale Koordinaten im Benutzer-Standpunkt-Koordinatensystem im Informationsspeicher 41 gespeichert.
In 6 sind die vier Ecken, d. h. die linke obere Ecke, die rechte obere Ecke, die linke untere Ecke und die rechte untere Ecke, der Anzeigeregion DL durch die Bezugszeichen Qlt, Qrt, Qlb und Qrb angegeben.
Die dreidimensionalen Koordinaten der vier Ecken Qlt, Qrt, Qlb und Qrb im Benutzer-Standpunkt-Koordinatensystem sind jeweils durch Vdlt, Vdrt, Vdlb und Vdrb bezeichnet. Jede der dreidimensionalen Koordinaten Vdlt, Vdrt, Vdlb und Vdrb besteht aus einer Xv-Koordinate, einer Yv-Koordinate und einer Zv-Koordinate.
Das Anzeigeregion-Koordinatensystem nimmt die linke obere Ecke Qlt der Anzeigeregion DL als Ursprung, die Richtung von der linken oberen Ecke Qlt zur rechten oberen Ecke Qrt als die Xd-Achse, die Richtung von der linken oberen Ecke Qlt zur linken unteren Ecke Qlb als die Yd-Achse und die Richtung, die senkrecht zu sowohl der Xd-Achse als auch Yd-Achse ist, als die Zd-Achse, wie vorstehend beschrieben.
Die dreidimensionalen Koordinaten der vier Ecken Qlt, Qrt, Qlb und Qrb im Anzeigeregion-Koordinatensystem sind jeweils durch Dlt, Drt, Dlb und Drb bezeichnet. Jede der dreidimensionalen Koordinaten Dlt, Drt, Dlb und Drb besteht aus einer Xd-Koordinate, einer Yd-Koordinate und einer Zd-Koordinate.
Zusätzlich zu der obigen Information, die die Position der Anzeigeregion DL angibt, umfasst die Anzeigeregion-Information FD eine Information zur Angabe der Größe der Anzeigeregion DL. Als die Größe der Anzeigeregion DL werden die Anzahl Wd der Pixel in einer Breitenrichtung (horizontale Richtung) und die Anzahl Hd der Pixel in einer Höhenrichtung (vertikale Richtung) der Anzeigeregion DL gespeichert.
Im Anzeigeregion-Koordinatensystem wird eine Länge durch die Anzahl der Pixel angegeben und die dreidimensionalen Koordinaten der linken oberen Ecke Qlt, der rechten oberen Ecke Qrt, der linken unteren Ecke Qlb und der rechten unteren Ecke Qrb sind wie folgt:

Dlt: (Xdlt, Ydlt, Zdlt): (0,0,0)
Drt: (Xdrt, Ydrt, Zdrt): (Wd,0,0)
Dlb: (Xdlb, Ydlb, Zdlb): (0,Hd,0)
Drb: (Xdrb, Ydrb, Zdrb): (Wd,Hd,0)

Die Information zur virtuellen Region FV umfasst eine Information (Positionsinformation), die die Position der virtuellen Region VL angibt. Die virtuelle Region VL ist eine virtuelle Region, die für die Erzeugung von Bildern der virtuellen Objekte verwendet wird.
Im Folgenden wird angenommen, dass die virtuelle Region VL auch eine rechteckige Region ist. In diesem Fall können, als die Information zur virtuellen Region FV, dreidimensionale Koordinaten, die die Positionen der vier Ecken der virtuellen Region VL im Benutzer-Standpunkt-Koordinatensystem angeben, gespeichert werden.
7 veranschaulicht die virtuelle Region VL, zusätzlich zum Standpunkt Ue des Benutzers und der Anzeigeregion DL, die in 6 veranschaulicht sind. Ferner sind, in 7, die vier Ecken, d. h. die linke obere Ecke, die rechte obere Ecke, die linke untere Ecke und die rechte untere Ecke, der virtuellen Region VL durch die Bezugszeichen Plt, Prt, Plb und Prb angegeben.
Die dreidimensionalen Koordinaten der vier Ecken im Benutzer-Standpunkt-Koordinatensystem sind jeweils durch Vvlt, Vvrt, Vvlb und Vvrb bezeichnet. Jede der dreidimensionalen Koordinaten Vvlt, Vvrt, Vvlb und Vvrb besteht aus einer Xv-Koordinate, einer Yv-Koordinate und einer Zv-Koordinate.
Es wird angenommen, dass eine Oberfläche der virtuellen Region VL senkrecht zur Zv-Achse ist und sich eine Mitte der virtuellen Region VL auf der Zv-Achse befindet. Es wird zudem angenommen, dass Seiten in einer Breitenrichtung und Seiten in einer Höhenrichtung der virtuellen Region VL parallel zur Xv-Achse bzw. Yv-Achse des Benutzer-Standpunkt-Koordinatensystems sind. Ferner wird angenommen, dass die virtuelle Region VL eine Breite von Vw und eine Höhe von Vh hat und dass der Abstand vom Benutzer-Standpunkt Ue zur Mitte der virtuellen Region VL Vf ist.
Dann sind die Koordinaten der linken oberen Ecke Plt, der rechten oberen Ecke Prt, der linken unteren Ecke Plb und der rechten unteren Ecke Prb der virtuellen Region VL wie folgt:

Vvlt: (Xvlt, Yvlt, Zvlt): (-Vw/2, Vh/2, Vf)
Vvrt: (Xvrt, Yvrt, Zvrt): (Vw/2, Vh/2, Vf)
Vvlb: (Xvlb, Yvlb, Zvlb): (-Vw/2, -Vh/2, Vf)
Vvrb: (Xvrb, Yvrb, Zvrb): (Vw/2, -Vh/2, Vf)

Wie vorstehend können die Koordinaten im Benutzer-Standpunkt-Koordinatensystem, die die Positionen der vier Ecken der virtuellen Region VL angeben, aus dem Abstand Vf zum Benutzer-Standpunkt Ue und der Breite Vw und Höhe Vh der virtuellen Region berechnet werden. In dieser Ausführungsform sind, als zur Berechnung der Positionen der vier Ecken der virtuellen Region VL erforderliche Informationen, Informationen zur Angabe des obigen Abstands Vf, der Breite Vw und Höhe Vh im Informationsspeicher 41 gespeichert.
Die Information zur spezifizierten Region FA ist eine Information, die die Größe der spezifizierten Region(en) AL angibt. Wenn ein Bereich, mit der Breite FW und entlang der linken Kante HEa der virtuellen Region VL verlaufend, als eine spezifizierte Region AL spezifiziert ist, wie in 4 veranschaulicht, ist die Breite FW die Größe der spezifizierten Region, und eine Information zur Angabe der Breite FW ist als die Information zur spezifizierten Region FA im Informationsspeicher 41 gespeichert.
Die spezifizierte(n) Region(en) AL sind Regionen, die für die Erzeugung der Bilder der virtuellen Objekte verwendet werden, und die in der/den spezifizierten Region(en) AL erzeugten Bilder werden auf die Anzeigeregion DL projiziert und angezeigt.
Der externe Situationsanalysator 42 erhält, auf Basis der Detektionsinformation Sa, die der externe Situationsdetektor 2 ausgibt, Informationen, die die Positionen Vo der Objekte angeben, die sich um das Fahrzeug herum befinden. Solche Informationen, die die Positionen Vo der Objekte angeben, werden zum Beispiel durch die Koordinaten (Xvo, Yvo, Zvo) im Benutzer-Standpunkt-Koordinatensystem angegeben.
Die Positionen der Objekte sind repräsentative Positionen der Objekte, z. B. die Positionen der Mitte oder des Schwerpunkts der Objekte.
In der folgenden Beschreibung wird angenommen, dass nur ein einziges Objekt, das sich um das Fahrzeug herum befindet, detektiert worden ist. Werden mehrere Objekte detektiert, kann jedoch derselbe Prozess für jedes Objekt durchgeführt werden.
Der externe Situationsanalysator 42 bestimmt auch, auf Basis der Detektionsinformation Sa, die vom externen Situationsdetektor 2 ausgegeben wird, den Typ Ot des Objekts, das sich in der Umgebung des Fahrzeugs befindet, und gibt die Information, die den im Zuge der Bestimmung identifizierten Typ Ot des Objekts angibt, aus.
Die Information, die den Typ des Objekts angibt, kann, zum Beispiel, eine Information sein, die angibt, ob es sich bei dem Objekt um ein Fahrzeug, eine Person, eine bauliche Struktur oder Ähnliches handelt, und wenn es sich um ein Fahrzeug handelt, ferner angibt, ob das Objekt ein vierrädriges Fahrzeug, ein zweirädriges Fahrzeug oder ein Fahrrad ist, und wenn es sich um ein vierrädriges Fahrzeug handelt, ferner angibt, ob das Objekt ein Personenkraftwagen, ein Lastkraftwagen, ein Bus oder Ähnliches ist.
Der Typ des Objekts kann durch Bilderkennung am Objekt in einem Bild identifiziert werden. Die Erkennung kann nicht nur unter Verwendung der Bilder, die über die Bildgebung der Kameras erhalten werden, erfolgen, sondern auch durch Nutzung der Daten, die vom Lasersensor, Millimeterwellen-Sensor oder Ähnlichem erhalten werden.
Die Bestimmung des Objekttyps kann durch bekannte Objekterkennungstechniken umgesetzt werden. Zum Beispiel ist es möglich, eine Technik zu verwenden, die HOG-Funktionen (Histogram of oriented gradients) bietet, oder eine Technik auf Basis eines tiefen neuronalen Netzwerks.
Der virtuelle Objektselektor 43 wählt eins der mehreren virtuellen Objekte aus, die im Informationsspeicher 41 gespeichert sind, und gibt die Information aus, die das ausgewählte virtuelle Objekt BJ angibt.
Es wird hier angenommen, dass der virtuelle Objektselektor 43 die Auswahl des virtuellen Objekts in Übereinstimmung mit dem Typ Ot des durch den externen Situationsanalysator 42 detektierten Objekts ausführt. Zum Beispiel ist es möglich, ein virtuelles Objekt auszuwählen, das den Typ Ot des Objekts nahelegt. Es ist auch möglich, den virtuellen Objekten vorab Typen von Objekten zuzuordnen und ein virtuelles Objekt auszuwählen, das dem detektierten Objekttyp zugeordnet ist.
Die folgende Beschreibung beschreibt einen Fall, in dem ein kugelförmiges und nicht transparentes Objekt ausgewählt wird.
Der Größenbestimmer 44 bestimmt die Größe JS des virtuellen Objekts auf Basis der Information zur spezifizierten Region FA, die im Informationsspeicher 41 gespeichert ist, der Information, die das vom virtuellen Objektselektor 43 ausgewählte virtuelle Objekt BJ angibt, und der Information, die die Position Vo des Objekts angibt, die vom externen Situationsanalysator 42 ausgegeben wird.
Hier wird, da angenommen wird, dass das virtuelle Objekt kugelförmig ist, der Radius r der Kugel als die Größe JS des virtuellen Objekts bestimmt.
Der Größenbestimmer 44 gibt die Information, die die bestimmte Größe JS angibt, zusammen mit der Information, die das ausgewählte virtuelle Objekt BJ angibt, aus.
Der dreidimensionale Zeichner 45 generiert ein Bild Gc des virtuellen Objekts auf Basis der Information zur virtuellen Region FV, die im Informationsspeicher 41 gespeichert ist, der Information zur Angabe der Position Vo des Objekts, die der externe Situationsanalysator 42 ausgibt, der Information zur Angabe des virtuellen Objekts BJ, das der virtuelle Objektselektor 43 auswählt, und der Information zur Angabe der Größe JS, die der Größenbestimmer 44 bestimmt. Der dreidimensionale Zeichner 45 generiert das Bild Gc des virtuellen Objekts, indem das virtuelle Objekt BJ an der Position Vo des Objekts platziert wird und indem eine perspektivische Projektion des virtuellen Objekts BJ erfolgt, das auf diese Weise auf die virtuelle Region VL platziert wird, mit dem Benutzer-Standpunkt Ue als Referenz.
„Das virtuelle Objekt BJ an der Position Vo des Objekts platzieren“ bezieht sich auf die Positionierung des virtuellen Objekts BJ auf die Weise, dass ein Referenzpunkt des virtuellen Objekts BJ mit der Position des Objekts übereinstimmt. Wenn das virtuelle Objekt BJ kugelförmig ist, ist sein Referenzpunkt die Mitte der Kugel.
„Eine perspektivische Projektion des virtuellen Objekts BJ auf die virtuelle Region VL mit dem Benutzer-Standpunkt Ue als Referenz“ bezieht sich auf das Projizieren jedes Punkts des virtuellen Objekts auf die virtuelle Region VL, wobei eine gerade Linie durch den Benutzer-Standpunkt Ue verläuft.
Der Umwandlungstabellengenerator 46 generiert eine Umwandlungstabelle CT auf Basis der Information zur Anzeigeregion FD und Information zur virtuellen Region FV. Die Umwandlungstabelle CT stellt eine Entsprechungsbeziehung zwischen mehreren Punkten dar, die in der virtuellen Region VL liegen, und den entsprechenden Punkten in einer Ebene (einer Oberfläche der Anzeigeregion) DS, die die Anzeigeregion DL einschließt, dar. Die obigen mehreren Punkte werden im Folgenden als Rasterpunkte bezeichnet. Die mehreren Rasterpunkte befinden sich an den Schnittstellen mehrerer vertikaler Linien und mehrerer horizontaler Linien, die zum Beispiel die virtuelle Region VL durchschneiden.
Der Bildumwandler 47 generiert ein umgewandeltes Bild Gd, indem das Bild Gc, das der dreidimensionale Zeichner 45 ausgibt, mittels der Umwandlungstabelle CT umgewandelt wird.
Die Umwandlung erfolgt durch Eingabe der Benutzer-Standpunkt-Koordinaten Vp (Xvp, Yvp, Zvp) jedes Pixels des Bilds Gc in die Umwandlungstabelle CT und durch Ablesen, aus der Umwandlungstabelle CT, der Anzeigeregion-Koordinaten Dq (Xdq, Ydq), die den eingegebenen Koordinaten entsprechen.
Für Pixel des Bilds Gc, die sich nicht an einem der Rasterpunkte befinden, berechnet der Bildumwandler 47 die entsprechenden Positionen, indem eine Interpolation unter Verwendung von Rasterpunkten um die Positionen der Pixel herum durchgeführt wird.
Die Anzeigesteuerung 48 liefert einen Teil des umgewandelten Bilds Gd, das wie vorstehend beschrieben in der Anzeigeregion DL generiert wird, als Anzeigebild Ge, an das Display 6 und bewirkt, dass das Display 6 es anzeigt.
Die vorstehenden Prozesse, d. h. die Bestimmung des Objekttyps und die Detektion der Position des Objekts durch den externen Situationsanalysator 42, die Bestimmung der Größe des virtuellen Objekts durch den Größenbestimmer 44, das Zeichnen durch den dreidimensionalen Zeichner 45, die Bildumwandlung durch den Bildumwandler 47 und der Prozess des Betriebs und der Steuerung des Displays 6 durch die Anzeigesteuerung 48, werden wiederholt durchgeführt.
Durch die wiederholte Durchführung ist es möglich, dass der Inhalt des Anzeigebilds der Veränderung der Objektposition folgt.
In der vorstehenden Beschreibung werden die von jedem Funktionsblock generierten Informationen direkt an (einen) andere(n) Funktionsblock/Funktionsblöcke weitergegeben. Sie können jedoch auch nach vorheriger Speicherung in einem Arbeitsspeicher (nicht abgebildet) an (einen) andere(n) Funktionsblock/Funktionsblöcke weitergegeben werden. Das gleiche gilt für die anderen, nachstehend beschriebenen Ausführungsformen.
Nachstehend wird die Bestimmung der Größe JS des virtuellen Objekts BJ im Größenbestimmer 44 im Einzelnen beschrieben.
In dieser Ausführungsform wird die Größe JS des virtuellen Objekts BJ auf Basis der Information zur spezifizierten Region FA bestimmt.
Die Information zur spezifizierten Region FA ist eine Information, die die Breite der spezifizierten Region(en) AL angibt. Wie vorstehend beschrieben, wird das Bild des virtuellen Objekts in der/den spezifizierten Region(en) AL, mit der Breite FW und entlang der/den Kante(n) der virtuellen Region verlaufend, erzeugt.
Zum Beispiel wird, im Beispiel, das in 4 veranschaulicht ist, das Bild des virtuellen Objekts in der/den spezifizierten Region(en) AL, mit der Breite FW und entlang der linken Kante HEa oder der rechten Kante HEb der virtuellen Region verlaufend, erzeugt. Im veranschaulichten Beispiel wird das Bild des virtuellen Objekts in der spezifizierten Region AL, mit der Breite FW und entlang der linken Kante HEa der virtuellen Region verlaufend, erzeugt. Das beruht auf der Annahme, dass sich das Objekt links von einem Bereich eines Blickwinkels befindet, wenn die virtuelle Region VL von dem Benutzer-Standpunkt Ue betrachtet wird (ein Bereich, der durch eine Gruppe gerader Linien definiert wird, die den Benutzer-Standpunkt Ue und die Kanten der virtuellen Region verbinden). „Ein Bereich eines Blickwinkels, wenn die virtuelle Region VL von dem Benutzer-Standpunkt Ue betrachtet wird“ wie vorstehend beschrieben wird im Folgenden als der Bereich der virtuellen Region bezeichnet.
Die Breite FW der spezifizierten Region(en) wird so bestimmt, dass das Bild des virtuellen Objekts sich außerhalb eines Bereichs eines Referenz-Blickwinkels befindet.
Der Referenz-Blickwinkel bezieht sich auf einen Winkelbereich, der sich im Bereich der virtuellen Region befindet und im Blick des Benutzers ist. Der Referenz-Blickwinkel umfasst einen horizontalen Referenz-Blickwinkel und einen vertikalen Referenz-Blickwinkel. Der horizontale Referenz-Blickwinkel ist ein Referenz-Blickwinkel in horizontaler Richtung. Der vertikale Referenz-Blickwinkel ist ein Referenz-Blickwinkel in vertikaler Richtung.
Zum Beispiel wird, im Fall, dass die Position eines Objekts als links oder rechts (horizontal außerhalb) vom Bereich der virtuellen Region angegeben wird, der horizontale Referenz-Blickwinkel als Referenz-Blickwinkel verwendet. Der horizontale Referenz-Blickwinkel umfasst einen linken horizontalen Referenz-Blickwinkel θa und einen rechten horizontalen Referenz-Blickwinkel θb.
Der linke horizontale Referenz-Blickwinkel θa und der rechte Referenz-Blickwinkel θb sind jeweils zwischen 15 und 60 Grad eingestellt. Der linke horizontale Referenz-Blickwinkel θa und der rechte Referenz-Blickwinkel θb können gleich oder unterschiedlich sein.
Wie in 8 und 9A veranschaulicht, wird ein gerades Linienpaar Lθa und Lθb, das die Winkel θa und θb mit der Zv-Achse in der Xv-Zv-Ebene im Benutzer-Standpunkt-Koordinatensystem bildet, gezogen, und die Grenzflächen Sθa und Sθb werden durch Bahnen gebildet, die erhalten werden, indem die geraden Linien Lθa und Lθb in der Richtung entlang der Yv-Achse bewegt werden. Obwohl die geraden Linien Lθa und Lθb und Grenzflächen Sθa und Sθb ins Unendliche laufen, zeigt 9A nur einen Teil der geraden Linien Lθa und Lθb und Grenzflächen Sθa und Sθb. Die Grenzflächen Sθa und Sθb können als Flächen bezeichnet werden, die den Bereich des horizontalen Referenz-Blickwinkels definieren.
In 9A und 9B sind die Schnittlinien zwischen den Grenzflächen Sθa und Sθb und der virtuellen Region VL durch die Bezugszeichen Vθa und Vθb bezeichnet. Die Maße von der linken und rechten Kante HEa und HEb der virtuellen Region VL zu den Schnittlinien Vθa und Vθb sind die Breite FW der spezifizierten Region(en).
Wenn eine gewünschte Breite FW vorab festgelegt ist, wird die virtuelle Region VL so bestimmt, dass die spezifizierte(n) Region(en) AL mit der Breite FW außerhalb des Bereichs der horizontalen Referenz-Blickwinkel θa und θb sichergestellt werden kann.
Als Nächstes wird die Generierung des Bilds des virtuellen Objekts im dreidimensionalen Zeichner 45 im Einzelnen beschrieben.
Die Generierung des Bilds des virtuellen Objekts im dreidimensionalen Zeichner 45 kann durch Rendering anhand dreidimensionaler Grafiken umgesetzt werden.
Insbesondere generiert er ein dreidimensionales Kugelmodell mit einem Radius r, das in der Position Vo des Objekts, die vom externen Situationsanalysator 42 erhalten wird, zentriert ist. Dieses Kugelmodell ist das virtuelle Objekt BJ.
Dann wird das Bild des virtuellen Objekts erzeugt, indem eine perspektivische Projektion des virtuellen Objekts BJ auf die virtuelle Region VL, mit dem Benutzer-Standpunkt Ue als Referenz, erfolgt. Das kann erreicht werden, indem eine Projektionsmatrix auf Basis der Koordinaten der vier Ecken der virtuellen Region VL generiert wird und ein Rendering anhand dreidimensionaler Grafiken erfolgt.
Eine solche Verarbeitung kann durch Verwendung von Bibliotheken für dreidimensionale Grafiken, etwa OpenGL oder DirectX, umgesetzt werden.
Wie vorstehend beschrieben, ist das kugelförmige virtuelle Objekt BJ so positioniert, dass die Position seiner Mitte mit der Position Vo des Objekts übereinstimmt, und sein Radius r wird so bestimmt, dass seine kugelförmige Oberfläche die Grenzfläche Sθa oder Sθb tangential berührt. Auf diese Weise wird das Bild Gc des virtuellen Objekts außerhalb der Schnittlinie Vθa oder Vθb derart erzeugt, dass eine Spitze (ein Abschnitt, der sich einer Mitte der virtuellen Region VL am nächsten befindet) dessen die Schnittlinie Vθa oder Vθb tangential berührt, wie in 9B veranschaulicht.
Durch Rendering des virtuellen Objekts durch dreidimensionales Zeichnen ist es möglich, eine Verarbeitung zur Darstellung der Kugel-Eigenschaften anzuwenden. Eine solche Verarbeitung umfasst Lighting zur Herstellung eines glänzenden Aussehens, Blending zur Herstellung des Aussehens einer durchscheinenden Glaskugel und Ähnliches.
Als Nächstes wird die Generierung der Umwandlungstabelle CT im Umwandlungstabellengenerator 46 im Einzelnen beschrieben. Die Umwandlungstabelle CT ist eine Tabelle, die eine positionsbezogene Beziehung zwischen der Position jedes der mehreren Rasterpunkte in der virtuellen Region VL und dem Punkt darstellt, der dem Rasterpunkt auf der Oberfläche der Anzeigeregion DS entspricht. Der entsprechende Punkt ist eine Schnittstelle einer geraden Linie, die durch den Rasterpunkt in der virtuellen Region VL und den Benutzer-Standpunkt Ue verläuft, mit der Oberfläche der Anzeigeregion DS.
Die Umwandlungstabelle CT wird unter Verwendung der Information zur Anzeigeregion FD und der Information zur virtuellen Region FV generiert.
Hier wird angenommen, dass die Koordinaten Vdlt, Vdrt, Vdlb und Vdrb im Benutzer-Standpunkt-Koordinatensystem, die die Positionen der linken oberen Ecke, der rechten oberen Ecke, der linken unteren Ecke und der rechten unteren Ecke der Anzeigeregion DL angeben, die Information, die die Anzahl Wd der Pixel in der horizontalen Richtung der Anzeigeregion DL angibt, und die Information, die die Anzahl Hd der Pixel in der vertikalen Richtung der Anzeigeregion DL angibt, als Information der Anzeigeregion FD im Informationsspeicher 41 gespeichert sind, wie in 6 veranschaulicht.
Auch wird angenommen, dass die Information, die den Abstand Vf der virtuellen Region VL zum Benutzer-Standpunkt Ue angibt, die Information, die die Breite Vw der virtuellen Region VL angibt, und die Information, die die Höhe Vh der virtuellen Region VL angibt, als Information zur virtuellen Region FV im Informationsspeicher 41 gespeichert sind.
Unter Verwendung des Abstands Vf, der Breite Vw und der Höhe Vh, die aus den gespeicherten Informationen hervorgehen, ist es möglich, die Koordinaten Vvlt, Vvrt, Vvlb und Vvrb der linken oberen Ecke Plt, rechten oberen Ecke Prt, linken unteren Ecke Plb und rechten unteren Ecke Prb der virtuellen Region VLim Benutzer-Standpunkt-Koordinatensystem zu berechnen.
Beim Generieren der Umwandlungstabelle CT wird zunächst eine Umwandlungsmatrix Mvd zur Umwandlung der Koordinaten (Xv, Yv, Zv) im Benutzer-Standpunkt-Koordinatensystem in die Koordinaten (Xd, Vd, Zd) im Anzeigeregion-Koordinatensystem berechnet.
Die Umwandlung der Koordinaten (Xv, Yv, Zv) im Benutzer-Standpunkt-Koordinatensystem in die Koordinaten (Xd, Vd, Zd) im Anzeigeregion-Koordinatensystem wird durch die folgende Gleichung ausgedrückt:
${(X d, Y d, Z d,1)}^{t} = M v d {(X v, Y v, Z v,1)}^{t} .$
In Gleichung (1) bezeichnet t Transposition.
Mvd ergibt sich aus der folgenden Gleichung (2): $M v d = (\begin{matrix} S & 0 \\ 0 & 1 \end{matrix}) (\begin{matrix} R & T \\ 0 & 1 \end{matrix}) .$
In Gleichung (2) ist Seine 3x3 Vergrößerungsmatrix mit nur diagonalen Komponenten, R eine 3x3 Rotationsmatrix und T ein dreidimensionaler Spaltenvektor.
Da R und T, die zu berechnen sind, aus insgesamt 12 Elementen bestehen, lassen sie sich lösen, wenn 12 simultane Gleichungen vorliegen. Daher werden 12 simultane Gleichungen generiert, indem Xv, Yv, Zv und Xd, Yd, Zd durch folgende Kombinationen ersetzt werden:

Vdlt (Xvdlt, Yvdlt, Zvdlt) und Dlt (Xdlt, Ydlt, Zdlt),
Vdrt (Xvdrt, Yvdrt, Zvdrt) und Drt (Xdrt, Ydrt, Zdrt),
Vdlb (Xvdlb, Yvdlb, Zvdlb) und Dlb (Xdlb, Ydlb, Zdlb), und
Vdrb (Xvdrb, Yvdrb, Zvdrb) und Drb (Xdrb, Ydrb, Zdrb).

Insbesondere

wird eine erste simultane Gleichung generiert, indem das erste Element (Xvdlt) von Vdlt und das erste Element (Xdlt) von Dlt durch Xv und Xd ersetzt werden,
wird eine zweite simultane Gleichung generiert, indem das zweite Element (Yvdlt) von Vdlt und das zweite Element (Ydlt) von Dlt durch Yv und Yd ersetzt werden,
wird eine dritte simultane Gleichung generiert, indem das dritte Element (Zvdlt) von Vdlt und das dritte Element (Zdlt) von Dlt durch Zv und Zd ersetzt werden,
wird eine vierte simultane Gleichung generiert, indem das erste Element (Xvdrt) von Vdrt und das erste Element (Xdrt) von Drt durch Xv und Xd ersetzt werden,
wird eine fünfte simultane Gleichung generiert, indem das zweite Element (Yvdrt) von Vdrt und das zweite Element (Ydrt) von Drt durch Yv und Yd ersetzt werden,
wird eine sechste simultane Gleichung generiert, indem das dritte Element (Zvdrt) von Vdrt und das dritte Element (Zdrt) von Drt durch Zv und Zd ersetzt werden,
wird eine siebte simultane Gleichung generiert, indem das erste Element (Xvdlb) von Vdlb und das erste Element (Xdlb) von Dlb durch Xv und Xd ersetzt werden,
wird eine achte simultane Gleichung generiert, indem das zweite Element (Yvdlb) von Vdlb und das zweite Element (Ydlb) von Dlb durch Yv und Yd ersetzt werden,
wird eine neunte simultane Gleichung generiert, indem das dritte Element (Zvdlb) von Vdlb und das dritte Element (Zdlb) von Dlb durch Zv und Zd ersetzt werden,
wird eine zehnte simultane Gleichung generiert, indem das erste Element (Xvdrb) von Vdrb und das erste Element (Xdrb) von Drb durch Xv und Xd ersetzt werden,
wird eine elfte simultane Gleichung generiert, indem das zweite Element (Yvdrb) von Vdrb und das zweite Element (Ydrb) von Drb durch Yv und Yd ersetzt werden, und
wird eine zwölfte simultane Gleichung generiert, indem das dritte Element (Zvdrb) von Vdrb und das dritte Element (Zdrb) von Drb durch Zv und Zd ersetzt werden.

Dann lässt sich die Umwandlungsmatrix Mvd erhalten, indem die generierten simultanen Gleichungen gelöst werden.
Anschließend werden, unter Verwendung der auf diese Weise erhaltenen Umwandlungsmatrix Mvd, aus den Benutzer-Standpunkt-Koordinaten (Xv, Yv, Zv), die die Position jedes der mehreren Rasterpunkte in der virtuellen Region VL angeben, die Anzeigeregion-Koordinaten (Xd, Yd) des entsprechenden Punkts auf der Oberfläche der Anzeigeregion DS berechnet.
Ein Punkt Qp in der Anzeigeregion DL, der einem Punkt Pp in der virtuellen Region VL entspricht, ist ein Punkt, an dem eine gerade Linie, die den Standpunkt Ue und den Punkt Pp verbindet, sich mit der Oberfläche der Anzeigeregion DS schneidet.
10 veranschaulicht, für zwei Rasterpunkte Pp00 und Pp01 in der virtuellen Region VL, die entsprechenden Punkte Qp00 und Qp01 auf der Oberfläche der Anzeigeregion DS.
11A veranschaulicht die mehreren Rasterpunkte (jeweils durch einen gefüllten schwarzen Kreis dargestellt), die regelmäßig in der virtuellen Region VL angeordnet sind, und 11B veranschaulicht, für die mehreren in 11A veranschaulichten Rasterpunkte, die entsprechenden Punkte (jeweils durch einen gefüllten schwarzen Kreis dargestellt) auf der Oberfläche der Anzeigeregion DS.
Diese Berechnung erfolgt, indem Xd und Yd ermittelt werden, die erhalten werden von: ${(X d, Y d, Z d,1)}^{t} = t M v d {(X v, Y v, Z v,1)}^{t}$
wenn t bestimmt ist, sodass $Z d = 0.$
In Gleichung (3) ist t ein Parameter.
Xd und Yd werden auf diese Weise ermittelt, weil die Benutzer-Standpunkt-Koordinaten eines Punkts auf einer geraden Linie, die einen Punkt P, der durch die Benutzer-Standpunkt-Koordinaten (Xv, Yv, Zv) in der virtuellen Region angegeben ist, und den Benutzer-Standpunkt Ue verbindet, durch $t {(Xv,Yv,Zv)}^{t} dargestellt werden,$
und die Anzeigeregion-Koordinaten des Punkts durch $Mvd \times t \times {(Xv,Yv,Zv)}^{t} = t \times Mvd \times {(Xv,Yv,Zv)}^{t}$
und die Zd-Koordinate eines Punkts, der sich auf der Oberfläche der Anzeigeregion DS befindet, 0 ist.
Nachdem auf diese Weise, aus den Benutzer-Standpunkt-Koordinaten (Xv, Yv, Zv), die die Position eines der mehreren Rasterpunkte in der virtuellen Region VL angeben, die Anzeigeregion-Koordinaten (Xd, Yd) des entsprechenden Punkts auf der Oberfläche der Anzeigeregion DS berechnet sind, werden die Benutzer-Standpunkt-Koordinaten (Xv, Yv, Zv), die die Position eines der mehreren Rasterpunkte in der virtuellen Region VL angeben, und die Anzeigeregion-Koordinaten (Xd, Yd) des entsprechenden Punkts auf der Oberfläche der Anzeigeregion DS miteinander verknüpft gespeichert.
Durch Wiederholung dieses Prozesses für alle der mehreren Rasterpunkte wird eine Umwandlungstabelle, die in 12 veranschaulicht ist, generiert. Das heißt, die Umwandlungstabelle CT wird durch Kombinationen der Benutzer-Standpunkt-Koordinaten (Xv, Yv, Zv), die die Position jedes der mehreren Rasterpunkte in der virtuellen Region VL angeben, und der Anzeigeregion-Koordinaten (Xd, Yd) der entsprechenden Punkte auf der Oberfläche der Anzeigeregion DS, die mit den Benutzer-Standpunkt-Koordinaten verknüpft sind, generiert.
Da Zv = Vf für alle Rasterpunkte gilt, ist es möglich, eine Umwandlungstabelle CT, die eine Beziehung zwischen (Xv, Yv) und (Xd, Yd), unter Ausschluss von Zv, darstellt, zu generieren.
Die generierte Umwandlungstabelle CT ist im Umwandlungstabellengenerator 46 gespeichert. Die gespeicherte Umwandlungstabelle CT wird vom Bildumwandler 47 verwendet.
Um die Qualität des angezeigten Bilds zu verbessern, ist es besser, wenn die Anzahl der Rasterpunkte hoch ist. Andererseits erhöht sich, je größer die Anzahl der Rasterpunkte ist, der Rechenaufwand zur Generierung der Umwandlungstabelle CT. Dies sollte bei der Festlegung der Anzahl der Rasterpunkte berücksichtigt werden.
11A und 11B veranschaulichen die Generierung der Umwandlungstabelle CT, indem die entsprechenden Punkte auf der Oberfläche der Anzeigeregion DS über die gesamte virtuelle Region bestimmt werden. Es ist jedoch möglich, die Umwandlungstabelle CT zu generieren, indem die entsprechenden Punkte auf der Oberfläche der Anzeigeregion DS nur für die Rasterpunkte in der/den spezifizierten Region(en) AL bestimmt werden.
Als Nächstes wird der Prozess zur Generierung des umgewandelten Bilds Gd in der Anzeigeregion DL aus dem Bild in der virtuellen Region VL durch den Bildumwandler 47 im Einzelnen beschrieben.
Zur Generierung des umgewandelten Bilds Gd wird die im Umwandlungstabellengenerator 46 gespeicherte Umwandlungstabelle CT verwendet.
Das umgewandelte Bild Gd wird generiert, indem das Bild in der virtuellen Region VL auf die Oberfläche der Anzeigeregion DS projiziert wird.
Um das Bild in der virtuellen Region VL auf die Oberfläche der Anzeigeregion DS zu projizieren, werden die Pixel des Bilds in der virtuellen Region VL sequentiell ausgewählt und die Koordinaten des Punkts, der dem ausgewählten Pixel (betreffendes Pixel) entspricht, auf der Oberfläche der Anzeigeregion DS werden bestimmt.
Wenn das betreffende Pixel ein Pixel ist, das sich an einem Rasterpunkt befindet, können die Anzeigeregion-Koordinaten des entsprechenden Punkts unter Bezugnahme auf die Umwandlungstabelle CT ausgelesen werden.
Wenn das betreffende Pixel ein Pixel ist, das sich nicht an einem Rasterpunkt befindet, können die Anzeigeregion-Koordinaten des Punkts, der dem betreffenden Pixel entspricht, bestimmt werden, indem die Anzeigeregion-Koordinaten der entsprechenden Punkte für Pixel, die sich an Rasterpunkten um das betreffende Pixel herum befinden, ausgelesen werden und eine Interpolation erfolgt.
Zum Beispiel erfolgt die Interpolation auf Basis der Anzeigeregion-Koordinaten der Punkte, die den drei Rasterpunkten entsprechen, die nahe dem betreffenden Pixel liegen, und einer positionsbezogenen Beziehung zwischen dem betreffenden Pixel und den obigen drei Rasterpunkten. Zum Beispiel, wie in 13A und 13B veranschaulicht, werden die drei Rasterpunkte, die das kleinste Dreieck bilden, das das betreffende Pixel Ppsub einschließt, als benachbarte drei Rasterpunkte ausgewählt. 13A veranschaulicht die drei ausgewählten Rasterpunkte Ppa, Ppb und Ppc und 13B veranschaulicht die Punkte Qpa, Qpb und Qpc, die den Rasterpunkten Ppa, Ppb und Ppc entsprechen.
Auch wenn 13A und 13B einen Weg der Interpolation für ein Pixel in einem Teil der virtuellen Region VL außerhalb des Bilds Gc des virtuellen Objekts aufzeigen, kann die Projektion auf die Oberfläche der Anzeigeregion DS für den Teil außerhalb des Bilds Gc des virtuellen Objekts entfallen.
Die obigen drei Rasterpunkte Ppa, Ppb und Ppc können durch den Abgleich der Xv-Koordinate und Yv-Koordinate des betreffenden Pixels Ppsub mit den Xv-Koordinaten und Yv-Koordinaten aller Rasterpunkte in der Umwandlungstabelle CT bestimmt werden.
Wenn die Koordinaten der drei Rasterpunkte Ppa, Ppb und Ppc im Benutzer-Standpunkt-Koordinatensystem mit Vpa, Vpb und Vpc bezeichnet sind, werden die rellen Zahlen s und t, die der folgenden Gleichung genügen, die eine Beziehung zwischen den Koordinaten der Rasterpunkte Ppa, Ppb und Ppc und der relativen Position des betreffenden Pixels Ppsub relativ zum Rasterpunkt Ppa darstellt, berechnet. Hier bezeichnen die hochgestellten Pfeile Vektoren.
$\vec{V_{p a} V_{p s u b}} = \vec{s V_{p a} V_{p b}} + \vec{t V_{p a} V_{p c}}$
Auf diese Weise können s und t eindeutig bestimmt werden. Indem s und t in die folgende Gleichung (6) substituiert werden, können die Koordinaten Dpsub nach Umwandlung der Koordinaten Vpsub, d. h. die Koordinaten Dpsub des Punkts auf der Oberfläche der Anzeigeregion DS, die dem betreffenden Pixel an den Koordinaten Vpsub in der virtuellen Region VL entsprechen, berechnet werden.
$\vec{D_{p s u b}} = D_{p a} + s \vec{D_{p a} D_{p b}} + t \vec{D_{p a} D_{p c}}$
Die durch die Koordinaten Dpsub nach der Umwandlung angegebene Position, die so bestimmt wird, erhält dieselben Eigenschaften (etwa in Bezug auf Farbe oder Durchlässigkeit) wie das Pixel an der Originalposition.
Die Anzeigesteuerung 48 bewirkt, dass das Display 6 das Bild Ge, das aus Pixeldaten des umgewandelten Bilds Gd besteht, das wie vorstehend beschrieben generiert worden ist, innerhalb der Anzeigeregion (im Bereich von 0 bis Wd entlang der Xd-Achse und von 0 bis Hd entlang der Yd-Achse), angegeben durch den fetten Rahmen LF in 13B, anzeigt. Wenn das Display 6 ein Frontscheiben-Display ist, wird ein virtuelles Bild generiert.
Indem vorstehender Prozess wiederholt durchgeführt wird, vom Erhalt der Position des Objekts und der Bestimmung des Objekttyps bis zur Anzeigesteuerung, ist es möglich, den Inhalt des Anzeigebilds in Übereinstimmung mit der Veränderung der Objektposition zu ändern.
Wenn ein Bild von einem Teil des virtuellen Objekts in der Anzeigeregion DL des Displays 6 angezeigt wird, indem der vorstehend beschriebene Prozess durchgeführt wird, kann der Benutzer den Teil des virtuellen Objekts, der nicht angezeigt wird, mittels amodaler Ergänzung wahrnehmen und intuitiv die Position der Mitte des virtuellen Objekts (die Mitte der Kugel) erfassen. Auf diese Weise ist es möglich, die Position des Objekts wahrzunehmen.
In der vorstehenden Beschreibung wird eine Kugel als virtuelles Objekt BJ ausgewählt, das virtuelle Objekt BJ wird so platziert, dass die Kugel an der Position Vo des Objekts zentriert ist, und der Radius r der Kugel wird als Größe des virtuellen Objekts BJ bestimmt.
Wenn ein Kegel als das virtuelle Objekt BJ ausgewählt wird, ist es möglich, den Scheitel des Kegels als Referenzpunkt zu betrachten, das virtuelle Objekt so zu platzieren, dass der Scheitel des Kegels sich an der Position Vo des Objekts befindet, und die Höhe des Kegels als die Größe des virtuellen Objekts zu bestimmen. In diesem Fall zum Beispiel kann die Höhe des Kegels so bestimmt werden, dass die Grundfläche des Kegels tangential eine Oberfläche berührt, die den Bereich des horizontalen Referenz-Blickwinkels definiert, z. B. die Grenzfläche Sθa oder Sθb in 9A.
Im vorstehenden Beispiel wird die Breite FW auf Basis des horizontalen Referenz-Blickwinkels bestimmt, und das Bild des virtuellen Objekts, das dem Objekt entspricht, das sich außerhalb des Bereichs der virtuellen Region in horizontaler Richtung befindet, wird in der/den spezifizierten Region(en) AL, mit der Breite FW und entlang der linken oder rechten Kante der virtuellen Region verlaufend, erzeugt. Alternativ ist es möglich, dass die Breite FW auf Basis des vertikalen Referenz-Blickwinkels bestimmt wird, und ein Bild eines virtuellen Objekts, das einem Objekt entspricht, das sich außerhalb des Bereichs der virtuellen Region in vertikaler Richtung befindet, wird in der/den spezifizierten Region(en) AL, mit der Breite FW und entlang der oberen oder unteren Kante der virtuellen Region verlaufend, erzeugt.
Ferner ist es möglich, dass die spezifizierte(n) Region(en) entlang der linken oder rechten Kante der virtuellen Region und die spezifizierte(n) Region(en) entlang der oberen oder unteren Kante der virtuellen Region beide zur Verfügung stehen, und Bilder virtueller Objekte werden sowohl für ein Objekt, das sich außerhalb des Bereichs der virtuellen Region in der horizontalen Richtung befindet, als auch für ein Objekt, das sich außerhalb des Bereichs der virtuellen Region in der vertikalen Richtung befindet, erzeugt.
Die Breite der spezifizierten Region(en) entlang der linken oder rechten Kante der virtuellen Region und die Breite der spezifizierten Region(en) entlang der oberen oder unteren Kante der virtuellen Region können gleich oder verschieden sein. Auch die Breite der spezifizierten Region entlang der linken Kante der virtuellen Region und die Breite der spezifizierten Region entlang der rechten Kante der virtuellen Region können gleich oder verschieden sein. In gleicher Weise können die Breite der spezifizierten Region entlang der oberen Kante der virtuellen Region und die Breite der spezifizierten Region entlang der unteren Kante der virtuellen Region gleich oder verschieden sein.
Im vorstehenden Beispiel bestimmt der Größenbestimmer 44 die Größe des virtuellen Objekts auf Basis der Breite FW der spezifizierten Region(en). Es kann jedoch alternativ die Größe des virtuellen Objekts auf Basis des Referenz-Blickwinkels bestimmt werden.
Im vorstehenden Beispiel wird die Breite FW der spezifizierten Region(en) auf Basis des Referenz-Blickwinkels bestimmt. Jedoch kann die Breite FW der spezifizierten Region(en) auf Basis eines anderen Parameters als dem Referenz-Blickwinkel bestimmt werden.
Im vorstehenden Beispiel wird das virtuelle Objekt in Übereinstimmung mit dem Typ Ot des durch den externen Situationsanalysator 42 detektierten Objekts ausgewählt. Alternativ kann das virtuelle Objekt in Übereinstimmung mit anderen Information über das Objekt als des Objekttyps ausgewählt werden. Zum Beispiel kann das virtuelle Objekt gemäß der Größe oder Position des Objekts ausgewählt werden.
Auch kann es zum Beispiel zulässig sein, das virtuelle Objekt nach der Präferenz des Benutzers auszuwählen. In diesem Fall ist es möglich, dass ein virtuelles Objekt beim Start des Fahrassistenzsystems ausgewählt wird, und dasselbe virtuelle Objekt weiterhin verwendet wird.
Es ist möglich, dass der Informationsspeicher 41 nur ein virtuelles Objekt speichert. In diesem Fall wird der virtuelle Objektselektor 43 nicht gebraucht, der externe Situationsanalysator 42 muss nicht den Typ oder Ähnliches des Objekts bestimmen, um das virtuelle Objekt auszuwählen, der Größenbestimmer 44 bestimmt die Größe für das einzige virtuelle Objekt, das im Informationsspeicher 41 gespeichert ist, und der dreidimensionale Zeichner 45 zeichnet das einzige virtuelle Objekt, das im Informationsspeicher 41 gespeichert ist.
Im vorstehenden Beispiel umfasst die Information zur Anzeigeregion FD Informationen, die die Positionen der vier Ecken der Anzeigeregion DL angeben. Die Information zur Anzeigeregion FD kann Informationen enthalten, die zur Berechnung der Positionen der vier Ecken der Anzeigeregion DL erforderlich sind, anstelle der Informationen, die die Positionen der vier Ecken der Anzeigeregion DL angeben. Zum Beispiel kann sie Information enthalten, die die mittige Position der Anzeigeregion DL angibt, Information zur Angabe der Größe (z. B. Anzahl der Pixel) in horizontaler Richtung, Information zur Angabe der Größe (z. B. Anzahl der Pixel) in vertikaler Richtung und Information, die den Neigungswinkel relativ zur Sichtlinie angibt.
Im vorstehenden Beispiel umfasst die Information zur virtuellen Region FV eine Information, die den Abstand Vf zum Benutzer-Standpunkt Ue angibt, und Informationen, die die Breite Vw und Höhe Vh angeben. Alternativ kann die Information zur virtuellen Region FV Informationen umfassen, die die Positionen der vier Ecken der virtuellen Region VL angeben. Kurz gesagt reicht es aus, dass die Information zur virtuellen Region FV Informationen umfasst, die die Positionen der vier Ecken der virtuellen Region VL angeben, oder zur Berechnung der Positionen der vier Ecken erforderliche Informationen.
Im vorstehenden Beispiel befindet sich die Mitte der virtuellen Region VL auf der Sichtlinie. Sie kann sich jedoch an beliebiger Stelle befinden, solange die virtuelle Region VL senkrecht zur Sichtlinie ist und ihre horizontale und vertikale Größe parallel zu den Xv- und Yv-Achsen des Benutzer-Standpunkts sind.
Es ist zu bevorzugen, dass die Position (der Abstand Vf ab dem Benutzer-Standpunkt Ue) und die Größe der virtuellen Region VL beliebig festlegbar sind. Insbesondere ist es zu bevorzugen, dass die Information zur Angabe der Position der virtuellen Region VL und/oder die Information zur Angabe der Größe der virtuellen Region VL der Information zur virtuellen Region FV, die im Informationsspeicher 41 gespeichert sind, überschreibbar sind, oder dass für jeweils beide mehrere Informationselemente gespeichert und auswählbar sind.
Im vorstehenden Beispiel ist das Display 6 als Frontscheiben-Display ausgebildet. Alternativ kann bewirkt werden, dass die Frontscheibe selbst Licht emittiert und als Display 6 verwendet wird. Auch kann das Display 6 zum Beispiel ein LCD-Display sein. Wird ein LCD verwendet, bildet eine Anzeigefläche (auf der ein echtes Bild erzeugt wird) des LCD die Anzeigeregion DL.
Das Display 6 kann nicht nur das Bild des virtuellen Objekts anzeigen, sondern auch ein abgebildetes Bild der Umgebung des Fahrzeugs. In diesem Fall zeigt die Informationsanzeigesteuervorrichtung 4 ein Bild eines virtuellen Objekts zur Anzeige der Position eines Objekts an, das sich außerhalb des räumlichen Umgebungsbereichs befindet, der dem gezeigten abgebildeten Bild entspricht.
In diesem Fall ist es, in einem Abschnitt, in dem das Bild des virtuellen Objekts und das abgebildete Bild sich überlappen, möglich, nur das Bild des virtuellen Objekts anzuzeigen oder ein durch Alpha-Blending kombiniertes Bild.
Als Display 6 kann ein Display geteilt werden, das für einen anderen Zweck, etwa für ein Navigationssystem, genutzt wird.
Das Display 6 kann ein anderes Bild als das abgebildete Bild der Umgebung des Fahrzeugs anzeigen. Zum Beispiel kann es eine Straßenkarte, textbasierte Informationen zur Route oder ähnliche, vom Fahrzeugnavigationssystem bereitgestellte Informationen anzeigen.
Auch in diesen Fällen ist es, in einem Abschnitt, in dem das Bild des virtuellen Objekts und das andere Bild sich überlappen, möglich, nur das Bild des virtuellen Objekts anzuzeigen oder ein durch Alpha-Blending kombiniertes Bild.
Im vorstehenden Beispiel ist die Informationsanzeigesteuervorrichtung Bestandteil der Fahrassistenzvorrichtung und Objekte sind andere Fahrzeuge und Ähnliches. Wenn jedoch die Informationsanzeigesteuervorrichtung eine Vorrichtung ist, die Datenbearbeitung und Ähnliches durchführt, kann ein Objekt ein Cursor sein.
In diesem Fall ist ein Cursor, der sich außerhalb der Anzeigeregion befindet, ein Objekt und ein Bild eines virtuellen Objekts zur Angabe der Position des Objekts wird angezeigt.
Zweite Ausführungsform
14 veranschaulicht eine Fahrassistenzvorrichtung 1b, die eine Informationsanzeigesteuervorrichtung 4b nach einer zweiten Ausführungsform der vorliegenden Erfindung umfasst. Die veranschaulichte Fahrassistenzvorrichtung 1b umfasst, neben der Informationsanzeigesteuervorrichtung 4b, einen externen Situationsdetektor 2, einen internen Situationsdetektor 3 und ein Display 6.
Der externe Situationsdetektor 2 und das Display 6 sind wie in der ersten Ausführungsform beschrieben.
Die Informationsanzeigesteuervorrichtung 4 der ersten Ausführungsform verwendet als Standpunkt-Position Ue und Sichtlinienrichtung Ud des Benutzers normale Werte. Andererseits detektiert die Informationsanzeigesteuervorrichtung 4b der zweiten Ausführungsform die Standpunkt-Position Ue und Sichtlinienrichtung Ud des Benutzers und verwendet die detektierte Position und Richtung im Prozess.
Der interne Situationsdetektor 3 detektiert die Standpunkt-Position Ue und Sichtlinienrichtung Ud des Benutzers, z. B. des Fahrers, im Fahrzeug.
Der interne Situationsdetektor 3 umfasst zum Beispiel einen Bildgeber 31 und einen Detektionssignalprozessor 32, wie in 15 veranschaulicht.
Der Bildgeber 31 verbildlicht das Innere eines Fahrzeugs, insbesondere den Benutzer, z. B. den Fahrer, und gibt ein Bildsignal aus. Der Bildgeber 31 umfasst eine oder mehrere Kameras.
In Bezug auf die Kameras ist es möglich, solche mit Infrarot-Sensoren oder LED-Elementen zur Beleuchtung zu verwenden, sodass eine Verbildlichung auch möglich ist, wenn es im Fahrzeuginneren dunkel ist.
Der Detektionssignalprozessor 32 generiert Detektionsinformation Sb auf Basis des Bildsignals vom Bildgeber 31 und gibt diese aus.
Zwar ist die Informationsanzeigesteuervorrichtung 4b ähnlich wie die Informationsanzeigesteuervorrichtung 4 der ersten Ausführungsform, sie unterscheidet sich jedoch dahingehend, dass sie zusätzlich einen internen Situationsanalysator 51 und einen Anzeigeregion-Informationsgenerator 52 umfasst und einen Informationsspeicher 41b anstelle des Informationsspeichers 41, wie in 16 veranschaulicht, umfasst.
Der interne Situationsanalysator 51 analysiert ein Bild des Gesichts des Benutzers auf Basis der Detektionsinformation Sb vom internen Situationsdetektor 3, detektiert die Standpunkt-Position Ue und Sichtlinienrichtung Ud und gibt die Information, die die detektierte Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, aus.
Es kann jede Technik, etwa Triangulation (Stereoskopie) mit mehreren Kameras, die Time-of-Flight-Technik (TOF) mit einer monokularen Kamera, eingesetzt werden, um die Standpunkt-Position Ue zu detektieren.
Der interne Situationsanalysator 51 schreibt die Information, die die detektierte Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, in den Informationsspeicher 41b. Wenn die Information, die die Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, bereits gespeichert sind, werden sie überschrieben.
Auf diese Weise werden die Information, die die Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, die im Informationsspeicher 41 gespeichert sind, entsprechend dem Detektionsergebnis des internen Situationsdetektors 3 aktualisiert.
Der Anzeigeregion-Informationsgenerator 52 berechnet die Koordinaten Vdlt, Vdrt, Vdlb und Vdrb im Benutzer-Standpunkt-Koordinatensystem der Information zur Anzeigeregion FD, auf Basis der vom internen Situationsanalysator 51 detektierten Standpunkt-Position Ue und Sichtlinienrichtung Ud. Er schreibt dann die Information zur Anzeigeregion FD, einschließlich der berechneten Koordinaten, in den Informationsspeicher 41b. Wenn die Information zur Anzeigeregion FD bereits vorhanden ist, wird sie überschrieben. Nur die Koordinaten Vdlt, Vdrt, Vdlb und Vdrb im Benutzer-Standpunkt-Koordinatensystem können überschrieben werden.
Der Umwandlungstabellengenerator 46 generiert eine Umwandlungstabelle CT auf Basis der Information zur virtuellen Region FV und Information zur Anzeigeregion FD, die im Informationsspeicher 41b gespeichert sind. Der Umwandlungstabellengenerator 46 speichert die generierte Umwandlungstabelle CT im Umwandlungstabellengenerator 46. Wenn die Umwandlungstabelle CT bereits vorhanden ist, wird sie überschrieben.
Bei einem solchen Prozess werden die Information zur Anzeigeregion FD, die im Informationsspeicher 41b gespeichert ist, und die Umwandlungstabelle CT, die im Umwandlungstabellengenerator 46 gespeichert ist, entsprechend dem Detektionsergebnis durch den internen Situationsdetektors 3 aktualisiert. Im Besonderen werden sie jedes Mal aktualisiert, wenn die Information, die die Standpunkt-Position Ue angibt, und/oder die Information, die die Sichtlinienrichtung Ud angibt, sich ändern.
Der Bildumwandler 47 führt die Bildumwandlung unter Verwendung der überschriebenen Umwandlungstabelle CT aus.
Durch das Detektieren der Standpunkt-Position Ue und der Sichtlinienrichtung Ud ist es möglich, die Bildanzeige kontinuierlich optimal durchzuführen, auch wenn sich die Standpunkt-Position oder die Sichtlinienrichtung des Benutzers ändert.
Wenn die Sichtlinienrichtung Ud stark von der Richtung hin zur Anzeigeregion DL abweicht, wird das in der virtuellen Region VL erzeugte Bild nicht in der Anzeigeregion DL angezeigt. Der Grund hierfür ist, dass das in der virtuellen Region VL erzeugte Bild auf einen Teil der Oberfläche der Anzeigeregion DS außerhalb der Anzeigeregion DL projiziert wird. Jedoch entsteht, da der Blick des Benutzers außerhalb der Anzeigeregion DL ist, auch wenn das Bild in der virtuellen Region VL nicht in der Anzeigeregion DL angezeigt wird, dem Benutzer dadurch kein Nachteil.
Wenn der Blick außerhalb der Anzeigeregion DL ist, und das in der virtuellen Region VL erzeugte Bild gar nicht in der Anzeigeregion DL angezeigt wird, ist es möglich, einen Teil der Funktionen der Informationsanzeigesteuervorrichtung 4b wegzulassen, etwa die Bestimmung der Größe des virtuellen Objekts durch den Größenbestimmer 44, das Zeichnen des virtuellen Objekts durch den dreidimensionalen Zeichner 45, die Erzeugung des Anzeigebilds durch den Bildumwandler 47 und den Betrieb des Displays 6 durch die Anzeigesteuerung 48.
Dritte Ausführungsform
17 veranschaulicht eine Informationsanzeigesteuervorrichtung 4c nach einer dritten Ausführungsform der vorliegenden Erfindung.
Die Informationsanzeigesteuervorrichtung 4c der dritten Ausführungsform wendet ein Variationsmuster auf das virtuelle Objekt an und bewegt das Variationsmuster, sodass die Position des Objekts aus einer Richtung des Musters und einer Richtung der Bewegung besser wahrnehmbar ist (Animation).
Zwar ist die Informationsanzeigesteuervorrichtung 4c, die in 17 veranschaulicht ist, im Großen und Ganzen identisch mit der Informationsanzeigesteuervorrichtung 4 von 5, sie unterscheidet sich jedoch dahingehend, dass sie zusätzlich einen Musterselektor 53 und einen Animationsrichtungsbestimmer 54 umfasst und einen Informationsspeicher 41c und einen dreidimensionalen Zeichner 45c anstelle des Informationsspeichers 41 und des dreidimensionalen Zeichners 45 umfasst.
Der Informationsspeicher 41c speichert, zusätzlich zu denselben Informationen wie der Informationsspeicher 41 von 5, mehrere Variationsmuster. Jedes der Variationsmuster kann in dreidimensionalen Grafiken verwendet werden. Die Variationsmuster umfassen Dichtevariationsmuster, Farbvariationsmuster und Durchlässigkeitsvariationsmuster.
Diese Variationsmuster sind direktionale Variationsmuster. Die direktionalen Variationsmuster sind zum Beispiel Muster, die eine Variation bezüglich der Dichte, Farbe, Durchlässigkeit oder Ähnliches in eine Richtung aufweisen, ohne dass dieselbe Variation in Richtungen vorliegt, die senkrecht zu dieser einen Richtung sind. Diese eine Richtung wird im Folgenden als Variationsrichtung bezeichnet.
Die Variationen der Variationsmuster können zum Beispiel sinusförmige Variationen, Variationen mit Rechteckschwingung oder Variationen entlang Gauß'scher Verteilungskurven sein.
Der Musterselektor 53 wählt ein Variationsmuster Pt aus den mehreren Variationsmustern aus, die im Informationsspeicher 41c gespeichert sind. Der Animationsrichtungsbestimmer 54 bestimmt eine Animationsrichtung Pd in Übereinstimmung mit der Position Vo des Objekts.
Der dreidimensionale Zeichner 45c wendet das vom Musterselektor 53 ausgewählte Variationsmuster Pt auf das vom virtuellen Objektselektor 43 ausgewählte virtuelle Objekt an.
Der dreidimensionale Zeichner 45c bewegt zudem das Variationsmuster Pt in der Variationsrichtung über die Zeit, wodurch ein Animationseffekt entsteht.
Auch richtet der dreidimensionale Zeichner 45c das virtuelle Objekt BJ so aus, dass die Variationsrichtung des Variationsmusters Pt mit der Animationsrichtung Pd übereinstimmt, und platziert das virtuelle Objekt BJ an der Position Vo des Objekts.
Der dreidimensionale Zeichner 45c erzeugt das Bild Gc des virtuellen Objekts in der virtuellen Region VL, indem eine perspektivische Projektion des virtuellen Objekts BJ, versehen mit dem Variationsmuster Pt, wie vorstehend beschrieben ausgerichtet und positioniert, auf die virtuelle Region VL, mit dem Benutzer-Standpunkt Ue als Referenz, erfolgt.
Die Auswahl des Variationsmusters Pt im Musterselektor 53, die Bestimmung der Animationsrichtung Pd im Animationsrichtungsbestimmer 54 und das Zeichnen im dreidimensionalen Zeichner 45c wird nachstehend im Einzelnen beschrieben, unter Bezugnahme auf 18 bis 21B.
Die Auswahl der Variationsmuster im Musterselektor 53 erfolgt, zum Beispiel, auf Basis der Informationen in Bezug auf das detektierte Objekt. Die Informationen in Bezug auf das hier beschriebene Objekt können der Objekttyp sein, die Position (z. B. der Abstand zu einer Referenzposition Vr, was später beschrieben wird) des Objekts, die Bewegungsgeschwindigkeit des Objekts oder die Beschleunigung in der Bewegung des Objekts. In diesen Fällen ist es möglich, Detektionsergebnisse und entsprechend den Detektionsergebnissen auszuwählende Variationsmuster miteinander verknüpft vorab zu speichern, und das Variationsmuster entsprechend dem Detektionsergebnis auszuwählen. Das dem jeweiligen Detektionsergebnis entsprechende Variationsmuster schlägt bevorzugt das Detektionsergebnis vor.
Die folgende Beschreibung beschreibt einen Fall, in dem eine Kugel als virtuelles Objekt BJ ausgewählt wurde und als Variationsmuster Pt ein Durchlässigkeitsvariationsmuster mit einer sinusförmigen Variation ausgewählt wurde.
Die Bestimmung der Animationsrichtung Pd im Animationsrichtungsbestimmer 54 erfolgt auf Basis der Objektposition Vo und Referenzposition Vr.
Die Animationsrichtung Pd ist durch einen dreidimensionalen Vektor im Benutzer-Standpunkt-Koordinatensystem dargestellt.
Der Vektor verläuft von der Referenzposition Vr zur Objektposition Vo, wie in 18 veranschaulicht, und ergibt sich aus einer Differenz (Vo - Vr) zwischen Vo und Vr.
Die Referenzposition Vr kann auf einen beliebigen Punkt festgesetzt werden. Um die Wirkung einer intuitiven Wahrnehmung der Position des Objekts zu verstärken, sollte sie bevorzugt vor dem Benutzer liegen. Zum Beispiel kann sie auf einen Punkt auf der Sichtlinie des Benutzers festgesetzt werden, z. B. an die Standpunkt-Position Ue.
In 18 ist die Referenzposition Vr auf einen Punkt auf der Sichtlinie des Benutzers festgesetzt, d. h. auf der Zv-Achse, wobei es sich nicht um die Standpunkt-Position Ue handelt.
Wurde eine Kugel als virtuelles Objekt BJ ausgewählt und ein Durchlässigkeitsvariationsmuster mit sinusförmiger Variation als Variationsmuster Pt ausgewählt, variiert der dreidimensionale Zeichner 45c die Durchlässigkeiten (α-Werte) der jeweiligen Abschnitte der Kugel in Übereinstimmung mit dem Durchlässigkeitsvariationsmuster. Im Besonderen wird ein Modellkoordinatensystem mit einer Mitte der Kugel als Ursprung definiert, und eine gerade Linie, die durch die Mitte verläuft, wird als Zm-Achse genommen, und die Durchlässigkeiten der jeweiligen Abschnitte werden so festgelegt, dass sie entlang der Zm-Achse variieren. Wird ein Polygonmodell als die Kugel verwendet, variieren die Durchlässigkeiten der jeweiligen Eckpunkte je nach ihrer Position.
19A und 19B veranschaulichen ein Beispiel der sinusförmigen Variation. In 19A stehen Punkte, die mit dunklen Punkten oder Ähnlichem dunkler dargestellt sind, für eine niedrigere Durchlässigkeit. Die Durchlässigkeiten an den jeweiligen Positionen in der Richtung entlang der Zm-Achse haben die Werte der Sinuswelle, die in 19B veranschaulicht ist, an denselben Positionen (die Positionen in der Richtung entlang der Zm-Achse). Im Beispiel der 19A und 19B ist der Variationszyklus der Durchlässigkeit gleich dem Durchmesser der Kugel, die das virtuelle Objekt bildet. Jedoch muss der Variationszyklus der Durchlässigkeit nicht gleich dem Durchmesser der Kugel sein, die das virtuelle Objekt bildet.
Der dreidimensionale Zeichner 45c bewegt die Position des obigen Durchlässigkeitsvariationsmusters (räumliche Verteilung der Durchlässigkeit) in die Richtung entlang der Zm-Achse über die Zeit. Zum Beispiel wird es in eine Richtung entlang der Zm-Achse bewegt.
In diesem Fall befindet sich, zum Beispiel, zu einem bestimmten Zeitpunkt, wie in 20A und 20B veranschaulicht, ein Abschnitt, in dem die Durchlässigkeit minimal ist, in der Nähe einer Mitte einer linken Hälfte der Kugel (an der Position, wo Zm = -Zm1) und zu einem Zeitpunkt, nach Verstreichen einer bestimmten Zeitdauer, wie in 20C und 20D veranschaulicht, wird der Abschnitt, in dem die Durchlässigkeit minimal ist, in eine Position bewegt, die näher an der Mitte der Kugel liegt (an der Position, wo Zm = -Zm2).
Die Bewegung des Variationsmusters erfolgt intermittierend oder kontinuierlich. Im Besonderen bewegen sich sowohl der Abschnitt, in dem die Durchlässigkeit minimal ist, als auch ein Abschnitt, in dem die Durchlässigkeit maximal ist, von links nach rechts. Da die Sinuswelle kontinuierlich ist, wiederholt sich die obige Variation.
Wenn die Bewegung intermittierend erfolgt, zum Beispiel, kann sie jedes Mal ausgeführt werden, wenn eine vorab bestimmte Zeitdauer verstrichen ist, oder jedes Mal, wenn der dreidimensionale Zeichenprozess eine vorab bestimmte Anzahl Male durchgeführt worden ist.
Die Geschwindigkeit der Bewegung des Variationsmusters kann konstant oder veränderlich, in Abhängigkeit von verschiedenen Faktoren, sein. Zum Beispiel kann sie auf einen Wert entsprechend dem Abstand zwischen dem Objekt und der Referenzposition, der Bewegungsgeschwindigkeit des Objekts, der Beschleunigung der Geschwindigkeit oder Ähnliches festgesetzt werden.
Der dreidimensionale Zeichner 45c rotiert das dreidimensionale Modell, auf das das Variationsmuster, das sich über die Zeit bewegt, angewendet wird, wie vorstehend beschrieben, sodass die Zm-Achse parallel zur Animationsrichtung Pd ist. Da die Animationsrichtung Pd durch einen dreidimensionalen Richtungsvektor dargestellt wird, kann die Rotation unter Verwendung der Rodrigues-Rotations-Formel umgesetzt werden.
Der dreidimensionale Zeichner 45c translatiert das dreidimensionale Modell, das wie vorstehend beschrieben rotiert wird, und sorgt dafür, dass dessen Referenzpunkt (die Mitte der Kugel) mit der Position Vo des Objekts übereinstimmt.
Es kann entweder die Rotation oder die Translation als Erstes erfolgen.
Beim vorstehend beschriebenen Prozess variiert die Durchlässigkeit des virtuellen Objekts BJ entlang der Zm-Achse und verläuft in der Animationsrichtung Pd, und die räumliche Verteilung (Variationsmuster) der Durchlässigkeit bewegt sich in der Richtung entlang der Zm-Achse über die Zeit. 21A veranschaulicht das virtuelle Objekt zu einem bestimmten Zeitpunkt.
Der dreidimensionale Zeichner 45c generiert das Bild Gc des virtuellen Objekts in der virtuellen Region VL, indem eine perspektivische Projektion des virtuellen Objekts BJ, versehen mit dem Variationsmuster, wie vorstehend beschrieben positioniert und ausgerichtet, auf die virtuelle Region VL, mit dem Benutzer-Standpunkt Ue als Referenz, erfolgt.
21B veranschaulicht das Bild des virtuellen Objekts, das dadurch erzeugt wird, dass das virtuelle Objekt in 21A projiziert wird. Wie bezugnehmend auf 20A bis 20D beschrieben, bewegt sich das Variationsmuster des virtuellen Objekts in der Richtung entlang der Zm-Achse über die Zeit. Ähnlich wie das virtuelle Objekt bewegt sich auch das Variationsmuster im Bild Gc in der Richtung entlang der Zm-Achse über die Zeit.
Wenn ein Bild von einem Teil des virtuellen Objekts in der Anzeigeregion des Displays angezeigt wird, indem der vorstehend beschriebene Prozess durchgeführt wird, kann der Benutzer den Teil des virtuellen Objekts, der nicht angezeigt wird, mittels amodaler Ergänzung wahrnehmen und intuitiv die Position der Mitte des virtuellen Objekts (die Mitte der Kugel) erfassen. Darüber hinaus wird es, indem das direktionale Variationsmuster, das die Position des Objekts zum virtuellen Objekt angibt, angewendet und das Variationsmuster bewegt wird, für den Benutzer einfacher, die Position Vo des Objekts intuitiv wahrzunehmen.
Zwar ist im vorstehenden Beispiel ein Muster mit sinusförmiger Variation in der Durchlässigkeit entlang der Zm-Achse verwendet, es ist jedoch möglich, ein Muster zu verwenden, das eine Variation entlang einer anderen Wellenform oder einer anderen Kurve aufweist. Zum Beispiel ist die Verwendung eines Musters mit einer Variation mit Rechteckschwingung oder eines Musters mit einer Variation entlang einer Gauß'schen Verteilungskurve möglich.
Im vorstehenden Beispiel wird das Variationsmuster auf Basis der Informationen über das Objekt, die der externe Situationsanalysator 42 detektiert, ausgewählt. Alternativ kann das Variationsmuster unabhängig von den das Objekt betreffenden Informationen ausgewählt werden. Zum Beispiel ist es möglich vorzusehen, dass das Variationsmuster nach Präferenz des Benutzers ausgewählt wird. In diesem Fall ist es möglich, dass ein Variationsmuster beim Start des Fahrassistenzsystems ausgewählt wird, und dasselbe Variationsmuster weiterhin verwendet wird.
Es ist möglich, dass der Informationsspeicher 41c nur ein Variationsmuster speichert. In diesem Fall ist der Musterselektor 53 überflüssig, der externe Situationsanalysator 42 muss keine Informationen über das Objekt erhalten, um das Variationsmuster auszuwählen, und der dreidimensionale Zeichner 45c führt das Zeichnen des virtuellen Objekts unter Verwendung des einzigen, im Informationsspeicher 41 gespeicherten Variationsmusters durch.
Zwar wird in der ersten bis dritten Ausführungsform der Detektionssignalprozessor 24 als Bestandteil des externen Situationsdetektors 2 beschrieben, er kann jedoch auch Bestandteil der Informationsanzeigesteuervorrichtung 4, 4b, oder 4c sein.
Zwar wird in der zweiten Ausführungsform der Detektionssignalprozessor 32 als Bestandteil des internen Situationsdetektors 3 beschrieben, er kann jedoch auch Bestandteil der Informationsanzeigesteuervorrichtung 4b sein.
Jede der Informationsanzeigesteuervorrichtungen 4, 4b und 4c wird durch einen oder mehrere Verarbeitungsschaltkreise gebildet.
Jeder Verarbeitungsschaltkreis kann durch speziell für diesen Zweck eingesetzte Hardware oder durch einen Prozessor und einen Programmspeicher gebildet sein.
Wenn der Verarbeitungsschaltkreis durch speziell für diesen Zweck eingesetzte Hardware gebildet ist, kann es sich zum Beispiel um eine anwendungsspezifische integrierte Schaltung (ASIC), ein Field Programmable Gate Array (FPGA) oder eine Kombination daraus handeln.
Wenn der Verarbeitungsschaltkreis durch einen Prozessor und einen Programmspeicher gebildet ist, kann es sich um eine Software, Firmware oder eine Kombination aus Software und Firmware handeln. Die Software oder Firmware ist als Programm beschrieben und im Programmspeicher gespeichert. Der Prozessor implementiert die Funktion des Verarbeitungsschaltkreises durch Auslesen und Ausführen des in dem Speicher gespeicherten Programms.
Hier kann der Prozessor zum Beispiel eine so genannte zentrale Verarbeitungseinheit (CPU), eine Rechenvorrichtung, ein Mikroprozessor, ein Mikrocomputer oder ein Digitalsignalprozessor (DSP) sein.
Der Programmspeicher kann zum Beispiel ein nicht flüchtiger oder flüchtiger Halbleiterspeicher sein, etwa ein Direktzugriffsspeicher (RAM), ein Nur-LeseSpeicher (ROM), ein Flash-Memory, ein löschbarer programmierbarer ROM (EPROM) oder ein elektrisch löschbarer programmierbarer ROM (EEPROM), ein Magnetplattenspeicher wie z. B. eine Festplatte, oder eine optische Platte wie z. B. eine Compact Disc (CD) oder Digital Versatile Disc (DVD).
Es ist auch möglich, dass ein Teil der Funktionen der Informationsanzeigesteuervorrichtungen 4, 4b und 4c durch speziell dafür vorgesehene Hardware implementiert wird und ein anderer Teil durch Software oder Firmware implementiert wird. Daher kann die Informationsanzeigesteuervorrichtung 4, 4b und 4c die obigen Funktionen durch den Einsatz von Hardware, Software, Firmware oder eine Kombination daraus implementieren.
22 veranschaulicht einen Computer, der einen Prozessor umfasst, der die Funktionen der Informationsanzeigesteuervorrichtung 4, 4b und 4c implementiert.
Der veranschaulichte Computer umfasst einen Prozessor 101, ein externes Speichermedium 102, einen Arbeitsspeicher 103, eine Netzwerkschnittstelle 104 und eine Anzeigeschnittstelle 105.
Das externe Speichermedium 102 speichert ein Programm, das vom Prozessor 101 ausgeführt wird. Das im externen Speichermedium 102 gespeicherte Programm wird vom Prozessor 101 in den Arbeitsspeicher 103 geladen und vom Prozessor 101 ausgeführt.
Ein Teil der Funktion des Informationsspeichers 41, 41b und 41c wird vom externen Speichermedium 102 bedient, und der Rest über den Arbeitsspeicher 103.
Ferner wird die Funktion des Speicherns der Umwandlungstabelle CT durch den Umwandlungstabellengenerator 46 oder 46b vom Arbeitsspeicher 103 bedient.
Im Folgenden wird ein Ablauf eines Prozesses, wenn der Prozess in der Informationsanzeigesteuervorrichtung 4 der ersten Ausführungsform durch den in 22 veranschaulichten Prozessor 101 implementiert ist, unter Bezugnahme auf 23 beschrieben.
In diesem Fall ist der externe Situationsdetektor 2 mit der Netzwerkschnittstelle 104 verbunden und das Display 6 ist mit der Anzeigeschnittstelle 105 verbunden.
Es wird angenommen, dass die Information zur Anzeigeregion FD, die Information zur virtuellen Region FV, die Information, die die Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, vorab im externen Speichermedium 102 gespeichert sind.
In Schritt ST11 erhält der Prozessor 101 die Detektionsinformation Sa vom externen Situationsdetektor 2 über die Netzwerkschnittstelle 104. Der Prozessor 101 detektiert ein Objekt, das sich in der Umgebung des Fahrzeugs befindet, auf Basis der erhaltenen Detektionsinformation Sa, und bestimmt den Typ Ot des detektierten Objekts. Der Prozessor 101 speichert das Bestimmungsergebnis im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der externe Situationsanalysator 42 in 5 durchführt.
In Schritt ST12 wählt der Prozessor 101 ein virtuelles Objekt BJ aus mehreren virtuellen Objekten aus, die im externen Speichermedium 102 gespeichert sind, und speichert Information, die das ausgewählte virtuelle Objekt BJ angibt, im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der virtuelle Objektselektor 43 in 5 durchführt.
In Schritt ST13 generiert der Prozessor 101 die Umwandlungstabelle CT aus der Information zur Anzeigeregion FD und der Information zur virtuellen Region FV, die im externen Speichermedium 102 gespeichert sind, und speichert die generierte Umwandlungstabelle CT im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Umwandlungstabellengenerator 46 in 5 durchführt.
In Schritt ST14 erhält der Prozessor 101 die Information, die die Position Vo des in Schritt ST11 detektierten Objekts angibt, und speichert sie im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der externe Situationsanalysator 42 in 5 durchführt.
In Schritt ST15 bestimmt der Prozessor 101 die Größe JS des virtuellen Objekts auf Basis der Information zur spezifizierten Region FA, die im externen Speichermedium 102 gespeichert ist, und der Information zur Angabe des virtuellen Objekts BJ und der Information zur Angabe der Position Vo des Objekts, die im Arbeitsspeicher 103 gespeichert sind, und speichert die bestimmte Größe JS im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Größenbestimmer 44 in 5 durchführt.
In Schritt ST16 generiert der Prozessor 101 das Bild Gc des virtuellen Objekts auf Basis der Information zur virtuellen Region FV, die im externen Speichermedium 102 gespeichert ist, und der Information zur Angabe des virtuellen Objekts BJ, der Information zur Angabe der Größe JS des virtuellen Objekts und der Information zur Angabe der Position Vo des Objekts, die im Arbeitsspeicher 103 gespeichert sind, und speichert das generierte Bild Gc im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der dreidimensionale Zeichner 45 in 5 durchführt.
In Schritt ST17 wandelt der Prozessor 101 das Bild Gc im Arbeitsspeicher 103 anhand der Umwandlungstabelle CT um und speichert das umgewandelte Bild Gd im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Bildumwandler 47 in 5 durchführt.
In Schritt ST18 erhält der Prozessor 101 das umgewandelte Bild Gd im Arbeitsspeicher 103, übermittelt einen Teil des umgewandelten Bilds Gd innerhalb der Anzeigeregion DL als das Anzeigebild Ge an das Display 6 über die Anzeigeschnittstelle 105 und bewirkt, dass das Display 6 es anzeigt. Dieser Prozess entspricht dem Prozess, den die Anzeigesteuerung 48 in 5 durchführt.
Die Prozesse der Schritte ST14 bis ST18 werden wiederholt durchgeführt.
Im Folgenden wird ein Ablauf eines Prozesses, wenn der Prozess in der Informationsanzeigesteuervorrichtung 4b der zweiten Ausführungsform durch den in 22 veranschaulichten Prozessor 101 implementiert ist, unter Bezugnahme auf 24 beschrieben.
In diesem Fall ist nicht nur der externe Situationsdetektor 2, sondern auch der interne Situationsdetektor 3 mit der Netzwerkschnittstelle 104 verbunden.
In 24 bezeichnen dieselben Bezugszeichen wie in 23 denselben Prozess.
Auch wenn 24 im Wesentlichen 23 entspricht, umfasst der Prozess zusätzlich die Schritte ST20, ST21 und ST22, und umfasst die Schritte ST13b, ST15b und ST16b anstelle der Schritte ST13, ST15 und ST16.
In Schritt ST20 kopiert der Prozessor 101, in den Arbeitsspeicher 103, die Information zur Anzeigeregion FD, die Information zur virtuellen Region FV, die Information, die die Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, die im externen Speichermedium 102 gespeichert sind.
In Schritt ST21 erhält der Prozessor 101 die Detektionsinformation Sb vom internen Situationsdetektor 3 über die Netzwerkschnittstelle 104, detektiert die Standpunkt-Position Ue und Sichtlinienrichtung Ud des Benutzers auf Basis der erhaltenen Detektionsinformation Sb und speichert die durch Detektion erhaltenen Informationen im Arbeitsspeicher 103. Wenn die Information, die die Standpunkt-Position Ue angibt, und die Information, die die Sichtlinienrichtung Ud angibt, bereits gespeichert sind, werden sie überschrieben. Dieser Prozess entspricht dem Prozess, den der interne Situationsanalysator 51 in 16 durchführt.
In Schritt ST22 berechnet der Prozessor 101 die Koordinaten Vdlt, Vdrt, Vdlb und Vdrb im Benutzer-Standpunkt-Koordinatensystem der Information zur Anzeigeregion FD, auf Basis der Standpunkt-Position Ue und Sichtlinienrichtung Ud des Benutzers, die im Arbeitsspeicher 103 gespeichert sind. Er schreibt dann die Information zur Anzeigeregion FD, einschließlich der berechneten Koordinaten, in den Arbeitsspeicher 103. Wenn die Information zur Anzeigeregion FD bereits vorhanden ist, wird sie überschrieben. Dieser Prozess entspricht dem Prozess, den der Anzeigeregion-Informationsgenerator 52 in 16 durchführt.
In Schritt ST13b generiert der Prozessor 101 die Umwandlungstabelle CT unter Nutzung der Information zur Anzeigeregion FD und der Information zur virtuellen Region FV, die im Arbeitsspeicher 103 gespeichert sind. Der Prozessor 101 schreibt die generierte Umwandlungstabelle CT in den Arbeitsspeicher 103. Wenn die Umwandlungstabelle CT bereits vorhanden ist, wird sie überschrieben. Dieser Prozess entspricht dem Prozess, den der Umwandlungstabellengenerator 46 in 16 durchführt.
In Schritt ST15b bestimmt der Prozessor 101 die Größe JS des virtuellen Objekts auf Basis der Information zur spezifizierten Region FA, der Information zur Angabe des virtuellen Objekts BJ und der Information zur Angabe der Position Vo des Objekts, die im Arbeitsspeicher 103 gespeichert sind, und speichert die bestimmte Größe JS im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Größenbestimmer 44 in 16 durchführt.
In Schritt ST16b generiert der Prozessor 101 das Bild Gc des virtuellen Objekts auf Basis der Information zur virtuellen Region FV, der Information zur Angabe des virtuellen Objekts BJ, der Information zur Angabe der Größe JS des virtuellen Objekts und der Information zur Angabe der Position Vo des Objekts, die im Arbeitsspeicher 103 gespeichert sind, und speichert das generierte Bild Gc im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der dreidimensionale Zeichner 45 in 16 durchführt.
Im Folgenden wird ein Ablauf eines Prozesses, wenn der Prozess in der Informationsanzeigesteuervorrichtung 4c der dritten Ausführungsform durch den in 22 veranschaulichten Prozessor 101 implementiert ist, unter Bezugnahme auf 25 beschrieben.
In 25 bezeichnen dieselben Bezugszeichen wie in 23 denselben Prozess.
Auch wenn 25 im Wesentlichen 23 entspricht, umfasst der Prozess zusätzlich die Schritte ST23 und ST24, und umfasst den Schritt ST16b anstelle des Schritts ST16.
In Schritt ST23 wählt der Prozessor 101 ein Variationsmuster Pt aus mehreren Variationsmustern aus, die im externen Speichermedium 102 gespeichert sind, und speichert das ausgewählte Variationsmuster Pt im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Musterselektor 53 in 17 durchführt.
In Schritt ST24 bestimmt der Prozessor 101 die Animationsrichtung Pd auf Basis der Position Vo des Objekts im Arbeitsspeicher 103 und speichert die bestimmte Animationsrichtung Pd im Arbeitsspeicher 103. Dieser Prozess entspricht dem Prozess, den der Animationsrichtungsbestimmer 54 in 17 durchführt.
In Schritt ST16c wendet der Prozessor 101 das Variationsmuster Pt im Arbeitsspeicher 103 auf das virtuelle Objekt im Arbeitsspeicher 103 an, bewegt das Variationsmuster Pt in der Animationsrichtung Pd über die Zeit, richtet das virtuelle Objekt BJ so aus, dass die Variationsrichtung des Variationsmusters Pt mit der Animationsrichtung Pd übereinstimmt und platziert das virtuelle Objekt BJ an der Position Vo des Objekts. Der Prozessor 101 erzeugt das Bild Gc des virtuellen Objekts in der virtuellen Region VL, indem eine perspektivische Projektion des virtuellen Objekts BJ, versehen mit dem Variationsmuster Pt, wie vorstehend beschrieben ausgerichtet und positioniert, auf die virtuelle Region VL, mit dem Benutzer-Standpunkt Ue als Referenz, erfolgt. Dieser Prozess entspricht dem Prozess, den der dreidimensionale Zeichner 45c in 17 durchführt.
Zwar sind vorstehend die Informationsanzeigesteuervorrichtungen nach der vorliegenden Erfindung beschrieben worden, es sind jedoch auch die Informationsanzeigesteuerverfahren, die durch die Informationsanzeigesteuervorrichtungen umgesetzt werden, Teil der vorliegenden Erfindung. Darüber hinaus sind auch Programme, die bewirken, dass Computer die Prozesse dieser Vorrichtungen oder Verfahren ausführen, und computerlesbare Aufzeichnungsmedien, die diese Programme speichern, Teil der vorliegenden Erfindung.
Bezugszeichenliste

1, 1b: Fahrassistenzvorrichtung,
2: externer Situationsdetektor,
3: interner Situationsdetektor,
4, 4b: Informationsanzeigesteuervorrichtung,
6: Display,
21: Bildgeber,
22: Detektor,
23: Kommunikator,
24: Detektionssignalprozessor,
31: Bildgeber,
32: Detektionssignalprozessor,
41, 41b, 41c: Informationsspeicher,
42: externer Situationsanalysator,
43: virtueller Objektselektor,
44: Größenbestimmer,
45, 45c: dreidimensionaler Zeichner,
46: Umwandlungstabellengenerator,
47: Bildumwandler,
48: Anzeigesteuerung,
51: interner Situationsanalysator,
52: Anzeigeregion-Informationsgenerator,
53: Musterselektor,
54: Animationsrichtungsbestimmer.

Claims

Informationsanzeigesteuervorrichtung (4, 4b, 4c) zur Anzeige, in einer Anzeigeregion (DL), eines Bilds eines virtuellen Objekts (BJ) zur Angabe einer Position (Vo) eines Objekts, die Informationsanzeigesteuervorrichtung (4, 4b, 4c) umfassend: einen Größenbestimmer (44) zur Bestimmung einer Größe (JS) des virtuellen Objekts (BJ) auf Basis der Position (Vo) des Objekts; einen dreidimensionalen Zeichner (45, 45c) zur Generierung eines Bilds (Gc) des virtuellen Objekts (BJ), indem das virtuelle Objekt (BJ), dessen Größe (JS) bestimmt wurde, an der Position (Vo) des Objekts platziert wird und indem eine perspektivische Projektion des virtuellen Objekts (BJ) auf eine virtuelle Region (VL), mit einem Benutzer-Standpunkt (Ue) als Referenz, erfolgt; einen Umwandlungstabellengenerator (46) zur Generierung einer Umwandlungstabelle (CT), die eine Beziehung zwischen mehreren Rasterpunkten (P_p00, P_p01) in der virtuellen Region (VL) und Punkten (Q_p00, Q_p01) darstellen, die den mehreren Rasterpunkten (P_p00, P_p01) in einer Ebene, die die Anzeigeregion (DL) einschließt, entsprechen; einen Bildumwandler (47) zur Generierung eines Anzeigebilds (Gd) des virtuellen Objekts (BJ), indem das Bild (Gc) des virtuellen Objekts (BJ) anhand der Umwandlungstabelle (CT) umgewandelt wird; und eine Anzeigesteuerung (48) zur Anzeige des Anzeigebilds (Gd) in der Anzeigeregion (DL), wobei das virtuelle Objekt (BJ) ein dreidimensionales Gebilde von der Art ist, dass eine Gesamtheit des dreidimensionalen Gebildes durch amodale Ergänzung ausgehend von einem Teil des dreidimensionalen Gebildes wahrnehmbar ist.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 1, wobei das virtuelle Objekt (BJ) entweder eine Kugel oder ein Kegel ist.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 1 oder 2, wobei der Größenbestimmer (44) die Größe (JS) des virtuellen Objekts (BJ) ferner auf Basis einer Größe einer spezifizierten Region (AL) der für die Erzeugung des Bilds (Gc) des virtuellen Objekts (BJ) spezifizierten virtuellen Region (VL) bestimmt.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 1 oder 2, wobei der Größenbestimmer (44) die Größe (JS) des virtuellen Objekts (BJ) ferner auf Basis eines Referenz-Blickwinkels bestimmt.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 4, wobei der Referenz-Blickwinkel ein horizontaler Referenz- Blickwinkel oder ein vertikaler Referenz- Blickwinkel ist.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach einem der Ansprüche 1 bis 5, ferner umfassend: einen Informationsspeicher (41, 41b, 41c) zur Speicherung mehrerer virtueller Objekte (BJ); und einen virtuellen Objektselektor (43) zur Auswahl eines der mehreren virtuellen Objekte (BJ), die im Informationsspeicher (41, 41b, 41c) gespeichert sind, wobei der Größenbestimmer (44) eine Größe (JS) des vom virtuellen Objektselektor (43) ausgewählten virtuellen Objekts (BJ) bestimmt, und wobei der dreidimensionale Zeichner (45, 45c) ein Bild (Gc) des vom virtuellen Objektselektor (43) ausgewählten virtuellen Objekts (BJ) generiert.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 6, wobei der virtuelle Objektselektor (43) das virtuelle Objekt (BJ) auf Basis von Informationen über das Objekt auswählt.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach Anspruch 7, wobei die Informationen über das Objekt ein Typ des Objekts, eine Größe des Objekts oder die Position (Vo) des Objekts sind.
Informationsanzeigesteuervorrichtung (4, 4b, 4c) nach einem der Ansprüche 1 bis 8, wobei die Punkte (Q_p00, Q_p01), die jeweils den mehreren Rasterpunkten (P_p00, P_p01) entsprechen, Schnittstellen von geraden Linien, die durch die Rasterpunkte und den Benutzer-Standpunkt (Ue) verlaufen, mit der Ebene, die die Anzeigeregion (DL) einschließt, sind.
Informationsanzeigesteuervorrichtung (4c) nach einem der Ansprüche 1 bis 9, ferner einen Animationsrichtungsbestimmer (54) umfassend, um eine Animationsrichtung (Pd) von der Position (Vo) des Objekts aus zu bestimmen, wobei der dreidimensionale Zeichner (45c) das Bild (Gc) des virtuellen Objekts (BJ) generiert, indem ein Variationsmuster (Pt) angewendet wird, das eine Variationsrichtung zum virtuellen Objekt (BJ) hat, indem das Variationsmuster (Pt) in der Variationsrichtung über die Zeit bewegt wird, indem das virtuelle Objekt (BJ) so ausgerichtet wird, dass die Variationsrichtung des Variationsmusters (Pt) mit der Animationsrichtung (Pd) übereinstimmt und indem das so ausrichtete virtuelle Objekt (BJ) auf die virtuelle Region (VL) projiziert wird.
Informationsanzeigesteuervorrichtung (4c) nach Anspruch 10, wobei das Variationsmuster (Pt) ein Dichtevariationsmuster, ein Farbvariationsmuster oder ein Durchlässigkeitsvariationsmuster ist.
Informationsanzeigesteuervorrichtung (4c) nach Anspruch 10 oder 11, wobei die Animationsrichtung (Pd) eine Richtung ist, die durch einen Vektor angegeben wird, der die Position (Vo) des Objekts und eine beliebige Referenzposition (Vr) verbindet.
Informationsanzeigesteuerverfahren zur Anzeige, in einer Anzeigeregion (DL), eines Bilds eines virtuellen Objekts (BJ) zur Angabe einer Position (Vo) eines Objekts, das Informationsanzeigesteuerverfahren umfassend: Bestimmen einer Größe (JS) des virtuellen Objekts (BJ) auf Basis der Position (Vo) des Objekts; Generieren eines Bilds (Gc) des virtuellen Objekts (BJ), indem das virtuelle Objekt (BJ), dessen Größe (JS) bestimmt wurde, an der Position (Vo) des Objekts platziert wird und indem eine perspektivische Projektion des virtuellen Objekts (BJ) auf eine virtuelle Region (VL), mit einem Benutzer-Standpunkt (Ue) als Referenz, erfolgt; Generieren eines Anzeigebilds (Gd) des virtuellen Objekts (BJ) durch Umwandeln des Bilds (Gc) des virtuellen Objekts (BJ) anhand einer Umwandlungstabelle (CT), die eine Beziehung zwischen mehreren Rasterpunkten (P_p00, P_p01) in der virtuellen Region (VL) und Punkten (Q_p00, Q_p01) darstellt, die den mehreren Rasterpunkten (P_p00, P_p01) in einer Ebene, die die Anzeigeregion (DL) einschließt, entsprechen; und Anzeigen des Anzeigebilds (Gd) in der Anzeigeregion (DL), wobei das virtuelle Objekt (BJ) ein dreidimensionales Gebilde von der Art ist, dass eine Gesamtheit des dreidimensionalen Gebildes durch amodale Ergänzung ausgehend von einem Teil des dreidimensionalen Gebildes wahrnehmbar ist.
Programm, um zu bewirken, dass ein Computer einen Prozess des Informationsanzeigesteuerverfahrens nach Anspruch 13 ausführt.
Computerlesbares Aufzeichnungsmedium, das das Programm nach Anspruch 14 speichert.