JP2022077138A - 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 - Google Patents

Abstract

【課題】走行レーンの面に平行であるように感得しやすい画像を表示する表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等を提供する。
【解決手段】観察者に画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置において、観察者から見て前景の消失点ＶＰ０より下方に配置される第１消失点ＶＰ１を有する第１の表示態様のパースペクティブ虚像として表示する第１の表示処理と、観察者から見て第１消失点ＶＰ１より上方に配置される第２の消失点ＶＰ２を有する第２の表示態様のパースペクティブ虚像として表示する第２の表示処理と、を実行する。
【選択図】図６

Description

本開示は、車両等の移動体で使用され、移動体の前景（車両の乗員から見た移動体の前進方向の実景）に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等に関する。

特許文献１には、車両のフロントウインドシールド等の被投影部に投射される表示光が、車両の内側にいる車両の乗員（観察者）に向けて反射されることで、観察者に、車両の前景と重なる虚像を視認させるヘッドアップディスプレイ装置（虚像表示装置の一例）が記載されている。特に、特許文献１に記載のヘッドアップディスプレイ装置は、前景の空間内の奥行きや上下左右方向の所定の位置（ここでは、前記位置をターゲット位置ということにする。）に仮想的に表示オブジェクト（虚像）を配置し、車両の姿勢の変化があった場合や観察者の目位置の変化があった場合であっても、あたかも前景のターゲット位置に表示オブジェクトが存在するかのように、ヘッドアップディスプレイ装置の内部で表示する画像を制御する。すなわち、このようなヘッドアップディスプレイ装置は、現実の風景（前景）に仮想オブジェクトを付加して表示する拡張現実を形成する。

特許文献１の図４の例では、自車両が走行する路面から少し浮遊した位置（路面の上方向に離れた位置）に、前方を指示する矢印形状（換言すると、後方から前方に向かって延びる矢印形状）の仮想オブジェクトを表示している。このような場合、観察者は、特許文献１の図５の例のように、矢印の後端側の幅（典型的には、左右方向の幅）が、先端に向かうにつれて徐々に狭くなることで、遠近感が表現される。すなわち、矢印の後端が近傍で矢印の先端が遠方であるように知覚される。このような遠近感を生じさせる表現は、典型的には、線遠近法（透視図法）などの手法が用いられる。

特開２０１０－１５６６０８号公報

ところで、上記のようなヘッドアップディスプレイ装置は、典型的には、虚像を表示可能な領域が平面又は局面の領域（ここでは、前記領域を虚像表示領域ということにする。）であり、前記虚像表示領域は、観察者の視線に対して正対するように配置される。すなわち、自車両の左右方向から見た場合、虚像が表示される虚像表示領域と、自車両が走行する路面との間の角度は、概ね９０度に設定される（虚像表示領域が路面と概ね平行となるように配置されない）。

図１０は、自車両の走行中において、観察者が視認する、自車両のフロンウインドシールドＷＳを介して視認する前景及び、前記前景と重なる虚像表示領域１０００に表示されるパースペクティブ画像１１００の様子を示す図である。図１０では、線遠近法を用いて路面に平行に配置されたように表現したパースペクティブ画像の態様を示しており、自車両の走行レーン１０１０の左側ラインを符号１０１１で示し、右側ラインを符号１０１２で示し、これら左側ライン１０１１の延長線と右側ライン１０１２の延長線との交点を消失点１０２０とする。図１０のパースペクティブ画像１１００は、台形であり、線遠近法（一点透視法）により、台形の左辺１１０１の延長線と右辺１１０２の延長線との交点が前記消失点１０２０と一致するように表現される。これにより、走行レーン１０１０の面に平行にパースペクティブ画像１１００が配置されているように絵画的には表現される。

しかしながら、上述したように、虚像表示領域が路面と概ね平行となるように配置されていない、すなわち、自車両が走行する路面に対して、概ね９０度だけ観察者側に起き上がった虚像表示領域に、図１０に示すようなパースペクティブ画像１１００を表示しても、パースペクティブ画像１１００の遠方端１１１０と走行レーン１０１０との間の距離が、近傍端１１２０と走行レーン１０１０との間の距離より長く、走行レーン１０１０の平行面に対して、パースペクティブ画像１１００の遠方端１１１０が観察者側に起き上がったように知覚されてしまい、走行レーン１０１０の面に平行であるように感得することが困難となり、改善の余地があった。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、走行レーンの面に平行であるように感得しやすい画像を表示する表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等を提供することに関する。

したがって、本明細書に記載される表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等は、前記課題を解決するため、以下の手段を採用した。本実施形態は、観察者から見て前景の消失点より下方に配置される第１消失点を有する第１の表示態様のパースペクティブ虚像として表示する第１の表示処理と、観察者から見て第１消失点より上方に配置される第２の消失点を有する第２の表示態様のパースペクティブ虚像として表示する第２の表示処理と、を実行する、ことをその要旨とする。

したがって、本明細書に記載される表示制御装置は、画像を被投影部材に投影することで、観察者に画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置における表示制御を実行する表示制御装置であって、１つ又は複数のプロセッサと、メモリと、メモリに格納され、１つ又は複数のプロセッサによって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、プロセッサは、観察者から見て前景の消失点より下方に配置される第１消失点を有する第１の表示態様のパースペクティブ虚像として表示する第１の表示処理と、観察者から見て第１消失点より上方に配置される第２の消失点を有する第２の表示態様のパースペクティブ虚像として表示する第２の表示処理と、を実行する。

図１は、車両用虚像表示システムの車両への適用例を示す図である。 図２は、ヘッドアップディスプレイ装置の構成を示す図である。 図３は、実景のターゲット位置に配置される仮想オブジェクトと、仮想オブジェクトが実景のターゲット位置に視認されるように虚像表示領域に表示される画像と、を概念的に示した図である。 図４は、自車両の走行中において、観察者が視認する前景と、前景に重畳して表示される第１の表示態様の虚像の例を示す図である。 図５Ａは、パースペクティブ画像の変形例を示す図である。 図５Ｂは、パースペクティブ画像の変形例を示す図である。 図５Ｃは、パースペクティブ画像の変形例を示す図である。 図５Ｄは、パースペクティブ画像の変形例を示す図である。 図６は、自車両の走行中において、観察者が視認する前景と、前景に重畳して表示される第２の表示態様の虚像の例を示す図である。 図７Ａは、第２消失点を有する第２の表示態様のパースペクティブ虚像Ｖを示す図である。 図７Ｂは、第２消失点を有する第２の表示態様のパースペクティブ虚像Ｖを示す図である。 図８は、いくつかの実施形態の車両用虚像表示システムのブロック図である。 図９は、パースペクティブ虚像を第１の表示態様又は第２の表示態様で表示させる表示制御処理を実行する表示制御方法を示すフロー図である。 図１０は、従来例に関する図であり、自車両の走行中において、観察者が視認する前景と、前景に重畳して表示される虚像の例を示す図である。

以下、図１ないし図８では、例示的な車両用虚像表示システムの構成、及び動作の説明を提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１を参照する。図１は、車両用虚像表示システムの車両への適用例を示す図である。なお、図１において、車両（移動体の一例。以下では、自車両とも呼ぶ。）１の左右方向（換言すると、車両１の幅方向）をＸ軸（Ｘ軸の正方向は、車両１の前方を向いた際の左方向。）とし、左右方向に直交すると共に、地面又は地面に相当する面（ここでは路面６）に直交する線分に沿う上下方向（換言すると、車両１の高さ方向）をＹ軸（Ｙ軸の正方向は、上方向。）とし、左右方向及び上下方向の各々に直交する線分に沿う前後方向をＺ軸（Ｚ軸の正方向は、車両１の直進方向。）とする。この点は、他の図面においても同様である。

車両用虚像表示システム１０におけるヘッドアップディスプレイ装置（虚像表示装置の一例。）２０は、車両（移動体の一例。）１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置２０は、表示光Ｋをフロントウインドシールド２（被投影部の一例である）に向けて出射し、フロントウインドシールド２は、ＨＵＤ装置２０が表示する画像の表示光Ｋをアイボックス２００へ反射する。ＨＵＤ装置２０は、車両１に関する情報（以下、車両情報と言う。）だけでなく、車両情報以外の情報も統合的に車両１の乗員（前記乗員は、典型的には、車両１の運転者である。）に報知する。なお、車両情報は、車両１自体の情報だけでなく、車両１の運行に関連した車両１の外部の情報も含む。

図示するように、車両（自車両）１に備わる車両用虚像表示システム１０は、観察者（典型的には車両１の運転席に着座する運転者）の左目７００Ｌと右目７００Ｒの位置や視線方向を検出する瞳（あるいは顔）検出用の目位置検出部（視線検出部）４０９、車両１の前方（広義には周囲）を撮像するカメラ（例えばステレオカメラ）などで構成される車外センサ４１１、ヘッドアップディスプレイ装置（以下では、ＨＵＤ装置とも呼ぶ）２０及び、ＨＵＤ装置２０を制御する表示制御装置３０、を有する。

また、本実施形態の説明で用いる「アイボックス」とは、（１）領域内では画像の虚像Ｖの全部が視認でき、領域外では画像の虚像Ｖの少なくとも一部分が視認されない領域、（２）領域内では画像の虚像Ｖの少なくとも一部が視認でき、領域外では画像の虚像Ｖの一部分も視認されない領域、（３）領域内では画像の虚像Ｖの少なくとも一部が所定の輝度以上で視認でき、領域外では画像の虚像Ｖの全体が前記所定の輝度未満である領域、又は（４）ＨＵＤ装置２０が立体視可能な虚像Ｖを表示可能である場合、虚像Ｖの少なくとも一部が立体視でき、領域外では虚像Ｖの一部分も立体視されない領域である。すなわち、観察者が目（両目）をアイボックス２００外に配置すると、観察者は、画像の虚像Ｖの全体が視認できない、画像の虚像Ｖの全体の視認性が非常に低く知覚しづらい、又は画像の虚像Ｖが立体視できない。前記所定の輝度とは、例えば、アイボックスの中心で視認される画像の虚像の輝度に対して１／５０程度である。「アイボックス」は、ＨＵＤ装置２０が搭載される車両で観察者の視点位置の配置が想定されるエリア（アイリプスとも呼ぶ。）と同じ、又は前記アイリプスの大部分（例えば、８０％以上。）を含むように設定される。

虚像表示領域ＶＳは、ＨＵＤ装置２０の内部で生成された画像が、虚像Ｖとして結像する平面、曲面、又は一部曲面の領域であり、結像面とも呼ばれる。虚像表示領域ＶＳは、ＨＵＤ装置２０の後述する表示器４０の表示面（例えば、液晶光変調素子の出射面）５１が虚像として結像される位置であり、すなわち、虚像表示領域ＶＳは、ＨＵＤ装置２０の後述する表示面５１に対応し（言い換えると、虚像表示領域ＶＳは、後述する表示器４０の表示面５１と、共役関係となる。）、そして、虚像表示領域ＶＳで視認される虚像は、ＨＵＤ装置２０の後述する表示面５１に表示される画像に対応している、と言える。虚像表示領域ＶＳ自体は、実際に観察者の目に視認されない、又は視認されにくい程度に視認性が低いことが好ましい。

虚像表示領域ＶＳには、車両１の左右方向（Ｘ軸方向）を軸とした水平方向（ＸＺ平面）とのなす角度（図１のチルト角θｔ）と、アイボックス２００の中心２０５と虚像表示領域ＶＳの上端ＶＳ１とを結ぶ線分と、アイボックス中心と虚像表示領域ＶＳの下端ＶＳ２とを結ぶ線分とのなす角度を虚像表示領域ＶＳの縦画角として、この縦画角の二等分線と水平方向（ＸＺ平面）とのなす角度（図１の縦配置角θｄ）と、が設定される。縦配置角θｄは、典型的には、水平方向（ＸＺ平面）より下向きに設定され、例えば、＋２［ｄｅｇｒｅｅ］である（ここでは、縦配置角θｄの正方向は、前記縦画角の二等分線が、アイボックス２００の中心２０５から下向きとなる俯角であり、縦配置角θｄの負方向は、前記縦画角の二等分線が、アイボックス２００の中心２０５から上向きとなる仰角であるとも言える。）。

また、本実施形態の虚像表示領域ＶＳは、前方（Ｚ軸正方向）を向いた際に概ね正対するように、概ね９０［ｄｅｇｒｅｅ］のチルト角θｔを有する。但し、チルト角θｔは、これに限定されるものではなく、－１０≦θｔ＜９０［ｄｅｇｒｅｅ］の範囲で変更し得る。チルト角θｔは、例えば、６０［ｄｅｇｒｅｅ］に設定され、虚像表示領域ＶＳは、観察者から見て上側の領域が下側の領域より遠方になるように配置されてもよい。但し、チルト角θｔの範囲は、これに限定されない。

図２は、ヘッドアップディスプレイ装置の構成の一態様を示す図である。ＨＵＤ装置２０は、例えばダッシュボード（図１の符号５）内に設置される。このＨＵＤ装置２０は、表示器４０、リレー光学系８０及び、これら表示器４０とリレー光学系８０を収納し、表示器４０からの表示光Ｋを内部から外部に向けて出射可能な光出射窓２１を有する筐体２２、を有する。

図２の表示器４０は、典型的には、液晶ディスプレイパネル（光変調素子）５０と、光源ユニット６０と、から主に構成される。表示面５１は、液晶ディスプレイパネル５０の視認側の表面であり、画像の表示光Ｋを出射する。表示面５１の中心からリレー光学系８０及び前記被投影部を介してアイボックス２００（アイボックス２００の中心２０５）へ向かう表示光Ｋの光軸Ｋｐに対する、表示面５１の角度の設定により、虚像表示領域ＶＳの角度（チルト角θｔを含む。）が設定され得る。

液晶ディスプレイパネル（光変調素子）５０は、光源ユニット６０から光を入射し、２Ｄ画像に空間光変調した表示光Ｋをリレー光学系８０（第２ミラー８２）へ向けて出射する。液晶ディスプレイパネル５０は、例えば、観察者から見た虚像Ｖの上下方向（Ｙ軸方向）に対応する画素が配列される方向が短辺である矩形状である。観察者は、液晶ディスプレイパネル５０の透過光を、虚像光学系９０を介して視認する。虚像光学系９０は、図２で示すリレー光学系８０とフロントウインドシールド２とを合わせたものである。なお、光変調素子５０（表示器４０）は、自発光型ディスプレイであってもよく、又は、スクリーンに画像を投影するプロジェクション型ディスプレイ（例えば、ＬＣｏＳやＤＭＤを用いた反射型表示パネル）であってもよく、これらに限定されない。この場合、表示面５１は、プロジェクション型ディスプレイのスクリーンである。

光源ユニット６０は、光源（不図示）と、照明光学系（不図示）と、によって構成される。

光源（不図示）は、例えば、複数のチップ型のＬＥＤであり、液晶ディスプレイパネル（光変調素子の一例）２２へ照明光を出射する。光源ユニット６０は、例えば、４つの光源で構成されており、液晶ディスプレイパネル５０の長辺に沿って一列に配置される。光源ユニット６０は、表示制御装置３０からの制御のもと、照明光を液晶ディスプレイパネル５０に向けて出射する。光源ユニット６０の構成や光源の配置などはこれに限定されない。

照明光学系（不図示）は、例えば、光源ユニット６０の照明光の出射方向に配置された１つ又は複数のレンズ（不図示）と、１つ又は複数のレンズの出射方向に配置された拡散板（不図示）と、によって構成される。

なお、光源ユニット６０は、ローカルディミング可能に構成され、表示制御装置３０からの制御のもと、表示面５１のエリア毎の照明の度合いを変更してもよい。これにより、光源ユニット６０は、表示面５１に表示される画像の輝度をエリア毎に調整することができる。

リレー光学系８０は、表示器４０から出射された表示光Ｋ（表示器４０からアイボックス２００へ向かう光。）の光路上に配置され、表示器４０からの表示光ＫをＨＵＤ装置２０の外側のフロントウインドシールド２に投影する１つ又はそれ以上の光学部材で構成される。図２のリレー光学系８０は、１つの凹状の第１ミラー８１と、１つの平面の第２ミラー８２と、を含む。

第１ミラー８１は、例えば、正の光学的パワーを有する自由曲面形状である。換言すると、第１ミラー８１は、領域毎に光学的パワーが異なる曲面形状であってもよく、すなわち、表示光Ｋが通る領域（光路）に応じて表示光Ｋに付加される光学的パワーが異なってもよい。具体的には、表示面５１の各領域からアイボックス２００へ向かう第１表示光Ｋ１１、第２表示光Ｋ１２、第３表示光Ｋ１３（図２参照）とで、リレー光学系８０によって付加される光学的パワーが異なってもよい。

なお、第２ミラー８２は、例えば、平面ミラーであるが、これに限定されるものではなく、光学的パワーを有する曲面であってもよい。すなわち、リレー光学系８０は、複数のミラー（例えば、本実施形態の第１ミラー８１、第２ミラー８２。）を合成することで、表示光Ｋが通る領域（光路）に応じて付加される光学的パワーを異ならせてもよい。なお、第２ミラー８２は、省略されてもよい。すなわち、表示器４０から出射される表示光Ｋは、第１ミラー８１により被投影部（フロントウインドシールド）２に反射されてもよい。

また、リレー光学系８０は、本実施形態では２つのミラー（反射光学系）を含んでいたが、これに限定されるものではない。リレー光学系８０は、１つ又はそれ以上の、レンズなどの屈折光学部材、ホログラムなどの回折光学部材、上述のものとは異なる反射光学部材、又はこれらの組み合わせを含んでいてもよく、これらは、上述の反射光学系に追加されてもよく、並びに上述の反射光学系の一部又は全部と代替されてもよい。

また、リレー光学系８０は、この曲面形状（光学的パワーの一例。）により、虚像表示領域ＶＳまでの距離を設定する機能、及び表示面５１に表示された画像を拡大した虚像を生成する機能、を有するが、これに加えて、フロントウインドシールド２の湾曲形状により生じ得る虚像の歪みを抑制する（補正する）機能、又はこれら以外の公知の光学的機能を有していてもよい。

また、リレー光学系８０は、表示制御装置３０により制御される１つ又はそれ以上のアクチュエータ８６、８７が取り付けられ、回転可能であってもよい。例えば、アクチュエータ８６は、第１ミラー８１を、第１の回転軸ＡＸ１を中心に回転（及び／又は移動）させてもよい。アクチュエータ８７は、第２ミラー８２を、第１の回転軸ＡＸ１を中心に回転（及び／又は移動）させてもよい。

ヘッドアップディスプレイ装置２０は、後述する表示制御装置３０の制御に基づいて、車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景に存在する、走行レーンの路面、分岐路、道路標識、障害物（歩行者、自転車、自動二輪車、他車両など）、及び地物（建物、橋など）などのオブジェクトの近傍、オブジェクトに重なる位置、又はオブジェクトを基準に設定された位置に画像を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を観察者（典型的には、車両１の運転席に着座する観察者）に知覚させることもできる。本実施形態の説明では、実景に存在する実オブジェクト又は表示制御装置３０が定める実景における所定の空間内の奥行きや上下左右方向のターゲット位置に応じて、表示される位置を変化させ得る画像をＡＲ画像と定義し、実オブジェクトの位置によらず、表示される位置が設定される画像を非ＡＲ画像と定義することとする。また、本実施形態の説明では、遠近感を生じさせる透視図法で表現される１つ又は複数からなる画像をパースペクティブ画像と定義し、透視図法で表現されない画像を非パースペクティブ画像と定義することとする。パースペクティブ画像は、典型的には、ＡＲ画像である。

後述する表示制御装置３０は、例えば、画像レンダリング処理（グラフィック処理）、表示器駆動処理などを実行することで、ＨＵＤ装置２０が表示する（観察者が知覚する）画像Ｖの態様を制御することができる。

図３は、実景のターゲット位置に配置される仮想オブジェクトと、仮想オブジェクトが実景のターゲット位置に視認されるように虚像表示領域に表示される画像と、を概念的に示した図である。図３に表したように、観視者７００から見て、奥行き方向をＺ軸方向とし、左右方向（自車両１の幅方向）をＸ軸方向とし、上下方向（自車両１の上下方向）をＹ軸方向とする。なお、観視者から見て遠ざかる方向をＺ軸の正の方向とし、観視者から見て左方向がＸ軸の正の方向とし、観視者から見て上方向をＹ軸の正の方向とする。

観視者７００は、被投影部２を介して虚像表示領域ＶＳに形成された（結像された）虚像Ｖを視認することで、実景の所定のターゲット位置ＰＴに、仮想オブジェクトＦＵを知覚する。観視者は、被投影部２で反射した表示光Ｋの映像の虚像Ｖを視認する。この時、虚像Ｖが、例えば進路を示す矢印である場合、自車両１の前景の所定のターゲット位置ＰＴに仮想オブジェクトＦＵが配置されて視認されるように、虚像Ｖの矢印は虚像表示領域ＶＳに表示される。

（第１の表示態様のパースペクティブ虚像Ｖ１０）
図４は、自車両１の走行中において、観察者が視認する前景と、前景に重畳して表示される第１の表示態様の虚像の例を示す図である。第１の表示態様の虚像Ｖ１０（以下では、パースペクティブ虚像Ｖ１０とも呼ぶ。）は、消失点ＶＰ１（第１消失点ＶＰ１）を有する。すなわち、パースペクティブ虚像Ｖ１０の図形は、奥行きを知覚させる消失点ＶＰ１を有する形状を有しており、例えば「矢印」の幹の部分の左辺の延長線Ｖ１Ａ及び右辺の延長線Ｖ１Ｂは、消失点ＶＰ１で交差する。

図示するように、観視者から見てパースペクティブ虚像Ｖ１０が下方（縦配置角θｄが正の方向である位置）に配置される場合は、消失点ＶＰ１は、虚像Ｖ１０の位置よりも上方に配置される。一方、観視者から見てパースペクティブ虚像Ｖ１０が上方（縦配置角θｄが負の方向である位置）に配置される場合は、消失点ＶＰ１は、虚像の位置よりも下方に配置される。

観視者は、消失点ＶＰ１とパースペクティブ虚像Ｖ１０との位置との関係に基づいて、観視者から見た時のパースペクティブ虚像Ｖ１０の奥行き感を得る。このように、パースペクティブ虚像Ｖ１０が消失点ＶＰ１を有することで、観視者におけるパースペクティブ虚像Ｖ１０の奥行き位置の推定が容易になる。

一方、図４に示したように、自車両１の走行レーン６は、消失点ＶＰ０（実景消失点ＶＰ０）を有する。本具体例では、観視者から見て、前方に直進する走行レーン６が存在し、その走行レーン６の両側の境界線７及び８の延長線が、消失点ＶＰ０で実質的に交差（点となる）する。このように、走行レーン（路面）６が消失点ＶＰ０を有することから、観視者は、実景（走行レーン６）において奥行き感を得る。

そして、本実施形態に係る車両用虚像表示システム１０においては、図４に示すように、パースペクティブ虚像Ｖ１０の消失点ＶＰ１が、実景（走行レーン６）の消失点ＶＰ０よりも手前側（観察者から見ると下方）に配置される。

一般に、線遠近法（透視図法）を用いて、絵画などを含めて画像を作成する場合、画像内の各種のオブジェクトをそれぞれの奥行き位置に配置する際に、消失点が用いられる。例えば、所定の消失点から直線が放射状に仮想的に描かれ、その直線に各オブジェクトの輪郭線などを沿わせることで、各オブジェクトは所定の奥行き位置に定着されて知覚される。なお、消失点は複数設けることができるが、ここでは、説明を簡単にするために、１つの画像内において消失点が１つ設けられる場合として説明する。

一般の線遠近法（透視図法）を用いた場合、観察者に知覚させる仮想オブジェクトの輪郭を形成する各境界線の延長線が、前景（走行レーン６）の消失点ＶＰ０で交差するように、虚像が表示さされる、すなわち、虚像の消失点ＶＰ１の位置が、前景（走行レーン６）の消失点ＶＰ０の位置と一致するように、虚像が生成されるが、本実施形態においては、パースペクティブ虚像Ｖ１０の消失点ＶＰ１の位置が、前景（走行レーン６）の消失点ＶＰ０の位置よりも手前側になるように、パースペクティブ虚像Ｖ１０が生成される（第１の表示処理）。

これにより、仮想オブジェクトＦＵ１０の知覚される配置角（図３のＸ２軸を回転軸とした路面に対する角度）が、走行レーン６と概ね平行であるように、観察者により感得されやすくすることができる。

仮想オブジェクトＦＵ１０は「矢印」であり、通常は、仮想オブジェクトＦＵ１０が配置される（設定される）ターゲット位置ＰＴは、前景（走行レーン６）の表面の高さに一致させる（すなわち、設定高さを０ｍに設定する）。但し、これは一例であり、限定されるものではない。他の例では、ターゲット位置ＰＴは、前景（走行レーン６）の表面の高ｌさより高い位置に設定してもよい（すなわち、設定高さを０．５ｍや１ｍに設定してもよい）。また、他の例では、ターゲット位置ＰＴは、前景（走行レーン６）の表面の高さより低い位置に設定してもよい（すなわち、設定高さを－１ｍや－２ｍに設定してもよい）。

図５Ａ、図５Ｂ、図５Ｃ及び、図５Ｄは、パースペクティブ画像の変形例を示す図である。上記実施形態のパースペクティブ虚像Ｖ１０は、１つの直線の「矢印」から構成されていたが、これに限定されない。図５Ａに示すパースペクティブ虚像Ｖ２０は、画像（「矢印」）の途中から屈曲させたものであってもよい。この場合、左方パースペクティブ線Ｖ１Ａは、パースペクティブ虚像Ｖ２０が屈曲するまでの左辺の延長線と定義することができ、右方パースペクティブ線Ｖ１Ｂは、パースペクティブ虚像Ｖ２０が屈曲するまでの右辺の延長線と定義することができる。

また、図５Ｂに示すパースペクティブ虚像Ｖ３０は、第１のパースペクティブ虚像Ｖ３１と、第１のパースペクティブ虚像Ｖ３１より上方に配置され、第１のパースペクティブ虚像Ｖ３１よりサイズが小さく設定される第２のパースペクティブ虚像Ｖ３２とで構成される。この場合、左方パースペクティブ線Ｖ１Ａは、第１のパースペクティブＶ３１の左端と第２のパースペクティブＶ３２の左端とを結ぶ直線と定義することができ、右方パースペクティブ線Ｖ１Ｂは、第１のパースペクティブＶ３１の右端と第２のパースペクティブＶ３２の右端とを結ぶ直線と定義することができる。

また、図５Ｃに示すパースペクティブ虚像Ｖ４０は、左右で分割された複数のパースペクティブ虚像Ｖ４１～Ｖ４９で構成されてもよい。この場合、左方パースペクティブ線Ｖ１Ａは、左方のパースペクティブＶ４１～Ｖ４４の左端を結ぶ直線（近似直線）と定義することができ、右方パースペクティブ線Ｖ１Ｂは、右方のパースペクティブＶ４５～Ｖ４８の右端を結ぶ直線（近似直線）と定義することができる。

また、図５Ｄに示すパースペクティブ虚像Ｖ５０の消失点ＶＰ１（第１消失点ＶＰ１）は、観察者から見て、走行レーン６の境界線７，８同士の交点である消失点ＶＰ０の左右方向にずれた消失点ＶＰ０‘に向けられた位置（図５Ｄに示す消失点ＶＰ０’は、消失点ＶＰ０の左方に配置される）に設定されてもよい。このような場合でも、パースペクティブ虚像Ｖ５０の消失点ＶＰ１（第１消失点ＶＰ１）は、消失点ＶＰ０‘（実景消失点ＶＰ０）よりも手前側に配置させることができる。

（第２の表示態様のパースペクティブ虚像Ｖ６０）
図６は、自車両１の走行中において、観察者が視認する前景と、前景に重畳して表示される第２の表示態様の虚像の例を示す図である。第２の表示態様の虚像Ｖ６０（以下では、パースペクティブ虚像Ｖ６０とも呼ぶ。）は、第１の表示態様のパースペクティブ虚像Ｖ１０の第１消失点ＶＰ１よりも遠方側に消失点ＶＰ２（第２消失点ＶＰ２）を有する。すなわち、パースペクティブ虚像Ｖ６０の図形は、奥行きを知覚させる第２消失点ＶＰ２を有する形状を有しており、例えば「矢印」の幹の部分の左辺の延長線Ｖ１Ｂ及び右辺の延長線Ｖ２Ｂは、第２消失点ＶＰ２で交差する。

図示するように、観視者から見て第２の表示態様のパースペクティブ虚像Ｖ６０が下方（縦配置角θｄが正の方向である位置）に配置される場合は、第２消失点ＶＰ２は、第１消失点ＶＰ１の位置よりも上方に配置される。一方、観視者から見て第２の表示態様のパースペクティブ虚像Ｖ６０が上方（縦配置角θｄが負の方向である位置）に配置される場合は、第２消失点ＶＰ２は、第１消失点ＶＰ１の位置よりも下方に配置される。

いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖの表示態様を、パースペクティブ虚像Ｖの種類に応じて、第１消失点ＶＰ１を有する上記第１の表示態様、又は第１消失点ＶＰ１より遠方側に設定される第２消失点ＶＰ２を有する上記第２の表示態様、に変化させる。いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、（１０）パースペクティブ虚像Ｖが遠近方向に移動する又は伸縮する動画であれば、第２消失点ＶＰ２を有する第２表示態様で表現（第２の表示処理の一例）し、（１５）パースペクティブ虚像Ｖが静止画、あまり遠近方向に移動しない動画、又はあまり遠近方向に伸縮しない動画であれば、第１消失点ＶＰ１を有する第１表示態様で表現する。

図７Ａ、図７Ｂは、第２消失点ＶＰ２を有する第２の表示態様のパースペクティブ虚像Ｖを示す図である。いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖが、（１１）遠近方向に徐々に伸縮しているように知覚される動画（図７Ａの例では、近傍側から遠方側の第２消失点ＶＰ２に向かって徐々に延びる透視図法で表現される動画）、又は（１２）遠近方向に徐々に移動するように知覚される動画（図７Ｂの例では、近傍側から遠方側の第２消失点ＶＰ２に向かって徐々に移動する透視図法で表現される動画）である場合、第２消失点ＶＰ２を有する第２表示態様で表現する（第２の表示処理の一例）。一方、ＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖが、（１６）静止画、（１７）あまり遠近方向に伸縮して知覚されない動画、又は（１８）あまり遠近方向に移動して知覚されない動画、などである場合、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。「（１７）あまり遠近方向に伸縮しない動画、又は（１８）あまり遠近方向に移動しない動画」は、具体的に例えば、左右方向（Ｘ軸方向）に動く動画、上下方向（Ｙ軸方向）であり、ヒトの知覚では奥行き方向（Ｚ軸方向）にも感得し得る方向に所定の閾値以下の微小な距離だけ動く動画（さらに具体的には、左右方向（Ｘ軸方向）に動く距離に対する上下方向（Ｙ軸方向）に動く距離が１／１０以下である動画）、などである。

また、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖの表示態様を、パースペクティブ虚像Ｖの動画の移動速度（変形速度）に応じて、第１消失点ＶＰ１を有する上記第１の表示態様、又は第１消失点ＶＰ１より遠方側に設定される第２消失点ＶＰ２を有する上記第２の表示態様、に変化させる。例えば、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、（２０）パースペクティブ虚像Ｖの動画の移動速度（変形速度）が速ければ、第２消失点ＶＰ２を有する第２表示態様で表現（第２の表示処理の一例）し、（２５）パースペクティブ虚像Ｖの動画の移動速度が遅ければ、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。

上記実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖが、（２１）遠近方向に徐々に伸縮する、又は遠近方向に徐々に移動する画像の速度が、所定の画像速度閾値以上であり、速いと判定される場合、第２消失点ＶＰ２を有する第２表示態様で表現する（第２の表示処理の一例）。一方、ＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖが、（２６）遠近方向に徐々に伸縮する、又は遠近方向に徐々に移動する画像の速度が、所定の画像速度閾値未満であり、遅いと判定される場合、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。

また、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖの表示態様を、自車両１の前方（周囲）の明るさに応じて、第１消失点ＶＰ１を有する上記第１の表示態様、又は第１消失点ＶＰ１より遠方側に設定される第２消失点ＶＰ２を有する上記第２の表示態様、に変化させる（第２の表示処理の一例）。例えば、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、（３０）自車両１の前方（周囲）が明るいと判定される場合、第２消失点ＶＰ２を有する第２表示態様で表現し、（３５）自車両１の前方（周囲）が暗いと判定される場合、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。

また、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖの表示態様を、パースペクティブ虚像Ｖの上下方向（Ｙ軸方向）であり、ヒトの知覚では奥行き方向（Ｚ軸方向）の長さに応じて、第１消失点ＶＰ１を有する上記第１の表示態様、又は第１消失点ＶＰ１より遠方側に設定される第２消失点ＶＰ２を有する上記第２の表示態様、に変化させる。例えば、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、（４０）パースペクティブ虚像Ｖの上下方向（Ｙ軸方向）の長さであり、ヒトの知覚では奥行き方向（Ｚ軸方向）の距離が、所定の閾値と同じ又は長いである場合、第２消失点ＶＰ２を有する第２表示態様で表現（第２の表示処理の一例）し、（４５）パースペクティブ虚像Ｖの上下方向（Ｙ軸方向）の長さであり、ヒトの知覚では奥行き方向（Ｚ軸方向）の距離が、所定の閾値より短い場合、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。

また、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、パースペクティブ虚像Ｖの表示態様を、表示が継続される期間の長さに応じて、第１消失点ＶＰ１を有する上記第１の表示態様、又は第１消失点ＶＰ１より遠方側に設定される第２消失点ＶＰ２を有する上記第２の表示態様、に変化させる。例えば、いくつかの実施形態のＨＵＤ装置２０（表示制御装置３０）は、（５０）動画又は静止画のパースペクティブ虚像Ｖを表示し始めてから表示し終わるまでの期間が所定の閾値と同じ又は長い場合、第２消失点ＶＰ２を有する第２表示態様で表現（第２の表示処理の一例）し、（５５）動画又は静止画のパースペクティブ虚像Ｖを表示し始めてから表示し終わるまでの期間が所定の閾値より短い場合、第１消失点ＶＰ１を有する第１表示態様で表現する（第１の表示処理の一例）。

図８は、いくつかの実施形態に係る、車両用虚像表示システムのブロック図である。表示制御装置３０は、１つ又は複数のＩ／Ｏインタフェース３１、１つ又は複数のプロセッサ３３、１つ又は複数の画像処理回路３５、及び１つ又は複数のメモリ３７を備える。図８に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図８は、１つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路３５（例えば、グラフィック処理ユニット）が、１つ又は複数のプロセッサ３３に含まれてもよい。

図示するように、プロセッサ３３及び画像処理回路３５は、メモリ３７と動作可能に連結される。より具体的には、プロセッサ３３及び画像処理回路３５は、メモリ３７に記憶されているプログラムを実行することで、例えば画像データを生成、及び／又は送信するなど、車両用虚像表示システム１０（表示器４０）の制御を行うことができる。プロセッサ３３及び／又は画像処理回路３５は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ３７は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＡＭを含んでもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と動作可能に連結されている。Ｉ／Ｏインタフェース３１は、例えば、車両に設けられた後述の車両ＥＣＵ４０１及び／又は、他の電子機器（後述する符号４０３～４１９）と、ＣＡＮ（Controller Area Network）の規格に応じて通信（ＣＡＮ通信とも称する）を行う。なお、Ｉ／Ｏインタフェース３１が採用する通信規格は、ＣＡＮに限定されず、例えば、ＣＡＮＦＤ（ＣＡＮ with Flexible Data Rate）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＭＯＳＴ（Media Oriented Systems Transport：ＭＯＳＴは登録商標）、ＵＡＲＴ、もしくはＵＳＢなどの有線通信インタフェース、又は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ－Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）等の数十メートル内の近距離無線通信インタフェースである車内通信（内部通信）インタフェースを含む。また、Ｉ／Ｏインタフェース３１は、無線ワイドエリアネットワーク（ＷＷＡＮ０、ＩＥＥＥ８０２．１６－２００４（ＷｉＭＡＸ：Worldwide Interoperability for Microwave Access））、ＩＥＥＥ８０２．１６ｅベース（Ｍｏｂｉｌｅ ＷｉＭＡＸ）、４Ｇ、４Ｇ－ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄ、５Ｇなどのセルラー通信規格により広域通信網（例えば、インターネット通信網）などの車外通信（外部通信）インタフェースを含んでいてもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と相互動作可能に連結されることで、車両用虚像表示システム１０（Ｉ／Ｏインタフェース３１）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース３１には、例えば、車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、操作検出部４０７、目位置検出部４０９、車外センサ４１１、明るさ検出部４１３、ＩＭＵ４１５、携帯情報端末４１７、及び外部通信機器４１９などが動作可能に連結される。なお、Ｉ／Ｏインタフェース３１は、車両用虚像表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

表示器４０は、プロセッサ３３及び画像処理回路３５に動作可能に連結される。したがって、光変調素子５０によって表示される画像は、プロセッサ３３及び／又は画像処理回路３５から受信された画像データに基づいてもよい。プロセッサ３３及び画像処理回路３５は、Ｉ／Ｏインタフェース３１から取得される情報に基づき、光変調素子５０が表示する画像を制御する。

車両ＥＣＵ４０１は、車両１に設けられたセンサやスイッチから、車両１の状態（例えば、走行距離、車速、アクセルペダル開度、ブレーキペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢（ロール角、及び／又はピッチング角を含む）、車両の振動（振動の大きさ、頻度、及び／又は周波数を含む））などを取得し、車両１の前記状態を収集、及び管理（制御も含んでもよい。）するものであり、機能の一部として、車両１の前記状態の数値（例えば、車両１の車速。）を示す信号を、表示制御装置３０のプロセッサ３３へ出力することができる。なお、車両ＥＣＵ４０１は、単にセンサ等で検出した数値（例えば、ピッチング角が前傾方向に３［ｄｅｇｒｅｅ］。）をプロセッサ３３へ送信することに加え、又はこれに代わり、センサで検出した数値を含む車両１の１つ又は複数の状態に基づく判定結果（例えば、車両１が予め定められた前傾状態の条件を満たしていること。）、若しくは／及び解析結果（例えば、ブレーキペダル開度の情報と組み合わせされて、ブレーキにより車両が前傾状態になったこと。）を、プロセッサ３３へ送信してもよい。例えば、車両ＥＣＵ４０１は、車両１が車両ＥＣＵ４０１のメモリ（不図示）に予め記憶された所定の条件を満たすような判定結果を示す信号を表示制御装置３０へ出力してもよい。なお、Ｉ／Ｏインタフェース３１は、車両ＥＣＵ４０１を介さずに、車両１に設けられた車両１に設けられたセンサやスイッチから、上述したような情報を取得してもよい。

また、車両ＥＣＵ４０１は、車両用虚像表示システム１０が表示する画像を指示する指示信号を表示制御装置３０へ出力してもよく、この際、画像の座標、サイズ、種類、表示態様、画像の報知必要度、及び／又は報知必要度を判定する元となる必要度関連情報を、前記指示信号に付加して送信してもよい。

道路情報データベース４０３は、車両１に設けられた図示しないナビゲーション装置、又は車両１と車外通信インタフェース（Ｉ／Ｏインタフェース３１）を介して接続される外部サーバー、に含まれ、後述する自車位置検出部４０５から取得される車両１の位置に基づき、車両１の周辺の情報（車両１の周辺の実オブジェクト関連情報）である車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ３３に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路（ナビゲーション情報）を算出し、当該ナビゲーション情報を示す信号、又は経路を示す画像データをプロセッサ３３へ出力してもよい。

自車位置検出部４０５は、車両１に設けられたＧＮＳＳ（全地球航法衛星システム）等であり、現在の車両１の位置、方位を検出し、検出結果を示す信号を、プロセッサ３３を介して、又は直接、道路情報データベース４０３、後述する携帯情報端末４１７、及び／もしくは外部通信機器４１９へ出力する。道路情報データベース４０３、後述する携帯情報端末４１７、及び／又は外部通信機器４１９は、自車位置検出部４０５から車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、車両１の周辺の情報を選択・生成して、プロセッサ３３へ出力してもよい。

操作検出部４０７は、例えば、車両１のＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、インストルメントパネルなどに設けられたハードウェアスイッチ、又は画像とタッチセンサなどとを兼ね合わされたソフトウェアスイッチなどであり、車両１の乗員（運転席の着座するユーザ、及び／又は助手席に着座するユーザ）による操作に基づく操作情報を、プロセッサ３３へ出力する。例えば、操作検出部４０７は、ユーザの操作により、虚像表示領域１００を移動させる操作に基づく表示領域設定情報、アイボックス２００を移動させる操作に基づくアイボックス設定情報、観察者の目位置７００を設定する操作に基づく情報などを、プロセッサ３３へ出力する。

目位置検出部４０９は、車両１の運転席に着座する観察者の目位置７００（図１参照。）を検出する赤外線カメラなどのカメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、目位置検出部４０９から撮像画像（目位置７００を推定可能な情報の一例。）を取得し、この撮像画像を、パターンマッチングなどの手法で解析することで、観察者の目位置７００の座標を検出し、検出した目位置７００の座標を示す信号を、プロセッサ３３へ出力してもよい。

また、目位置検出部４０９は、カメラの撮像画像を解析した解析結果（例えば、観察者の目位置７００が、予め設定された複数の表示パラメータが対応する空間的な領域のどこに属しているかを示す信号。）を、プロセッサ３３に出力してもよい。なお、車両１の観察者の目位置７００、又は観察者の目位置７００を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。

また、目位置検出部４０９は、観察者の目位置７００の移動速度、及び／又は移動方向を検出し、観察者の目位置７００の移動速度、及び／又は移動方向を示す信号を、プロセッサ３３に出力してもよい。

また、目位置検出部４０９は、（１０）観察者の目位置７００がアイボックス２００外にあることを示す信号、（２０）観察者の目位置７００がアイボックス２００外にあると推定される信号、又は（３０）観察者の目位置７００がアイボックス２００外になると予測される信号、を検出した場合、所定の条件を満たしたと判定し、当該状態を示す信号を、プロセッサ３３に出力してもよい。

（２０）観察者の目位置７００がアイボックス２００外にあると推定される信号は、（２１）観察者の目位置７００が検出できないことを示す信号、（２２）観察者の目位置７００の移動が検出された後、観察者の目位置７００が検出できないことを示す信号、及び／又は（２３）観察者の目位置７００Ｒ、７００Ｌのいずれかがアイボックス２００の境界２００Ａの近傍（前記近傍は、例えば、境界２００Ａから所定の座標以内であることを含む。）にあることを示す信号、などを含む。

（３０）観察者の目位置７００がアイボックス２００外になると予測される信号は、（３１）新たに検出した目位置７００が、過去に検出した目位置７００に対して、メモリ３７に予め記憶された目位置移動距離閾値以上であること（所定の単位時間内における目位置の移動が規定範囲より大きいこと。）を示す信号、（３２）目位置の移動速度が、メモリ３７に予め記憶された目位置移動速度閾値以上であることを示す信号、などを含む。

また、目位置検出部４０９は、視線方向検出部４０９としての機能を有していても良い。視線方向検出部４０９は、車両１の運転席に着座する観察者の顔を撮像する赤外線カメラ、又は可視光カメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、視線方向検出部４０９から撮像画像（視線方向を推定可能な情報の一例。）を取得し、この撮像画像を解析することで観察者の視線方向（及び／又は前記注視位置）を特定することができる。なお、視線方向検出部４０９は、カメラからの撮像画像を解析し、解析結果である観察者の視線方向（及び／又は前記注視位置）を示す信号をプロセッサ３３に出力してもよい。なお、車両１の観察者の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ－ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。

車外センサ４１１は、車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する。車外センサ４１１が検知する実オブジェクトは、例えば、障害物（歩行者、自転車、自動二輪車、他車両など）、後述する走行レーンの路面、区画線、路側物、及び／又は地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラ、又はこれらの組み合わせからなる検出ユニットと、当該１つ又は複数の検出ユニットからの検出データを処理する（データフュージョンする）処理装置と、から構成される。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（車両１からの相対的な距離、車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、及び／又は種類等を検出してもよい。１つ又は複数の車外センサ４１１は、各センサの検知周期毎に、車両１の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、及び／又は種類等の情報）をプロセッサ３３に出力することができる。なお、これら実オブジェクト情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ３３に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

明るさ検出部４１３は、車両１の車室の前方に存在する前景の所定範囲の照度又は輝度を外界明るさ（明るさ情報の一例）、又は車室内の照度又は輝度を車内明るさ（明るさ情報の一例）として検知する。明るさ検出部４１３は、例えばフォトトランジスタ若しくはフォトダイオード等であり、図１に示す車両１のインストルメントパネル、ルームミラー又はＨＵＤ装置２０等に搭載される。

ＩＭＵ４１５は、慣性加速に基づいて、車両１の位置、向き、及びこれらの変化（変化速度、変化加速度）を検知するように構成された１つ又は複数のセンサ（例えば、加速度計及びジャイロスコープ）の組み合わせを含むことができる。ＩＭＵ４１５は、検出した値（前記検出した値は、車両１の位置、向き、及びこれらの変化（変化速度、変化加速度）を示す信号などを含む。）、検出した値を解析した結果を、プロセッサ３３に出力してもよい。前記解析した結果は、前記検出した値が、所定の条件を満たしたか否かの判定結果を示す信号などであり、例えば、車両１の位置又は向きの変化（変化速度、変化加速度）に関する値から、車両１の挙動（振動）が少ないことを示す信号であってもよい。

携帯情報端末４１７は、スマートフォン、ノートパソコン、スマートウォッチ、又は観察者（又は車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース３１は、携帯情報端末４１７とペアリングすることで、携帯情報端末４１７と通信を行うことが可能であり、携帯情報端末４１７（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１７は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例。）を取得し、プロセッサ３３に送信してもよい。また、携帯情報端末４１７は、車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例。）を取得し、プロセッサ３３に送信してもよい。なお、携帯情報端末４１７は、携帯情報端末４１７の所持者（例えば、観察者）のスケジュール情報、携帯情報端末４１７での着信情報、メールの受信情報などをプロセッサ３３に送信し、プロセッサ３３及び画像処理回路３５は、これらに関する画像データを生成及び／又は送信してもよい。

外部通信機器４１９は、車両１と情報のやりとりをする通信機器であり、例えば、車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。外部通信機器４１９は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、及び／又は地物（建物など）の位置を取得し、プロセッサ３３へ出力してもよい。また、外部通信機器４１９は、上述の自車位置検出部４０５と同様の機能を有し、車両１の位置情報を取得し、プロセッサ３３に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例。）を取得し、プロセッサ３３に送信してもよい。なお、外部通信機器４１９から取得される情報は、上述のものに限定されない。

メモリ３７に記憶されたソフトウェア構成要素は、表示パラメータ設定モジュール５０２、グラフィックモジュール５０４、光源駆動モジュール５０６、及びアクチュエータ駆動モジュール５０８、を含む。

図９は、パースペクティブ虚像を第１の表示態様又は第２の表示態様で表示させる表示制御処理を実行する方法Ｓ１００を示すフロー図である。方法Ｓ１００は、ディスプレイを含むＨＵＤ装置２０と、このＨＵＤ装置２０を制御する表示制御装置３０と、において実行される。方法Ｓ１００内のいくつかの動作は任意選択的に組み合わされ、いくつかの動作の手順は任意選択的に変更され、いくつかの動作は任意選択的に省略される。

表示制御装置３０（後述するグラフィックモジュール５０４）は、例えば、道路情報データベース４０３から出発地から目的地までの適切な経路（ナビゲーション情報）、車外センサ４１１から実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、及び／又は種類等の情報）などを取得し、表示する仮想オブジェクトを選択する設定する（Ｓ１１０）。

表示パラメータ設定モジュール５０２は、Ｓ１３１に示すように、Ｉ／Ｏインタフェース３１から取得する１つ又は複数の情報に基づき、パースペクティブ虚像Ｖの表示態様を変化させる。表示パラメータ設定モジュール５０２は、Ｉ／Ｏインタフェース３１から取得する１つ又は複数の情報に基づき、（１０）パースペクティブ虚像Ｖを、遠近方向に移動する又は伸縮する動画に設定する場合、第２消失点ＶＰ２を有する第２表示態様に設定（第２の表示処理の一例）し、（１５）パースペクティブ虚像Ｖを、静止画、あまり遠近方向に移動しない動画、又はあまり遠近方向に伸縮しない動画に設定する場合、第１消失点ＶＰ１を有する第１表示態様に設定する（第１の表示処理の一例）。

また、表示パラメータ設定モジュール５０２は、Ｓ１３２に示すように、Ｉ／Ｏインタフェース３１から取得する１つ又は複数の情報に基づき、（２０）パースペクティブ虚像Ｖの動画の移動速度を所定の閾値より速く設定する場合、第２消失点ＶＰ２を有する第２表示態様に設定し（第２の表示処理の一例）、（２５）パースペクティブ虚像Ｖの動画の移動速度を所定の閾値より速く設定する場合、第１消失点ＶＰ１を有する第１表示態様に設定する（第１の表示処理の一例）。

また、表示パラメータ設定モジュール５０２は、Ｓ１３３に示すように、明るさ検出部４１３から取得する情報（但し、これに限定されない。）に基づき、（３０）自車両１の前方（周囲）が明るいと判定される場合、パースペクティブ虚像Ｖを、第２消失点ＶＰ２を有する第２表示態様に設定し（第２の表示処理の一例）、（３５）自車両１の前方（周囲）が暗いと判定される場合、パースペクティブ虚像Ｖを、第１消失点ＶＰ１を有する第１表示態様に設定する（第１の表示処理の一例）。

また、表示パラメータ設定モジュール５０２は、Ｓ１３４に示すように、道路情報データベース４０３から取得される道路情報や車外センサ４１１から取得される前景に存在する実オブジェクトの位置情報（但し、これに限定されない。）に基づき、（４０）案内経路や前景に存在する実オブジェクトを指示するパースペクティブ虚像Ｖの上下方向（Ｙ軸方向）の長さであり、ヒトの知覚では奥行き方向（Ｚ軸方向）の距離が、メモリ３７に予め記憶される所定の閾値と同じ又は長いである場合、パースペクティブ虚像Ｖを、第２消失点ＶＰ２を有する第２表示態様に設定し（第２の表示処理の一例）、（４５）パースペクティブ虚像Ｖの上下方向（Ｙ軸方向）の長さであり、ヒトの知覚では奥行き方向（Ｚ軸方向）の距離が、所定の閾値より短い場合、パースペクティブ虚像Ｖを、第１消失点ＶＰ１を有する第１表示態様に設定する（第１の表示処理の一例）。

また、表示パラメータ設定モジュール５０２は、Ｓ１３５に示すように、Ｉ／Ｏインタフェース３１から取得する１つ又は複数の情報に基づき、（５０）動画又は静止画のパースペクティブ虚像Ｖを表示し始めてから表示し終わるまでの期間が、メモリ３７に予め定められた所定の閾値と同じ又は長い場合、パースペクティブ虚像Ｖを、第２消失点ＶＰ２を有する第２表示態様に設定し（第２の表示処理の一例）、（５５）動画又は静止画のパースペクティブ虚像Ｖを表示し始めてから表示し終わるまでの期間がメモリ３７に予め記憶された所定の閾値より短い場合、パースペクティブ虚像Ｖを、第１消失点ＶＰ１を有する第１表示態様に設定する（第１の表示処理の一例）。

グラフィックモジュール５０４は、レンダリングなどの画像処理をして画像データを生成し、表示器４０を駆動するための様々な既知のソフトウェア構成要素を含む。また、グラフィックモジュール５０４は、表示される画像の、種類（動画、静止画、形状）、配置（位置座標、角度）、サイズ、表示距離（３Ｄの場合。）、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、を変更するための様々な既知のソフトウェア構成要素を含んでいてもよい。グラフィックモジュール５０４は、画像の種類（表示パラメータの例の１つ。）、画像の位置座標（表示パラメータの例の１つ。）、画像の角度（Ｘ方向を軸としたピッチング角、Ｙ方向を軸としたヨーレート角、Ｚ方向を軸としたローリング角などであり、表示パラメータの例の１つ。）、画像のサイズ（表示パラメータの例の１つ。）、画像の色（色相、彩度、明度などで設定される表示パラメータの例の１つ。）、画像の遠近表現の強度（消失点の位置などで設定される表示パラメータの１つ。）で観察者に視認されるように画像データを生成し、光変調素子５０を駆動し得る。

光源駆動モジュール５０６は、光源ユニット２４を駆動することを実行するための様々な既知のソフトウェア構成要素を含む。光源駆動モジュール５０６は、設定された表示パラメータに基づき、光源ユニット２４を駆動し得る。

アクチュエータ駆動モジュール５０８は、第１アクチュエータ２８及び／又は第２アクチュエータ２９を駆動することを実行するための様々な既知のソフトウェア構成要素を含むアクチュエータ駆動モジュール５０８は、設定された表示パラメータに基づき、第１アクチュエータ２８及び第２アクチュエータ２９を駆動し得る。

目位置検出モジュール５１０は、観察者の目位置７００を検出する。目位置検出モジュール５１０は、観察者の目位置７００を示す座標（Ｘ，Ｙ軸方向の位置であり、目位置７００を示す信号の一例である。）観察者の目の高さを示す座標（Ｙ軸方向の位置であり、目位置７００を示す信号の一例である。）を検出すること、観察者の目の高さ及び奥行方向の位置を示す座標（Ｙ及びＺ軸方向の位置であり、目位置７００を示す信号の一例である。）を検出すること、及び／又は観察者の目位置７００を示す座標（Ｘ，Ｙ，Ｚ軸方向の位置であり、目位置７００を示す信号の一例である。）を検出すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。

なお、第１消失点ＶＰ１、及び第２消失点ＶＰ２の位置は、目位置検出部４０９で検出される観察者の目位置７００、又はＩＭＵ４１５で検出される自車両１の姿勢によって、調整されてもよい。例えば、表示制御装置３０（表示パラメータ設定モジュール５０２）は、自車両１の姿勢（ピッチング角（Ｘ方向を軸とする角度））の変化に応じて、第１消失点ＶＰ１、及び第２消失点ＶＰ２の位置を調整し得る。表示制御装置３０（表示パラメータ設定モジュール５０２）は、自車両１の前方が下がるようなピッチング角である場合、観察者から見て虚像表示領域ＶＳに対する第１消失点ＶＰ１、及び第２消失点ＶＰ２の相対位置が上側となるように調整し、一方、自車両１の前方が上がるようなピッチング角である場合、観察者から見て虚像表示領域ＶＳに対する第１消失点ＶＰ１、及び第２消失点ＶＰ２の相対位置が下側となるように調整し得る。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び／又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用虚像表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図８で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。

１ ：自車両
２ ：被投影部（フロントウインドシールド）
５ ：ダッシュボード
６ ：走行レーン（路面）
７ ：境界線
８ ：境界線
１０ ：車両用虚像表示システム
２０ ：ＨＵＤ装置（ヘッドアップディスプレイ装置）
２１ ：光出射窓
２２ ：筐体
２４ ：光源ユニット
２８ ：第１アクチュエータ
２９ ：第２アクチュエータ
３０ ：表示制御装置
３１ ：Ｉ／Ｏインタフェース
３３ ：プロセッサ
３５ ：画像処理回路
３７ ：メモリ
４０ ：表示器
５０ ：光変調素子
５１ ：表示面
６０ ：光源ユニット
８０ ：リレー光学系
８１ ：第１ミラー
８２ ：第２ミラー
８６ ：アクチュエータ
８７ ：アクチュエータ
９０ ：虚像光学系
１００ ：虚像表示領域
２００ ：アイボックス
２００Ａ ：境界
２０５ ：中心
４０１ ：車両ＥＣＵ
４０３ ：道路情報データベース
４０５ ：自車位置検出部
４０７ ：操作検出部
４０９ ：目位置検出部（視線方向検出部）
４１１ ：車外センサ
４１３ ：明るさ検出部
４１７ ：携帯情報端末
４１９ ：外部通信機器
５０２ ：表示パラメータ設定モジュール
５０４ ：グラフィックモジュール
５０６ ：光源駆動モジュール
５０８ ：アクチュエータ駆動モジュール
５１０ ：目位置検出モジュール
７００ ：目位置（観視者）
７００Ｌ ：左目（目位置）
７００Ｒ ：右目（目位置）
ＡＸ１ ：第１の回転軸
ＦＵ ：仮想オブジェクト
ＦＵ１０ ：仮想オブジェクト
Ｋ ：表示光
Ｋｐ ：光軸
ＰＴ ：ターゲット位置
Ｖ ：パースペクティブ虚像
Ｖ１０ ：パースペクティブ虚像
Ｖ１Ａ ：左方パースペクティブ線
Ｖ２０ ：パースペクティブ虚像
Ｖ１Ｂ ：右方パースペクティブ線
Ｖ３０ ：パースペクティブ虚像
Ｖ３１ ：第１のパースペクティブ虚像
Ｖ３２ ：第２のパースペクティブ虚像
ＶＰ０ ：実景消失点
ＶＰ０' ：消失点
ＶＰ１ ：第１消失点
ＶＰ２ ：第２消失点
ＶＳ ：虚像表示領域
ＶＳ１ ：上端
ＶＳ２ ：下端
θｄ ：縦配置角
θｔ ：チルト角

Claims (10)

1. 画像を被投影部材に投影することで、観察者に前記画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置における表示制御を実行する表示制御装置（３０）であって、
   １つ又は複数のプロセッサ（３３）と、
   メモリ（３７）と、
   前記メモリ（３７）に格納され、前記１つ又は複数のプロセッサ（３３）によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、
   前記プロセッサ（３３）は、
   前記観察者から見て前記前景の消失点（ＶＰ０）より下方に配置される第１消失点（ＶＰ１）を有する第１の表示態様のパースペクティブ虚像として表示する第１の表示処理と、
   前記観察者から見て前記第１消失点（ＶＰ１）より上方に配置される第２の消失点（ＶＰ２）を有する第２の表示態様のパースペクティブ虚像として表示する第２の表示処理と、を実行する、
   表示制御装置（３０）。
2. 前記第２の表示処理において、
   前記第２の消失点（ＶＰ２）は、前記前景の消失点（ＶＰ０）より下方に配置される、
   請求項１に記載の表示制御装置（３０）。
3. 前記プロセッサ（３３）は、
   前記パースペクティブ虚像が静止画であれば、前記第１の表示処理を実行し、
   前記パースペクティブ虚像が動画であれば、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
4. 前記プロセッサ（３３）は、
   前記パースペクティブ虚像が、観察者から見て、遠近方向に伸縮しない動画、又は遠近方向に移動しない動画であれば、前記第１の表示処理を実行し、
   前記パースペクティブ虚像が、観察者から見て、遠近方向に伸縮しているように知覚される動画、又は遠近方向に移動しているように知覚される動画であれば、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
5. 前記プロセッサ（３３）は、
   周囲が暗い場合、前記第１の表示処理を実行し、
   周囲が明るい場合、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
6. 前記プロセッサ（３３）は、
   前記パースペクティブ虚像の移動速度又は変形速度が遅い場合、前記第１の表示処理を実行し、
   前記パースペクティブ虚像の移動速度又は変形速度が速い場合、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
7. 前記プロセッサ（３３）は、
   前記パースペクティブ虚像の上下方向の長さが、所定の閾値より短い場合、前記第１の表示処理を実行し、
   前記パースペクティブ虚像の上下方向の長さが、前記所定の閾値より長い場合、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
8. 前記プロセッサ（３３）は、
   前記パースペクティブを表示し始めてから表示し終わるまでの期間が、所定の閾値より短い場合、前記第１の表示処理を実行し、
   前記パースペクティブを表示し始めてから表示し終わるまでの期間が、前記所定の閾値より長い場合、前記第２の表示処理を実行する、
   請求項１に記載の表示制御装置（３０）。
9. 請求項１乃至８のいずれかに記載の表示制御装置（３０）と、
   表示光を出射する光変調素子（５０）と、
   前記光変調素子（５０）からの前記表示光を被投影部にむけるリレー光学系（８０）と、を備える、ヘッドアップディスプレイ装置（２０）。
10. 画像の表示制御方法であって、
    観察者から見て前景の消失点（ＶＰ０）より下方に配置される第１消失点（ＶＰ１）を有する第１の表示態様のパースペクティブ虚像として表示する第１の表示処理と、
    前記観察者から見て前記第１消失点（ＶＰ１）より上方に配置される第２の消失点（ＶＰ２）を有する第２の表示態様のパースペクティブ虚像として表示する第２の表示処理と、を実行する、
    表示制御方法。
    
    

Images