以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。実施形態の表示装置は、例えば、車両(以下、車両Mと称する)に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、HUD装置と称することができる。一例として、表示装置は、車両Mのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。また、人が身体に装着するデバイスが有する透明な部材(バイザー、眼鏡のレンズ等)に投光し、または光透過性の表示装置が取り付けられたものであってもよい。以下の説明では、表示装置は、車両Mに搭載され、フロントウインドシールドに画像を含む光を投光する装置であるものとする。
以下の説明において、適宜、XYZ座標系を用いて位置関係等を説明する。
また、以下の説明では、「虚像」を「画像」と称する場合がある。
[全体構成]
図1は、実施形態に係る表示装置100が搭載された車両Mの車室内の構成を例示した図である。車両Mには、例えば、車両Mの操舵を制御するステアリングホイール10と、車外と車室内とを区分するフロントウインドシールド(反射体の一例)20と、インストルメントパネル30とが設けられる。フロントウインドシールド20は、光透過性を有する部材である。表示装置100は、例えば、運転席40の前方のフロントウインドシールド20の一部に設けられる表示可能領域A1に画像を含む光を投射する(投光する)ことで、運転席に着座した運転者に虚像VIを視認させる。
表示装置100は、例えば、運転者の運転を支援するための情報を画像化した像を、虚像VIとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Mの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能には、例えば、予め設定された目的地まで車両Mを誘導するための方向指示機能、ACC(Adaptive Cruise Control)、LKAS(Lane Keep Assist System)、CMBS(Collision Mitigation Brake System)、およびトラフィックジャムアシスト機能等が含まれる。また、運転支援機能には、例えば、車両Mに搭載された電話の着信や発信、通話を制御する電話機能が含まれてもよい。
また、車両Mには、表示装置100の他に、第1表示部50−1や第2表示部50−2が設けられてよい。第1表示部50−1は、例えば、インストルメントパネル30における運転席40の正面付近に設けられ、運転者がステアリングホイール10の間隙から、或いはステアリングホイール10越しに視認可能な表示装置である。第1表示部50−1は、例えば、運転者の運転を支援するための情報等を表示する。第2表示部50−2は、例えば、インストルメントパネル30の中央部に取り付けられる。第2表示部50−2は、例えば、車両Mに搭載されるナビゲーション装置(不図示)により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第2表示部50−2は、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。また、第1表示部50−1および第2表示部50−2は、タッチパネル装置として、乗員からの操作を受け付けてもよい。受け付けた操作内容は、表示装置100やその他の車載装置に出力される。
また、車両Mには、表示装置100による表示のオン/オフの切り替え指示や、虚像VIの位置を調節する指示を受け付ける操作スイッチ(操作部の一例)130が設けられる。操作スイッチ130は、例えば、運転席40に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ130は、例えば、第1表示部50−1の前方に設けられていてもよく、ステアリングホイール10のボス部に設けられていてもよく、ステアリングホイール10とインストルメントパネル30とを連結するスポークに設けられていてもよい。
図2は、実施形態の操作スイッチ130について説明するための図である。操作スイッチ130は、例えば、メインスイッチ132と、調節スイッチ134および136とを含む。メインスイッチ132は、表示装置100のオン/オフを切り替えるスイッチである。
調節スイッチ134は、例えば、運転者の視線位置P1から表示可能範囲A1を透過した空間にあるように視認される虚像VIの位置を、鉛直方向Zに関して上側(以下、上方向と称する)に移動させる指示(調節操作)を受け付けるためのスイッチである。運転者は、調節スイッチ134を押し続けることで、表示可能範囲A1内で虚像VIの視認位置を上方向に継続して移動させることができる。
調節スイッチ136は、前述した虚像VIの位置を鉛直方向Zに関して下側(以下、下方向と称する)に移動させる指示(調節操作)を受け付けるためのスイッチである。運転者は、調節スイッチ136を押し続けることで、表示可能範囲A1内で虚像VIの視認位置を下方向に継続して移動させることができる。
また、調節スイッチ134は、虚像VIの位置を上方向に移動させるのに代えて(または加えて)、視認される虚像VIの輝度を上げるためのスイッチであってもよい。また、調節スイッチ136は、虚像VIの位置を下方向に移動するのに代えて(または加えて)、視認される虚像VIの輝度を下げるためのスイッチであってもよい。調節スイッチ134、136が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ132の長押し操作である。また、操作スイッチ130は、図2に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。
図3は、表示装置100の部分構成図である。表示装置100は、例えば、表示器110と、表示制御装置150とを備える。表示制御装置150と、後述する光学系コントローラ170と、後述するディスプレイコントローラ172とを合わせたものが、「制御装置」の一例である。表示器110は、例えば、筐体115内に、投光装置120と、光学機構122と、平面鏡124と、凹面鏡126と、透光カバー128とを収納する。これらの他、表示装置100は、各種センサやアクチュエータ等を備えるが、これらについては後述する。また、表示器110には、光学機構122がない構成であってもよい。
投光装置120は、二次元の投射面を有し、画像を含む光を投射する。投光装置120は、例えば、光源120Aと、表示素子120Bとを備える。光源120Aは、例えば、冷陰極管であり、運転者に視認させる虚像VIに対応する可視光を出力する。表示素子120Bは、光源120Aからの可視光の透過を制御する。以下では、表示素子120Bを透過し画像が含まれた可視光を画像光ILという。表示素子120Bは、例えば、二次元の投射面を含む薄膜トランジスタ(TFT)型の液晶表示装置(LCD)である。なお、表示素子120Bは、有機EL(Electro-Luminescence)ディスプレイであってもよく、この場合、光源120Aは省略されてよい。
光学機構122は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構122は、例えば、投光装置120が出力する画像光ILの経路上に設けられ、投光装置120から入射した画像光ILを通過させて、フロントウインドシールド20に向けて出射する。光学機構122は、例えば、レンズの位置を変更することで、運転者の視線位置P1(所定の位置の一例)から、画像光ILが虚像として形成される形成位置P2までの距離(以下、虚像視認距離Dと称する)を調節することができる。運転者の視線位置P1は、凹面鏡126およびフロントウインドシールド20によって反射され画像光ILが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Dは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Dが7[m]」等と表現する場合、その距離は水平方向の距離を意味してもよい。
また、以下の説明において、俯角θを、運転者の視線位置P1を通る水平面と、運転者の視線位置P1から形成位置P2までの線分とがなす角度と定義する。虚像VIが下方に形成されているほど、すなわち、運転者が虚像VIを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡126の反射角度φと、表示素子120Bにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡124により反射された画像光ILが凹面鏡126に入射する入射方向と、凹面鏡126が画像光ILを出射する出射方向とのなす角である。
平面鏡124は、光源120Aにより出射され表示素子120Bを通過した可視光(すなわち、画像光IL)を凹面鏡126の方向に反射させる。
凹面鏡126は、平面鏡124から入射した画像光ILを反射し、フロントウインドシールド20に向かって出射する。凹面鏡126は、車両Mの幅方向の軸であるY軸回りに回転(回動)可能に支持される。
透光カバー128は、凹面鏡126からの画像光ILを透過させてフロントウインドシールド20に到達させると共に、筐体115内に埃や塵、水滴等の異物が入り込むことを抑制する。透光カバー128は、筐体115の上側部材に形成された開口部に設けられる。また、インストルメントパネル30にも開口部あるいは光透過性部材が設けられ、画像光ILは、透光カバー128とインストルメントパネル30の開口部或いは光透過性部材を透過してフロントウインドシールド20に到達する。
フロントウインドシールド20に入射した画像光ILは、フロントウインドシールド20によって反射され、運転者の視線位置P1に集光する。このとき、運転者の視線位置P1に運転者の眼が位置していた場合、運転者は、画像光ILによって写し出される画像が車両Mの前方に表示されているように感じる。
表示制御装置150は、運転者に視認させる虚像VIの表示を制御する。図4は、表示制御装置150を中心とした表示装置100の構成例を示す図である。図4の例では、表示制御装置150に加えて、表示装置100に含まれる位置センサ162と、凹面鏡角度センサ164と、環境センサ166と、消失点推定装置168と、注視点推定装置169と、操作スイッチ130と、光学系コントローラ170と、ディスプレイコントローラ172と、レンズアクチュエータ(光学機構アクチュエータの一例)180と、凹面鏡アクチュエータ182と、投光装置120と、運転支援制御装置200と、車両挙動取得装置300とを示している。
位置センサ162は、光学機構122に含まれる一以上のレンズの位置を検出する。また、位置センサ162は、表示素子120Bの位置を検出してもよい。凹面鏡角度センサ164は、凹面鏡126のY軸回りの回転角度を検出する。
環境センサ166は、例えば、物体認識センサ166aを備える。物体認識センサ166aは、例えば、車両Mに搭載されるカメラやレーダ装置、ファインダ(例えば、LIDAR(Light Detection and Ranging))等により、車両Mの周辺に存在する物体(例えば、他車両、歩行者等の障害物)を検出する。カメラは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラは、車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラは、フロントウインドシールド20上部やルームミラー裏面等に取り付けられる。カメラは、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラは、ステレオカメラであってもよい。レーダ装置は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置は、車両Mの任意の箇所に取り付けられる。レーダ装置は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。ファインダは、車両Mの周辺に光を照射し、散乱光を測定する。ファインダは、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダは、車両Mの任意の箇所に取り付けられる。物体認識センサ166aは、カメラ、レーダ装置、およびファインダのうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識センサ166aは、認識結果や、カメラ、レーダ装置、およびファインダの検出結果を、表示制御装置150に出力する。
また、環境センサ166は、例えば、投光装置120や光学機構122の温度を検出する温度センサ、車両Mの周囲の照度を検出する照度センサを含んでもよい。また、環境センサ166は、車両のブレーキシステムやエンジンシステムに関する点検が必要になったこと、ヘッドライトがハイビームに設定されていること、ドアロックがされていないこと、ドアが完全に閉まっていないこと、フォグランプが点灯していること、車両Mに搭載された電話機能において着信が生じたこと、ナビゲーション装置に設定された目的地に向かうために右左折するタイミングに近づいたこと等を検出するセンサを含んでもよい。
消失点推定装置168は、例えば、車両Mに搭載されたカメラにより撮像された、車両Mの前方の撮像画像を解析し、車両Mが走行する道路の消失点の画像上での位置(座標)を推定する。消失点とは、無限遠点である。
注視点推定装置169は、例えば、車両Mに搭載された、車室内の乗員(運転者を含む)の顔画像を撮像する車室内カメラにより撮像された車室内画像を解析し、運転者の顔画像から視線の向きを推定する。具体的には、注視点推定装置169は、テンプレートマッチング等の手法を用いて車室内から運転者の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、注視点推定装置169は、頭部に対する目の位置に基づいて顔の向きを導出する。また、注視点推定装置169は、基準点に対する動点の位置に基づいて、視線の向きを導出する。例えば、基準点が目頭である場合、動点は虹彩である。また、基準点が角膜反射領域である場合、動点は瞳孔である。また、注視点推定装置169は、消失点推定装置168で用いたカメラの撮像画像において、導出された運転者の視線の向きに対応付けられる位置(座標)を注視点として推定する。なお、車両Mの走行車線が直線である場合、注視点は、消失点の近傍エリア内に存在する。消失点近傍エリアとは、消失点から所定距離以内のエリアである。
光学系コントローラ170は、駆動制御部153により出力された制御信号に基づいて、レンズアクチュエータ180を駆動させて、虚像視認距離Dを調節する。また、光学系コントローラ170は、駆動制御部153により出力された制御信号に基づいて凹面鏡アクチュエータ182を駆動させて、凹面鏡の回転角度を調節する。
ディスプレイコントローラ172は、投光装置120を制御して、画像生成部151により生成され、表示態様制御部152により決定された表示態様に基づく画像を出力させる。画像には、例えば、定常的に表示される運転者の運転を支援するための情報に関する画像(以下、第1画像と称する)や、緊急時や所定の機能等の所定のイベントの発生時に表示される画像(以下、第2画像と称する)が含まれる。所定のイベントとは、例えば、車両Mの状態によって生じるイベントである。イベントには、運転支援制御装置200による各種機能に応じたイベントや、環境センサ166により検出された情報により発生するイベント(点検指示や警告)が含まれる。第2画像とは、例えば、車線逸脱警報に関する画像や、車両Mが前走車両に接近していることを通知する画像、衝突軽減ブレーキが作動したことを示す画像、その他のワーニング画像等である。第2画像は、第1画像に割り込ませて表示されてもよく、第1画像とともに表示されてもよい。
また、ディスプレイコントローラ172は、表示態様制御部152により出力された制御信号に基づいて、投光装置120から投射させる光の投射面における投射位置を調節する。投射面における投射位置の調節は、ソフトウェア制御によって行われるため、モータ等を駆動するハードウェアによる駆動制御よりも速い。これにより、凹面鏡アクチュエータ182を駆動させて凹面鏡126の反射角度φを変更して俯角θを調節するよりも高速に俯角θを調節することができる。俯角θを調節することで、表示可能領域A1に対する虚像VIの表示位置を上下に移動させることができる。
レンズアクチュエータ180は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構122に含まれる一以上のレンズの位置を移動する。また、レンズアクチュエータ180は、表示素子120Bの位置を画像光ILに沿って物理的に移動させてもよい。これにより、虚像視認距離Dが調節される。例えば、レンズアクチュエータ180は、車両Mの速度が大きくなるほど、最大虚像視認距離を越えない範囲で虚像視認距離Dを長くし、車両Mの速度が小さくなるほど、最小虚像視認距離を越えない範囲で虚像視認距離Dを短くする。
凹面鏡アクチュエータ182は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ182をY軸回りに回転させて、凹面鏡126の反射角度φを調節する。これにより、俯角θが調節される。
実施形態において、投光装置120における可視光の透過態様(例えば表示素子120Bにおける元画像の表示位置)と、凹面鏡126の回転角度とが、運転者に視認される虚像IVの見え方を決定する。例えば、投光装置120における可視光の透過態様と、凹面鏡126の回転角度とのうち、少なくとも一方が変化すると、虚像VIの俯角θが変化する。
運転支援制御装置200は、車両Mの運転者による運転操作を支援する運転支援機能を実行する。運転支援機能が実行される場合、例えば、車両Mは、運転者による運転操作子(例えば、ステアリングホイール10、アクセルペダル、ブレーキペダル)の操作によらずに、操舵制御または速度制御のうち、一方または双方を制御する。運転支援制御装置200は、例えば、運転支援機能として、ACCを実行する際には、車両Mに搭載される環境センサ166や物体認識センサ166aを介して入力される情報に基づいて、車両Mと、前走車両との車間距離を一定に保った状態で走行するように、前走車両との車間距離に基づく加減速制御(速度制御)を行う。また、運転支援制御装置200は、運転支援機能として、LKASを実行する際には、車両Mが、現在走行中の走行車線を維持(レーンキープ)しながら走行するように操舵制御を行う。また、運転支援制御装置200は、運転支援機能として、CMBSを実行する際には、車両Mと前走車両との車間距離が所定距離未満になった場合に、車両Mの減速制御または停止制御を行う。また、運転支援制御装置200は、例えば、運転支援機能の状態を表示制御装置150に出力する。また、運転支援制御装置200は、LKASやCMBSを実行する前に運転者に警告するための情報(警告情報)を表示制御装置150に出力する。警告情報とは、例えば、車線逸脱警報、前走車両接近警報等である。運転支援制御装置200により上述した各種機能が実行される場合、各種機能に応じたイベントが発生する。
車両挙動取得装置300は、運転者により運転中の車両Mの挙動を取得する。車両挙動取得装置300は、例えば、車速取得部310と、旋回状態判定部320と、悪路判定部330とを備える。車速取得部310は、車両Mの速度または加速度を検出する。旋回状態判定部320は、例えば、ヨーレートセンサによって車両Mの鉛直軸回りの角速度や、車両Mの操舵角を検出する。そして、旋回状態判定部320は、検出した角速度が第1閾値以上または操舵角が第2閾値以上である場合に車両Mが旋回状態であると判定し、角速度が第1閾値未満および操舵角が第2閾値未満である場合に車両Mが旋回状態でないと判定する。
悪路判定部330は、例えば、車両MのY軸回りのピッチ角を検出するピッチ角センサや車両Mの高さや車体の傾きを検出するハイトセンサ(車高センサ)を備える。ハイトセンサは、例えば、車両Mの前後左右の車輪に設置される。そして、悪路判定部330は、検出したピッチ角センサやハイトセンサの検出結果に基づいて、車両Mの走行車線の路面状態が悪路であるか否かを判定する。悪路とは、例えば、道路上の段差や凹凸等により、車両の揺れが所定量以上である場合、傾斜角が所定角以上の坂道等である。例えば、悪路判定部330は、ピッチ角センサによるピッチ角の変化量が第3閾値以上である場合、またはハイトセンサにより検出された車両Mの高さの変化量が第4閾値以上である場合に、車両Mが走行している道路(車線)が悪路であると判定する。また、悪路判定部330は、ピッチ角の変化量が第3閾値未満で、且つ車両Mの高さの変化量が第4閾値未満である場合に悪路でないと判定する。また、悪路判定部330は、所定時間でのピッチ角または車両Mの高さの増減回数が所定回数以上である場合に悪路であると判定し、所定回数未満である場合に悪路でないと判定してもよい。
[表示制御装置]
次に、表示制御装置150について説明する。表示制御装置150は、例えば、画像生成部151と、表示態様制御部152と、駆動制御部153と、記憶部154とを備える。記憶部154を除く各構成要素は、それぞれ、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め表示制御装置150のHDDやフラッシュメモリ等の記憶部154に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで表示制御装置150の記憶部154にインストールされてもよい。
表示制御装置150は、例えば、操作スイッチ130(メインスイッチ132)によりオン状態にする信号を受け付けた場合に、画像生成部151、表示態様制御部152、および駆動制御部153のそれぞれの機能を実行可能とし、オフ状態にする信号を受け付けた場合に、上述したそれぞれの機能を停止させる。
画像生成部151は、表示装置100がオン状態である場合に、風景に重畳させて運転者に視認させる第1画像を生成する。また、画像生成部151は、例えば、風景に重畳させる画像に第2画像を割り込ませる条件を満たす場合に、第1画像に代えて(または加えて)、第2画像を生成する。なお、表示される第1画像および第2画像の出力は、運転者が操作スイッチ130や他の操作部、または第2表示部50−2に表示されるGUI(Graphical User Interface)スイッチ等を用いて設定されてもよい。運転者により設定された設定情報は、記憶部154等に格納される。また、画像生成部151は、例えば、運転支援制御装置200により警告情報が出力された場合に、警告情報を出力するイベントの発生に基づく1または複数の画像を生成する。画像には、例えば、コンテンツやコンテンツの内容を識別するアイコン、マーク、道路標識等が含まれる。
表示態様制御部152は、画像生成部151により生成された画像の表示態様を設定し、設定された表示態様で画像を表示させるための制御情報を生成する。表示態様とは、風景に重畳させて運転者に視認させる虚像VI(第1画像、第2画像)の表示の有無、表示される場合における画像の位置(俯角θ)、大きさ、輝度、虚像視認距離Dのうち表示位置によって調節する分の制御量等である。また、表示態様制御部152は、位置センサ162により検出されたレンズ位置、凹面鏡角度センサ164により検出された凹面鏡126の回転角度に基づいて、虚像VIの表示態様を変更する。表示態様制御部152は、生成した制御情報を、例えば、ディスプレイコントローラ172や駆動制御部153等に出力する。
また、表示態様制御部152は、例えば、位置補正制御部152aと、抑制制御部152bとを備える。位置補正制御部152aは、環境センサ166により検出される情報や、車両挙動取得装置300により取得される情報(例えば、車速、旋回状態判定結果、悪路判定結果)の内容に基づいて、車両Mの外部環境を取得し、取得した外部環境が所定の条件を満たす場合に、虚像VIの表示位置を補正するための制御情報を生成し、生成した制御情報をディスプレイコントローラ172に出力する。外部環境には、例えば、車両Mの挙動、姿勢、渋滞等の周囲の環境等が含まれる。また、位置補正制御部152aは、車両Mの挙動により生じる俯角θの変動を打ち消すように、投光装置120から投射させる光の投射面における投射位置を調節するための制御情報を生成してもよい。抑制制御部152bは、所定の条件を満たす場合に、位置補正制御部152aのおける補正制御を抑制する。表示態様制御部152の機能の詳細については、後述する。
駆動制御部153は、表示態様制御部152により出力された制御情報に基づいて、光学機構122に含まれる一以上のレンズの位置、または表示素子120Bの位置を移動させるための制御信号や、凹面鏡126の回転角度を調節させるための制御信号を生成し、生成した制御信号を光学系コントローラ170に出力する。また、駆動制御部153は、位置センサ162により検出されたレンズ位置や表示素子120Bの位置、凹面鏡角度センサ164により検出された凹面鏡126の回転角度に基づいて、表示態様制御部152により指示された位置(俯角θ、虚像視認距離D)に虚像VIが視認されるように、制御信号を生成し、生成した制御信号を光学系コントローラ170に出力する。
記憶部154は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。記憶部154には、例えば、設定情報、およびその他の情報が記憶される。
次に、表示装置100により風景に重畳され、虚像VIとして運転者に視認可能な画像の一例について説明する。図5は、風景に重畳される虚像VIの一例を示す図である。図5の例では、表示装置100によって、フロントウインドシールド20の表示可能領域A1内で視認される、風景と重畳された虚像VIの一例を示している。図5の例において、車両Mは、車線L1上を走行するものとする。また、車線L2は、車線L1と連結されているものとする。
図5の例では、第1画像の一例である車両Mの速度を示す虚像VIが示されている。なお、虚像VIには、車両Mの速度に代えて(または加えて)、第1画像または第2画像による複数の情報が表示されてよい。図5の例において、表示態様制御部152は、表示装置100の起動後(オン状態)に、車両状態に応じた画像として、車両Mの速度を示す画像を生成し、生成した画像を投光装置120から出力させる。ここで、車両Mは、車線L1の延在方向(図中X方向)に沿って走行しているため、結果として、消失点推定装置168により推定された消失点VPの近傍付近に車両Mの速度を示す虚像VIが重畳される。一般的に車両Mが車線L1の延在方向に沿って走行している場合において、運転者は運転時に車両Mの前方の車線L1上であって、消失点VPに近い位置に注視点NPが置かれるため、走行車線L1の消失点VPの近傍付近に虚像VIを表示させることで、虚像VIの視認性を向上させることができる。なお、表示可能領域A1における虚像VIの表示位置は、例えば、操作スイッチ130の調節スイッチ134および136を用いて運転者が設定することができる。
また、位置補正制御部152aは、環境センサ166や車両挙動取得装置300により取得される車両Mの外部環境に基づいて、虚像VIの位置を補正する。図6は、位置補正制御部152aの処理について説明するための図である。図6の例では、設定情報により設定された虚像VIの表示位置に対して、上方向の補正領域CA1と、下方向の補正領域CA2とが示されている。表示可能領域A1は、運転者による設定または車速等により変更可能な範囲である。例えば、位置補正制御部152aは、車速取得部310により得られる車両Mの速度が大きくなるほど、表示可能領域A1の範囲内で、虚像VIの表示位置を設定された位置から上方向に移動させる。これは、速度が大きくなるほど運転者の注視点が前方の遠い位置に位置付けられるからである。また、位置補正制御部152aは、車両Mの速度が大きい状態から小さい状態に戻す場合に、虚像VIの表示位置を基準位置に戻すように下方向に移動させる。このときの虚像VIの位置の補正は、例えば、凹面鏡アクチュエータ182により凹面鏡126の反射角度φを調節することで実行される。
また、位置補正制御部152aは、車両Mの外部環境により俯角θの変動(より具体的には、虚像VIの振れ)が生じる場合に、その変動を抑制するための振れ補正を行ってもよい。図7は、車両Mの外部環境による俯角θの変動について説明するための図である。図7において、車両Mは、道路L1上を等速で走行しているものとし、道路L1には、段差STが存在するものとする。また、時刻T1、T2(T1<T2)のそれぞれにおける車両MをM(T1)、M(T2)で示し、俯角θをθ(T1)、θ(T2)で示すものとする。また、車両Mの左右の前輪をWfl、Wfrとし、左右の後輪をWrl、Wrrとする。
時刻T1の場合、車両M(T1)は、水平方向(図中X方向)に沿って走行している。この場合、表示装置100は、設定情報に基づき、運転者の視線位置P1から虚像視認距離Dだけ離れた位置で、且つ、俯角θ(T1)となる位置に虚像VIを表示しているものとする。
ここで、時刻T2の場合、車両M(T2)は、左右の前輪Wfl、Wfrが段差STの下段に存在し、左右の後輪Wrl、Wrrが段差の上段に存在するため、車両M(T2)が前傾した状態となる。この場合、虚像VIの位置は、虚像視認距離Dが一定で、且つ、俯角が表示装置100により俯角θ(T1)に車両M(T2)の前傾した角度(例えば、車両Mに対するピッチ角に近似した角度)が加わった俯角θ(T2)の位置となる(θ(T1)<θ(T2))。このような場合には、運転者から見る虚像VIが下方向に振れるため視認性が低下する場合がある。なお、この現象は、車両Mが下り坂を走行している場合も発生する。したがって、位置補正制御部152aは、上述したような車両Mの周辺環境が変化した場合に、俯角θ(T1)が一定になるように位置補正を行う。
具体的には、位置補正制御部152aは、俯角θ(T1)からθ(T2)に遷移した場合の上下方向の変動幅を算出し、算出した変動幅がゼロ(0)に近似するように俯角の調節を行う。図8は、上下方向の変動幅Wの算出例を示す図である。なお、時刻T1およびT2における車両Mの姿勢や段差STを通過したことによる振動等により、運転者の姿勢や目の位置は異なるが、その変化量は虚像視認距離Dに比べて極小であるため考慮しないものとして説明する。したがって、以下の算出から得られる変動幅Wは、実際の変動幅の近似値となる。
図8の例において、位置補正制御部152aは、俯角θ(T1)における水平面から虚像VIの中央位置までの距離(上下方向の高さ)h1を算出する。距離h1は、例えば、h1=Dsinθ(T1)により算出される。また、位置補正制御部152aは、俯角θ(T2)における水平面から虚像VIの中央位置までの距離h2を算出する。距離h2は、例えば、h2=Dsinθ(T2)により算出される。なお、俯角θ(T2)は、例えば、環境センサ166に含まれるピッチ角センサにより検出されるピッチ角と表示態様制御部152で決定される俯角θ1とに基づいて導出されてもよく、前輪Wfl、Wfrと後輪Wrl、Wrrに設けられたハイトセンサにより検出された値に基づいて導出されてもよい。そして、位置補正制御部152aは、距離h2とh1との差分(h2−h1)により変動幅Wを算出する。
また、位置補正制御部152aは、上述した算出手法に代えて、予め俯角θ(T1)と俯角θ(T2)との差分値または距離h2とh1との差分値に、変動幅Wが対応付けられたルックアップテーブル(LUT)を記憶部154に記憶しておき、俯角θ(T1)、θ(T2)や距離h1、h2を取得したときに、その差分値からLUTを参照して、対応付けられた変動幅Wを取得してもよい。
位置補正制御部152aは、取得した変動幅Wがゼロ(0)に打ち消されるように上方向の補正領域CA1を超えない範囲で俯角θの補正制御を行う。なお、俯角θの補正制御において、凹面鏡アクチュエータ182を用いて補正する場合には、モータの駆動時間等の影響で応答が遅くなるため、車両Mの挙動の変化のタイミングと、俯角θの補正制御のタイミングとに時間のずれが生じ、車両Mの揺れ方向とは逆に虚像VIが上下に振れ動いてしまう可能性がある。そこで、位置補正制御部152aは、応答性が高いディスプレイコントローラ172による表示制御により、投光装置120から投射させる光の投射面における投射位置を調節することで、俯角θの補正制御を行う。具体的には、位置補正制御部152aは、ディスプレイコントローラ172を制御して、虚像VIの位置を変動幅Wだけ上方向に移動させる。また、位置補正制御部152aは、上述した上方向への揺れ補正と同様に、下方向への揺れ補正も行う。これにより、位置補正制御部152aは、車両Mの挙動の変動によって生じる俯角の変動を抑制することができる。また、上述した位置補正制御は、表示素子120Bによる画像の表示制御によって実現できるため応答性が高く、凹面鏡アクチュエータ182により凹面鏡126の反射角度φを調節するよりも迅速に行うことができる。そのため、車両Mの挙動の変化に対応して、より適切なタイミングで振れ補正を行うことができる。
なお、位置補正制御部152aは、変動幅Wが閾値以上であるか否かを判定し、変動幅Wが閾値以上である場合に、上述した俯角θの補正制御を行ってもよい。
抑制制御部152bは、上述した位置補正制御部152aによる補正制御において、所定の条件を満たす場合に補正制御の実行を抑制する。例えば、抑制制御部152bは、所定の条件として、車両Mの乗員の注視点が、車両Mの走行車線の消失点から外れる場合に、位置補正制御部152aによる補正制御の実行を抑制する。注視点が消失点から外れるとは、例えば、カメラにより撮像された車両Mの前方画像上における注視点と消失点との二次元の距離が所定距離以上となることである。補正制御の実行を抑制するとは、例えば、虚像VIの位置の補正を行わない、または位置の補正の度合を小さくすることである。これにより、注視していない領域に表示された虚像VIが車両Mの外部環境や挙動に基づいて動くことにより運転者に違和感が生じることを抑制するがことができる。
ここで、注視点と消失点との距離が所定距離以上となる車両Mの挙動としては、例えば、車両Mが右左折している場合やカーブ路を走行している場合が含まれる。したがって、抑制制御部152bは、旋回状態判定部320により車両Mの挙動が旋回状態であると判定された場合に、位置補正制御部152aによる虚像VIの位置の補正を抑制してもよい。図9は、車両の旋回時の様子を説明するための図である、図9の例では、車両Mが車線L1から車線L2に右折を開始し、車両挙動取得装置300により車両Mが旋回状態である判定された時点の様子を示している。図9に示す車両Mの旋回状態において、運転者は、消失点VPの近傍付近ではなく、右折先の車線L2付近を注視する。図10は、図9の車両Mの旋回状態における消失点VPと注視点NPとの距離について説明するための図である。図9に示す右折場面において、運転者の注視点NPは右折先の車線L2上であり、消失点VPと注視点NPとの距離DPは所定距離以上となったものとする。この場合、抑制制御部152bは、位置補正制御部152aによる虚像VIの位置の補正を抑制する。
また、抑制制御部152bは、車速取得部310により得られる車両Mの速度が所定速度以下である場合に、位置補正制御部152aによる位置の補正を抑制してもよい。所定速度とは、例えば、10[km/h]程度である。つまり、車両Mが停止時または低速走行時には、運転者の注視点は、例えば、車室内の第2表示部50−2や他の方向、もしくは車両近くの前方位置に置かれると推定される。そのため、注視点と消失点との距離は、所定距離以上に離れる。したがって、抑制制御部152bは、車両Mの発進時または車両Mの低速走行時において、虚像VIの表示位置の補正制御を抑制することで、車両Mのゆっくりとした姿勢の変化に合わせて表示位置が移動することを抑制することで、運転者に違和感なく虚像VIを視認させることができる。また、停止時または低速走行時において、運転者に虚像VIを視認させる重要度は低くなるため、低速走行時または停止時における位置補正を抑制しても影響が少ない。また、停止時または低速走行時に、虚像VIの位置の補正を抑制することで、位置補正の処理負荷を軽減させることができる。
ここで、車両Mが低速となる車両Mの挙動としては、例えば、車両Mの走行車線が渋滞である場合が含まれる。したがって、抑制制御部152bは、例えば、物体認識センサ166aによる認識結果により、車両Mの走行車線が渋滞であるか否かを判定し、走行車線が渋滞であると判定された場合に、位置補正制御部152aによる位置の補正を抑制してもよい。
また、抑制制御部152bは、悪路判定部330により車両Mが走行する道路が悪路である判定された場合に、位置補正制御部152aによる虚像VIの位置の補正を抑制してもよい。これにより、例えば、道路の凹凸が連続する場合に、虚像VIの位置の補正を抑制することで、位置補正の処理負荷を軽減させることができる。
また、例えば、虚像VIの端部が表示可能領域A1の上端部に接している場合に、位置補正制御部152aは、それ以上、虚像VIを上方向に移動させることができない。また同様に、虚像VIの端部が表示可能領域A1の下端部に接している場合に、位置補正制御部152aは、それ以上、虚像VIを下方向に移動させることができない。したがって、抑制制御部152bは、虚像VIの端部が、表示可能領域A1の上端部または下端部に接する場合に、画像の位置の補正を抑制してもよい。
図11は、虚像VIの表示位置における補正抑制制御について説明するための図である。図11の例では、表示可能領域A1の下端部に虚像VIの下端部が接するように表示されている。なお、図11に示すような表示態様は、例えば、車両Mの外部環境(例えば、上り坂を走行している場合の姿勢)による位置補正制御部152aの補正制御、または、運転者による調節スイッチ136の操作により実現される。抑制制御部152bは、表示可能領域A1の下端部に虚像VIの端部が接している場合に、虚像VIをこれ以上下方向に移動させることができないため、位置補正制御部152aによる位置の補正を抑制する。なお、抑制制御部152bは、位置補正制御部152aによる下方向の位置の補正のみを抑制し、上方向の位置の補正を、表示可能範囲A1または上方向の補正領域CA1の範囲で許容してもよい。
ここで、図11に示すように表示可能領域A1の下端部に虚像VIの端部が接するように表示される場合には、俯角θが最大になる。したがって、抑制制御部152bは、俯角θの大きさが最大角度である場合に、位置補正制御部152aによる位置の補正を抑制してもよい。
また、抑制制御部152bは、車両Mの外部環境に基づいて、位置補正制御部152aにおける補正の度合を制御してもよい。また、補正の度合とは、車両Mの外部環境に基づく虚像VIの位置の補正量の大きさ、または補正の抑制量の大きさである。例えば、抑制制御部152bは、ピッチ角の大きさ、車速の大きさ、操舵角の大きさ等に基づいて、補正ゲイン(補正量の大きさ)を調節する。
図12は、ピッチ角と補正ゲインとの関係を説明するための図である。図12において、横軸はピッチ角を示し、縦軸は補正ゲインを示している。抑制制御部152bは、例えば車両Mが水平に走行している場合に環境センサ166から得られるピッチ角θpをゼロ(0)とし、段差や坂道等を走行することによりピッチ角θpが変動した場合の補正ゲインを変化させる。なお、図13において、ピッチ角θpが正の場合は水平より下方向の角度を示し、負の場合は水平より上方向の角度を示すものとする。例えば、抑制制御部152bは、ピッチ角θpが、−θp1以上でθp1以下である場合には、位置補正制御部152aによる補正制御の実行を抑制せずに、予め決められた補正ゲインで車両Mの外部環境に基づく虚像VIの表示位置を補正させる。また、抑制制御部152bは、ピッチ角が−θp1から−θp2に向かって小さくなるほど、またはθp1からθp2に向かって大きくなるほど、補正ゲインが小さくなるように、位置補正制御部152aによる位置の補正を抑制する。また、抑制制御部152bは、ピッチ角θpが−θp2より小さく、θp2より大きい場合、位置補正制御部152aによる位置の補正を実行させない。これにより、より適切な位置に虚像VIを表示させることができるため、運転者の視認性を向上させることができる。また、上述した処理により、虚像VIの表示位置が、表示可能領域の端部(限界位置)に近づくほど、補正ゲインが小さくなるため、虚像VIの移動範囲が限界位置に近付いていることを運転者に認識させ易くすることができる。
[処理フロー]
図13は、実施形態の表示装置100により実行される処理の流れを示すフローチャートである。なお、図13の処理は、例えば、操作スイッチ130により表示装置100がオン状態になった後、所定のタイミングで繰り返し実行される。
まず、画像生成部151は、車両Mの外部環境と、記憶部154に記憶された設定情報とに基づいて、風景に重畳させる画像を生成する(ステップS100)。次に、表示態様制御部152は、設定情報等に基づいて、生成された画像の表示態様を決定する(ステップS102)。次に、駆動制御部153は、表示態様制御部152により決定された表示態様に基づいて、光学系コントローラ170により凹面鏡アクチュエータ182を制御させて、表示態様で示された俯角で虚像VIが視認可能となるように、凹面鏡126の反射角度φを調節させる(ステップS104)。次に、表示態様制御部152は、ディスプレイコントローラ172により、投光装置120から表示態様に基づき生成された画像を含む光を投射させる(ステップS106)。
次に、表示態様制御部152は、車両挙動取得装置300により取得された車両Mの挙動に基づいて、車両Mの外部環境が所定の条件を満たすか否かを判定する(ステップS108)。車両Mの外部環境が所定の条件を満たす場合、表示態様制御部152は、消失点推定装置168により推定された車両Mの走行車線の消失点と、注視点推定装置169により推定された運転者の注視点とを取得する(ステップS110)。次に、表示態様制御部152は、カメラにより撮像された画像上における消失点と注視点との距離が所定距離未満であるか否かを判定する(ステップS112)。消失点と注視点との距離が所定距離未満である場合、位置補正制御部152aは、車両Mの外部環境に基づく画像の位置の補正を行う(ステップS114)。また、消失点と注視点との距離が所定距離以上である場合、抑制制御部152bは、位置補正制御部152aによる位置の補正を抑制する(ステップS116)。これにより、本フローチャートの処理は、終了する。また、ステップS108の処理により、車両Mの外部環境が所定の条件を満たさない場合、本フローチャートの処理を終了する。
上述した実施形態によれば、表示装置100において、画像を含む光を投射する投光装置120と、光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構122と、投光装置120を制御する表示制御装置150と、を備え、表示制御装置150は、車両Mの乗員の注視点と、車両Mの走行車線の消失点との距離が所定距離未満である場合に、車両Mの外部環境に基づいて形成される画像の位置を補正し、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制することで、画像の視認性を向上させることができる。具体的には、実施形態によれば、車両Mの外部環境に基づく画像の位置を補正する場合に、消失点から運転者の注視点が外れる場合には、画像の位置の補正を抑制する。また、実施形態によれば、車両Mの旋回時、発進時、低速走行時、悪路や坂道の走行時等の所定の条件下において、画像の位置の補正を抑制する。これにより、違和感のある画像の移動を抑制し、運転者による画像の視認性を向上させることができる。
上述した実施形態において、表示装置100は、例えば、フロントウインドシールド20に直接画像を投影するのに代えて、運転者の位置とフロントウインドシールド20との間に設けられるコンバイナ等の光透過性反射部材に画像を投影してもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。