JP6825433B2 - 虚像表示装置及びコンピュータプログラム - Google Patents

Description

本発明は、車両の乗員が視認する虚像を表示する虚像表示装置及びコンピュータプログラムに関する。

従来より、車両等の移動体の乗員に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、移動体に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ装置（以下、ＨＵＤという）のような人間の目の錯覚を利用して実際に映像が表示された位置と異なる空間上に映像を視認させる虚像表示装置がある。

ここで、ＨＵＤにより表示された虚像を周辺環境に重畳して案内を行う場合には、虚像が周辺環境に対して適切な位置に重畳していることが重要である。例えば、前方の障害物を警告するマークを虚像として表示する場合には、警告対象となる障害物に重畳する位置に虚像を表示することによって、乗員に障害物を確実に把握させることができ、効果的な案内を行うことが可能となる。そこで、センサやカメラ等を用いて虚像の重畳する対象となる対象物（障害物等）の位置を検出し、検出した対象物の位置に重畳するように虚像の表示位置の制御を行っている。しかしながら、乗員が乗車する車両が移動することによって、乗員が視認する対象物の位置（即ち乗員に対する対象物の相対位置）が変化し、表示する虚像の位置が対象物の位置からズレる問題があった。また、特に他車両や歩行者等の移動体が上記対象物である場合には、対象物の移動によって更に大きなズレとなる可能性がある。

そこで、乗員から視認される対象物の今後の位置の変位を予測することによって上記位置のズレを防止する技術が考えられる。例えば特開２０１１−２２３２４２号公報には、電子カメラにおいて焦点調整や露出制御等を行う為に、被写体の今後の動きを予測して追尾する技術について開示されており、このような追従技術をＨＵＤに用いることも考えられる。

特開２０１１−２２３２４２号公報（第８−９頁）

ここで、上記特許文献１に記載の追尾技術をＨＵＤに用いた場合には、乗員から見た対象物の移動速度や移動方向が一定である場合には、適切な虚像の重畳表示が可能であると考えられる。しかしながら、電子カメラの被写体と比べて、乗員から見た道路上を移動する対象物は、移動速度や移動方向の変化の発生頻度や変化量や大きい為、上記追尾補正を行うことによって虚像の表示位置のチャタリング（ブレ、ガタつき、揺れ等）が発生してしまい、乗員に違和感を与えてしまうという問題があった。

本発明は前記従来における問題点を解消するためになされたものであり、虚像を対象物に適切に重畳させて車両の乗員に視認させるとともに、虚像の表示位置のチャタリングの発生についても抑えた虚像表示装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る虚像表示装置は、車両に搭載され、映像表示面に表示された映像を前記車両の乗員に視認させることによって、前記映像の虚像を前記乗員の視線前方にある対象物に重畳させて視認させる虚像表示装置であって、前記車両の挙動を取得する車両情報取得手段と、前記対象物の挙動を取得する対象物情報取得手段と、前記車両の挙動と前記対象物の挙動とに基づいて、前記乗員から視認される前記対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する補正手段と、前記対象物と前記虚像の重畳状態を取得する重畳状態取得手段と、前記対象物と前記虚像の重畳状態に基づいて前記補正手段による補正の実施の有無を切り替える補正切換手段と、を有し、前記対象物と前記虚像の重畳の度合いが閾値未満の場合に前記補正手段による補正を実施する一方で、前記対象物と前記虚像の重畳の度合いが閾値以上の場合に前記補正手段による補正を実施しない。
尚、「虚像の表示位置」とは、絶対位置ではなく、虚像を視認する乗員の視線との相対位置によって定義される。

また、本発明に係るコンピュータプログラムは、車両に搭載され、映像表示面に表示された映像を前記車両の乗員に視認させることによって、映像の虚像を乗員の視線前方にある対象物に重畳させて視認させるコンピュータプログラムである。具体的には、コンピュータを、前記車両の挙動を取得する車両情報取得手段と、前記対象物の挙動を取得する対象物情報取得手段と、前記車両の挙動と前記対象物の挙動とに基づいて、前記乗員から視認される前記対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する補正手段と、前記対象物と前記虚像の重畳状態を取得する重畳状態取得手段と、前記対象物と前記虚像の重畳状態に基づいて前記補正手段による補正の実施の有無を切り替える補正切換手段と、して機能させるとともに、前記対象物と前記虚像の重畳の度合いが閾値未満の場合に前記補正手段による補正を実施する一方で、前記対象物と前記虚像の重畳の度合いが閾値以上の場合に前記補正手段による補正を実施しない。

前記構成を有する本発明に係る虚像表示装置及びコンピュータプログラムによれば、虚像の表示位置の補正を行うことによって虚像を対象物に適切に重畳させて車両の乗員に視認させることが可能となる一方で、対象物と虚像の重畳状態に基づいて補正の実施の有無を切り替えることにより、補正の実施を必要最低限に抑え、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。特に、虚像と対象物との対応関係が明確であり、補正の実施が必須でない状況で補正の実施を行わないことにより、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

本実施形態に係る虚像表示装置の概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係るＨＵＤの内部構成を示した図である。 本実施形態に係る虚像生成処理プログラムのフローチャートである。 車両の乗員から視認できる虚像の一例を示した図である。 乗員から視認される警告対象物の今後の位置の予測例を示した図である。 乗員から視認される警告対象物の位置が変位した場合において乗員から視認できる虚像の一例を示した図である。 補正実施判定処理のサブ処理プログラムのフローチャートである。 警告対象物の周囲に虚像の重畳対象となる他の警告対象物がある場合において、虚像の表示位置の補正処理を行わない場合を示した図である。 警告対象物の周囲に虚像の重畳対象となる他の警告対象物がある場合において、虚像の表示位置の補正処理を行う場合を示した図である。 警告対象物の周囲に虚像の重畳対象となる他の警告対象物がない場合において、虚像の表示位置の補正処理を行わない場合を示した図である。 警告対象物の周囲に虚像の重畳対象となる他の警告対象物がない場合において、虚像の表示位置の補正処理を行う場合を示した図である。

以下、本発明に係る虚像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る虚像表示装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る虚像表示装置１の概略構成図である。

図１に示すように虚像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、車両２の現在位置を検出したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った移動案内や障害物に対する警告案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも設定された案内経路に沿った移動案内や障害物に対する警告案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に投射された映像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される映像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、本実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された映像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された映像が虚像１０として視認されるように構成される。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された映像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の映像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。

ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、虚像生成距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において映像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって虚像生成距離Ｌが決定される。例えば虚像生成距離Ｌが２５ｍとなるように光路長が設定されている。尚、ＨＵＤ４の構造の詳細については後述する。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

次に、上記虚像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１２と、各種のデータが記録されたデータ記録部１３と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１４と、ユーザからの操作を受け付ける操作部１５と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１６と、経路案内に関する音声ガイダンスを出力するスピーカ１７と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１８と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１９と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４及びフロントカメラ１１等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１２は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１４に出力する。そして、ナビゲーションＥＣＵ１４は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１３は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１３はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ３２、ノード点に関するノードデータ３３、施設等の地点に関する地点データ３４、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。

ここで、リンクデータ３２としては、例えば、該リンクを識別するリンクＩＤ、該リンクの端部に位置するノードを特定する端部ノード情報、該リンクが構成する道路の道路種別等が記憶される。また、ノードデータ３３としては、該ノードを識別するノードＩＤ、該ノードの位置座標、該ノードがリンクを介して接続される接続先ノードを特定する接続先ノード情報等が記憶される。また、地点データ３４としては、目的地への設定対象となる施設に関する各種情報が記憶される。例えば、施設を特定するＩＤ、施設名称、位置座標、ジャンル、住所等が記憶される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１４は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の虚像生成処理プログラム（図４）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１４は、処理アルゴリズムとしての各種手段を有する。例えば、車両情報取得手段は、車両２の挙動を取得する。対象物情報取得手段は、虚像を重畳させる対象となる対象物の挙動を取得する。補正手段は、車両２の挙動と対象物の挙動とに基づいて、乗員９から視認される対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する。重畳状態取得手段は、対象物と虚像の重畳状態を取得する。補正切換手段は、対象物と虚像の重畳状態に基づいて補正手段による補正の実施の有無を切り替える。

操作部１５は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１４は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１５は液晶ディスプレイ１６の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１６には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１６は省略しても良い。

また、スピーカ１７は、ナビゲーションＥＣＵ１４からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１８は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１８に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール１９は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

次に、上記虚像表示装置１が有するＨＵＤ４の概略構成について図３を用いて説明する。図３は、本実施形態に係るＨＵＤ４の内部構成を示した図である。

図３に示すようにＨＵＤ４は、液晶ディスプレイ６と、凹面鏡７と、カバーガラス５１と、制御回路部５２と、ＣＡＮインターフェース５３とを基本的に有する。

ここで、液晶ディスプレイ６は光源としてバックライトを用い、前面に設けられた映像表示面に対して映像を表示する機能を有する映像表示装置である。バックライトとしては、例えばＣＣＦＬ（冷陰極管）や白色ＬＥＤが用いられる。尚、映像を表示する手段としては、液晶ディスプレイ以外に、有機ＥＬディスプレイ、プロジェクタとスクリーンの組み合わせ等を用いても良い。プロジェクタとスクリーンの組み合わせを用いた場合には、スクリーンが映像の表示される液晶表示面に相当する。

一方、凹面鏡７は、液晶ディスプレイ６に表示された映像を拡大して反射させて乗員９に視認させることによって、乗員９の前方に映像の虚像を生成する投影鏡である。尚、凹面鏡７としては、球面凹面鏡や、非球面凹面鏡、若しくは投影映像の歪みを補正するための自由曲面鏡が用いられる。尚、液晶ディスプレイ６に対して投射された映像は、凹面鏡７によって反射されるので、生成される虚像１０は液晶ディスプレイ６に表示された映像と上下が反転した像となる。

また、カバーガラス５１は、ＨＵＤ４の上面に配置された透過性の板状部材である。そして、液晶ディスプレイ６に表示された映像は凹面鏡７によって反射され、カバーガラス５１を介して乗員９に視認させる。尚、カバーガラス５１としてはフレネルレンズを用いても良い。また、カバーガラス５１としてフレネルレンズを用いる場合には、凹面鏡７の代わりに平面の鏡を用いることも可能である。

また、制御回路部５２は、ＨＵＤ４の全体の制御を行う電子制御ユニットである。ここで、制御回路部５２は、演算装置及び制御装置としてのＣＰＵ、並びにＣＰＵが各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ、制御用のプログラムのほか、虚像を生成する為の制御プログラム等が記録されたＲＯＭ等の内部記憶装置を備えている。また、制御回路部５２は、液晶ディスプレイ６と接続され、液晶ディスプレイ６の駆動制御を行う。

また、ＣＡＮ（コントローラエリアネットワーク）インターフェース５３は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、ＨＵＤ４は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置３、ＡＶ装置等）と相互通信可能に接続される。それによって、ＨＵＤ４は、ナビゲーション装置３やＡＶ装置等から取得した情報を投影可能に構成する。

続いて、前記構成を有する虚像表示装置１の内、特にナビゲーション装置３において実行する虚像生成処理プログラムについて図４に基づき説明する。図４は本実施形態に係る虚像生成処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、車両２の乗員９に視認させる虚像１０を、ＨＵＤ４を用いて生成するプログラムである。尚、以下の図４及び図８にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

先ず、虚像生成処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、車両の進行方向前方に車両の乗員に対して警告対象となる対象物（以下、警告対象物という）があるか否か判定する。ここで、警告対象物は車両に乗車する乗員が注視すべき物とし、例えば他車両、歩行者、２輪車とする。尚、標識や信号機等の乗員が注視すべき他の物についても警告対象物に含めても良い。

また、車両の進行方向前方にある警告対象物の有無は、例えばフロントカメラ１１により撮像した撮像画像に対してテンプレートマッチング等の画像処理を行うことによって検出しても良いし、ミリ波レーダ等のセンサを用いて検出しても良い。また、車車間通信や外部サーバとの通信によって取得しても良い。

そして、車両の進行方向前方に警告対象物があると判定された場合（Ｓ１：ＹＥＳ）には、Ｓ２へと移行する。それに対して、車両の進行方向前方に警告対象物がないと判定された場合（Ｓ１：ＮＯ）には、当該虚像生成処理プログラムを終了する。

Ｓ２においてＣＰＵ４１は、車両の進行方向前方にあると判定された警告対象物の具体的な位置を取得する。尚、警告対象物の位置は、例えばフロントカメラ１１により撮像した撮像画像に対して画像処理を行うことによって取得しても良いし、ミリ波レーダ等のセンサを用いて取得しても良い。また、車車間通信や外部サーバとの通信によって取得しても良い。また、警告対象物の位置は絶対位置を取得しても良いし、乗員（自車両）に対する相対位置を取得しても良い。尚、警告対象物が複数ある場合には、複数の警告対象物の位置をそれぞれ取得する。

例えば以下ではフロントカメラ１１により撮像した撮像画像に対して画像処理を行うことによって警告対象物の位置を特定する方法について説明する。

先ず、ＣＰＵ４１は警告対象物のテンプレート画像のデータを生成する。例えば警告対象物が歩行者である場合には歩行者のテンプレート画像のデータを生成し、警告対象物が他車両である場合には車両のテンプレート画像のデータを生成し、フラッシュメモリ４４等に格納する。尚、テンプレート画像のデータの生成方法については既に公知（例えば特開２０１１−２２３２４２号公報参照）であるので詳細は省略する。

そしてＣＰＵ４１は、生成されたテンプレート画像を用いて、車両の進行方向前方にある警告対象物の位置をテンプレートマッチング処理により、当該虚像生成処理プログラムが終了するまで以後継続的に検出する。

具体的には、先ずテンプレートマッチング処理を行うための比較対象画像として、フロントカメラ１１の撮像画像に対してターゲット画像を設定する。テンプレート画像の面積とターゲット画像の面積とは同一とする。

その後、ＣＰＵ４１は撮像画像内で警告対象物を探索する探索エリアを設定し、探索エリア内でターゲット画像を１画素ずつ或いは予め設定された所定画素ずつ移動させる一方で、移動後の各ターゲット画像とテンプレート画像との類似度を算出する。そして、ＣＰＵ４１は、探索エリア内で類似度が相対的に１番大きい条件を満たすターゲット画像の位置を警告対象物の移動先に特定する。具体的には、テンプレート画像とターゲット画像との各画素における差の和を算出し、差の和が小さいほど類似度が大きく、テンプレート画像とターゲット画像は類似していると判定する。

そして、ＣＰＵ４１は上記警告対象物の移動先の特定をフロントカメラ１１で撮像した撮像画像の１フレーム毎に行うことによって、継続的に警告対象物の現在の位置を特定することが可能となる。

次に、Ｓ３においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して虚像１０を生成する為の映像を出力する。例えば、本実施形態では警告対象物であることを示すアイコンの映像を出力する構成とする。尚、液晶ディスプレイ６における映像の表示位置は、映像に基づく虚像１０を車両の乗員が視認した際に警告対象物と重複して虚像１０が視認される位置とし、前記Ｓ２で取得された最新の警告対象物の位置に基づいて決定される。また、後述のように一定条件を満たした場合には、虚像１０を警告対象物に重畳させる為の表示位置の補正処理についても行われる（Ｓ６）。

そして、前記Ｓ３において映像を出力することによって、図６に示すように車両の進行方向前方にある警告対象物６１に重畳する虚像１０が、車両の乗員から虚像生成距離Ｌ（例えば２５ｍ）離れた位置に視認されることとなる。その結果、乗員の視線を虚像１０によって警告対象物６１へと誘導し、警告対象物６１をユーザに確実に視認させることが可能となる。尚、本実施形態では虚像生成距離Ｌは固定値とするが、例えば液晶ディスプレイ６を移動させることによって虚像生成距離Ｌを任意に変更可能にすることも可能である。また、虚像１０の表示は、基本的に警告対象物がその後に車両の前方から消失するまで行われる。

また、警告対象物が複数ある場合には、基本的に乗員（自車両）に最も近い警告対象物のみを対象として虚像１０が表示される。但し、複数の警告対象物のそれぞれに重畳して虚像１０を表示しても良い。また、警告対象物の種類に基づいて虚像１０を重畳させる警告対象物を選択しても良い。例えば、警告対象物として歩行者を含む場合には、歩行者を優先的に選択して虚像１０を重畳させることが可能である。

次に、Ｓ４においてＣＰＵ４１は、後述の補正実施判定処理（図８）を実行する。尚、補正実施判定処理は、後述のように警告対象物の今後の位置予測に基づく虚像の表示位置の補正処理を実施するか否かを判定する為の処理である。

続いて、Ｓ５においてＣＰＵ４１は、前記Ｓ４の処理結果に基づいて虚像の表示位置の補正処理を実施するか否かを判定する。

そして、虚像の表示位置の補正処理を実施すると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、虚像の表示位置の補正処理を実施しないと判定された場合（Ｓ５：ＮＯ）には、Ｓ７へと移行する。

Ｓ６においてＣＰＵ４１は、警告対象物の今後の位置予測に基づく虚像の表示位置の補正処理を開始する。尚、開始された補正処理は後述のＳ７において補正処理の機能がオフされるまで継続して実施される。

ここで、前記Ｓ６で実施される虚像の表示位置の補正処理について以下に説明する。
先ずＣＰＵ４１は、乗員が乗車する自車両の挙動と虚像の重畳対象となる警告対象物の挙動とを取得する。尚、挙動としては特に移動速度と移動方向を取得し、自車両の移動速度や移動方向については車速センサ２２やジャイロセンサ２４等の各種センサを用いて取得する。一方、警告対象物の挙動については、上述したＳ２のテンプレートマッチング処理により現フレームにおいて特定した警告対象物の位置と、前フレームにおいて特定した警告対象物の位置とを比較して取得する。尚、ミリ波レーダ等のセンサを用いて取得しても良い。

続いてＣＰＵ４１は、乗員が乗車する自車両の挙動と虚像の重畳対象となる警告対象物の挙動とに基づいて、乗員から視認される警告対象物の今後の位置の変位を予測する。具体的には、先ずＣＰＵ４１は乗員から視認される警告対象物の移動方向と移動速度を示すベクトル（以下、移動ベクトルという）を算出する。

そしてＣＰＵ４１は、算出した移動ベクトルから警告対象物の移動先を予測する。例えば、図６に示すように乗員から視認される警告対象物６１が領域Ｇに位置する場合であって移動ベクトル６２が特定できた場合には、警告対象物６１は今後に領域Ｇから領域Ｈ、領域Ｉへと移動していくことが予測できる。そこで、ＣＰＵ４１は、領域Ｇの明るさの変化量を示すＡＥ評価値と領域ＨのＡＥ評価値との差分値を算出する。

その後、ＣＰＵ４１は、ＡＥ評価値の差分値に基づいてテンプレート画像の輝度レベルを補正する。そして、ＣＰＵ４１は、次フレームにおいて補正後のテンプレート画像を用いてテンプレートマッチング処理を行う。その結果、移動先として予測される方向のターゲット画像の輝度成分の変化に追随して、テンプレート画像の輝度成分を補正するので、テンプレートマッチング処理において警告対象物の検出精度を高めることができる。

なお、前記Ｓ６では警告対象物の移動ベクトルに基づいて探索エリアを狭める処理を行っても良い。その場合には、移動ベクトルに基づいて警告対象物の移動先を推定し、探索エリアを狭めることができる。

前記Ｓ６の虚像の表示位置の補正処理を行うことによって、図７に示すように乗員から視認した警告対象物６１の位置が変位した場合であっても、警告対象物６１の今後の位置予測に基づく虚像１０の表示位置の補正が行われるので、虚像１０の位置が警告対象物６１の位置から大きくズレることなく、警告対象物６１にできる限り重畳させた状態で虚像１０を乗員に視認させることが可能となる。

一方、Ｓ７においてＣＰＵ４１は、前記Ｓ６で開始された警告対象物の今後の位置予測に基づく虚像の表示位置の補正処理を終了する。虚像の表示位置の補正処理を行わないと、乗員から視認した警告対象物６１の位置が変位した場合に虚像１０の位置と警告対象物６１の位置との間にズレを生じさせる虞はあるが、一方で虚像の表示位置のチャタリング（ブレ、ガタつき、揺れ等）の発生は防止できる。その後、Ｓ１へと戻る。

次に、前記Ｓ４において実行される補正実施判定処理のサブ処理について図８に基づき説明する。図８は補正実施判定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ１１においてＣＰＵ４１は、前記Ｓ２において特定された警告対象物の位置を読み出す。尚、警告対象物が複数ある場合には各警告対象物の位置について読み出す。

次に、Ｓ１２においてＣＰＵ４１は、虚像１０の重畳対象となる警告対象物の周囲（例えば５ｍ以内）に他の警告対象物があるか否かを判定する。尚、本実施形態では、警告対象物が複数ある場合には基本的に乗員（自車両）に最も近い警告対象物のみを対象として虚像１０が表示される。従って、乗員（自車両）に最も近い警告対象物以外の警告対象物が他の警告対象物となる。

そして、虚像１０の重畳対象となる警告対象物の周囲に他の警告対象物があると判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、虚像１０の重畳対象となる警告対象物の周囲に他の警告対象物が無いと判定された場合（Ｓ１２：ＮＯ）には、Ｓ１６へと移行する。

Ｓ１３においてＣＰＵ４１は、虚像１０の重畳対象となる警告対象物と虚像１０との重畳状態を取得し、虚像１０の全体の内、警告対象物に対して重畳する割合が５０％以上か否かを判定する。尚、警告対象物と虚像１０との重畳状態（より具体的には虚像１０の全体の内、警告対象物に対して重畳する割合）は、前記Ｓ２で特定した警告対象物の現在位置、該警告対象物の形状、液晶ディスプレイ６に対する映像の表示位置に基づいて算出される。また、前記Ｓ１３の判定基準となる閾値は適宜変更することが可能であり、例えば４０％や６０％としても良い。但し、判定基準の閾値は後述のＳ１６よりは高く設定する。

そして、虚像１０の全体の内、警告対象物に対して重畳する割合が５０％以上であると判定された場合（Ｓ１３：ＹＥＳ）には、虚像１０の表示位置の補正処理は行わないと判定する（Ｓ１４）。それに対して、虚像１０の全体の内、警告対象物に対して重畳する割合が５０％未満（重畳していない場合も含む）と判定された場合（Ｓ１３：ＮＯ）には、虚像１０の表示位置の補正処理を行うと判定する（Ｓ１５）。その後、Ｓ５へと移行し、前記Ｓ１４又はＳ１５の判定結果に基づいて虚像１０の表示位置の補正処理の実施の有無を切り替える。

ここで、図９に示すように虚像１０の重畳対象となる警告対象物６１の周囲に他の警告対象物６５が存在する場合であっても、警告対象物６１と虚像１０の重畳度合いが高い場合（具体的には虚像１０の全体の内、警告対象物に対して重畳する割合が５０％以上）については、現時点において虚像１０によって警告対象となるのが警告対象物６５でなく警告対象物６１であることを乗員９は明確に把握することが可能となる。従って、そのような場合については、虚像の表示位置の補正処理を実施しないことにより虚像の表示位置のチャタリングの発生について防止することが可能となる。

一方で、図１０に示すように虚像１０の重畳対象となる警告対象物６１の周囲に他の警告対象物６５が存在する場合であって、警告対象物６１と虚像１０の重畳度合いが低い場合（具体的には虚像１０の全体の内、警告対象物に対して重畳する割合が５０％未満）については、虚像１０によって警告対象となるのが警告対象物６１であるか警告対象物６５であるかを乗員９が明確に把握できない虞がある。従って、そのような場合については、虚像の表示位置の補正処理を実施することによって虚像１０の表示位置を警告対象物６１に重畳させることを優先する。

また、Ｓ１６においてＣＰＵ４１は、虚像１０の重畳対象となる警告対象物と虚像１０との重畳状態を取得し、虚像１０の少なくとも一部が、警告対象物に対して重畳するか否か（即ち虚像１０の全体の内、警告対象物に対して重畳する割合が０％より大きいか否か）を判定する。尚、警告対象物と虚像１０との重畳状態は、前記Ｓ１３と同様に前記Ｓ２で特定した警告対象物の現在位置、該警告対象物の形状、液晶ディスプレイ６に対する映像の表示位置に基づいて算出される。尚、前記Ｓ１６では虚像１０の全体の内、警告対象物に対して重畳する割合が所定割合以上か否かを判定しても良い。但し、所定割合は前記Ｓ１３よりも低い値とする。

そして、虚像１０の少なくとも一部が、警告対象物に対して重畳すると判定された場合（Ｓ１６：ＹＥＳ）には、虚像１０の表示位置の補正処理は行わないと判定する（Ｓ１７）。それに対して、虚像１０が警告対象物に対して重畳していないと判定された場合（Ｓ１６：ＮＯ）には、虚像１０の表示位置の補正処理を行うと判定する（Ｓ１８）。その後、Ｓ５へと移行し、前記Ｓ１７又はＳ１８の判定結果に基づいて虚像１０の表示位置の補正処理の実施の有無を切り替える。

ここで、図１１に示すように虚像１０の重畳対象となる警告対象物６１の周囲に他の警告対象物が存在しない場合には、警告対象物６１と虚像１０の重畳度合いが低くても僅かでも重複していれば、虚像１０によって警告対象となるのが警告対象物６１であることを乗員９は把握することが可能となる。従って、そのような場合については、虚像の表示位置の補正処理を実施しないことにより虚像の表示位置のチャタリングの発生について防止することが可能となる。

一方で、図１２に示すように虚像１０の重畳対象となる警告対象物６１の周囲に他の警告対象物が存在しない場合であっても、警告対象物６１と虚像１０が重複していない場合については、虚像１０によって警告対象となるのが警告対象物６１であるかを乗員９が明確に把握できない虞がある。従って、そのような場合については、虚像の表示位置の補正処理を実施することによって虚像１０の表示位置を警告対象物６１に重畳させることを優先する。

以上詳細に説明した通り、本実施形態に係る虚像表示装置１、虚像表示装置１で実行されるコンピュータプログラムでは、虚像１０を乗員９の視線前方にある警告対象物６１に重畳させて視認させるとともに、乗員９が乗車する車両の挙動と警告対象物の挙動とに基づいて、乗員９から視認される警告対象物６１の今後の位置の変位を予測し、予測された位置の変位に基づいて虚像１０の表示位置を補正する（Ｓ６）。また、警告対象物６１と虚像１０の重畳状態を取得し（Ｓ１３、Ｓ１６）、警告対象物６１と虚像１０の重畳状態に基づいて補正の実施の有無を切り替える（Ｓ１４、Ｓ１５、Ｓ１７、Ｓ１８）ので、虚像１０の表示位置の補正を行うことによって虚像１０を警告対象物に適切に重畳させて車両の乗員に視認させることが可能となる一方で、警告対象物と虚像１０の重畳状態に基づいて補正の実施の有無を切り替えることにより、補正の実施を必要最低限に抑え、虚像１０の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、本実施形態では、車両２に対して虚像表示装置１を設置する構成としているが、車両２以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に虚像を生成し、ライドの乗員に対して虚像を視認させることが可能となる。

また、本実施形態では、周辺環境に重畳させて乗員９に視認させることにより案内を行う虚像１０として、警告対象物の警告を行うアイコンの虚像を表示しているが、表示する虚像は他の虚像としても良い。例えば、矢印の虚像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等でも良い。

また、本実施形態では、乗員に警告対象となる警告対象物に対して虚像を重畳させることとしているが、虚像を重畳する対象となる対象物は警告対象物以外であっても良い。例えば、路面、施設等でも良い。

また、本実施形態では、警告対象物の周囲に他の警告対象物がある場合には、他の警告対象物がない場合よりも重畳度合いの判定の閾値が高く設定されているが、他の警告対象物以外の対象物（例えば路面、施設）等が警告対象物の周囲にある場合においても重畳度合いの判定の閾値を高く設定しても良い。

また、本実施形態では、Ｓ４の補正実施判定処理において警告対象物と虚像の重畳状態（重畳度合い）を示すパラメータとして、特に虚像の全体の内、警告対象物に対して重畳する割合を算出しているが、警告対象物と虚像の重畳状態を示すパラメータであれば他のパラメータを算出しても良い。例えば、警告対象物の全体の内、虚像に対して重畳する割合を算出しても良い。また、警告対象物と虚像が連続して重畳している時間を算出しても良い。

また、本実施形態では、虚像生成処理プログラム（図４）の処理をナビゲーション装置３のナビゲーションＥＣＵ１４が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御ＥＣＵ２０、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る虚像表示装置はＨＵＤ４のみで構成することも可能である。

また、本発明に係る虚像表示装置を具体化した実施例について上記に説明したが、虚像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両（２）に搭載され、映像表示面（５）に表示された映像を車両の乗員（９）に視認させることによって、前記映像の虚像（１０）を前記乗員の視線前方にある対象物（６１）に重畳させて視認させる虚像表示装置（１）であって、前記車両の挙動を取得する車両情報取得手段（４１）と、前記対象物の挙動を取得する対象物情報取得手段（４１）と、前記車両の挙動と前記対象物の挙動とに基づいて、前記乗員から視認される前記対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する補正手段（４１）と、前記対象物と前記虚像の重畳状態を取得する重畳状態取得手段（４１）と、前記対象物と前記虚像の重畳状態に基づいて前記補正手段による補正の実施の有無を切り替える補正切換手段（４１）と、を有する。
上記構成を有する虚像表示装置によれば、虚像の表示位置の補正を行うことによって虚像を対象物に適切に重畳させて車両の乗員に視認させることが可能となる一方で、対象物と虚像の重畳状態に基づいて補正の実施の有無を切り替えることにより、補正の実施を必要最低限に抑え、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

また、第２の構成は以下のとおりである。
前記対象物（６１）と前記虚像（１０）の重畳の度合いが閾値未満の場合に前記補正手段（４１）による補正を実施する一方で、前記対象物と前記虚像の重畳の度合いが閾値以上の場合に前記補正手段による補正を実施しない。
上記構成を有する虚像表示装置によれば、虚像と対象物との対応関係が明確であり、特に補正の実施が必須でない状況では補正の実施を行わないことにより、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

また、第３の構成は以下のとおりである。
前記対象物（６１）の周囲に前記虚像（１０）の重畳対象となる他の対象物（６５）がある場合には、前記対象物の周囲に前記他の対象物がない場合よりも前記閾値を高く設定する。
上記構成を有する虚像表示装置によれば、虚像と対象物との対応関係が分かり難い状況では、補正をできる限り実施することにより、虚像と対象物との対応関係が乗員によって誤認されることを防止することが可能となる。

また、第４の構成は以下のとおりである。
前記対象物（６１）と前記虚像（１０）が重畳していない場合に前記補正手段（４１）による補正を実施する一方で、前記対象物と前記虚像の少なくとも一部が重畳している場合に前記補正手段による補正を実施しない。
上記構成を有する虚像表示装置によれば、虚像と対象物との対応関係が明確であり、特に補正の実施が必須でない状況では補正の実施を行わないことにより、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

また、第５の構成は以下のとおりである。
前記虚像（１０）の全体の内、前記対象物（６１）に対して重畳する割合が所定割合未満の場合に前記補正手段（４１）による補正を実施する一方で、所定割合以上の場合に前記補正手段による補正を実施しない。
上記構成を有する虚像表示装置によれば、虚像と対象物との対応関係が明確であり、特に補正の実施が必須でない状況では補正の実施を行わないことにより、虚像の表示位置のチャタリングの発生についてできる限り減少させることが可能となる。

１ 虚像表示装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
６ 液晶ディスプレイ
８ フロントウィンドウ
１０ 虚像
１４ ナビゲーションＥＣＵ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
６１ 警告対象物
６５ 他の警告対象物

Claims (5)

1. 車両に搭載され、映像表示面に表示された映像を前記車両の乗員に視認させることによって、前記映像の虚像を前記乗員の視線前方にある対象物に重畳させて視認させる虚像表示装置であって、
   前記車両の挙動を取得する車両情報取得手段と、
   前記対象物の挙動を取得する対象物情報取得手段と、
   前記車両の挙動と前記対象物の挙動とに基づいて、前記乗員から視認される前記対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する補正手段と、
   前記対象物と前記虚像の重畳状態を取得する重畳状態取得手段と、
   前記対象物と前記虚像の重畳状態に基づいて前記補正手段による補正の実施の有無を切り替える補正切換手段と、を有し、
   前記対象物と前記虚像の重畳の度合いが閾値未満の場合に前記補正手段による補正を実施する一方で、前記対象物と前記虚像の重畳の度合いが閾値以上の場合に前記補正手段による補正を実施しない虚像表示装置。
2. 前記対象物の周囲に前記虚像の重畳対象となる他の対象物がある場合には、前記対象物の周囲に前記他の対象物がない場合よりも前記閾値を高く設定する請求項１に記載の虚像表示装置。
3. 前記対象物と前記虚像が重畳していない場合に前記補正手段による補正を実施する一方で、前記対象物と前記虚像の少なくとも一部が重畳している場合に前記補正手段による補正を実施しない請求項１又は請求項２に記載の虚像表示装置。
4. 前記虚像の全体の内、前記対象物に対して重畳する割合が所定割合未満の場合に前記補正手段による補正を実施する一方で、所定割合以上の場合に前記補正手段による補正を実施しない請求項１又は請求項２に記載の虚像表示装置。
5. 車両に搭載され、映像表示面に表示された映像を前記車両の乗員に視認させることによって、前記映像の虚像を前記乗員の視線前方にある対象物に重畳させて視認させるコンピュータプログラムであって、
   コンピュータを、
   前記車両の挙動を取得する車両情報取得手段と、
   前記対象物の挙動を取得する対象物情報取得手段と、
   前記車両の挙動と前記対象物の挙動とに基づいて、前記乗員から視認される前記対象物の今後の位置の変位を予測するとともに、予測された位置の変位に基づいて虚像の表示位置を補正する補正手段と、
   前記対象物と前記虚像の重畳状態を取得する重畳状態取得手段と、
   前記対象物と前記虚像の重畳状態に基づいて前記補正手段による補正の実施の有無を切り替える補正切換手段と、
   して機能させるとともに、
   前記対象物と前記虚像の重畳の度合いが閾値未満の場合に前記補正手段による補正を実施する一方で、前記対象物と前記虚像の重畳の度合いが閾値以上の場合に前記補正手段による補正を実施しないコンピュータプログラム。

Images