JP2020121704A - 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム - Google Patents

Abstract

【課題】振動が生じた際の拡張現実感の低下を抑制する。【解決手段】自車両が一定の大きさ以上で振動していると推定される場合、自車両の走行レーンに沿うように知覚される遠近感のあるパースペクティブ画像２１０の遠近感を弱める。【選択図】 図３Ｂ

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラムに関する。

特許文献１には、画像の虚像が表示される平面又は曲面の表示領域を有するヘッドアップディスプレイ装置であり、該表示領域は、水平面（例えば、自車両が走行する路面）に沿うように、視認者から見た前記表示領域の上側が下側よりも視認者から離れた位置に配置されるものが記載されている。このようなヘッドアップディスプレイ装置は、表示領域を水平面に沿うように配置することで、表示領域に表示される画像があたかも走行レーンの路面に沿って実際に存在するかのように仮想現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を知覚させることができる。

特開２０１６−４５２５２号公報

しかしながら、特許文献１のヘッドアップディスプレイ装置では、走行レーンの小さな起伏による自車両の振動や加減速に伴う自車両のピッチングの変化により、自車両と路面とのなす角度が一定でなくなる。表示領域と路面との間の角度が通常と異なることで、画像が路面（実風景上の実オブジェクト）に馴染んでいたことにより感じていた拡張現実の感覚（拡張現実感）が失われる（又は低下する）ことが想定される。このため、視認者に違和感を与えるおそれがあり、振動が生じた際にも拡張現実感の低下を抑制する表示についての改善の余地があった。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、視認者に与える違和感を低減した表示を提供することに関する。より具体的には振動が生じた際の拡張現実感の低下を抑制することにも関する。

したがって、本明細書に記載される表示制御装置は、車両が一定の大きさ以上で振動していると推定される場合、表示していたパースペクティブ画像２１０の遠近感を弱める。いくつかの実施形態では、パースペクティブ画像２１０は、前景における走行レーン３１０の路面に重畳して視認されてもよい。また、表示していたパースペクティブ画像２１０の遠近感を弱める場合、パースペクティブ画像２１０を、遠近感のない非パースペクティブ画像２３０に変更してもよい。

いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。 いくつかの実施形態に係る、車両用表示システムのブロック図である。 いくつかの実施形態に係る、パースペクティブ画像の表示例を示す図である。 いくつかの実施形態に係る、非パースペクティブ画像の表示例を示す図である。 いくつかの実施形態に係る、遠近感の弱いパースペクティブ画像を説明するための図である。 いくつかの実施形態に係る、パースペクティブ画像の表示処理を示すフロー図である。 いくつかの実施形態に係る、自車両の振動に応じて画像の表示態様を変化させる表示処理のフロー図である。

以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３Ａ、図３Ｂ、及び図４では、仮想オブジェクトを知覚させるために表示される画像の表示例を提供する。また、図５、図６では、表示処理のフローを提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に画像２００を重ねて運転者４に視認させる。表示領域１００自体は、実際に運転者４に視認されない、又は視認されにくい程度に視認性が低い。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。

また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定（調整可能に配置）され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。

画像２００の表示領域１００は、水平面（例えば、自車両１が走行する走行レーン３１０の路面）に沿うように、運転者４から見た表示領域１００の上側の部分（Ｙ軸正方向の部分）が下側（Ｙ軸負方向の部分）よりも運転者４から離れた位置に配置される平面又は曲面である。なお、運転者４の左右方向（Ｘ軸方向）から見た、画像２００の表示領域１００と走行レーン３１０の路面とのなす鋭角θは、０［ｄｅｇｒｅｅ］（表示領域１００と路面とが平行）でなくてもよく、２０［ｄｅｇｒｅｅ］未満に設定されることが好ましい。また、表示領域１００と走行レーン３１０の路面との間の距離（Ｙ軸方向の距離）は、−１〜＋１［ｍｅｔｅｒ］の範囲に設定されることが好ましい。

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、走行レーン３１０の路面、道路標識、及び地物（建物、橋など）などの実オブジェクトの近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクトに重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクトを基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を視認者（典型的には、自車両１の運転席に着座する運転者４）に知覚させることもできる。画像表示部１１は、実オブジェクトの位置に応じて表示位置を変化させるＡＲ画像、又は／及び実オブジェクトの位置に応じて表示位置を変化させない非ＡＲ画像、を含む画像２００を表示することができる。

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。

図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢（ロール角、又は／及びピッチング角を含む）、車両の振動（振動の大きさ、頻度、又は／及び周波数を含む））などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、例えば、自車両１の前記状態を収集及び管理（制御も含んでもよい。）するものであり、機能の一部として、自車両１の状態の度合い（例えば、自車両１の現在の振動の大きさ、ピッチング角）を、表示制御装置１３のプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサ等で検出した数値をプロセッサ１６へ送信することに加え、又は代わりに、センサで検出した数値に基づく判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が車両ＥＣＵ４０１のメモリ（不図示）に予め記憶された所定の振動条件を満たす振動をしているか、又はピッチング角であるかを示す判定結果をプロセッサ１６へ送信してもよい。

また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、サイズ、種類、表示態様、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。

自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、走行レーン３１０の路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、サイズ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、サイズ、移動方向、移動速度、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、車外センサ４０７からの情報が、他の電子機器（例えば、車両ＥＣＵ４０１）を経由して解析などされた後、前記他の電子機器からプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線目底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、走行レーン３１０の路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。

メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、振動判定モジュール５０４、目位置検出モジュール５０６、報知必要度判定モジュール５０８、画像位置設定モジュール５１０、画像サイズ設定モジュール５１２、遠近感設定モジュール５１４、及びグラフィックモジュール５１６を含む。

実オブジェクト関連情報検出モジュール５０２は、自車両１の実オブジェクト（例えば、走行レーン３１０）の位置（領域）を少なくとも含む情報（実オブジェクト関連情報とも呼ぶ）をＩ／Ｏインタフェース１４を介して取得する。実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクトの位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクトのサイズ（高さ方向、横方向のサイズ）、を取得してもよい。

また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３１０の左側の区画線３１１（図３Ａ参照）の位置と、右側の区画線３１２（図３Ａ参照）の位置とを取得し、それら区画線３１１，３１２の間の領域（走行レーン３１０の位置）を算出してもよい。

また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、種類、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。

振動判定モジュール５０４は、自車両１の振動を判定する。振動判定モジュール５０４は、例えば、車両ＥＣＵ４０１から、自車両１の振動の大きさ、頻度、周波数、若しくは／及び自車両１のピッチング角を取得し、自車両１がメモリ１８に予め記憶された所定の振動条件を満たす振動をしていると推測できるかを判定し、判定結果をプロセッサ１６へ送信する。

目位置検出モジュール５０６は、自車両１の運転者４の目の位置を検出する。目位置検出モジュール５０６は、複数段階で設けられた上下方向の領域（又は／及び左右方向の領域）のどこに運転者４の目の位置があるかの判定、運転者４の目の上下方向（Ｙ軸方向）の位置、又は／及び左右方向（Ｘ軸方向）の位置の検出、運転者４の目の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５０６は、例えば、目位置検出部４１１から運転者４の目の位置を取得する、又は、目位置検出部４１１から運転者４の目の位置を推定可能な情報を受信し、運転者４の目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。

報知必要度判定モジュール５０８は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５０８は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器（表示制御装置１３も含む）が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５０８が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５０８は、運転者４に報知すべきかを判定し、画像２００の一部又は全部を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。

画像位置設定モジュール５１０は、表示領域１００内での画像２００の位置、又は／及び表示領域１００の位置を決定する。画像位置設定モジュール５１０は、画像２００が前記ＡＲ画像であれば、実オブジェクトと特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。例えば、画像位置設定モジュール５１０は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。また、画像位置設定モジュール５１０は、表示更新周期毎に、実オブジェクトの位置を予測し、その予測位置に基づいて、画像２００の座標を決定してもよい。この場合、画像位置設定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２が少なくとも直前に取得した実オブジェクトの位置（観測位置）を含む過去に取得した１つ又はそれ以上の実オブジェクトの観測位置を元に予測される画像２００（前記ＡＲ画像）の表示更新周期における実オブジェクトの予測位置に基づいて画像２００（前記ＡＲ画像）の位置を設定してもよい。画像位置設定モジュール５１０による実オブジェクトの予測位置の算出方法に特段の制約はなく、画像位置設定モジュール５１０が処理対象とする表示更新周期よりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。画像位置設定モジュール５１０は、例えば、最小二乗法や、カルマンフィルタ、α−βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の１つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。

また、画像２００が前記非ＡＲ画像であれば、画像位置設定モジュール５１０は、種別毎に予め定められた表示領域１００内の所定の位置に各画像２００の位置を設定してもよい。

画像サイズ設定モジュール５１２は、画像２００のサイズを決定する。画像サイズ設定モジュール５１２は、画像２００が前記ＡＲ画像であれば、対応付ける実オブジェクトの位置、又は／及びサイズに合わせて、画像２００のサイズを変更してもよい。例えば、画像サイズ設定モジュール５１２は、対応付ける実オブジェクトの位置が遠方であれば、ＡＲ画像のサイズを小さくし得る。また、画像サイズ設定モジュール５１２は、対応付ける実オブジェクトのサイズが大きければ、ＡＲ画像のサイズを大きくし得る。画像サイズ設定モジュール５１２は、過去の所定の回数の実オブジェクトのサイズに基づいて、今回の表示更新周期で表示する画像（ＡＲ画像）２００を表示するサイズを予測算出する機能を有してもよい。第１の手法として、画像サイズ設定モジュール５１２は、カメラ（車外センサ４０７の一例）による過去の２つの撮像画像間で、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用して、実オブジェクトの画素を追跡することで、今回の表示更新周期における実オブジェクトのサイズを予測し、予測した実オブジェクトのサイズに合わせてＡＲ画像のサイズを決定してもよい。第２手法として、過去の２つの撮像画像間での実オブジェクトのサイズの変化に基づき、実オブジェクトのサイズの変化率を求めて、実オブジェクトのサイズの変化率に応じてＡＲ画像のサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクトのサイズ変化を推定する方法は、上記に限られず、例えば、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ−Ｂｕｘｔｏｎ、Ｂｌａｃｋ−Ｊｅｐｓｏｎ法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。

また、画像２００が前記非ＡＲ画像であれば、画像サイズ設定モジュール５１２は、種別毎に予め定められたサイズに各画像２００のサイズを設定してもよい。

また、画像サイズ設定モジュール５１２は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、数、又は／及び、報知必要度判定モジュール５０８で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定し得る。

遠近感設定モジュール５１４は、自車両１が所定の条件の振動が発生しているか否かの判定結果に基づいて、画像２００の遠近感を変更する。具体的には、遠近感設定モジュール５１４は、自車両１が所定の条件の振動をしていないと判定される場合、画像２００を遠近感のあるパースペクティブ画像２１０に設定し、自車両１が所定の条件の振動をしていると判定される場合、画像２００を遠近感のない非パースペクティブ画像２３０に設定する。

図３Ａは、パースペクティブ画像２１０の表示例を示す図である。図３Ａのパースペクティブ画像２１０は、自車両１の案内経路を示す矢印形状であり、自車両１の運転者４から見ると、自車両１の前景３００の走行レーン３１０に重なる位置に配置され、走行レーン３１０に沿っている仮想オブジェクトのように視認される。そして、パースペクティブ画像２１０は、自車両１の近傍の走行レーン３１０に重なって視認される部分のサイズが、自車両１の遠方の走行レーン３１０に重なる部分のサイズより大きいように視認される。具体的には、自車両１の近傍の走行レーン３１０に重なって視認される部分の左右方向（Ｘ軸方向）の幅が、自車両１の遠方の走行レーン３１０に重なる部分の左右方向の幅より大きいように視認される。このような場合、視認者（運転者４）は、パースペクティブ画像２１０を、走行レーン３１０に沿っている仮想オブジェクトを俯瞰しているように知覚し得る。

他方、図３Ｂは、非パースペクティブ画像２３０の表示例を示す図である。図３Ｂの非パースペクティブ画像２３０は、図３Ａのパースペクティブ画像２１０と同様、自車両１の案内経路を示す矢印形状であり、自車両１の運転者４から見ると、自車両１の前景３００の走行レーン３１０に重なる位置に配置されるが、自車両１の近傍の走行レーン３１０に重なって視認される部分のサイズが、自車両１の遠方の走行レーン３１０に重なる部分のサイズと同等に視認される。具体的には、自車両１の近傍の走行レーン３１０に重なって視認される部分の左右方向（Ｘ軸方向）の幅と、自車両１の遠方の走行レーン３１０に重なる部分の左右方向の幅とが同じに視認される。このような場合、視認者（運転者４）は、非パースペクティブ画像２３０を、上下左右方向からなる面（ＸＹ平面）に沿っている仮想オブジェクトのように知覚し得る。すなわち、非パースペクティブ画像２３０が、文字や、記号、図形、イラスト、静止画像（写真）、動画像などの画像部品を、正面から見た画像であると定義すると、パースペクティブ画像２１０は、前記画像部品を、正面ではない斜めから見た画像であると定義することもできる。

また、遠近感設定モジュール５１４は、自車両１が所定の条件の振動をしていないと判定される場合、画像２００を遠近感のあるパースペクティブ画像２１０に設定し、自車両１が所定の条件の振動をしていると判定される場合、画像２００を遠近感の弱いパースペクティブ画像２２０に設定してもよい。図４は、遠近感の弱いパースペクティブ画像２２０の表示例を説明するための図である。図４（ａ）は、自車両１が所定の条件の振動をしていないと判定される場合に表示されるパースペクティブ画像２１０である。このパースペクティブ画像２１０は、走行レーン３１０の遠方側に重なり得る運転者４から見た上側（Ｙ軸正方向）に配置される部分２１１が、走行レーン３１０の近傍側に重なり得る運転者４から見た下側（Ｙ軸負方向）に配置される部分２１２よりもかなり小さく描画される。図４（ｃ）は、図４（ａ）のパースペクティブ画像２１０に対応する非パースペクティブ画像２３０である。この非パースペクティブ画像２３０は、走行レーン３１０の遠方側に重なり得る運転者４から見た上側（Ｙ軸正方向）に配置される部分２３１と、走行レーン３１０の近傍側に重なり得る運転者４から見た下側（Ｙ軸負方向）に配置される部分２３２とが同じサイズで描画される。すなわち、自車両１が所定の条件の振動をしていないと判定される場合に表示されるパースペクティブ画像２１０と、このパースペクティブ画像２１０に対応する非パースペクティブ画像２３０との間の表示態様が、図４（ｂ）に示すような、遠近感の弱いパースペクティブ画像２２０と定義することができる。具体的には、図４（ｂ）の遠近感の弱いパースペクティブ画像２２０は、走行レーン３１０の遠方側に重なり得る運転者４から見た上側（Ｙ軸正方向）に配置される部分２２１と、走行レーン３１０の近傍側に重なり得る運転者４から見た下側（Ｙ軸負方向）に配置される部分２２２とのサイズの差が、図４（ａ）のパースペクティブ画像２１０における符号２２１，２２２で示す画像のサイズの差より小さく描かれている。

図２のグラフィックモジュール５１６は、表示される画像２００の視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を設定するための構成要素を含めた画像表示部１１に画像２００をレンダリングして表示するための様々な既知のソフトウェア構成要素を含む。なお、グラフィックモジュール５１６は、画像２００の視覚的効果に影響を与え得る画像表示部１１のディスプレイ（不図示）以外の光源（不図示）などのハードウェア構成要素を制御するためのソフトウェア構成要素を含んでいてもよい。

また、グラフィックモジュール５１６は、報知必要度判定モジュール５０８により判定された報知必要度がメモリ１８に記憶された所定の報知必要度閾値より低ければ、その画像２００を非表示にしてもよい。

プロセッサ１６及び画像処理回路２０は、画像位置設定モジュール５１０が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ設定モジュール５１２が設定したサイズ、遠近感設定モジュール５１４が設定した遠近感、グラフィックモジュール５１６が設定したプロパティ、に基づいて運転者４に視認されるように画像表示部１１に画像２００を表示する。

図５は、パースペクティブ画像の表示処理のフロー図である。まず、プロセッサ１６は、実オブジェクト関連情報検出モジュール５０２を実行して、前景３００における実オブジェクト（走行レーン３１０）の位置（領域）を取得し（ステップＳ１１）、目位置検出モジュール５０６を実行して、視認者（運転者４）の目の位置を取得（ステップＳ１２）し、画像位置設定モジュール５１０を実行し、ステップＳ１１で取得した実オブジェクトの位置と、ステップＳ１２で取得した視認者の目の位置と、に基づいて、前景３００における実オブジェクトと特定の位置関係になる位置に画像２００を設定し（ステップＳ１３）し、ステップＳ１３で設定した画像２００の位置に画像２００を表示する（ステップＳ１４）。

図６は、自車両の振動に応じて画像の表示態様を変化させる表示処理のフロー図である。この処理は、図５の表示処理によりパースペクティブ画像２１０が表示されると処理を開始する。まず、プロセッサ１６は、振動判定モジュール５０４を実行して、自車両１が一定の大きさ以上で振動していると推定できるか判定し（ステップＳ２１）、ステップＳ２２に移行する。ステップＳ２２では、自車両１が一定の大きさ以上で振動していると推定されない場合、プロセッサ１６は、パースペクティブ画像２１０を画像表示部１１に表示し、自車両１が一定の大きさ以上で振動していると推定される場合、プロセッサ１６は、画像表示部１１に、遠近感の弱いパースペクティブ画像２２０、又は遠近感のない非パースペクティブ画像２３０を表示する。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。

以上に説明したように、本実施形態の表示制御装置は、自車両１が一定の大きさ以上で振動していると推定される場合、表示していたパースペクティブ画像２１０の遠近感を弱める。これによれば、走行レーンと、この走行レーン３１０の路面に概ね沿って（概ね平行になるように）表示されていた画像２００との相対角度が崩れるような自車両の振動が検出されると、画像２００が走行レーン３１０の路面に沿っていないような遠近感の弱い表示態様になるため、画像２００と走行レーン３１０の路面との相対角度が振動により変化した場合でも違和感を与えにくくすることができる。

また、画像表示部１１は、立体表示器を採用し、３次元領域である表示領域１００に画像２００を表示するものであってもよい。

また、表示制御装置１３（プロセッサ１６）は、振動があると判定される場合に、パースペクティブ画像２１０の遠近感を弱めればよく、Ｉ／Ｏインタフェース１４から振動の判定結果が取得できれば、振動を判定する機能（振動判定モジュール５０４）を有していなくてもよい。この場合、表示制御装置１３（プロセッサ１６）は、例えば、車両ＥＣＵ４０１から振動の判定結果を取得してもよい。

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、１００…表示領域、２００…画像、２１０…パースペクティブ画像、２２０…パースペクティブ画像、２３０…非パースペクティブ画像、３００…前景、３１０…走行レーン、３１１…区画線、３１２…区画線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…振動判定モジュール、５０６…目位置検出モジュール、５０８…報知必要度判定モジュール、５１０…画像位置設定モジュール、５１２…画像サイズ設定モジュール、５１４…遠近感設定モジュール、５１６…グラフィックモジュール、θ…鋭角

Claims (11)

1. 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像（２１０）を表示する画像表示部（１１）を制御する表示制御装置（１３）において、
   １つ又はそれ以上のプロセッサ（１６）と、
   メモリ（１８）と、
   前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
   前記１つ又はそれ以上のプロセッサ（１６）は、
   少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
   表示していた前記パースペクティブ画像（２１０）の遠近感を弱める、命令を実行する、
   表示制御装置。
2. 前記パースペクティブ画像（２１０）は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
   請求項１に記載の表示制御装置。
3. 表示していた前記パースペクティブ画像（２１０）の遠近感を弱める前記命令は、
   前記パースペクティブ画像（２１０）を、遠近感のない非パースペクティブ画像（２３０）に変更すること、を含む、
   請求項１に記載の表示制御装置。
4. 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像（２１０）を表示する画像表示部（１１）と、
   前記画像表示部（１１）を制御する表示制御装置（１３）と、を備え、
   前記表示制御装置（１３）は、
   少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
   表示していた前記パースペクティブ画像（２１０）の遠近感を弱める、命令を実行する、
   ヘッドアップディスプレイ装置。
5. 前記パースペクティブ画像（２１０）は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
   請求項４に記載のヘッドアップディスプレイ装置。
6. 前記表示制御装置（１３）は、
   表示していた前記パースペクティブ画像（２１０）の遠近感を弱める際、
   前記パースペクティブ画像（２１０）を、遠近感のない非パースペクティブ画像（２３０）に変更する、
   請求項４に記載のヘッドアップディスプレイ装置。
7. 前記画像表示部（１１）が前記パースペクティブ画像（２１０）を表示する表示領域（１００）は、前記運転者の左右方向から見て、前記表示領域（１００）と前記自車両の走行レーンの路面とのなす鋭角（θ）が、０〜４５［ｄｅｇｒｅｅ］の範囲となるように設定される、
   請求項４に記載のヘッドアップディスプレイ装置。
8. 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像（２１０）を表示する画像表示部（１１）を制御する方法において、
   少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
   表示していた前記パースペクティブ画像（２１０）の遠近感を弱めること、を含む、
   方法。
9. 前記パースペクティブ画像（２１０）は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
   請求項８に記載の方法。
10. 表示していた前記パースペクティブ画像（２１０）の遠近感を弱めることは、
    前記パースペクティブ画像（２１０）を、遠近感のない非パースペクティブ画像（２３０）に変更すること、を含む、
    請求項８に記載の方法。
11. 請求項８乃至１０のいずれか一項に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
    

Images