JP2020121704A - 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム - Google Patents
表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2020121704A JP2020121704A JP2019016452A JP2019016452A JP2020121704A JP 2020121704 A JP2020121704 A JP 2020121704A JP 2019016452 A JP2019016452 A JP 2019016452A JP 2019016452 A JP2019016452 A JP 2019016452A JP 2020121704 A JP2020121704 A JP 2020121704A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- perspective
- display
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004590 computer program Methods 0.000 title claims description 4
- 230000015654 memory Effects 0.000 claims description 15
- 230000001154 acute effect Effects 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims 3
- 230000003190 augmentative effect Effects 0.000 abstract description 7
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Navigation (AREA)
Abstract
【課題】振動が生じた際の拡張現実感の低下を抑制する。【解決手段】自車両が一定の大きさ以上で振動していると推定される場合、自車両の走行レーンに沿うように知覚される遠近感のあるパースペクティブ画像210の遠近感を弱める。【選択図】 図3B
Description
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラムに関する。
特許文献1には、画像の虚像が表示される平面又は曲面の表示領域を有するヘッドアップディスプレイ装置であり、該表示領域は、水平面(例えば、自車両が走行する路面)に沿うように、視認者から見た前記表示領域の上側が下側よりも視認者から離れた位置に配置されるものが記載されている。このようなヘッドアップディスプレイ装置は、表示領域を水平面に沿うように配置することで、表示領域に表示される画像があたかも走行レーンの路面に沿って実際に存在するかのように仮想現実(AR:Augmented Reality)を知覚させることができる。
しかしながら、特許文献1のヘッドアップディスプレイ装置では、走行レーンの小さな起伏による自車両の振動や加減速に伴う自車両のピッチングの変化により、自車両と路面とのなす角度が一定でなくなる。表示領域と路面との間の角度が通常と異なることで、画像が路面(実風景上の実オブジェクト)に馴染んでいたことにより感じていた拡張現実の感覚(拡張現実感)が失われる(又は低下する)ことが想定される。このため、視認者に違和感を与えるおそれがあり、振動が生じた際にも拡張現実感の低下を抑制する表示についての改善の余地があった。
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
本開示の概要は、視認者に与える違和感を低減した表示を提供することに関する。より具体的には振動が生じた際の拡張現実感の低下を抑制することにも関する。
したがって、本明細書に記載される表示制御装置は、車両が一定の大きさ以上で振動していると推定される場合、表示していたパースペクティブ画像210の遠近感を弱める。いくつかの実施形態では、パースペクティブ画像210は、前景における走行レーン310の路面に重畳して視認されてもよい。また、表示していたパースペクティブ画像210の遠近感を弱める場合、パースペクティブ画像210を、遠近感のない非パースペクティブ画像230に変更してもよい。
以下、図1及び図2では、例示的な車両用表示システムの構成の説明を提供する。図3A、図3B、及び図4では、仮想オブジェクトを知覚させるために表示される画像の表示例を提供する。また、図5、図6では、表示処理のフローを提供する。なお、本発明は以下の実施形態(図面の内容も含む)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図1を参照する。車両用表示システム10における画像表示部11は、自車両1のダッシュボード5内に設けられたヘッドアップディスプレイ(HUD:Head−Up Display)装置である。HUD装置は、表示光11aをフロントウインドシールド2(被投影部材の一例である)に向けて出射し、表示領域100内に画像200を表示することで、フロントウインドシールド2を介して視認される現実空間である前景300に画像200を重ねて運転者4に視認させる。表示領域100自体は、実際に運転者4に視認されない、又は視認されにくい程度に視認性が低い。なお、本実施形態の説明では、自車両1の運転席に着座する運転者4が自車両1の前方を向いた際の左右方向をX軸(左方向がX軸正方向)、上下方向をY軸(上方向がY軸正方向)、前後方向をZ軸(前方向がZ軸正方向)とする。
また、画像表示部11は、ヘッドマウントディスプレイ(以下、HMD)装置であってもよい。運転者4は、HMD装置を頭部に装着して自車両1の座席に着座することで、表示される画像200を、自車両1のフロントウインドシールド2を介した前景300に重畳して視認する。車両用表示システム10が所定の画像200を表示する表示領域100は、自車両1の座標系を基準とした特定の位置に固定(調整可能に配置)され、運転者4がその方向を向くと、その特定の位置に固定された表示領域100内に表示された画像200を視認することができる。
画像200の表示領域100は、水平面(例えば、自車両1が走行する走行レーン310の路面)に沿うように、運転者4から見た表示領域100の上側の部分(Y軸正方向の部分)が下側(Y軸負方向の部分)よりも運転者4から離れた位置に配置される平面又は曲面である。なお、運転者4の左右方向(X軸方向)から見た、画像200の表示領域100と走行レーン310の路面とのなす鋭角θは、0[degree](表示領域100と路面とが平行)でなくてもよく、20[degree]未満に設定されることが好ましい。また、表示領域100と走行レーン310の路面との間の距離(Y軸方向の距離)は、−1〜+1[meter]の範囲に設定されることが好ましい。
画像表示部11は、表示制御装置13の制御に基づいて、自車両1のフロントウインドシールド2を介して視認される現実空間(実景)である前景300に存在する、障害物(歩行者、自転車、自動二輪車、他車両など)、走行レーン310の路面、道路標識、及び地物(建物、橋など)などの実オブジェクトの近傍(画像と実オブジェクトとの特定の位置関係の一例)、実オブジェクトに重なる位置(画像と実オブジェクトとの特定の位置関係の一例)、又は実オブジェクトを基準に設定された位置(画像と実オブジェクトとの特定の位置関係の一例)に画像200を表示することで、視覚的な拡張現実(AR:Augmented Reality)を視認者(典型的には、自車両1の運転席に着座する運転者4)に知覚させることもできる。画像表示部11は、実オブジェクトの位置に応じて表示位置を変化させるAR画像、又は/及び実オブジェクトの位置に応じて表示位置を変化させない非AR画像、を含む画像200を表示することができる。
図2は、いくつかの実施形態に係る、車両用表示システム10のブロック図である。車両用表示システム10は、画像表示部11と、画像表示部11を制御する表示制御装置13と、で構成される。表示制御装置13は、1つ又はそれ以上のI/Oインタフェース14、1つ又はそれ以上のプロセッサ16、1つ又はそれ以上のメモリ18、及び1つ又はそれ以上の画像処理回路20を備える。図2に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図2は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路20(例えば、グラフィック処理ユニット)が、1つ又はそれ以上のプロセッサ16に含まれてもよい。
図示するように、プロセッサ16及び画像処理回路20は、メモリ18と動作可能に連結される。より具体的には、プロセッサ16及び画像処理回路20は、メモリ18に記憶されているプログラムを実行することで、例えば画像データを生成又は/及び送信するなど、車両用表示システム10の操作を行うことができる。プロセッサ16又は/及び画像処理回路20は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ18は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVROMを含んでもよい。
図示するように、プロセッサ16は、I/Oインタフェース14と動作可能に連結されている。例えば、I/Oインタフェース14は、車両用表示システム10を、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi−Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)、4G又はLTE(登録商標)セルラーネットワークなどの広域ネットワーク(WAN)に接続する無線通信インタフェースを含むことができる。また、I/Oインタフェース14は、例えば、USBポート、シリアルポート、パラレルポート、OBDII、及び/又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
図示するように、プロセッサ16は、I/Oインタフェース14と相互動作可能に連結されることで、車両用表示システム10(I/Oインタフェース14)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース14には、例えば、自車両1に設けられた車両ECU401、道路情報データベース403、自車位置検出部405、車外センサ407、視線方向検出部409、目位置検出部411、携帯情報端末413、及び車外通信接続機器420などが動作可能に連結される。画像表示部11は、プロセッサ16及び画像処理回路20に動作可能に連結される。したがって、画像表示部11によって表示される画像は、プロセッサ16又は/及び画像処理回路20から受信された画像データに基づいてもよい。プロセッサ16及び画像処理回路20は、I/Oインタフェース14から得られる情報に基づき、画像表示部11が表示する画像を制御する。なお、I/Oインタフェース14は、車両用表示システム10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
自車両1は、自車両1の状態(例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢(ロール角、又は/及びピッチング角を含む)、車両の振動(振動の大きさ、頻度、又は/及び周波数を含む))などを検出する車両ECU401を含んでいる。車両ECU401は、例えば、自車両1の前記状態を収集及び管理(制御も含んでもよい。)するものであり、機能の一部として、自車両1の状態の度合い(例えば、自車両1の現在の振動の大きさ、ピッチング角)を、表示制御装置13のプロセッサ16へ送信することができる。なお、車両ECU401は、単にセンサ等で検出した数値をプロセッサ16へ送信することに加え、又は代わりに、センサで検出した数値に基づく判定結果、若しくは/及び解析結果をプロセッサ16へ送信することができる。例えば、自車両1が車両ECU401のメモリ(不図示)に予め記憶された所定の振動条件を満たす振動をしているか、又はピッチング角であるかを示す判定結果をプロセッサ16へ送信してもよい。
また、車両ECU401は、車両用表示システム10が表示する画像200を指示する指示信号をI/Oインタフェース14に送信してもよく、この際、画像200の座標、サイズ、種類、表示態様、画像200の報知必要度、又は/及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。
自車両1は、ナビゲーションシステム等からなる道路情報データベース403を含んでいてもよい。道路情報データベース403は、後述する自車位置検出部405から取得される自車両1の位置に基づき、実オブジェクト関連情報の一例である自車両1が走行する道路情報(車線,白線,停止線,横断歩道,道路の幅員,車線数,交差点,カーブ,分岐路,交通規制など)、地物情報(建物、橋、河川など)の、有無、位置(自車両1までの距離を含む)、方向、形状、種類、詳細情報などを読み出し、プロセッサ16に送信してもよい。また、道路情報データベース403は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ16に送信してもよい。
自車両1は、GNSS(全地球航法衛星システム)等からなる自車位置検出部405を含んでいてもよい。道路情報データベース403、後述する携帯情報端末413、又は/及び車外通信接続機器420は、自車位置検出部405から自車両1の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両1の周辺の情報を選択又は/及び生成して、プロセッサ16に送信することができる。
自車両1は、自車両1の周辺(前方、側方、及び後方)に存在する実オブジェクトを検出する1つ又はそれ以上の車外センサ407を含んでいてもよい。車外センサ407が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両(先行車等)、走行レーン310の路面、区画線、路側物、又は/及び地物(建物など)などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置(自車両1からの相対的な距離、自車両1の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等)、サイズ(横方向(左右方向)、高さ方向(上下方向)等の大きさ)、移動方向(横方向(左右方向)、奥行き方向(前後方向))、移動速度(横方向(左右方向)、奥行き方向(前後方向))、又は/及び種類等を検出してもよい。1つ又はそれ以上の車外センサ407は、各センサの検知周期毎に、自車両1の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報(実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、サイズ、移動方向、移動速度、又は/及び種類等の情報)をプロセッサ16に送信することができる。なお、これら実オブジェクト関連情報は、車外センサ407からの情報が、他の電子機器(例えば、車両ECU401)を経由して解析などされた後、前記他の電子機器からプロセッサ16に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
自車両1は、運転者4の注視方向(以下では「視線方向」ともいう)を検出する、運転者4の顔を撮像する赤外線カメラ等からなる視線方向検出部409を含んでいてもよい。プロセッサ16は、赤外線カメラが撮像した画像(視線方向を推定可能な情報の一例)を取得し、この撮像画像を解析することで運転者4の視線方向を特定することができる。なお、プロセッサ16は、赤外線カメラの撮像画像から視線方向検出部409(又は他の解析部)が特定した運転者4の視線方向をI/Oインタフェース14から取得するものであってもよい。また、自車両1の運転者4の視線方向、又は運転者4の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、EOG(Electro−oculogram)法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線目底カメラ法などの他の既知の視線方向検出(推定)技術を用いて取得されてもよい。
自車両1は、運転者4の目の位置を検出する赤外線カメラ等からなる目位置検出部411を含んでいてもよい。プロセッサ16は、赤外線カメラが撮像した画像(目の位置を推定可能な情報の一例)を取得し、この撮像画像を解析することで運転者4の目の位置を特定することができる。なお、プロセッサ16は、赤外線カメラの撮像画像から特定された運転者4の目の位置の情報をI/Oインタフェース14から取得するものであってもよい。なお、自車両1の運転者4の目の位置、又は運転者4の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出(推定)技術を用いて取得されてもよい。プロセッサ16は、運転者4の目の位置に基づき、画像200の位置を少なくとも調整することで、前景300の所望の位置に重畳した画像200を、目位置を検出した視認者(運転者4)に視認させてもよい。
携帯情報端末413は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者4(又は自車両1の他の乗員)が携帯可能なその他の情報機器である。I/Oインタフェース14は、携帯情報端末413と通信を行うことが可能であり、携帯情報端末413(又は携帯情報端末を通じたサーバ)に記録されたデータを取得する。携帯情報端末413は、例えば、上述の道路情報データベース403及び自車位置検出部405と同様の機能を有し、前記道路情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。また、携帯情報端末413は、自車両1の近傍の商業施設に関連するコマーシャル情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。なお、携帯情報端末413は、携帯情報端末413の所持者(例えば、運転者4)のスケジュール情報、携帯情報端末413での着信情報、メールの受信情報などをプロセッサ16に送信し、プロセッサ16及び画像処理回路20は、これらに関する画像データを生成又は/及び送信してもよい。
車外通信接続機器420は、自車両1と情報のやりとりをする通信機器であり、例えば、自車両1と車車間通信(V2V:Vehicle To Vehicle)により接続される他車両、歩車間通信(V2P:Vehicle To Pedestrian)により接続される歩行者(歩行者が携帯する携帯情報端末)、路車間通信(V2I:Vehicle To roadside Infrastructure)により接続されるネットワーク通信機器であり、広義には、自車両1との通信(V2X:Vehicle To Everything)により接続される全てのものを含む。車外通信接続機器420は、例えば、歩行者、自転車、自動二輪車、他車両(先行車等)、走行レーン310の路面、区画線、路側物、又は/及び地物(建物など)の位置を取得し、プロセッサ16に送信してもよい。また、車外通信接続機器420は、上述の自車位置検出部405と同様の機能を有し、自車両1の位置情報を取得し、プロセッサ16に送信してもよく、さらに上述の道路情報データベース403の機能も有し、前記道路情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。なお、車外通信接続機器420から取得される情報は、上述のものに限定されない。
メモリ18に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール502、振動判定モジュール504、目位置検出モジュール506、報知必要度判定モジュール508、画像位置設定モジュール510、画像サイズ設定モジュール512、遠近感設定モジュール514、及びグラフィックモジュール516を含む。
実オブジェクト関連情報検出モジュール502は、自車両1の実オブジェクト(例えば、走行レーン310)の位置(領域)を少なくとも含む情報(実オブジェクト関連情報とも呼ぶ)をI/Oインタフェース14を介して取得する。実オブジェクト関連情報検出モジュール502は、車外センサ407から、自車両1の前景300に存在する実オブジェクトの位置(自車両1の運転席にいる運転者4から自車両1の進行方向(前方)を視認した際の高さ方向(上下方向)、横方向(左右方向)の位置であり、これらに、奥行き方向(前方向)の位置が追加されてもよい)、及び実オブジェクトのサイズ(高さ方向、横方向のサイズ)、を取得してもよい。
また、実オブジェクト関連情報検出モジュール502は、車外センサ407から、自車両1の走行レーン310の左側の区画線311(図3A参照)の位置と、右側の区画線312(図3A参照)の位置とを取得し、それら区画線311,312の間の領域(走行レーン310の位置)を算出してもよい。
また、実オブジェクト関連情報検出モジュール502は、車外通信接続機器420を介して実オブジェクト(他車両)から、種類、実オブジェクト(他車両)の方向指示器、舵角、又は/及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。
振動判定モジュール504は、自車両1の振動を判定する。振動判定モジュール504は、例えば、車両ECU401から、自車両1の振動の大きさ、頻度、周波数、若しくは/及び自車両1のピッチング角を取得し、自車両1がメモリ18に予め記憶された所定の振動条件を満たす振動をしていると推測できるかを判定し、判定結果をプロセッサ16へ送信する。
目位置検出モジュール506は、自車両1の運転者4の目の位置を検出する。目位置検出モジュール506は、複数段階で設けられた上下方向の領域(又は/及び左右方向の領域)のどこに運転者4の目の位置があるかの判定、運転者4の目の上下方向(Y軸方向)の位置、又は/及び左右方向(X軸方向)の位置の検出、運転者4の目の位置(X,Y,Z軸方向の位置)の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール506は、例えば、目位置検出部411から運転者4の目の位置を取得する、又は、目位置検出部411から運転者4の目の位置を推定可能な情報を受信し、運転者4の目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両1の運転席の位置、運転者4の顔の位置、座高の高さ、運転者4による図示しない操作部での入力値などであってもよい。
報知必要度判定モジュール508は、車両用表示システム10が表示する各画像200が運転者4に報知するべき内容であるかを判定する。報知必要度判定モジュール508は、I/Oインタフェース14に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図2でI/Oインタフェース14に接続された電子機器(表示制御装置13も含む)が車両ECU401に情報を送信し、受信した情報に基づき車両ECU401が決定した報知必要度を、報知必要度判定モジュール508が検出(取得)してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両1や運転者4(又は自車両1の他の乗員)の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る(報知必要度の指標はこれらに限定されない)。すなわち、報知必要度判定モジュール508は、運転者4に報知すべきかを判定し、画像200の一部又は全部を表示しないことも選択し得る。なお、車両用表示システム10は、報知必要度を推定する(算出する)機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム10の表示制御装置13とは別に設けられてもよい。
画像位置設定モジュール510は、表示領域100内での画像200の位置、又は/及び表示領域100の位置を決定する。画像位置設定モジュール510は、画像200が前記AR画像であれば、実オブジェクトと特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール502により検出された実オブジェクトの位置に基づき、画像200の座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)を決定する。例えば、画像位置設定モジュール510は、画像200の中心が実オブジェクトの中心と重なって視認されるように、画像200の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両1の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。また、画像位置設定モジュール510は、表示更新周期毎に、実オブジェクトの位置を予測し、その予測位置に基づいて、画像200の座標を決定してもよい。この場合、画像位置設定モジュール510は、実オブジェクト関連情報検出モジュール502が少なくとも直前に取得した実オブジェクトの位置(観測位置)を含む過去に取得した1つ又はそれ以上の実オブジェクトの観測位置を元に予測される画像200(前記AR画像)の表示更新周期における実オブジェクトの予測位置に基づいて画像200(前記AR画像)の位置を設定してもよい。画像位置設定モジュール510による実オブジェクトの予測位置の算出方法に特段の制約はなく、画像位置設定モジュール510が処理対象とする表示更新周期よりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。画像位置設定モジュール510は、例えば、最小二乗法や、カルマンフィルタ、α−βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の1つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。
また、画像200が前記非AR画像であれば、画像位置設定モジュール510は、種別毎に予め定められた表示領域100内の所定の位置に各画像200の位置を設定してもよい。
画像サイズ設定モジュール512は、画像200のサイズを決定する。画像サイズ設定モジュール512は、画像200が前記AR画像であれば、対応付ける実オブジェクトの位置、又は/及びサイズに合わせて、画像200のサイズを変更してもよい。例えば、画像サイズ設定モジュール512は、対応付ける実オブジェクトの位置が遠方であれば、AR画像のサイズを小さくし得る。また、画像サイズ設定モジュール512は、対応付ける実オブジェクトのサイズが大きければ、AR画像のサイズを大きくし得る。画像サイズ設定モジュール512は、過去の所定の回数の実オブジェクトのサイズに基づいて、今回の表示更新周期で表示する画像(AR画像)200を表示するサイズを予測算出する機能を有してもよい。第1の手法として、画像サイズ設定モジュール512は、カメラ(車外センサ407の一例)による過去の2つの撮像画像間で、例えば、Lucas−Kanade法を使用して、実オブジェクトの画素を追跡することで、今回の表示更新周期における実オブジェクトのサイズを予測し、予測した実オブジェクトのサイズに合わせてAR画像のサイズを決定してもよい。第2手法として、過去の2つの撮像画像間での実オブジェクトのサイズの変化に基づき、実オブジェクトのサイズの変化率を求めて、実オブジェクトのサイズの変化率に応じてAR画像のサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクトのサイズ変化を推定する方法は、上記に限られず、例えば、Horn−Schunck法、Buxton−Buxton、Black−Jepson法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。
また、画像200が前記非AR画像であれば、画像サイズ設定モジュール512は、種別毎に予め定められたサイズに各画像200のサイズを設定してもよい。
また、画像サイズ設定モジュール512は、実オブジェクト関連情報検出モジュール502により検出された画像200を対応付けて表示する実オブジェクトの種類、数、又は/及び、報知必要度判定モジュール508で検出された(推定された)報知必要度の大きさに基づいて、画像200のサイズを決定し得る。
遠近感設定モジュール514は、自車両1が所定の条件の振動が発生しているか否かの判定結果に基づいて、画像200の遠近感を変更する。具体的には、遠近感設定モジュール514は、自車両1が所定の条件の振動をしていないと判定される場合、画像200を遠近感のあるパースペクティブ画像210に設定し、自車両1が所定の条件の振動をしていると判定される場合、画像200を遠近感のない非パースペクティブ画像230に設定する。
図3Aは、パースペクティブ画像210の表示例を示す図である。図3Aのパースペクティブ画像210は、自車両1の案内経路を示す矢印形状であり、自車両1の運転者4から見ると、自車両1の前景300の走行レーン310に重なる位置に配置され、走行レーン310に沿っている仮想オブジェクトのように視認される。そして、パースペクティブ画像210は、自車両1の近傍の走行レーン310に重なって視認される部分のサイズが、自車両1の遠方の走行レーン310に重なる部分のサイズより大きいように視認される。具体的には、自車両1の近傍の走行レーン310に重なって視認される部分の左右方向(X軸方向)の幅が、自車両1の遠方の走行レーン310に重なる部分の左右方向の幅より大きいように視認される。このような場合、視認者(運転者4)は、パースペクティブ画像210を、走行レーン310に沿っている仮想オブジェクトを俯瞰しているように知覚し得る。
他方、図3Bは、非パースペクティブ画像230の表示例を示す図である。図3Bの非パースペクティブ画像230は、図3Aのパースペクティブ画像210と同様、自車両1の案内経路を示す矢印形状であり、自車両1の運転者4から見ると、自車両1の前景300の走行レーン310に重なる位置に配置されるが、自車両1の近傍の走行レーン310に重なって視認される部分のサイズが、自車両1の遠方の走行レーン310に重なる部分のサイズと同等に視認される。具体的には、自車両1の近傍の走行レーン310に重なって視認される部分の左右方向(X軸方向)の幅と、自車両1の遠方の走行レーン310に重なる部分の左右方向の幅とが同じに視認される。このような場合、視認者(運転者4)は、非パースペクティブ画像230を、上下左右方向からなる面(XY平面)に沿っている仮想オブジェクトのように知覚し得る。すなわち、非パースペクティブ画像230が、文字や、記号、図形、イラスト、静止画像(写真)、動画像などの画像部品を、正面から見た画像であると定義すると、パースペクティブ画像210は、前記画像部品を、正面ではない斜めから見た画像であると定義することもできる。
また、遠近感設定モジュール514は、自車両1が所定の条件の振動をしていないと判定される場合、画像200を遠近感のあるパースペクティブ画像210に設定し、自車両1が所定の条件の振動をしていると判定される場合、画像200を遠近感の弱いパースペクティブ画像220に設定してもよい。図4は、遠近感の弱いパースペクティブ画像220の表示例を説明するための図である。図4(a)は、自車両1が所定の条件の振動をしていないと判定される場合に表示されるパースペクティブ画像210である。このパースペクティブ画像210は、走行レーン310の遠方側に重なり得る運転者4から見た上側(Y軸正方向)に配置される部分211が、走行レーン310の近傍側に重なり得る運転者4から見た下側(Y軸負方向)に配置される部分212よりもかなり小さく描画される。図4(c)は、図4(a)のパースペクティブ画像210に対応する非パースペクティブ画像230である。この非パースペクティブ画像230は、走行レーン310の遠方側に重なり得る運転者4から見た上側(Y軸正方向)に配置される部分231と、走行レーン310の近傍側に重なり得る運転者4から見た下側(Y軸負方向)に配置される部分232とが同じサイズで描画される。すなわち、自車両1が所定の条件の振動をしていないと判定される場合に表示されるパースペクティブ画像210と、このパースペクティブ画像210に対応する非パースペクティブ画像230との間の表示態様が、図4(b)に示すような、遠近感の弱いパースペクティブ画像220と定義することができる。具体的には、図4(b)の遠近感の弱いパースペクティブ画像220は、走行レーン310の遠方側に重なり得る運転者4から見た上側(Y軸正方向)に配置される部分221と、走行レーン310の近傍側に重なり得る運転者4から見た下側(Y軸負方向)に配置される部分222とのサイズの差が、図4(a)のパースペクティブ画像210における符号221,222で示す画像のサイズの差より小さく描かれている。
図2のグラフィックモジュール516は、表示される画像200の視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を設定するための構成要素を含めた画像表示部11に画像200をレンダリングして表示するための様々な既知のソフトウェア構成要素を含む。なお、グラフィックモジュール516は、画像200の視覚的効果に影響を与え得る画像表示部11のディスプレイ(不図示)以外の光源(不図示)などのハードウェア構成要素を制御するためのソフトウェア構成要素を含んでいてもよい。
また、グラフィックモジュール516は、報知必要度判定モジュール508により判定された報知必要度がメモリ18に記憶された所定の報知必要度閾値より低ければ、その画像200を非表示にしてもよい。
プロセッサ16及び画像処理回路20は、画像位置設定モジュール510が設定した座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)、画像サイズ設定モジュール512が設定したサイズ、遠近感設定モジュール514が設定した遠近感、グラフィックモジュール516が設定したプロパティ、に基づいて運転者4に視認されるように画像表示部11に画像200を表示する。
図5は、パースペクティブ画像の表示処理のフロー図である。まず、プロセッサ16は、実オブジェクト関連情報検出モジュール502を実行して、前景300における実オブジェクト(走行レーン310)の位置(領域)を取得し(ステップS11)、目位置検出モジュール506を実行して、視認者(運転者4)の目の位置を取得(ステップS12)し、画像位置設定モジュール510を実行し、ステップS11で取得した実オブジェクトの位置と、ステップS12で取得した視認者の目の位置と、に基づいて、前景300における実オブジェクトと特定の位置関係になる位置に画像200を設定し(ステップS13)し、ステップS13で設定した画像200の位置に画像200を表示する(ステップS14)。
図6は、自車両の振動に応じて画像の表示態様を変化させる表示処理のフロー図である。この処理は、図5の表示処理によりパースペクティブ画像210が表示されると処理を開始する。まず、プロセッサ16は、振動判定モジュール504を実行して、自車両1が一定の大きさ以上で振動していると推定できるか判定し(ステップS21)、ステップS22に移行する。ステップS22では、自車両1が一定の大きさ以上で振動していると推定されない場合、プロセッサ16は、パースペクティブ画像210を画像表示部11に表示し、自車両1が一定の大きさ以上で振動していると推定される場合、プロセッサ16は、画像表示部11に、遠近感の弱いパースペクティブ画像220、又は遠近感のない非パースペクティブ画像230を表示する。
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の1つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は/及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
車両用表示システム10の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図2で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は1つの機能ブロックを2以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
以上に説明したように、本実施形態の表示制御装置は、自車両1が一定の大きさ以上で振動していると推定される場合、表示していたパースペクティブ画像210の遠近感を弱める。これによれば、走行レーンと、この走行レーン310の路面に概ね沿って(概ね平行になるように)表示されていた画像200との相対角度が崩れるような自車両の振動が検出されると、画像200が走行レーン310の路面に沿っていないような遠近感の弱い表示態様になるため、画像200と走行レーン310の路面との相対角度が振動により変化した場合でも違和感を与えにくくすることができる。
また、画像表示部11は、立体表示器を採用し、3次元領域である表示領域100に画像200を表示するものであってもよい。
また、表示制御装置13(プロセッサ16)は、振動があると判定される場合に、パースペクティブ画像210の遠近感を弱めればよく、I/Oインタフェース14から振動の判定結果が取得できれば、振動を判定する機能(振動判定モジュール504)を有していなくてもよい。この場合、表示制御装置13(プロセッサ16)は、例えば、車両ECU401から振動の判定結果を取得してもよい。
1…自車両、2…フロントウインドシールド、4…運転者、5…ダッシュボード、10…車両用表示システム、11…画像表示部、11a…表示光、13…表示制御装置、14…I/Oインタフェース、16…プロセッサ、18…メモリ、20…画像処理回路、100…表示領域、200…画像、210…パースペクティブ画像、220…パースペクティブ画像、230…非パースペクティブ画像、300…前景、310…走行レーン、311…区画線、312…区画線、401…車両ECU、403…道路情報データベース、405…自車位置検出部、407…車外センサ、409…視線方向検出部、411…目位置検出部、413…携帯情報端末、420…車外通信接続機器、502…実オブジェクト関連情報検出モジュール、504…振動判定モジュール、506…目位置検出モジュール、508…報知必要度判定モジュール、510…画像位置設定モジュール、512…画像サイズ設定モジュール、514…遠近感設定モジュール、516…グラフィックモジュール、θ…鋭角
Claims (11)
- 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像(210)を表示する画像表示部(11)を制御する表示制御装置(13)において、
1つ又はそれ以上のプロセッサ(16)と、
メモリ(18)と、
前記メモリ(18)に格納され、前記1つ又はそれ以上のプロセッサ(16)によって実行されるように構成される1つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記1つ又はそれ以上のプロセッサ(16)は、
少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
表示していた前記パースペクティブ画像(210)の遠近感を弱める、命令を実行する、
表示制御装置。 - 前記パースペクティブ画像(210)は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
請求項1に記載の表示制御装置。 - 表示していた前記パースペクティブ画像(210)の遠近感を弱める前記命令は、
前記パースペクティブ画像(210)を、遠近感のない非パースペクティブ画像(230)に変更すること、を含む、
請求項1に記載の表示制御装置。 - 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像(210)を表示する画像表示部(11)と、
前記画像表示部(11)を制御する表示制御装置(13)と、を備え、
前記表示制御装置(13)は、
少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
表示していた前記パースペクティブ画像(210)の遠近感を弱める、命令を実行する、
ヘッドアップディスプレイ装置。 - 前記パースペクティブ画像(210)は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
請求項4に記載のヘッドアップディスプレイ装置。 - 前記表示制御装置(13)は、
表示していた前記パースペクティブ画像(210)の遠近感を弱める際、
前記パースペクティブ画像(210)を、遠近感のない非パースペクティブ画像(230)に変更する、
請求項4に記載のヘッドアップディスプレイ装置。 - 前記画像表示部(11)が前記パースペクティブ画像(210)を表示する表示領域(100)は、前記運転者の左右方向から見て、前記表示領域(100)と前記自車両の走行レーンの路面とのなす鋭角(θ)が、0〜45[degree]の範囲となるように設定される、
請求項4に記載のヘッドアップディスプレイ装置。 - 自車両の運転者から見られる前景に、遠方ほど小さく視認されるパースペクティブ画像(210)を表示する画像表示部(11)を制御する方法において、
少なくとも前記自車両が一定の大きさ以上で振動していると推定される場合、
表示していた前記パースペクティブ画像(210)の遠近感を弱めること、を含む、
方法。 - 前記パースペクティブ画像(210)は、前記自車両の運転席に着座する運転者から見て、前記前景における路面に重畳して視認される、
請求項8に記載の方法。 - 表示していた前記パースペクティブ画像(210)の遠近感を弱めることは、
前記パースペクティブ画像(210)を、遠近感のない非パースペクティブ画像(230)に変更すること、を含む、
請求項8に記載の方法。 - 請求項8乃至10のいずれか一項に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019016452A JP2020121704A (ja) | 2019-01-31 | 2019-01-31 | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019016452A JP2020121704A (ja) | 2019-01-31 | 2019-01-31 | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020121704A true JP2020121704A (ja) | 2020-08-13 |
Family
ID=71992030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019016452A Pending JP2020121704A (ja) | 2019-01-31 | 2019-01-31 | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020121704A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020211298A1 (de) | 2020-09-09 | 2022-03-10 | Volkswagen Aktiengesellschaft | Verfahren zur Darstellung eines virtuellen Elements |
-
2019
- 2019-01-31 JP JP2019016452A patent/JP2020121704A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020211298A1 (de) | 2020-09-09 | 2022-03-10 | Volkswagen Aktiengesellschaft | Verfahren zur Darstellung eines virtuellen Elements |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4476719B2 (ja) | ナビゲーションシステム | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
JP7006235B2 (ja) | 表示制御装置、表示制御方法および車両 | |
US11260856B2 (en) | Information display device, information display method, and recording medium | |
JP7255608B2 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP7459883B2 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
US20230373309A1 (en) | Display control device | |
JP2020117105A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2020121704A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
WO2022230995A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
WO2021200914A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
WO2020158601A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2020121607A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2020086884A (ja) | 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム | |
JP7434894B2 (ja) | 車両用表示装置 | |
JP2020154468A (ja) | 運転支援装置、方法、及びコンピュータ・プログラム | |
WO2021200913A1 (ja) | 表示制御装置、画像表示装置、及び方法 | |
WO2023145852A1 (ja) | 表示制御装置、表示システム、及び表示制御方法 | |
JP2020199883A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP2020106911A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
WO2023003045A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2020190602A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP2020117104A (ja) | 表示制御装置、表示システム、方法、及びコンピュータ・プログラム | |
JP7322886B2 (ja) | 車両用表示装置、方法、及びコンピュータ・プログラム | |
JP2020086882A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム |