JP6750531B2 - 表示制御装置及び表示制御プログラム - Google Patents

表示制御装置及び表示制御プログラム Download PDF

Info

Publication number
JP6750531B2
JP6750531B2 JP2017030199A JP2017030199A JP6750531B2 JP 6750531 B2 JP6750531 B2 JP 6750531B2 JP 2017030199 A JP2017030199 A JP 2017030199A JP 2017030199 A JP2017030199 A JP 2017030199A JP 6750531 B2 JP6750531 B2 JP 6750531B2
Authority
JP
Japan
Prior art keywords
image
ambient light
display
color
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017030199A
Other languages
English (en)
Other versions
JP2018136698A (ja
Inventor
神谷 玲朗
玲朗 神谷
猛 羽藤
羽藤  猛
川島 毅
毅 川島
大祐 竹森
大祐 竹森
大翔 坂野
大翔 坂野
晋吾 山下
晋吾 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017030199A priority Critical patent/JP6750531B2/ja
Publication of JP2018136698A publication Critical patent/JP2018136698A/ja
Application granted granted Critical
Publication of JP6750531B2 publication Critical patent/JP6750531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Description

この明細書による開示は、前景に重畳表示される虚像の表示態様を制御する表示制御装置及び表示制御プログラムに関する。
従来、乗員から見える前景に虚像を重畳表示させるヘッドアップディスプレイ装置(以下、「HUD装置」)が知られている。こうしたHUD装置の一種として、例えば特許文献1に開示の車両用表示装置は、虚像の背景となる車外景色状態を推定し、推定された車外景色状態に対して、虚像の表示態様を非同化表示させる。非同化表示により、虚像は、車外背景と容易に区別可能となり、良好な視認性を有するようになる。
特許第3473321号公報
さて、天候及び照明によって車両の周囲における環境光の状態が変化した場合でも、虚像を視認する乗員は、環境光の影響を無意識のうちに補正し、正しい色で物体を認識しようとする。しかし、HUD装置によって表示される虚像は、環境光の影響を受け難い。特許文献1に開示の車両用表示装置でも、虚像の表示態様は、環境光の状態に実質的に影響されない。
そのため、乗員が環境光の影響を無意識のうちに補正して前景を見たとき、前景に重畳表示される虚像は、環境光の影響を実質的に受けていないため、乗員の無意識の補正によって実際の表示色とは異なる色で認識されてしまう。その結果、虚像は、前景に溶け込まない不自然な表示となり得た。
本開示は、上記問題点を鑑みたものであり、その目的は、前景に重畳表示される虚像の実物感を向上させることが可能な表示制御装置及び表示制御プログラムを提供することにある。
上記目的を達成するため、開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、情報取得部には、撮像部によって撮像された周囲画像の画像データが入力され、情報取得部は、周囲画像の解析により、環境光の照射方向(LD)を抽出し、色補正部は、照射方向に合わせて、表示像の表示態様を補正する表示制御装置とされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、情報取得部には、撮像部によって撮像された周囲画像の画像データが入力され、周囲画像から、情報提示に利用される特定物標(SO)を切り出す画像切出部(32)と、画像切出部によって切り出された特定物標の切出画像(SP)を画像保存部(39)に保存する保存処理部(36)と、をさらに備え、色補正部は、周囲画像が撮像されたときの環境光情報に基づき、切出画像を色補正し、補正後の切出画像を、保存処理部により画像保存部に保存させる表示制御装置とされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、情報取得部には、撮像部によって撮像された周囲画像の画像データが入力され、情報取得部は、周囲画像に写る移動体のボディ色に基づき、環境光の状態を推定する表示制御装置とされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、情報取得部には、撮像部によって撮像された周囲画像の画像データが入力され、情報取得部は、周囲画像に写る走行体であって、移動体と同一方向に走行する走行体のボディ色に基づき、環境光の状態を推定する表示制御装置とされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、情報取得部には、撮像部によって撮像された周囲画像の画像データが入力され、情報取得部は、周囲画像の解析により、前景のうちで照明装置(90)によって照明されている照明範囲(LA)を特定し、色補正部は、照明範囲に重畳される虚像よりも照明範囲から外れた非照明範囲(NLA)に重畳される虚像が低輝度で表示されるように、表示像を補正する表示制御装置とされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部(33)と、を備え、虚像には、前景中の物体と組み合わされて乗員に情報を提供する遠虚像(41)と、遠虚像よりも乗員に近い位置に結像される近虚像(43)と、が含まれており、色補正部は、近虚像として結像される近表示像よりも、遠虚像として結像される遠表示像について、環境光の影響を受けているような色補正を強く行う表示制御装置とされる。
また、開示された一つの態様は、撮像部(52)を搭載する移動体(A)において、移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、撮像部によって撮像された移動体の周囲の周囲画像の画像データが入力され、移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ、表示像の色を補正するステップでは、周囲画像の解析によって抽出される環境光の照射方向(LD)に合わせて、表示像の表示態様を補正する表示制御プログラムとされる。
また開示された一つの態様は、撮像部(52)を搭載する移動体(A)において、移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、撮像部によって撮像された移動体の周囲の周囲画像の画像データが入力され、移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、周囲画像から、情報提示に利用される特定物標(SO)を切り出すステップと、切り出された特定物標の切出画像(SP)を画像保存部(39)に保存するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ、表示像の色を補正するステップでは、周囲画像が撮像されたときの環境光情報に基づき、切出画像を色補正し、切出画像を保存するステップでは、補正後の切出画像を画像保存部に保存する表示制御プログラムとされる。
また開示された一つの態様は、撮像部(52)を搭載する移動体(A)において、移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、撮像部によって撮像された移動体の周囲の周囲画像の画像データが入力され、周囲画像に写る移動体のボディ色に基づき移動体の周囲における環境光の状態を推定した環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させる表示制御プログラムとされる。
また開示された一つの態様は、撮像部(52)を搭載する移動体(A)において、移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、撮像部によって撮像された移動体の周囲の周囲画像の画像データが入力され、周囲画像に写る走行体であって、移動体と同一方向に走行する走行体のボディ色に基づき移動体の周囲における環境光の状態を推定した環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させる表示制御プログラムとされる。
また開示された一つの態様は、撮像部(52)を搭載する移動体(A)において、移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、撮像部によって撮像された移動体の周囲の周囲画像の画像データが入力され、移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ、環境光情報を取得するステップでは、周囲画像の解析により、前景のうちで照明装置(90)によって照明されている照明範囲(LA)が特定され、表示像の色を補正するステップでは、照明範囲に重畳される虚像よりも照明範囲から外れた非照明範囲(NLA)に重畳される虚像が低輝度で表示されるように、表示像を補正する表示制御プログラムとされる。
また開示された一つの態様は、移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ、虚像には、前景中の物体と組み合わされて乗員に情報を提供する遠虚像(41)と、遠虚像よりも乗員に近い位置に結像される近虚像(43)と、が含まれており、表示像の色を補正するステップでは、近虚像として結像される近表示像よりも、遠虚像として結像される遠表示像について、環境光の影響を受けているような色補正を強く行う表示制御プログラムとされる。
これらの態様では、環境光の状態を示した環境光情報に基づき、虚像の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。故に、乗員が環境光の影響を無意識のうちに補正して前景を見たとき、虚像は、実存するものと同様に環境光の影響を受けているため、前景に溶け込み易くなり、自然な表示となり得る。以上によれば、前景に重畳表示される虚像の実物感を向上させることが可能になる。
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
第一実施形態において、虚像の表示に関連する電気的な構成を示すブロック図である。 HCU及びHUD装置による虚像表示の仕組みを模式的に示す図である。 虚像として表示されるコンテンツの一例を示す図である。 虚像として表示されるバーチャルパイロンの詳細を示す図である。 各バーチャルパイロンの配置される仮想位置が照明範囲内か否かに基づき、各バーチャルパイロンの輝度が変更されることを説明するための模式図である。 特定物標の切出画像を取得し、切出画像をルート案内に使用する処理の詳細を説明するための図である。 画像取得処理の詳細を示すフローチャートである。 描画処理の詳細を示すフローチャートである。 第二実施形態におけるHCU及びHUD装置の機能を説明する図である。
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本開示の第一実施形態による表示制御装置の機能は、図1及び図2に示すHCU(HMI(Human Machine Interface)Control Unit)100によって実現されている。HCU100は、移動体としての車両Aに搭載された複数の電子制御ユニットのうちの一つである。HCU100には、色温度計測器51、前方カメラ52、ロケータ53、通信器55、HUD装置20、及びデータ保存部39等と直接的又は間接的に電気接続されている。
色温度計測器51は、車両Aの周囲の環境光の色温度を計測する計測器である。色温度計測器51は、例えば車両Aのインスツルメントパネルの上面に設置されている。色温度計測器51は、ウィンドシールドWSを通過した環境光が直接的に入射可能な範囲に配置されている。色温度計測器51は、計測した環境光の色温度を示す計測データを、HCU100へ向けて逐次出力する。
色温度は、光の色を数値化した指標の一つである。色温度が5000K程度である場合、光は白色光となる。色温度が5000Kよりも低い値になるほど、環境光は、赤味がかった色となる。対して、色温度が5000Kよりも高い値になるほど、環境光は、青味がかった色となる。
具体的に、太陽光が降り注ぐ状態での色温度は、5200ケルビン(K)程度である。環境光の色温度は、天候によっても変化する。例えば曇天での色温度は、7000K程度である。晴天時の日陰での色温度は、8000K程度となる。朝日及び夕日のシーンでは、環境光の色温度は、2000K程度となる。また、トンネル及び屋内駐車場等では、施設に設置された照明の色温度が、環境光の色温度となる。トンネル内での環境光の色温度は、ナトリウムランプの色温度である2000K程度となる。
前方カメラ52は、車両Aの前方領域を撮影する単眼式又は複眼式のカメラユニットである。前方カメラ52は、例えば車両AのウィンドシールドWSの上縁部分に、撮像面を車両Aの前方へ向けた姿勢で設置されている(図3参照)。前方カメラ52は、車両Aの周囲のうちで、特に前方領域を撮像した周囲画像(以下、「前方画像」)の画像データを生成する。前方カメラ52の撮像範囲には、例えばエンジンフード(ボンネット)等、車両Aのボディの一部が含まれている。前方カメラ52は、生成した前方画像の画像データを、HCU100へ向けて逐次出力する。前方カメラ52にて撮像された前方画像は、ACC(Adaptive Cruise Control)及び緊急ブレーキ等に用いられる。
ロケータ53は、車両Aの現在位置を測位する計測装置である。ロケータ53には、GNSS(Global Navigation Satellite System)受信器及び慣性センサに加えて、地図データベース(以下、「地図DB」)54等が設けられている。GNSS受信器は、複数の人工衛星から送信された測位信号を受信する。慣性センサは、車両Aに作用する加速度を計測する。ロケータ53は、GNSS受信器で受信した測位信号と、慣性センサの計測結果とを組み合わせることにより、車両Aの現在位置を測位する。地図DB54は、大量の地図情報を格納した記憶媒体である。ロケータ53は、計測した車両Aの位置情報と、地図DB54から読み出した車両Aの周囲及び進行方向の地図情報とを、HCU1000へ向けて逐次提供する。
通信器55は、車両Aの外部のサーバ装置と通信可能である。通信器55は、例えば通行止め等の交通規制情報、混雑情報、及び気象情報等を、交通情報センター等に設けられたサーバ装置から受信する。通信器55によって取得された情報は、HCU100に提供される。
HUD装置20は、例えば運転者D等の車両Aの乗員の前方に虚像40を表示する表示装置である。図1〜図3に示すHUD装置20は、複数(二つ)の表示像の光をウィンドシールドWSの投影領域PAに投影する。ウィンドシールドWSに投影された光は、投影領域PAによって運転席側へ向けて反射され、運転者Dの頭部周辺に位置するよう予め規定されたアイボックスに到達する。アイボックスにアイポイントを位置させた運転者Dは、表示像の光を、前景に重畳表示された虚像40として視認可能となる。
虚像40には、近虚像43及び遠虚像41が含まれている。近虚像43及び遠虚像41は、車両Aの前後方向及び上下方向のそれぞれにおいて、互いに異なる位置に結像される。近虚像43は、アイポイントから車両Aの前方に2〜3メートル程度の空間中に結像される。近虚像43は、遠虚像41よりも運転者Dに近い位置に結像される。近虚像43は、主に車両Aの状態を示す状態情報を運転者Dに提示する。例えば、車両Aの走行速度等が近虚像43によって表示される(図3参照)。
遠虚像41は、近虚像43よりもウィンドシールドWSから遠い位置、具体的には、アイポイントから車両Aの前方に10〜20メートル程度の空間中に結像される。遠虚像41は、例えば前走車及び路面等の前景中の重畳対象物と組み合わされて、運転者Dに情報を提示可能である。遠虚像41は、運転者Dの見かけ上で重畳対象物に重畳されることで、拡張現実(以下、「Augmented Reality:AR」)表示として機能する。
以上の遠虚像41及び近虚像43を表示させるための構成として、HUD装置20は、遠表示器21及び近表示器23を備えている。遠表示器21及び近表示器23は、それぞれ表示像を発光表示する表示面又はスクリーンを有している。遠表示器21は、遠虚像41として結像される表示像を表示面等に発光表示する。近表示器23は、近虚像43として結像される表示像を表示面等に発光表示する。遠表示像及び近表示像の各光は、HUD装置20に設けられた投射用光学系により、投影領域PAへ向けて射出される。遠表示器21及び近表示器23にて表示される表示像の画像データは、HCU100によって生成され、HCU100から遠表示器21及び近表示器23のそれぞれに逐次入力される。
図1及び図2に示すデータ保存部39は、HCU100に付属するフラッシュメモリ等の記憶媒体である。データ保存部39は、HCU100に内蔵された構成であってもよく、例えばメモリーカード等の形態でHCU100に外部接続される構成であってもよい。データ保存部39には、例えば遠虚像41及び近虚像43に用いられる画像の元データ等、HCU100にて用いられる主要なプログラム以外のデータが格納されている。
HCU100は、HUD装置20を含む複数の報知機器と接続されており、運転者への情報提示を統合的に制御する。HCU100は、少なくとも一つのプロセッサ11、RAM12、及びメモリ装置13に加えて、入出力インターフェース及び電源回路等を有するコンピュータを主体に構成されている。HCU100は、メモリ装置13に記憶された表示制御プログラムをプロセッサ11によって実行する。HCU100には、表示制御プログラムに基づき、情報取得部31、画像切出部32、色補正部33、及び保存処理部36等が機能ブロックとして構築される。
情報取得部31は、車両Aの状態情報及び位置情報、並びに車両Aの周囲の地図情報及び交通規制情報等、HUD装置20の虚像表示を通じて運転者Dに通知すべき種々の情報を取得する。状態情報は、例えば車両Aの走行速度や車載機器の異常を示す情報等である。加えて情報取得部31は、車両Aの周囲における環境光の状態を、環境光情報として取得する。環境光情報として、情報取得部31には、色温度計測器51によって計測された環境光の色温度の計測データが入力される。
さらに、環境光情報を取得するための情報として、情報取得部31には、前方カメラ52によって撮像された前方画像の画像データが入力される。情報取得部31は、前方画像の画像データから、環境光の色温度を示す環境光情報を抽出する。詳記すると、情報取得部31は、前方画像に写る道路標示、区画線及び道路標識の少なくとも一つの色の状態に基づき、環境光の状態を推定する。例えば、白色で敷設された道路標示又は区画線が前方画像に撮影されている場合、情報取得部31は、前方画像における道路標示又は区画線の色の状態に基づき、環境光の状態、即ち色温度を推定する。同様に、道路標識が前方画像に撮影されている場合、前方画像における道路標識の白地部分の色の状態に基づき、環境光の状態、即ち色温度を推定する。
加えて、情報取得部31は、前方画像に写る自車両(車両A)及び他車両のボディ色に基づき、環境光の状態を推定する。情報取得部31には、自車両のボディの色が予め記憶されている。情報取得部31は、前方画像に写るエンジンフードの色に基づき、環境光の色温度を推定してもよい。さらに、自車両の前方に前走車がいる場合、この前走車は、自車両と同一方向に走行する走行体であり、自車両のエンジンフードと同様に、前方画像に継続して写り続ける。例えば、地図データ及び位置情報を用いることで、トンネル等への進入が検知可能であり、トンネルへの進入によれば、前方画像に写るボンネットの色又は前走車のボディ色が変化する。情報取得部31は、ボディ色の変化前後の差分に基づき、トンネル内における環境光の色温度を推定できる。
情報取得部31は、前方画像の解析により、環境光の照射方向LD(図4参照)と、夜間等の暗所での照明範囲LA(図5参照)とを抽出する。環境光の照射方向LDは、例えば地面に対して垂直に設置された支柱等の影の延伸方向に基づいて推定される。照明範囲LAは、前景のうちで照明装置によって照明されている範囲である。照明装置には、車両Aに搭載された前照灯90、対向車の前照灯、及び道路脇に設置された道路照明灯等が含まれる。情報取得部31は、例えば前方画像のうちで空等が写る範囲と比較して階調値の高い範囲を、照明範囲LAとして抽出する。尚、照明範囲LAは、例えば前照灯90の照射エリアを示すデータ及び地図情報に紐付けられた道路の勾配データ等により、適宜補正されてよい。
画像切出部32は、前方画像から、運転者Dへの情報提示に利用される特定物標SO(図6参照)を切り出す。特定物標SOは、例えば目的地となるような特定の施設の位置を示した案内看板等である。一般的に、案内看板は、特定の施設に至るルートの全ての要所に設置されているわけではない。画像切出部32は、例えば案内看板が設置された要所(図6 ポイントα)で撮影された前方画像から、案内看板の部分だけを、切出画像SPとして抽出する。こうして抽出された案内看板の切出画像SPは、案内看板が設置されていない他の要所(図6 ポイントβ)にて、虚像表示される。以上によれば、運転者Dは、実物の案内看板と虚像表示される仮想の案内看板とにより、特定施設まで継続して案内される。
色補正部33は、情報取得部31にて取得される環境光情報に基づき、画像の色補正を行う。色補正部33は、色温度計測器51による計測データ及び前方カメラ52による前方画像の少なくとも一方を用いて、画像の色補正を行う。色補正部33には、サブ機能ブロックとして、ホワイトバランス(WB)調整ブロック34及び描画処理ブロック35が構築されている。
WB調整ブロック34は、画像切出部32にて切り出された特定物標の切出画像SPの色を、前方画像が撮像されたときの環境光情報に基づき、補正する。WB調整ブロック34は、5000K程度の白色環境光の下で撮影された場合の色に、切出画像SPを補正する。例えば、WB調整ブロック34は、青味がかった環境光の下で前方画像が撮影されていた場合、青味を弱くし且つ赤味を強くする色補正を切出画像SPに対して行う(図6参照)。反対に、赤味がかった環境光の下で前方画像が撮影されていた場合、WB調整ブロック34は、赤味を弱くしつつ且つ青味を強くする色補正を切出画像SPに行う。WB調整ブロック34は、色補正した切出画像SPを、保存処理部36に出力する。
描画処理ブロック35は、遠虚像41及び近虚像43としてそれぞれ結像表示される遠表示像及び近表示像を描画することで、遠虚像41及び近虚像43の各表示態様を制御する。描画処理ブロック35は、環境光情報に基づき、遠表示器21に発光表示される遠表示像の色、具体的にはRGB値を、環境光の影響を受けているように補正する。描画処理ブロック35は、近虚像43として結像される近表示像よりも、遠虚像41として結像される遠表示像について、環境光の影響を受けているような色補正を強く行う。第一実施形態では、環境光の影響を演出するような近虚像43の色補正は、実施されない。
例えば、環境光の色温度が5000K程度である場合、描画処理ブロック35は、データ保存部39に保存されている元画像の色を実質的に補正することなく、遠表示像に使用する。対して、環境光が青味を帯びている場合、描画処理ブロック35は、元データの画像の青味を強くする色補正を行ったうえで、遠表示像に使用する。また、環境光が赤味を帯びている場合、描画処理ブロック35は、元データの画像の赤味を強くする色補正を行ったうえで、遠表示像に使用する。
描画処理ブロック35は、WB調整ブロック34によって色補正された切出画像SPを、遠表示像の元データとして使用できる。切出画像SPは、他の元データと同様に、情報取得部31の取得する現在(最新)の環境光情報に基づき、環境光の影響を受けているように色補正される。その結果、切出画像SPの特定物標は、実際に存在しているかのような態様で、遠虚像41として表示される。
保存処理部36は、画像切出部32によって切り出された特定物標の切出画像であって、WB調整ブロック34によって色補正された補正後の切出画像を、データ保存部39に保存する。保存処理部36は、切出画像に、当該切出画像の撮像された位置等、遠虚像41の利用時に必要な情報を紐付ける。
次に、ここまで説明したHCU100によって表示される虚像40の表示例を、図2〜図6に基づき、図1を参照しつつ説明する。
HCU100は、通信器55から取得する交通規制情報に基づき、通行止めとなっている方向へ運転者Dが車両Aを向かわせないような情報提示を行う。具体的には、図3に示すように、通行止めの道路へ向かう車線及び走行禁止になっている車線等が、パイロンの形状を模した表示物(以下、「バーチャルパイロン」)42を複数並べることにより、運転者Dに明示される。
描画処理ブロック35は、図2に示すように、環境光の色温度に合わせて、バーチャルパイロン42の画像データPDの色を補正し、遠表示像に使用する。以上により、遠虚像41として前景中に並べられる仮想物体としてのバーチャルパイロン42は、環境光の下に置かれた実物であるパイロンROと同じような色合いで表示される。
加えて描画処理ブロック35は、遠虚像41を実物のように見せるための補正を、さらに行う。描画処理ブロック35は、バーチャルパイロン42が実空間の路面に馴染み易くなるように、画像のエッジを曖昧に描画する。また描画処理ブロック35は、図4に示すように、情報取得部31にて特定された環境光の照射方向LDに合わせて、遠表示像の表示態様を補正し、バーチャルパイロン42に、ハイライト42a、陰42b、及び路面反射42cを描画する。環境光の照射方向LDが変わると、ハイライト42a及び陰42bの描画位置が変更される。
ハイライト42aは、バーチャルパイロン42の左右のうちで、環境光の入射する一方の側に描画される。ハイライト42aは、バーチャルパイロン42の側面の傾斜に沿って細長く延伸している。ハイライト42aの範囲では、色の明度が他の範囲よりも高く調整される。陰42bは、バーチャルパイロン42の左右のうちで、ハイライト42aとは反対側に描画される。陰42bの範囲では、色の明度が他の範囲よりも低く調整される。路面反射42cは、バーチャルパイロン42の載置される仮想面を示唆する描写である。路面反射42cは、バーチャルパイロン42の底部と同系統の色で、底部の縁に沿ってうっすらと描画される。
さらに、描画処理ブロック35は、夜間において、遠虚像41の重畳される範囲の明暗に合わせえて、遠表示像を補正する。具体的に、描画処理ブロック35は、図5に示すように、照明範囲LAに重畳される遠虚像41よりも、照明範囲LAから外れた非照明範囲NLAに重畳される遠虚像41が低輝度で表示されるように、遠表示像を補正する。一例として、非照明範囲NLAに重畳されるバーチャルパイロン42(42d)の明度は、照明範囲LAに重畳されるバーチャルパイロン42(42h)の表示像の明度よりも低く調整される。尚、図5では、前照灯90による照明範囲LAがドットにて示されている。
また、HCU100は、図6に示すように、切出画像SPを用いたルート案内が可能である。ポイントαにて、曇天の環境光によって青味を帯びた特定物標SOが、前方カメラ52によって前方画像に撮影されたとする。WB調整ブロック34は、前方画像から切り出された切出画像SPに対し、青味を抑えつつ赤味を高める色補正であって、色温度を下げる補正を行う。その結果、ホワイトバランスを調整された切出画像SPが、データ保存部39に蓄積される。
そして、晴天の環境光が降り注ぐ状態でポイントβに到達すると、描画処理ブロック35は、データ保存部39から補正後の切出画像SPを読み出す。描画処理ブロック35は、色温度計測器51又は前方カメラ52による現在の環境光情報に基づき、環境光の影響を受けているように、切出画像SPをさらに色補正する。その結果、僅かに赤味を高める色補正であって、色温度を下げる補正が行われる。以上によれば、環境光の影響を受けているような特定物標SOの遠虚像41が、HUD装置20により仮想物体として表示される。環境光の影響を無意識に補正した運転者Dは、ポイントαにて視認した実際の特定物標SOと、ポイントβにて視認する遠虚像41とを、概ね同一の色に知覚できる。
次に、ここまで説明したHCU100によって実施される画像取得処理及び描画処理の詳細を、図7及び図8に基づき、図1及び図2を参照しつつ説明する。図7に示す画像取得処理は、前方画像から特定物標SOの切出画像SPを切り出し、データ保存部39に蓄積する処理である(図6参照)。画像取得処理は、前方カメラ52の起動に伴い、HCU100によって開始される。画像取得処理は、前方カメラ52の停止まで繰り返される。
S101では、前方カメラ52から出力された前方画像と、この前方画像が撮影されたときの環境光情報とを取得し、S102に進む。S102では、S101にて取得された前方画像から、予め設定された特定物標SOを抽出する画像解析を行い、S103に進む。S103では、S102の画像解析により、特定物標SOが抽出されたか否かを判定する。特定物標SOが抽出されていない場合、S101に戻る。一方で、特定物標SOが抽出された場合、S104に進む。
S104では、特定物標SOを背景から切り出す画像処理を行い、S105に進む。S105では、S104にて抽出した切出画像SPを、S101にて取得した環境光情報に基づいて色補正し、S106に進む。S106では、補正後の切出画像SPをデータ保存部39に保存し、S101に戻る。尚、複数の前方画像から同一の特定物標SOが切り出された場合、最も条件の良い切出画像SPの画像データ、例えば、最もサイズの大きい切出画像SPのデータのみを残し、他の切出画像SPのデータは、データ保存部39から削除されてよい。
図8に示す描画処理は、遠虚像41となる遠表示像を描画する処理である。描画処理は、HUD装置20の起動に伴い、HCU100によって開始され、HUD装置20の停止まで繰り返し実施される。
S111では、環境光情報を含む遠表示像の描画に必要な各情報を取得し、S112に進む。S112では、S101にて取得した情報に基づき、遠虚像41及び近虚像43の表示態様を設定し、S113に進む。S113では、環境光情報に基づき、遠表示像の色補正を行い、S114に進む。S114では、S113にて補正した遠表示像の画像データ及びS112にて設定した近表示像の画像データを、それぞれ遠表示器21及び近表示器23へ向けて出力し、再びS111に戻る。
ここまで説明した第一実施形態では、環境光の状態を示した環境光情報に基づき、遠虚像41の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。故に、運転者Dが環境光の影響を無意識のうちに補正して前景を見たとき、遠虚像41は、実存するものと同様に環境光の影響を受けているため、前景に溶け込み易くなり、自然な表示となり得る。したがって、前景に重畳表示される虚像40の実物感を向上させることが可能になる。さらに、遠虚像41の重畳感の向上も可能になる。そして、遠虚像41の違和感が軽減されることにより、ディストラクションも低減され得る。
加えて第一実施形態では、例えばルート案内に用いる特定物標の切出画像を保存するときに、WB調整ブロック34は、撮像時の環境光情報に基づいて、切出画像を色補正する。故に、実物の実際の色に調整された特定物標の切出画像が、データ保存部39に保存され得る。以上によれば、切出画像を遠虚像41に用いたときに、運転者Dに違和感が惹起され難くなる。
また第一実施形態では、切出画像は、遠虚像41として用いられる場合に、表示時の環境光の状態に基づき、さらに色補正される。故に、虚像表示される特定物標は、場所及び時間の異なるタイミングで取得され、その際の環境光と現在の環境光の状態とが異なっていても、運転者Dは、実物の特定物標に類似した特定物標の遠虚像41を見ることができる。このように、保存時及び表示時のそれぞれで色補正が行われれば、遠虚像41の実物感は、いっそう向上する。
さらに第一実施形態では、前方カメラ52による前方画像の画像データから、環境光情報が抽出される。このように、衝突回避や運転支援機能に用いられる前方カメラ52の画像データを、環境光情報として用いることができれば、環境光情報を取得するための構成の追加を少なく抑えることができる。
加えて第一実施形態では、前方画像に写る道路標示、区画線、及び道路標識の色の状態から、環境光情報、即ち、環境光の色温度が取得される。一般に、道路標示、区画線、及び道路標識の色は、予め規定された特定色である。故に、これらの色の状態に基づくことで、情報取得部31は、前方画像の画像データから環境光の色温度を精度良く推定できる。
また第一実施形態では、白色に敷設された道路標示及び区画線の色の状態に基づき、環境光の色温度が推定される。又は、道路標識の白地部分の色の状態に基づき、環境光の色温度が推定される。白色であるこれらの色の状態は、環境光の影響による色の変化を分かり易く示している。故に、白色の道路標示及び区画線、又は道路標識の白地部分を基準に環境光の色温度を推定すれば、情報取得部31は、精度の高い環境光情報を取得できる。
さらに第一実施形態では、自車両及び前走車のボディの色に基づき、環境光の色温度及び色温度の変化等が推定される。このように、前方画像に継続的に写り、且つ、色の変化しない物体を利用することにより、色補正部33は、遠虚像41の色を周囲の環境光の状態変化に追従させて、精度良く補正し続けることができる。
加えて第一実施形態では、環境光の照射方向に合わせて、遠虚像41の表示態様が変更される。こうした表示態様の工夫によれば、遠虚像41は、重畳される前景にいっそう馴染み易くなる。故に、遠虚像41の実物感は、いっそう向上し得る。
また第一実施形態では、前照灯90等の照明範囲外に重畳される遠虚像41は、照明範囲に重畳される遠虚像41よりも低輝度に調整される。こうした表示処理であれば、照明範囲外についての情報であっても、運転者Dへの通知が漏れ無く行われ得る。加えて、照明範囲外の遠虚像41の輝度が低く抑えられることにより、遠虚像41の実物感が顕著に損なわれる事態も、回避され得る。
加えて第一実施形態では、AR表示される遠虚像41について、環境光の状態に合わせた色補正が強く行われる。故に、遠虚像41が組み合わされる実空間の物体と、遠虚像41との色の相関関係は、環境光情報に基づく色補正により、環境光の状態が変化した場合でも、維持され得る。このように、AR表示される遠虚像41に色補正が適用されれば、遠虚像41の実物感を向上させる効果が、さらに発揮可能となる。
さらに第一実施形態では、近虚像43への色補正は、実施されない。近虚像43は、主に車両Aの状態情報を表示するため、背景となる前景に溶け込んでいなくても、運転者Dには不自然に感じられ難い。故に、近虚像43への色補正を行わないことにより、HCU100の処理リソースを節約可能になる。
加えて第一実施形態では、色温度計測器51を用いて、色温度が精度良く計測されている。このように、色温度計測器51にて計測された色温度を環境光情報として用いれば、描画処理ブロック35は、環境光の状態に合わせて、環境光の影響を受けたように、遠虚像41の色を補正できる。
尚、第一実施形態では、HCU100が「表示制御装置」に相当し、プロセッサ11が「処理部」に相当し、データ保存部39が「画像保存部」に相当し、前方カメラ52が「撮像部」に相当する。さらに、前照灯90が「照明装置」に相当し、車両Aが「移動体」に相当し、運転者Dが「乗員」に相当する。
(第二実施形態)
図9に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態のHUD装置220によって表示される虚像40は、第一実施形態の遠虚像41(図2参照)に相当するAR表示のための表示物である。HUD装置220は、第一実施形態の遠表示器21(図1参照)と実質同一の表示器221を備えている。表示器221によって発光表示された表示像がウィンドシールドWSに投影され、運転者Dに虚像40として視認される。
HUD装置220は、表示制御プログラムを実行するプロセッサ、及び表示制御プログラムを格納するメモリ装置を含む処理回路を備えている。HUD装置220には、虚像40の色補正を行う機能ブロックとして、第一実施形態と同様の情報取得部31及び色補正部33が少なくとも構築される。HUD装置220は、色温度計測器51及び前方カメラ52の少なくとも一方と電気的に接続されている。情報取得部31は、色温度計測器51による計測データ又は前方カメラ52による撮像データに基づき、環境光の色温度等の環境光情報を取得する。
HCU100は、車両Aの状態情報及び交通規制情報等に基づき、データ保存部39に格納された画像データPD等を使用して、表示像の描画データを生成する。HUD装置220は、表示像の描画データをHCU100から取得する。色補正部33は、情報取得部31にて取得された環境光情報に基づき、HCU100にて描画された表示像の描画データの色を補正し、表示器221に出力する。以上により、環境光情報に基づいて色補正された表示像が、表示器221によって発光表示され、投影領域PAに投影される。
ここまで説明した第二実施形態のように、色補正がHUD装置220で行われる形態でも、第一実施形態と同様の効果を奏し、虚像40の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。以上によれば、バーチャルパイロン42は、実際のパイロンROと類似の色合いで虚像表示され得る。したがって、前景に重畳表示される虚像40の実物感及び重畳感を向上させることが可能になる。尚、第二実施形態では、HUD装置220が「表示制御装置」に相当する。また、第二実施形態では、特定物標SO(図6参照)を記憶し、ルート案内に利用する機能が省略されている。
(他の実施形態)
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態のバーチャルパイロンは、環境光の照射方向に基づき、実物感が向上するように表示態様を補正されていた。こうした表示態様の補正は、上実施形態にて例示した内容に限定されない。例えば夜間等では、自車両及び対向車等の前照灯の照射方向に基づき、バーチャルパイロン等の仮想物体の表示態様が補正されてもよい。さらに、路面が濡れている場合等では、路面への仮想物体の映り込みが演出されてもよい。
加えて表示制御装置は、AR表示される仮想物体に不完全さを付与することで、実物感を向上させてもよい。例えば、バーチャルパイロンのような仮想物体を実空間に複数並べたようなAR表示の場合、HCUは、実空間に仮想物体が不等間隔に並べられているような態様の表示像を描画してもよい。また、仮想物体の向きがランダムにされていてもよい。さらに、仮想物体に汚れや損傷を加えることで、使用感を持たせるような演出が加えられてもよい。尚、実物感を向上させる表示態様の補正は、実施されなくてもよい。また、AR表示される仮想物体は、上記のようなバーチャルパイロンに限定されない。
上記実施形態では、虚像の色補正に色温度計測器の計測データが用いられていた。しかし、色温度計測器は、省略されていてもよい。また、HUD装置の構成の一部として、色温度計測器が設けられていてもよい。さらに、環境光の状態を示す指標は、色温度(相関色温度)に限定されない。環境光の状態を示す指標として、例えば色温度に加えて、照度等が用いられてもよい。また、環境光の状態を検出する検出手段は、適宜変更されてよい。
上記実施形態では、前方カメラの前方画像から、環境光情報が抽出されていた。しかし、車両の周囲を撮影する撮像部は、後方カメラや側方カメラであってもよい。さらに、複数のカメラの撮像画像から、環境光情報が抽出されてもよい。また、色温度計測器等によって正確な環境光情報が取得可能な形態であれば、撮像画像からの環境光情報の抽出は、実施されなくてもよい。
上記第一実施形態では、遠虚像のみが色補正の対象とされていた。しかし、第一実施形態の近虚像に相当する虚像が、色補正の対象とされてもよい。さらに、HUD装置によって表示される虚像を視認する視認者は、運転者に限定されず、運転者以外の車両の乗員であってもよい。加えて、HCU及びHUD装置を搭載する移動体は、車両に限定されない。例えば、船舶、航空機、鉄道車両等の各種移動体に、本開示によるHCU及びHUD装置は搭載可能である。
上記実施形態のHCU及びHUD装置の各メモリ装置には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。また、表示制御プログラムを記憶する記憶媒体は、HCU及びHUD装置に設けられたメモリ装置に限定されず、当該メモリ装置への表示制御プログラムのコピー基となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
本開示による表示制御プログラム及び表示制御方法は、上記実施形態のHCU及びHUD装置とは異なる構成によって実現されてもよい。例えば、車両に搭載されたナビゲーション装置及びメータ制御装置等が、プロセッサによって表示制御プログラムを実行することで、表示制御装置の機能を実現してもよい。さらに、複数の電子制御ユニットが連携して、本開示による表示制御プログラム及び表示制御方法を実行してもよい。
A 車両(移動体)、D 運転者(乗員)、LA 照明範囲、NLA 非照明範囲、LD 照射方向、SO 特定物標、SP 切出画像、11 プロセッサ(処理部)、31 情報取得部、32 画像切出部、33 色補正部、36 保存処理部、39 データ保存部(画像保存部)、40 虚像、41 遠虚像、43 近虚像、51 色温度計測器、52 前方カメラ(撮像部)、90 前照灯(照明装置)、100 HCU(表示制御装置)、20,220 HUD装置(表示制御装置)

Claims (25)

  1. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力され、
    前記情報取得部は、前記周囲画像の解析により、前記環境光の照射方向(LD)を抽出し、
    前記色補正部は、前記照射方向に合わせて、前記表示像の表示態様を補正する表示制御装置。
  2. 前記周囲画像から、情報提示に利用される特定物標(SO)を切り出す画像切出部(32)と、
    前記画像切出部によって切り出された前記特定物標の切出画像(SP)を画像保存部(39)に保存する保存処理部(36)と、をさらに備え、
    前記色補正部は、前記周囲画像が撮像されたときの前記環境光情報に基づき、前記切出画像を色補正し、補正後の前記切出画像を、前記保存処理部により前記画像保存部に保存させる請求項に記載の表示制御装置。
  3. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力され、
    前記周囲画像から、情報提示に利用される特定物標(SO)を切り出す画像切出部(32)と、
    前記画像切出部によって切り出された前記特定物標の切出画像(SP)を画像保存部(39)に保存する保存処理部(36)と、をさらに備え、
    前記色補正部は、前記周囲画像が撮像されたときの前記環境光情報に基づき、前記切出画像を色補正し、補正後の前記切出画像を、前記保存処理部により前記画像保存部に保存させる表示制御装置。
  4. 前記色補正部は、前記虚像として表示される前記切出画像を、前記情報取得部の取得する現在の前記環境光情報に基づき、前記環境光の影響を受けているように補正する請求項2又は3に記載の表示制御装置。
  5. 前記情報取得部は、前記周囲画像に写る前記移動体のボディ色に基づき、前記環境光の状態を推定する請求項のいずれか一項に記載の表示制御装置。
  6. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力され、
    前記情報取得部は、前記周囲画像に写る前記移動体のボディ色に基づき、前記環境光の状態を推定する表示制御装置。
  7. 前記情報取得部は、前記周囲画像に写る走行体であって、前記移動体と同一方向に走行する走行体のボディ色に基づき、前記環境光の状態を推定する請求項のいずれか一項に記載の表示制御装置。
  8. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力され、
    前記情報取得部は、前記周囲画像に写る走行体であって、前記移動体と同一方向に走行する走行体のボディ色に基づき、前記環境光の状態を推定する表示制御装置。
  9. 前記情報取得部は、前記周囲画像の解析により、前景のうちで照明装置(90)によって照明されている照明範囲(LA)を特定し、
    前記色補正部は、前記照明範囲に重畳される前記虚像よりも前記照明範囲から外れた非照明範囲(NLA)に重畳される前記虚像が低輝度で表示されるように、前記表示像を補正する請求項のいずれか一項に記載の表示制御装置。
  10. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力され、
    前記情報取得部は、前記周囲画像の解析により、前景のうちで照明装置(90)によって照明されている照明範囲(LA)を特定し、
    前記色補正部は、前記照明範囲に重畳される前記虚像よりも前記照明範囲から外れた非照明範囲(NLA)に重畳される前記虚像が低輝度で表示されるように、前記表示像を補正する表示制御装置。
  11. 前記虚像には、
    前景中の物体と組み合わされて前記乗員に情報を提供する遠虚像(41)と、
    前記遠虚像よりも前記乗員に近い位置に結像される近虚像(43)と、が含まれており、
    前記色補正部は、前記近虚像として結像される近表示像よりも、前記遠虚像として結像される遠表示像について、前記環境光の影響を受けているような色補正を強く行う請求項1〜10のいずれか一項に記載の表示制御装置。
  12. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御装置であって、
    前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部(31)と、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部(33)と、を備え
    前記虚像には、
    前景中の物体と組み合わされて前記乗員に情報を提供する遠虚像(41)と、
    前記遠虚像よりも前記乗員に近い位置に結像される近虚像(43)と、が含まれており、
    前記色補正部は、前記近虚像として結像される近表示像よりも、前記遠虚像として結像される遠表示像について、前記環境光の影響を受けているような色補正を強く行う表示制御装置。
  13. 前記移動体には、この移動体の周囲を撮影する撮像部(52)が搭載されており、
    前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力される請求項12に記載の表示制御装置。
  14. 前記情報取得部は、前記周囲画像の画像データから前記環境光情報を抽出する請求項11及び13のいずれか一項に記載の表示制御装置。
  15. 前記情報取得部は、前記周囲画像に写る道路標示、区画線及び道路標識の少なくとも一つの色の状態に基づき、前記環境光の状態を推定する請求項14に記載の表示制御装置。
  16. 前記情報取得部は、前記周囲画像において、白色で敷設された前記道路標示又は前記区画線の色の状態に基づき、前記環境光の状態を推定する請求項15に記載の表示制御装置。
  17. 前記情報取得部は、前記周囲画像における前記道路標識の白地部分の色の状態に基づき、前記環境光の状態を推定する請求項15又は16に記載の表示制御装置。
  18. 前記虚像は、前景中の物体と組み合わされて前記乗員に情報を提示する請求項1〜17のいずれか一項に記載の表示制御装置。
  19. 前記移動体には、前記環境光の色温度を計測する色温度計測器(51)が搭載され、
    前記情報取得部は、前記色温度計測器によって計測された前記環境光の色温度の計測データを前記環境光情報として取得し、
    前記色補正部は、前記環境光の色温度の計測データに基づき、前記環境光の影響を受けているように前記表示像の色を補正する請求項1〜18のいずれか一項に記載の表示制御装置。
  20. 撮像部(52)を搭載する移動体(A)において、前記移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記撮像部によって撮像された前記移動体の周囲の周囲画像の画像データが入力され、前記移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ
    前記表示像の色を補正するステップでは、前記周囲画像の解析によって抽出される前記環境光の照射方向(LD)に合わせて、前記表示像の表示態様を補正する表示制御プログラム。
  21. 撮像部(52)を搭載する移動体(A)において、前記移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記撮像部によって撮像された前記移動体の周囲の周囲画像の画像データが入力され、前記移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、
    前記周囲画像から、情報提示に利用される特定物標(SO)を切り出すステップと、
    切り出された前記特定物標の切出画像(SP)を画像保存部(39)に保存するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ
    前記表示像の色を補正するステップでは、前記周囲画像が撮像されたときの前記環境光情報に基づき、前記切出画像を色補正し、
    前記切出画像を保存するステップでは、補正後の前記切出画像を前記画像保存部に保存する表示制御プログラム。
  22. 撮像部(52)を搭載する移動体(A)において、前記移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記撮像部によって撮像された前記移動体の周囲の周囲画像の画像データが入力され、前記周囲画像に写る前記移動体のボディ色に基づき前記移動体の周囲における環境光の状態を推定した環境光情報を取得するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させる表示制御プログラム。
  23. 撮像部(52)を搭載する移動体(A)において、前記移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記撮像部によって撮像された前記移動体の周囲の周囲画像の画像データが入力され、前記周囲画像に写る走行体であって、前記移動体と同一方向に走行する走行体のボディ色に基づき前記移動体の周囲における環境光の状態を推定した環境光情報を取得するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させる表示制御プログラム。
  24. 撮像部(52)を搭載する移動体(A)において、前記移動体の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記撮像部によって撮像された前記移動体の周囲の周囲画像の画像データが入力され、前記移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ
    前記環境光情報を取得するステップでは、前記周囲画像の解析により、前景のうちで照明装置(90)によって照明されている照明範囲(LA)が特定され、
    前記表示像の色を補正するステップでは、前記照明範囲に重畳される前記虚像よりも前記照明範囲から外れた非照明範囲(NLA)に重畳される前記虚像が低輝度で表示されるように、前記表示像を補正する表示制御プログラム。
  25. 移動体(A)の乗員(D)から見える前景に重畳表示される虚像(40)の表示態様を制御する表示制御プログラムであって、
    前記移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、
    前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部(11)に実行させ、
    前記虚像には、
    前景中の物体と組み合わされて前記乗員に情報を提供する遠虚像(41)と、
    前記遠虚像よりも前記乗員に近い位置に結像される近虚像(43)と、が含まれており、
    前記表示像の色を補正するステップでは、前記近虚像として結像される近表示像よりも、前記遠虚像として結像される遠表示像について、前記環境光の影響を受けているような色補正を強く行う表示制御プログラム。
JP2017030199A 2017-02-21 2017-02-21 表示制御装置及び表示制御プログラム Active JP6750531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017030199A JP6750531B2 (ja) 2017-02-21 2017-02-21 表示制御装置及び表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017030199A JP6750531B2 (ja) 2017-02-21 2017-02-21 表示制御装置及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2018136698A JP2018136698A (ja) 2018-08-30
JP6750531B2 true JP6750531B2 (ja) 2020-09-02

Family

ID=63366843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017030199A Active JP6750531B2 (ja) 2017-02-21 2017-02-21 表示制御装置及び表示制御プログラム

Country Status (1)

Country Link
JP (1) JP6750531B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7071905B2 (ja) * 2018-10-25 2022-05-19 株式会社デンソー 表示装置
JP7427377B2 (ja) * 2019-06-11 2024-02-05 株式会社小糸製作所 ヘッドアップディスプレイ装置及びヘッドアップディスプレイシステム
EP3984801A4 (en) * 2019-06-11 2022-07-06 Koito Manufacturing Co., Ltd. HEADUP DISPLAY DEVICE AND HEADUP DISPLAY SYSTEM
JP7496683B2 (ja) * 2019-11-25 2024-06-07 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP7015337B2 (ja) 2020-03-06 2022-02-02 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
CN116343698A (zh) * 2021-12-23 2023-06-27 华为技术有限公司 一种显示方法、装置及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3423402B2 (ja) * 1994-03-14 2003-07-07 キヤノン株式会社 映像表示装置
JP5338762B2 (ja) * 2010-07-14 2013-11-13 株式会社豊田中央研究所 ホワイトバランス係数算出装置及びプログラム
JP5842419B2 (ja) * 2011-07-06 2016-01-13 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
JP2018136698A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6750531B2 (ja) 表示制御装置及び表示制御プログラム
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的***和方法
US11676254B2 (en) Systems and methods for positioning vehicles under poor lighting conditions
JP6409337B2 (ja) 表示装置
US9649980B2 (en) Vehicular display apparatus, vehicular display method, and vehicular display program
CN111433067A (zh) 平视显示装置及其显示控制方法
JP5181939B2 (ja) 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
US20190016256A1 (en) Projection of a Pre-Definable Light Pattern
US11525694B2 (en) Superimposed-image display device and computer program
JP2005182306A (ja) 車両用表示装置
JP2008230296A (ja) 車両用運転支援システム
WO2018134897A1 (ja) 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法
US20220093020A1 (en) Display control device and non-transitory computer readable storage medium for display control by head-up display
CN110546026A (zh) 调整装置、显示***及调整方法
CN112703527A (zh) 平视显示器(hud)内容控制***和方法
CN114466761A (zh) 平视显示器及图像显示***
KR20160069034A (ko) 헤드업 디스플레이 정보의 밝기 제어 장치 및 방법
CN117940301A (zh) 一种显示方法、装置及***
CN115210099A (zh) 信息处理装置、车辆及信息处理方法
JP6933009B2 (ja) ヘッドアップディスプレイ装置
US11875530B2 (en) Image display system and image controller
US11887220B2 (en) Ghost image mitigation for heads-up display
US20240140462A1 (en) Mitigation of light glare during driving
US20240045203A1 (en) Image projection system and image projection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200727

R151 Written notification of patent or utility model registration

Ref document number: 6750531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250