JP2021119065A - ヘッドアップディスプレイ装置 - Google Patents

Abstract

【課題】 外光が入射しても利用者の目の位置を高精度に検出することができるヘッドアップディスプレイ装置を提供する。【解決手段】 本発明に係るヘッドアップディスプレイ装置１は、車両のフロントウインドシールド２に表示光Ｌ１を投影し、フロントウインドシールド２を透過する実景に重ねてフロントウインドシールド２に反射された表示光Ｌ１により虚像Ｖを生成して表示するとともに、車両の運転者Ｄに赤外光Ｌ２を投影して運転者Ｄを撮像し、その撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能なもので、制御部１０が、撮像画像のノイズが表れたノイズ領域を検出するとともに、運転者Ｄを表す画素値を有する補間領域でノイズ領域を補間する。【選択図】 図１

Description

本発明は、車両のフロントウインドシールドやコンバイナ等に虚像を表示するとともに、利用者の目の位置を検出可能なヘッドアップディスプレイ装置に関する。

車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置は、車両の運転者等の利用者の視線移動を極力抑えつつ、利用者が所望する情報を虚像により提供することによって、安全で快適な車両運行に寄与する。

また、ヘッドアップディスプレイ装置には、利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置を検出することにより、脇見や居眠り等の利用者の状態把握に供するものがある。

例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備え、利用者の目の位置を精度良く算出することが可能となっている。

特開２００８−１２６９８４号公報

ところで、ヘッドアップディスプレイ装置に太陽光や街灯の光等の強い外光が入射すると、撮像画像に外光のノイズが加わり、利用者の目の位置の検出に失敗するという問題があった。特許文献１に記載のヘッドアップディスプレイ装置では、外光の赤外成分がミラー部材を透過して撮像手段に入射すると、撮像画像にサチュレーション等による白飛びしたノイズ領域が形成され、このノイズ領域は、撮像画像において必ずしも利用者の目の位置（目の像の位置）と重なり合っていなくても、目の位置の検出に支障を来すことがある。

本発明は、上記の事情に鑑みてなされたもので、外光が入射しても利用者の目の位置を高精度に検出することができるヘッドアップディスプレイ装置を提供することを課題としている。

上記課題を解決するために、本発明は、車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の目の位置を検出可能なヘッドアップディスプレイ装置であって、前記撮像画像のノイズが表れたノイズ領域を検出するノイズ領域検出手段と、前記ノイズ領域を前記利用者又は前記利用者の背景を表す画素値を有する補間領域で補間する補間手段とを備えることを特徴とする。

前記画素値は、前記利用者又は前記利用者の背景を撮像した参照画像に基づいて定められていてもよい。

あるいは、前記画素値は、前記撮像画像の前記ノイズ領域に隣接する周辺領域が有する画素値に基づいて定められていてもよい。

本発明に係るヘッドアップディスプレイ装置によれば、外光が入射しても利用者の目の位置を高精度に検出することができる。

発明を実施するための形態に係るヘッドアップディスプレイ装置を示す説明図である。 車両の運転者の正常な撮像画像を示す説明図である。 図１のヘッドアップディスプレイ装置に外光が侵入する様子を示す説明図である。 ノイズ領域が含まれた撮像画像を示す説明図である。 図１のヘッドアップディスプレイ装置の制御部の処理を示す流れ図である。 車両の運転者を撮像した参照画像中の補間領域による撮像画像の補間を示す説明図である。 撮像画像中の補間領域による撮像画像の補間を示す説明図である。

本発明を実施するための形態について、図面に基づいて説明する。

図１に示すように、本実施の形態に係るヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ_１を投影する。表示光Ｌ_１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。

また、ＨＵＤ１は、運転者Ｄに赤外光Ｌ_２を投影して運転者Ｄを撮像し、撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能である。

詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で形成された透光部４が設けられている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている。

表示ユニット５は、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ_１）を投影表示する。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。

赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して透光部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光を凹面鏡７に向けて照射する。カメラ９は、例えば赤外線フィルタを有し、赤外線の波長域の映像を撮影する。

制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。

また、制御部１０は、カメラ９により撮影された映像（撮像画像）を公知の顔部位検出技術を適用して解析し、運転者Ｄの目Ｅの位置を検出して検出結果をＨＵＤ１の外部に出力する。この検出結果は、例えば、運転者Ｄの脇見や居眠り等の状態検出に利用可能である。

表示ユニット５からの表示光Ｌ_１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、透光部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ_１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。

一方、赤外光照射ユニット８からの赤外光Ｌ_２は、凹面鏡７を透過し、透光部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ_２の一部は逆の経路を辿り、凹面鏡７を透過してカメラ９に入射した赤外光Ｌ_２により運転者Ｄが撮像され、その撮像画像が制御部１０に入力される。

制御部１０は、運転者Ｄの撮像画像が入力されると、まず撮像画像のノイズが表れた（現れた）ノイズ領域を検出し、ノイズ領域があるとノイズ領域を補間し、補間した撮像画像に基づいて運転者Ｄの目Ｅの位置を検出する。

すなわち、本来は、図２に示すような運転者Ｄの撮像画像Ｐが得られるはずであるが、図３に示すように、太陽光等の強い外光Ｌ_３の赤外成分がフロントウインドシールド２、透光部４、凹面鏡７を透過してカメラ９に入射すると、図４に示すように、撮像画像Ｐには、白飛びしたノイズ領域Ｎが生じ、運転者Ｄの目Ｅの位置の検出に支障を来すことがある。

そこで、図５に示すように、制御部１０は、運転者Ｄの撮像画像に基づいて目Ｅの位置の検出を行い（ステップ１（図５において「Ｓ．１」と記載。以下同様。））、検出に成功した場合には（ステップ２）、その撮像画像をメモリに保存し（ステップ３）、検出結果を出力する（ステップ４）。

ステップ２で目Ｅの位置の検出に失敗したと判断すると、制御部１０は、外光Ｌ_３によるノイズ領域Ｎの有無を検出し（ステップ５）、ノイズ領域Ｎがある場合には（ステップ６）、撮像画像Ｐ中のノイズ領域Ｎの画素値を所定の補間領域Ｉの画素値で補間し（ステップ７）、補間した撮像画像Ｐに基づいて目Ｅの位置を検出するとともに（ステップ８）、補間した撮像画像Ｐをメモリに保存し（ステップ９）、検出結果を出力する（ステップ４）。また、ステップ６でノイズ領域Ｎがないと判断すると、制御部１０は、検出に失敗した旨の検出結果を出力する（ステップ４）。

補間領域Ｉの画素値については、制御部１０が、カメラ９により運転者Ｄをあらかじめ撮像した図６に示すような参照画像Ｐ_０をメモリに記憶し、参照画像Ｐ_０においてノイズ領域Ｎに対応する参照領域を特定した上で、参照領域を補間領域Ｉとして、参照領域の各画素値を補間領域Ｉの各画素値とすることができる。

あるいは、図７に示すように、制御部１０が、撮像画像Ｐのノイズ領域Ｎに隣接する周辺領域を補間領域Ｉとして、周辺領域の各画素値を補間領域Ｉの各画素値とすることもできる。

本実施の形態に係るＨＵＤ１では、制御部１０が、撮像画像Ｐのノイズが表れたノイズ領域Ｎを検出するとともに、運転者Ｄ（ここでは、運転者Ｄの肌）を表す画素値を有する補間領域Ｉでノイズ領域Ｎを補間するので、ノイズ領域Ｎの存在により運転者Ｄの目Ｅの位置の検出に失敗する確率が低減し、外光Ｌ_３が入射しても目Ｅの位置を高精度に検出することが可能となる。

また、参照画像Ｐ_０の参照領域を補間領域Ｉとする場合には（図６参照）、撮像画像Ｐにおいて運転者Ｄの顔の特徴的な部分にノイズ領域Ｎが重なったとしても、補間領域Ｉによる補間でその特徴的な部分が再現され、撮像画像Ｐの周辺領域を補間領域Ｉとする場合には（図７参照）、撮像画像Ｐとは別途に参照画像Ｐ_０を撮像して記憶する必要性をなくすことができる。

以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。

例えば、上記実施の形態では、車両のフロントウインドシールドを反射透光部材として表示光を投影したが、フロントウインドシールドに代えてコンバイナを用いてもよい。

また、補間領域Ｉの画素値は、参照領域や周辺領域の対応する画素値に基づいて定めるのではなく、参照領域や周辺領域の平均的な画素値に基づいて定めても、人の肌の平均的な色を表す画素値に基づいて定めてもよい。

さらに、撮像画像Ｐにおいてノイズ領域Ｎが運転者Ｄの顔の位置ではなく運転者Ｄの背景の位置にあって、目Ｅの位置の検出を困難にしている場合には、補間領域Ｉの画素値は背景を表す画素値（参照画像Ｐ_０における背景Ｄ_１の画像の輝度等）に合わせて定めればよい。

１ ヘッドアップディスプレイ装置
２ フロントウインドシールド（反射透光部材）
５ 表示ユニット
８ 赤外光照射ユニット
９ カメラ
１０ 制御部（ノイズ領域検出手段、補間手段）
Ｄ 運転者（利用者）
Ｄ_１ 背景
Ｅ 目
Ｉ 補間領域
Ｌ_１ 表示光
Ｌ_２ 赤外光
Ｎ ノイズ領域
Ｐ 撮像画像
Ｐ_０ 参照画像
Ｖ 虚像

Claims (3)

1. 車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の目の位置を検出可能なヘッドアップディスプレイ装置であって、
   前記撮像画像のノイズが表れたノイズ領域を検出するノイズ領域検出手段と、
   前記ノイズ領域を前記利用者又は前記利用者の背景を表す画素値を有する補間領域で補間する補間手段とを備えることを特徴とするヘッドアップディスプレイ装置。
2. 前記画素値は、前記利用者又は前記利用者の背景を撮像した参照画像に基づいて定められていることを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
3. 前記画素値は、前記撮像画像の前記ノイズ領域に隣接する周辺領域が有する画素値に基づいて定められていることを特徴とする請求項１に記載のヘッドアップディスプレイ装置。

Images