JP2019073073A - 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 - Google Patents

Abstract

【課題】 運転者に違和感を与えない又はその違和感を軽減させる。【解決手段】 例えば表示コントローラ２００に適用される画像処理ユニットは、車両（自車両）の前方に存在し、且つ車両の運転者の視点で第１の虚像Ｖ１と重ねられる実際の風景部分である第１の背景領域の背景明るさを判定する判定部２２０と、背景明るさに基づく画像明るさを有し、且つ運転者によって視認される第１の虚像Ｖ１に対応する表示要素（を含む表示画像）を生成する生成部２３０を備える。判定部２２０によって判定された第１の背景領域内の背景明るさが複数のレベルを有する時に、生成部２３０は、複数のレベルのうちの第１のレベル（例えば、最大の面積又は最大の輝度に対応する最大レベル）のみに基づく画像明るさを有する第１の表示要素を生成する。【選択図】 図３

Description

本発明は、背景輝度に基づく表示画像を生成可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置等に関する。

例えば特許文献１のヘッドアップディスプレイ用の輝度制御システム（ヘッドアップディスプレイ装置）は、車両の前方に存在する風景（例えば照明されたトンネル）と虚像が重なるように、その虚像に対応する表示画像を車両のウインドシールド（フロントガラス）に投影又は表示することができる。特に、特許文献１の輝度制御システム（ヘッドアップディスプレイ装置）は、表示画像の先にある風景の輝度（外部の輝度）を評価して、ヘッドアップディスプレイ（表示画像）の輝度を調整することができる（特許文献１の要約書及び段落［００４４］参照）。具体的には、照明されたトンネル（実際の風景）に対応する輝度を検知し、照明されたトンネルに適した輝度設定ポイントを採用することができる。これにより、照明されたトンネルに車両が進入する時に、夜間の運転中の輝度値よりも高い輝度で、表示画像を表示することができる（特許文献１の段落［００１１］参照）。

例えば特許文献２の車両用視覚情報呈示装置（ヘッドアップディスプレイ装置）は、背景輝度推定手段を備え、画像制御手段は、推定された前方風景内の複数点の輝度に基づき、表示画像の輝度を制御することができる（特許文献２の要約書参照）。特に、特許文献２の車両用視覚情報呈示装置（ヘッドアップディスプレイ装置）は、表示画像の先にある風景（領域）を複数の領域部分に分割し、例えば、経路誘導のための矢印表示が先行車両のブレーキランプ又は対向車両のヘッドランプ照射範囲と重なる時に、表示画像の輝度を高くしないで、表示画像の表示位置を低い輝度を有する領域部分に移動させることができる（特許文献２の段落［００３２］参照）。言い換えれば、表示画像の輝度が分割された領域部分（背景）の輝度に対して十分な差を有しない時に、他の複数の領域部分の優先順位に従って、表示画像の位置を他の領域部分に移動させることができる（特許文献２の段落［００３２］参照）。

特表２０１７−５０４５１５号公報 特開２００８−００１１８２号公報

しかしながら、発明者らは、経路誘導のための矢印表示等のコンテンツ（表示画像の表示要素）が明るい背景（高い背景輝度）と暗い背景（低い背景輝度）とに及び得ることを認識した。言い換えれば、コンテンツ（表示要素）の表示要素範囲が比較的に大きい又は長い時に、異なる背景輝度を有する複数の領域部分とそのコンテンツの虚像とが重なり得ることを認識した。

特許文献１の輝度制御システム（ヘッドアップディスプレイ装置）では、背景（実際の風景）が全体として明るいか否かを判断しているに過ぎず、このような状況に対応することができない。特許文献２の車両用視覚情報呈示装置（ヘッドアップディスプレイ装置）では、コンテンツの表示位置が移動するので、運転者に違和感を与える恐れがある。また、コンテンツの表示要素範囲が比較的に大きい又は長く、且つ、分割された領域部分（背景）が比較的に小さい又は短い時に、特許文献２の車両用視覚情報呈示装置（ヘッドアップディスプレイ装置）では、このような状況に対応することができない。

本発明の１つの目的は、異なる背景輝度を有する複数の領域部分にコンテンツ（表示要素）を表示する際に、運転者に違和感を与えない又はその違和感を軽減可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、画像処理ユニットは、
車両の前方に存在し、且つ前記車両の運転者の視点で第１の虚像と重ねられる実際の風景部分である第１の背景領域の背景明るさを判定する判定部と、
前記背景明るさに基づく画像明るさを有し、且つ前記運転者によって視認される前記第１の虚像に対応する第１の表示要素を生成する生成部と、
を備え、
前記判定部によって判定された前記第１の背景領域内の前記背景明るさが複数のレベルを有する時に、前記生成部は、前記複数のレベルのうちの第１のレベルのみに基づく前記画像明るさを有する前記第１の表示要素を生成する。

第１の態様では、背景領域（表示要素に対応する実際の風景部分）の背景明るさが複数のレベルを有する時に、言い換えれば、表示要素の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、表示要素の画像明るさは、単一のレベルのみに基づく。従って、運転者は、単一化された画像明るさを有する表示要素の虚像を認識するので、その表示要素（虚像）を１つのコンテンツ又は同じコンテンツとして認識することができ、運転者に違和感を与えない又はその違和感を軽減可能である。

第１の態様に従属する第２の態様において、
前記判定部は、前記車両の前方に存在し、且つ前記運転者の視点で第２の虚像と重ねられる実際の風景部分であり、且つ前記第１の背景領域とは異なる第２の背景領域の背景明るさを更に判定してもよく、
前記判定部によって判定された前記第２の背景領域内の前記背景明るさが前記複数のレベルのうちの前記第１のレベルと異なる第２のレベルを有する時に、前記生成部は、前記第２のレベルに基づく画像明るさを有し、且つ前記第２の虚像に対応する第２の表示要素を生成してもよい。

第２の態様では、第１の背景領域及び第２の背景領域の双方が第２のレベル（同一の背景明るさ）を有する時に、（ａ）第２の表示要素の画像明るさが第２のレベルに基づく一方、（ｂ）第１の表示要素の画像明るさが第１のレベルのみに基づく。

言い換えれば、（ａ）表示要素の画像明るさは、原則として、背景明るさに基づく一方、（ｂ）表示要素の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、例外として、表示要素の画像明るさは、単一のレベル（第１のレベル）のみに基づく。このような例外的な処理は、運転者に違和感を与えない又はその違和感を軽減する。

第１又は第２の態様に従属する第３の態様において、
前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の面積は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の面積よりも大きく、且つ最大であってもよい。

第３の態様では、表示要素の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、表示要素の画像明るさは、単一のレベル（第１のレベル）のみに基づき、その第１のレベルに対応する背景領域部分の面積は、最大である。表示要素の画像明るさが最大面積に基づくので、運転者は、その表示要素を全体として、１つのコンテンツ又は同じコンテンツとして認識し易い。

第１乃至第３の何れか１つの態様に従属する第４の態様において、
前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の輝度は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の輝度よりも大きく、且つ最大であってもよい。

第４の態様では、表示要素の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、表示要素の画像明るさは、単一のレベル（第１のレベル）のみに基づき、その第１のレベルに対応する背景領域部分の輝度は、最大である。表示要素の画像明るさが最大輝度に基づくので、運転者は、その表示要素を全体として、１つのコンテンツ又は同じコンテンツとして認識し易い。

第１又は第２の態様に従属する第５の態様において、
前記判定部は、前記車両の前方に存在し、且つ前記運転者の視点で第３の虚像と重ねられる実際の風景部分であり、且つ前記第１の背景領域とは異なる第３の背景領域の背景明るさを更に判定してもよく、
前記判定部によって判定された前記第３の背景領域内の前記背景明るさが複数のレベルを有する時に、前記生成部は、前記複数のレベルのうちの最大の面積又は最大の輝度に対応する最大レベルのみに基づく前記画像明るさを有する前記第３の表示要素を生成してもよく、
前記第３の表示要素の優先度が前記第１の表示要素の優先度よりも高い時に、前記第１の表示要素の前記画像明るさの元である前記第１のレベルは、前記最大レベルよりも低くてもよい。

第５の態様では、高い優先度を有する表示要素（第３の表示要素）の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、高い優先度を有する表示要素の画像明るさは、単一のレベル（最大のレベル）のみに基づく。他方、低い優先度を有する表示要素（第１の表示要素）の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、低い優先度を有する表示要素の画像明るさは、単一のレベル（最大のレベルよりも低い第１のレベル）のみに基づく。従って、運転者は、高い優先度を有する表示要素（第３の表示要素）を認識し易いと同時に、運転者に違和感を与えない又はその違和感を軽減する。

第５の態様に従属する第６の態様において、
前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の輝度は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の輝度よりも小さく、且つ最小であってもよい。

第６の態様では、低い優先度を有する表示要素（第１の表示要素）の画像明るさは、単一のレベル（第１のレベル）のみに基づき、その第１のレベルに対応する背景領域部分の輝度は、最小である。低い優先度を有する表示要素（第１の表示要素）の画像明るさが最小輝度に基づく一方、高い優先度を有する表示要素（第３の表示要素）の画像明るさは、第１のレベル（最小のレベル）よりも高い単一のレベル（最大のレベル）のみに基づく。従って、運転者は、それらの表示要素（第３の表示要素及び第１の表示要素）を全体として認識し易いとともに、高い優先度を有する表示要素（第３の表示要素）を低い優先度を有する表示要素（第１の表示要素）よりも強調することができる。

第７の態様において、ヘッドアップディスプレイ装置は、
第１乃至第６の何れか１つの態様に従う前記画像処理ユニットと、
前記画像処理ユニットで生成された前記第１の表示要素を含む表示画像を表示する表示器と、
を備える。

第７の態様では、ヘッドアップディスプレイ装置は、表示要素の表示要素範囲が異なるレベル（異なる背景明るさ）を有する複数の背景領域部分に及ぶ又はそれらを跨ぐ時に、単一のレベル（第１のレベル）のみに基づき、表示要素の画像明るさを単一化することができる。従って、運転者は、単一化された画像明るさを有する表示要素の虚像を認識するので、その表示要素（虚像）を１つのコンテンツ又は同じコンテンツとして認識することができ、運転者に違和感を与えない又はその違和感を軽減可能である。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、本発明に従う画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置の概略構成例を示し、図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図３（Ａ）は、ウインドシールドを介して認識される実際の風景（道路、車両等）の１例を示し、図３（Ｂ）は、図３（Ａ）の道路に重畳される虚像（表示要素）の１例（比較例）を示し、図３（Ｃ）は、図３（Ａ）の道路に重畳される虚像（表示要素）の１例（実施例）を示す。 図４（Ａ）は、ウインドシールドを介して認識される実際の風景（道路、車両等）のもう１つの例を示し、図４（Ｂ）は、図４（Ａ）の道路及び車両に重畳される虚像（表示要素）の１例（比較例）を示し、図４（Ｃ）は、図４（Ａ）の道路及び車両に重畳される虚像（表示要素）の１例（実施例）を示す。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１（Ａ）は、本発明に従う画像処理ユニットを備えるヘッドアップディスプレイ装置（又はヘッドアップディスプレイシステム）の概略構成例を示す。図１（Ａ）に示されるように、ヘッドアップディスプレイシステムは、例えば撮像装置１０３と、撮像装置１０３からの撮像画像を処理する画像処理部３００と、画像処理部３００からの情報に基づき表示器２０への表示画像を処理し、且つ表示画像に基づき表示器２０を制御する表示コントローラ２００と、例えば表示器２０及び反射器２１を含む表示機構１００と、を備えることができる。なお、図１（Ａ）の表示コントローラ２００の処理部２１０は、表示器２０を制御する機能を有さないで、その機能は、他の装置（図示せず）、又は、図示される例えば表示器２０又は画像処理部３００によって実現されてもよい。

本明細書において、運転者によって視認される虚像に対応する表示要素を含む表示画像を生成する生成部２３０の機能を備える装置は、本発明に従う画像処理ユニットと呼ぶことができる。１例として、生成部２３０は、図１（Ａ）の表示コントローラ２００に適用されているので、生成部２３０を備える表示コントローラ２００は、画像処理ユニットである。画像処理ユニットは、本質的には、表示画像を処理する機能（生成部２３０）と、背景明るさを判定する機能（判定部２２０）とを有するが、撮像画像を処理する機能（物体情報取得部３１０及び／又は視点情報取得部３２０）を更に有してもよい。言い換えれば、画像処理部３００が表示要素（を含む表示画像）を生成する生成部２３０の機能及び背景明るさを判定する判定部２２０の機能を備える時に、その画像処理部３００は、本発明に従う画像処理ユニットと呼ぶことができる。

また、本発明に従う画像処理ユニット（例えば図１（Ａ）表示コントローラ２００）と、画像処理ユニットで生成された表示要素を含む表示画像を表示する表示器２０と、を備える装置は、本発明に従うヘッドアップディスプレイ装置と呼ぶことができる。

図１（Ａ）において、撮像装置１０３は、１例として、例えば車両の前方に存在する道路（道路上の実際の風景）を撮像可能である第１の撮像部１０３−１と、運転者の顔を撮像可能である第２の撮像部１０３−２と、を有している。表示機構１００は、車両のウインドシールド１０１の例えば一部に設定される表示範囲ＡＷ（被投影部材）に表示画像（表示要素を含む）を投影して、車両の運転者の視点１０２で表示要素の虚像表示面Ｖ上の虚像が実際の風景（例えば、道路、前方車両等）と重なるように表示画像を表示範囲ＡＷに表示可能である。表示機構１００及び表示コントローラ２００は、典型的にはダッシュボードの内部に収納されているが、表示機構１００及び表示コントローラ２００の一部がダッシュボードの外部に配置されてもよい。なお、表示器２０は、例えばウインドシールド１０１に表示要素又は表示画像を投影するので、投影器と呼ばれてもよい。

図１（Ａ）の画像処理部３００は、第１の撮像部１０３−１からの撮像画像を入力し、表示範囲ＡＷに対応する撮像画像を取得し、表示コントローラ２００又は処理部２１０に送信することができる。

加えて、図１（Ａ）の画像処理部３００は、第１の撮像部１０３−１からの撮像画像を解析し、その撮像画像から、表示要素に重ねられる障害物（前方車両、対向車両、歩行者等）等の物体を認識可能な物体情報取得部３１０を有することができる。好ましくは、物体情報取得部３１０は、認識した物体（例えば前方車両）の位置情報を取得することができる。なお、第１の撮像部１０３−１は、例えばステレオカメラであり、物体情報取得部３１０は、左右の撮像画像から、物体と車両（自車両）との距離（自車両から物体までの相対距離）を取得することができる。

また、図１（Ａ）の画像処理部３００は、第２の撮像部１０３−２からの撮像画像を解析し、その撮像画像から、運転者の目を認識可能な視点情報取得部３２０を有することができる。好ましくは、視点情報取得部３２０は、認識した目の位置情報（例えば自車両の室内の天井、又は、床、又は、天井と床との間の所定の位置を基準とした時の実空間での相対的な１次元の位置（視点高さ））を取得することができる。

撮像装置１０３は、例えば図示されないインナーリアビューミラー（バックミラー）の付近に設置されている。１例として、第１の撮像部１０３−１は、インナーリアビューミラーのウインドシールド１０１側に位置し、第２の撮像部１０３−２は、インナーリアビューミラーの運転席（図示せず）側に位置する。

図１（Ａ）の表示コントローラ２００は、処理部２１０を有している。処理部２１０は、例えば判定部２２０及び生成部２３０を有することができる。処理部２１０又は判定部２２０は、車両（自車両）の前方に存在し、且つ車両（自車両）の運転者の視点１０２で虚像と重ねられる実際の風景部分である背景領域（表示範囲ＡＷに対応する撮像画像）の背景明るさ（輝度）を判定することができる。次に、処理部２１０又は生成部２３０は、運転者によって視認される虚像に対応する表示要素を含む表示画像を生成し、ここで、表示要素は、背景明るさに基づく画像明るさを有する。

なお、処理部２１０又は生成部２３０は、車両の運転者の視点１０２の移動（視点情報取得部３２０によって認識される目の位置の動き）に応じて又は追従して、表示要素の虚像が、常に、実際の風景部分（物体情報取得部３１０によって取得される例えば前方車両）と重なるように、その表示要素を含む表示画像を生成してもよい。即ち、車両の運転者の視点１０２の位置情報は、動的であってもよい。

代替的に、車両の運転者の視点１０２の位置情報は、静的であってもよく、従って、処理部２１０又は生成部２３０は、固定された運転者の視点１０２で、表示要素の虚像が、実際の風景部分（物体情報取得部３１０によって取得される例えば前方車両）と重なるように、その表示要素を含む表示画像を生成してもよい。

図１（Ａ）の表示コントローラ２００は、例えば記憶部２４０を更に備え、記憶部２４０は、例えば判定部２２０、生成部２３０等の処理部２１０の処理又は演算に必要な様々なデータを記憶することができる。表示コントローラ２００は、典型的には例えばマイクロコンピュータで構成され、例えばＣＰＵと、ＲＯＭ、ＲＡＭ等のメモリと、入出力インターフェース等を含むことができる。処理部２１０は、典型的にはＣＰＵ及びＲＡＭ（ワーク領域）で構成され、記憶部２４０は、典型的にはＲＯＭ（例えばＥＥＰＲＯＭ）で構成される。例えば、ＲＯＭは、ＣＰＵに所定の動作（背景明るさに基づく画像明るさを有する表示画像を生成する方法）を実行させるプログラムを記憶してもよく、ＲＡＭは、ＣＰＵのワーク領域を形成することができる。また、ＲＯＭは、例えば表示要素の形状を決定又は演算するために必要なデータを記憶することができる。

表示コントローラ２００は、車両に配置又は搭載され、例えばＣＡＮ（Controller Area Network）である車載ネットワークＬＡＮを介して、例えば画像処理部３００等に接続されている。表示コントローラ２００は、一般に、ＥＣＵ（Electronic Control Unit）と呼ばれてもよい。

図１（Ａ）の表示コントローラ２００は、例えば情報取得部４００からの情報を入力し、その情報に基づき、運転者によって視認される虚像に対応する表示要素を含む表示画像を生成することができる。具体的には、情報取得部４００は、車両（自車両）が目的地に到着するまでの経路を誘導可能なナビゲーション機能を有し、例えば経路誘導のための矢印表示等の表示要素（コンテンツ）及びその表示要素範囲を表示コントローラ２００又は処理部２１０に送信することができる。なお、情報取得部４００は、例えば道路情報取得部４１０及び位置情報取得部４２０を備え、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ、道路情報取得部４１０及び位置情報取得部４２０を介して、車両（自車両）の位置（例えば現在位置）から目的地までの道路（レーン）の種類、数等の地図情報に基づく矢印表示等の表示要素（コンテンツ）等のナビゲーション情報を入力することができる。

情報取得部４００からのナビゲーション情報に基づき生成された表示要素の投影位置は、ウインドシールド１０１に設定される表示範囲ＡＷの所定の位置に設定されてもよく、好ましくは、車両の運転者の視点１０２で所定の物体（実際の風景としての例えば走行中レーン、右折用レーン等の道路）の上に重ねられる。

なお、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ及び車速情報取得部４３０を介して、車両（自車両）の速度等の計器情報を入力してもよい。現在時刻に基づく車両（自車両）の速度が、生成部２３０に入力されて、計器情報に基づき生成された表示要素（例えば、車両の速度）は、ウインドシールド１０１に設定される表示範囲ＡＷの一部（例えば左下角部）に固定されて、表示されてもよい。

図１（Ａ）において、表示機構１００又は表示器２０は、ウインドシールド１０１を介して虚像表示面Ｖ上の虚像を運転者に視認させるために、表示コントローラ２００又は処理部２１０によって制御され、これにより、表示器２０は、虚像に対応する表示要素を含む表示画像に基づく表示光Ｌ（投影光）を生成又は放出することができる。反射器２１は、表示器２０からの表示光Ｌの光路をウインドシールド１０１に導き、運転者は、ウインドシールド１０１での表示光Ｌ（表示要素）を虚像として認識することができる。なお、表示器２０は、例えばＬＥＤ等の光源部、例えばＤＭＤ（Digital Micromirror Device）等の表示素子、表示素子からの光を受光して表示画像（表示要素を含む）を表示するスクリーン等を有する。

画像処理ユニットである表示コントローラ２００及び例えば表示機構１００を備えるヘッドアップディスプレイ装置が搭載される車両（自車両）は、図１（Ａ）において例えば自動車であり、自動車は道路面Ｈの上を走行可能である。運転者の視点１０２で、図１（Ａ）の虚像表示面Ｖの高さ又は奥行き（重畳距離）は、例えば距離Ｄ１から距離Ｄ３までの所定距離に設定されている。言い換えれば、運転者の視点１０２で、虚像表示面Ｖの下端は、車両から距離Ｄ１だけ前方に存在し、虚像表示面Ｖの上端は、車両から距離Ｄ３だけ前方に存在し、虚像表示面Ｖの上下方向の中点は、車両から距離Ｄ２だけ前方に存在している。距離Ｄ１、距離Ｄ２及び距離Ｄ３は、それぞれ、例えば２０［ｍ］、例えば３０［ｍ］及び例えば５０［ｍ］である。

図１（Ａ）において、１つの反射器２１が示されているが、反射器２１は、例えば２つの反射器で構成することができ、言い換えれば、表示器２０からウインドシールド１０１までの表示光Ｌの光路長は、反射器２１によって設定されてもよく、距離Ｄ１、距離Ｄ２及び距離Ｄ３は、理想的な運転者の視点高さ（理想的な運転者の座高の高さ）及び表示光Ｌの光路長に応じて設定されてもよい。また、反射器２１は、一般に、表示器２０からの表示光Ｌを拡大し、加えて、反射器２１又は表示コントローラ２００（例えば処理部２１０）は、一般に、ウインドシールド１０１の一部に設定される表示範囲ＡＷにおける歪み（例えばガラス面の歪み）を補正することができる。

図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。表示要素の虚像は、例えば、道路面Ｈから所定高さだけ上昇した虚像表示面Ｖ上に認識され、例えば、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇した仮想平面Ｓに設定される。なお、虚像表示面Ｖは、道路面Ｈと平行に設定されないで、道路面Ｈから所定の角度だけ傾いてもよい。虚像表示面Ｖの傾きは、スクリーン（表示器２０が表示画像を表示する表示面）又は反射器２１の角度によって設定されている。

反射器２１を回転駆動可能なアクチュエータ（図示せず）が反射器２１に設けられていてもよく、その場合、表示コントローラ２００の処理部２１０は、そのアクチュエータを制御して、虚像表示面Ｖの傾きを調整してもよい。図１（Ａ）又は図１（Ｂ）の例において、虚像表示面Ｖは、道路面Ｈとほぼ平行であり、道路面Ｈからの虚像表示面Ｖの傾きは、１例として、０［ｄｅｇｒｅｅ］から３０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。

図１（Ａ）又は図１（Ｂ）において、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇しているが、道路面Ｈに設定されてもよい。また、仮想平面Ｓは、道路面Ｈから所定高さだけ上昇している。

図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。図２（Ａ）又は図２（Ｂ）の例において、虚像表示面Ｖ’は、道路面Ｈとほぼ垂直であり、道路面Ｈからの虚像表示面Ｖの傾きθ’は、１例として、８０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。図２（Ａ）において、運転者の視点１０２で、虚像表示面Ｖ’上の虚像によって重ねられる実際の風景の範囲（重畳距離）は、例えば距離Ｄ１’から距離Ｄ３’までの所定距離に設定されている。なお、図２（Ａ）の距離Ｄ１’、距離Ｄ２’及び距離Ｄ３’が、それぞれ、図１（Ａ）の距離Ｄ１、距離Ｄ２及び距離Ｄ３と同一となるように、表示光Ｌの光路長及び反射器２１の角度が設定されてもよい。また、図２（Ａ）の仮想平面Ｓは、道路面Ｈから所定高さだけ上昇している。

なお、虚像表示面は、図１（Ａ）の虚像表示面Ｖ又は図２（Ａ）の虚像表示面Ｖ’に限定されず、例えば特開２０１４−１８１０２５号公報、特開２０１６−０６８５７６号公報、特開２０１６−２１２３３８号公報に開示されるように、複数の虚像表示面の組み合わせであってもよい。言い換えれば、虚像表示面は、実空間での任意の平面に設定してもよく、いわゆる３Ｄヘッドアップディスプレイ装置の虚像表示面であってもよい。

図３（Ａ）は、ウインドシールド１０１を介して認識される実際の風景（道路、車両ＯＢ１，ＯＢ２等）の１例を示す。図３（Ａ）に示されるように、運転者は、例えば片側二車線の道路を自車両で走行し、例えば前方を走行する前方車両ＯＢ１を認識することができる。また、運転者は、対向車線の道路を走行する対向車ＯＢ２も認識することができる。図３（Ａ）の例において、時間帯は、夜間であり、従って、道路面Ｈ上の自車両のヘッドライトの点灯光及び対向車のヘッドライトの点灯光も図示されている。

この時、例えば図１（Ａ）の物体情報取得部３１０は、自車両の前方に存在する道路上の物体として、車両（前方車両ＯＢ１及び対向車ＯＢ２）を認識し、認識した物体の位置情報を取得することができる。好ましくは、物体情報取得部３１０又は第１の撮像部１０３−１は、例えば赤外線カメラ等を含み、夜間での車両も認識することができる。

図３（Ｂ）は、図３（Ａ）の道路（走行中レーン及び右折用レーン）に重畳される虚像Ｖ１及びＶ２（表示要素）の１例（比較例）を示す。例えば図１（Ａ）の判定部２２０は、情報取得部４００からのナビゲーション情報（具体的には、矢印表示）を取得し、虚像Ｖ１及びＶ２に対応する表示要素（経路誘導のための矢印表示：垂直に２回曲がった矢印及びまっすぐな矢印）の表示要素範囲が重なる背景領域（実際の風景部分：虚像Ｖ１及びＶ２に対応する撮像画像）の背景明るさを判定することができる。なお、虚像Ｖ１及びＶ２は、例えば図１（Ｂ）の仮想平面Ｓと一致する虚像表示面Ｖ上に形成される。

図３（Ｂ）の例において、虚像Ｖ２に対応するまっすぐな矢印の下の右折用レーンの明るさ（背景明るさ）は暗く、生成部２３０は、その明るさ（暗い）に基づく画像明るさを有する表示要素（暗く、まっすぐな矢印）を生成し、運転者の視点１０２で、虚像Ｖ２が右折用レーン上に表示されるように、虚像Ｖ２に対応する表示要素の位置情報を決定することができる。

加えて、図３（Ｂ）の例において、虚像Ｖ１に対応する垂直に２回曲がった矢印の下の走行中レーン及び右折用レーンの明るさ（背景明るさ）は明るい部分と暗い部分を有し、生成部２３０は、その明るさ（明るい部分と暗い部分）に基づく画像明るさを有する表示要素（先端部分だけが暗く、その他は明るい、垂直に２回曲がった矢印）を生成し、運転者の視点１０２で、虚像Ｖ１が走行中レーン及び右折用レーン上に表示されるように、虚像Ｖ１に対応する表示要素の位置情報を決定することができる。なお、虚像Ｖ１に対応する垂直に２回曲がった矢印は、車両（自車両及び対向車ＯＢ２）のヘッドライトの点灯光の照射範囲に応じて明るい部分を有している。

図３（Ｂ）の例において、虚像Ｖ１に対応する表示要素の画像明るさは、明るい部分及び暗い部分を有するので、本発明者らは、運転者がその虚像Ｖ１を１つのコンテンツ又は同じコンテンツとして認識できない恐れを認識した。言い換えれば、本発明者らは、虚像Ｖ１が運転者に違和感を与える恐れを認識した。

図３（Ｃ）は、図３（Ａ）の道路（走行中レーン及び右折用レーン）に重畳される虚像Ｖ１及びＶ２（表示要素）の１例（実施例）を示す。虚像Ｖ１に対応する垂直に２回曲がった矢印の下の走行中レーン及び右折用レーンの明るさ（背景明るさ）は明るい部分と暗い部分を有する時に、言い換えれば、判定部２２０が虚像Ｖ１の背景領域の背景明るさが複数のレベルを有することを判定する時に、生成部２３０は、単一化された画像明るさ（明るい）を有する表示要素（図３（Ｃ）の例において、すべてが明るい、垂直に２回曲がった矢印）を生成することができる。運転者は、単一化された画像明るさを有する表示要素の虚像Ｖ１を認識するので、その表示要素（虚像Ｖ１）を１つのコンテンツ又は同じコンテンツとして認識することができ、運転者に違和感を与えない又はその違和感を軽減可能である。

なお、図３（Ｂ）の例において、判定部２２０は、物体情報取得部３１０からの車両（前方車両ＯＢ１及び対向車ＯＢ２）の位置情報を取得し、前方車両ＯＢ１及び対向車ＯＢ２等の障害物が車両（自車両）の走行に影響を与えるか否かを判定することができる。言い換えれば、判定部２２０は、前方車両ＯＢ１が車両（自車両）に接近しているか否かを判定することができ、１例として、自車両から前方車両ＯＢ１までの相対距離が所定値以上である時に、前方車両ＯＢ１が車両（自車両）に接近していないことを判定することができる。また、判定部２２０は、対向車ＯＢ２が逆走しているか否かを判定することができ、１例として、対向車ＯＢ２が対向レーンを走行している時に、或いは、対向車ＯＢ２が走行中レーン及び右折用レーンを走行していない時に、対向車ＯＢ２が逆走していないと判定することができる。

前方車両ＯＢ１及び対向車ＯＢ２等の障害物が車両（自車両）の走行に影響を与えない時に、生成部２３０は、前方車両ＯＢ１及び対向車ＯＢ２等と重なる虚像に対応する表示要素を生成しない。

図４（Ａ）は、ウインドシールド１０１を介して認識される実際の風景（道路、車両ＯＢ１，ＯＢ２等）のもう１つの例を示す。図３（Ａ）では前方車両ＯＢ１が車両（自車両）に接近していない一方、図４（Ａ）では前方車両ＯＢ１が車両（自車両）に接近している。

図４（Ｂ）は、図４（Ａ）の道路（走行中レーン及び右折用レーン）及び車両（前方車両ＯＢ１）に重畳される虚像Ｖ１、Ｖ２及びＶ３（表示要素）の１例（比較例）を示す。図４（Ｂ）の例において、判定部２２０は、１例として、自車両から前方車両ＯＢ１までの相対距離が所定値未満である時に、前方車両ＯＢ１が車両（自車両）に接近していることを判定することができる。これに応じて、生成部２３０は、前方車両ＯＢ１と重なる虚像Ｖ３に対応する表示要素（注意喚起のための環表示：上部が車体の下に隠れる楕円環）を生成することができる。なお、虚像Ｖ３は、例えば図１（Ｂ）の仮想平面Ｓと一致する虚像表示面Ｖ上に形成される。

この時、判定部２２０は、虚像Ｖ３に対応する表示要素（上部が車体の下に隠れる楕円環）の表示要素範囲が重なる背景領域（実際の風景部分：虚像Ｖ３に対応する撮像画像）の背景明るさを判定することができる。

図４（Ｂ）の例において、虚像Ｖ３に対応する楕円環の下（前方車両ＯＢ１の下部周辺）の走行中レーンの明るさ（背景明るさ）は明るい部分と暗い部分を有し、生成部２３０は、その明るさ（明るい部分と暗い部分）に基づく画像明るさを有する表示要素（ほぼ下半分だけが明るく、その他（前方車両ＯＢ１の両側部）は暗い、上部が車体の下に隠れる楕円環）を生成し、運転者の視点１０２で、虚像Ｖ２が走行中レーン上に、前方車両ＯＢ１の周辺に、表示されるように、虚像Ｖ３に対応する表示要素の位置情報を決定することができる。なお、虚像Ｖ３に対応する楕円環は、車両（自車両）のヘッドライトの点灯光の照射範囲に応じて明るい部分を有している。

図４（Ｂ）の例において、虚像Ｖ３に対応する表示要素の画像明るさは、明るい部分及び暗い部分を有するので、本発明者らは、運転者がその虚像Ｖ３を１つのコンテンツ又は同じコンテンツとして認識できない恐れを認識した。言い換えれば、本発明者らは、虚像Ｖ３が運転者に違和感を与える恐れを認識した。

図４（Ｃ）は、図４（Ａ）の道路（走行中レーン及び右折用レーン）車両（前方車両ＯＢ１）に重畳される虚像Ｖ１、Ｖ２及びＶ３（表示要素）の１例（実施例）を示す。虚像Ｖ３に対応する楕円環の下の走行中レーン（背景明るさ）は明るい部分と暗い部分を有する時に、言い換えれば、判定部２２０が虚像Ｖ３の背景領域の背景明るさが複数のレベルを有することを判定する時に、生成部２３０は、単一化された画像明るさ（明るい）を有する表示要素（図４（Ｃ）の例において、すべてが明るい、上部が車体の下に隠れる楕円環）を生成することができる。運転者は、単一化された画像明るさを有する表示要素の虚像Ｖ３を認識するので、その表示要素（虚像Ｖ３）を１つのコンテンツ又は同じコンテンツとして認識することができ、運転者に違和感を与えない又はその違和感を軽減可能である。

図３（Ｃ）と異なり、図４（Ｃ）の例では、虚像Ｖ１に対応する垂直に２回曲がった矢印の下の走行中レーン及び右折用レーンの明るさ（背景明るさ）は明るい部分と暗い部分を有する時に、生成部２３０は、単一化された画像明るさ（暗い）を有する表示要素（図４（Ｃ）の例において、すべてが暗い、垂直に２回曲がった矢印）を生成することができる。虚像Ｖ２と同様に、運転者は、単一化された画像明るさを有する表示要素の虚像Ｖ１を認識するので、その表示要素（虚像Ｖ１）を１つのコンテンツ又は同じコンテンツとして認識することができ、運転者に違和感を与えない又はその違和感を軽減可能である。

なお、図４（Ｃ）の例では、運転者に注意喚起を行う虚像Ｖ３の優先度は、運転者に経路誘導を行う虚像Ｖ１の優先度よりも高く、従って、表示要素（虚像Ｖ１）の画像明るさは、表示要素（虚像Ｖ３）の画像明るさよりも低いことが好ましい。

また、運転者に注意喚起を行う虚像Ｖ３は、前方車両ＯＢ１の接近を表すので、好ましくは、生成部２３０は、物体情報取得部３１０からの前方車両ＯＢ１の位置情報と、視点情報取得部３２０からの運転者の視点高さ（好ましくは、動的である）と、に基づき、運転者の視点１０２で、虚像Ｖ３が物体（前方車両ＯＢ１）と重なるように、虚像Ｖ３に対応する表示要素の位置情報を決定することができる。

以下に、判定部２２０によって判定された虚像Ｖ３，Ｖ１の背景領域内の背景明るさが複数のレベルを有する時に決定され、且つ単一化された画像明るさについて、説明する。図３（Ｃ）において虚像Ｖ１の優先度が設定されていない時に、或いは、図４（Ｃ）において虚像Ｖ３の優先度が高く設定されている時に、単一化された画像明るさは、背景明るさ部分の最大の面積に基づく。

具体的には、図３（Ｃ）の例において、垂直に２回曲がった矢印（虚像Ｖ１に対応する表示要素）の先端部分（暗い部分）の面積は、小さい一方、先端部分以外の残りの部分（明るい部分）の面積は、大きく、且つ最大である。生成部２３０は、先端部分以外の残りの部分（最大の面積）の背景明るさ（明るい部分）に基づき、虚像Ｖ１に対応する表示要素の画像明るさ（単一化された画像明るさ）を決定することができる。

同様に、図４（Ｃ）の例において、楕円環（虚像Ｖ３に対応する表示要素）の前方車両ＯＢ１の両側部（暗い部分）の面積は、小さい一方、前方車両ＯＢ１の両側部分以外の残り（ほぼ下半分）の部分（明るい部分）の面積は、大きく、且つ最大である。生成部２３０は、楕円環のほぼ下半分（最大の面積）の背景明るさ（明るい部分）に基づき、虚像Ｖ３に対応する表示要素の画像明るさ（単一化された画像明るさ）を決定することができる。

なお、背景領域（撮像画像）の背景明るさは、例えば、特許文献１、２で用いられている物理量（例えば輝度）である。輝度の測定方法又は推定方法は、特許文献１、２に開示された例示的な手法に限定されず、当該技術分野に属する当業者に既知の様々な手法を用いることができる。

単一化された画像明るさ（ＨＵＤ表示輝度）は、背景明るさ（背景輝度）に応じて決定されるので、背景輝度とＨＵＤ表示輝度（表示要素の画像明るさ）とのコントラストを維持するように、ＨＵＤ表示輝度を調整する場合であっても、コンテンツ情報（表示要素）毎にＨＵＤ表示輝度を変化させることができ、１つのコンテンツとしての表示態様が変化せず、運転者に対する違和感を軽減することができる。

ところで、図３（Ｃ）の例において、垂直に２回曲がった矢印（虚像Ｖ１に対応する表示要素）の先端部分（暗い部分）の背景輝度は、小さい一方、先端部分以外の残りの部分（明るい部分）の背景輝度は、大きく、且つ最大である。また、図４（Ｃ）の例において、楕円環（虚像Ｖ３に対応する表示要素）の前方車両ＯＢ１の両側部（暗い部分）の背景輝度は、小さい一方、前方車両ＯＢ１の両側部分以外の残り（ほぼ下半分）の部分（明るい部分）の背景輝度は、大きく、且つ最大である。従って、生成部２３０は、最大の面積であり、且つ最大の輝度である部分（虚像Ｖ１の先端部分以外の残りの部分（明るい部分）、虚像Ｖ３のほぼ下半分（明るい部分））の背景輝度に基づき、単一化された画像明るさ（ＨＵＤ表示輝度）を決定することができる。

なお、図示されない例において、生成部２３０は、最大でない面積であっても、最大の輝度である部分の背景輝度に基づき、単一化された画像明るさ（ＨＵＤ表示輝度）を決定してもよい。代替的に、図示されない例において、生成部２３０は、最大でない輝度であっても、最大の面積である部分の背景輝度に基づき、単一化された画像明るさ（ＨＵＤ表示輝度）を決定してもよい。或いは、簡略化のため、生成部２３０は、例えば５０％以上である面積である部分の背景輝度に基づき、単一化された画像明るさ（ＨＵＤ表示輝度）を決定してもよい。

図示された図３（Ｃ）、図４（Ｃ）の例において、判定部２２０によって判定された背景領域内の背景明るさは、２つのレベル（明るい部分と暗い部分）であるとして説明したが、３つ以上の複数のレベルであってもよい。言い換えれば、背景明るさは、例えば１つの閾値を用いて、２つのレベルのうちの何れか１つに分類されてもよく、例えば２つの閾値を用いて、３つのレベルのうちの何れか１つに分類されてもよい。典型的には、簡略化のため、判定部２２０によって判定される複数のレベルの数は、例えば２から例えば５までの範囲である。

以下に、判定部２２０によって判定された虚像Ｖ１（優先度が低い）の背景領域内の背景明るさが複数のレベルを有する時に決定され、且つ単一化された画像明るさについて、説明する。図４（Ｃ）において虚像Ｖ１の優先度が低く設定されている時に、単一化された画像明るさは、背景明るさ部分の最小の輝度に基づく。但し、図４（Ｃ）の表示要素（虚像Ｖ１）の画像明るさは、表示要素（虚像Ｖ３）の画像明るさよりも低いことが好ましく、この条件が満たされていれば、図４（Ｃ）の表示要素（虚像Ｖ１）の画像明るさは、最小の背景輝度に基づかなくてもよい。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

２０・・・表示器、２１・・・反射器、１００・・・表示機構、１０１・・・ウインドシールド、１０２・・・運転者の視点、１０３・・・撮像装置、２００・・・表示コントローラ（広義には、画像処理ユニット）、２１０・・・処理部、２２０・・・判定部、２３０・・・生成部、２４０・・・記憶部、３００・・・画像処理部、３１０・・・物体情報取得部、３２０・・・視点情報取得部、４００・・・情報取得部、ＡＷ・・・表示範囲、Ｌ・・・表示光、Ｌ１・・・境界、Ｈ・・・道路面、ＯＢ１，ＯＢ２・・・物体（例えば車両）、Ｖ・・・虚像表示面、Ｖ１，Ｖ２，Ｖ３・・・虚像。

Claims (7)

1. 車両の前方に存在し、且つ前記車両の運転者の視点で第１の虚像と重ねられる実際の風景部分である第１の背景領域の背景明るさを判定する判定部と、
   前記背景明るさに基づく画像明るさを有し、且つ前記運転者によって視認される前記第１の虚像に対応する第１の表示要素を生成する生成部と、
   を備え、
   前記判定部によって判定された前記第１の背景領域内の前記背景明るさが複数のレベルを有する時に、前記生成部は、前記複数のレベルのうちの第１のレベルのみに基づく前記画像明るさを有する前記第１の表示要素を生成することを特徴とする画像処理ユニット。
2. 前記判定部は、前記車両の前方に存在し、且つ前記運転者の視点で第２の虚像と重ねられる実際の風景部分であり、且つ前記第１の背景領域とは異なる第２の背景領域の背景明るさを更に判定し、
   前記判定部によって判定された前記第２の背景領域内の前記背景明るさが前記複数のレベルのうちの前記第１のレベルと異なる第２のレベルを有する時に、前記生成部は、前記第２のレベルに基づく画像明るさを有し、且つ前記第２の虚像に対応する第２の表示要素を生成することを特徴とする請求項１に記載の画像処理ユニット。
3. 前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の面積は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の面積よりも大きく、且つ最大であることを特徴とする請求項１又は２に記載の画像処理ユニット。
4. 前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の輝度は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の輝度よりも大きく、且つ最大であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理ユニット。
5. 前記判定部は、前記車両の前方に存在し、且つ前記運転者の視点で第３の虚像と重ねられる実際の風景部分であり、且つ前記第１の背景領域とは異なる第３の背景領域の背景明るさを更に判定し、
   前記判定部によって判定された前記第３の背景領域内の前記背景明るさが複数のレベルを有する時に、前記生成部は、前記複数のレベルのうちの最大の面積又は最大の輝度に対応する最大レベルのみに基づく前記画像明るさを有する前記第３の表示要素を生成し、
   前記第３の表示要素の優先度が前記第１の表示要素の優先度よりも高い時に、前記第１の表示要素の前記画像明るさの元である前記第１のレベルは、前記最大レベルよりも低いことを特徴とする請求項１又は２に記載の画像処理ユニット。
6. 前記第１の背景領域において、前記第１のレベルに対応する前記背景明るさ部分の輝度は、前記複数のレベルのうちの前記第１のレベル以外の他のレベルに対応する前記背景明るさ部分の輝度よりも小さく、且つ最小であることを特徴とする請求項５に記載の画像処理ユニット。
7. 請求項１乃至６の何れか１項に記載の前記画像処理ユニットと、
   前記画像処理ユニットで生成された前記第１の表示要素を含む表示画像を表示する表示器と、
   を備えることを特徴とするヘッドアップディスプレイ装置。

Images