JP2021189385A - 表示装置、表示制御装置、表示方法、及びプログラム - Google Patents

Abstract

【課題】より適切に画像を表示できる表示装置等を提供する。【解決手段】表示装置１００は、外界が透過して見える表示媒体３４に画像４１を投影することにより、外界の所定領域Ａ２に形成された画像４１の虚像４２をユーザ５１に視認させる表示装置１００であって、画像４１の生成に用いられる元画像４０を取得する第１取得部１１と、車両５０の運転状況を取得する第２取得部１２と、運転状況に基づいて、元画像４０を補正することによって画像４１を生成する補正部１３と、生成された画像４１を表示媒体３４に投影する投影部２１と、を備える。【選択図】図２

Description

本開示は、ユーザに画像を表示するための表示装置、表示制御装置、表示方法、及び、表示方法を実行するためのプログラムに関する。

従来、外界からの光を透過する表示媒体に画像を投影するための光を反射させることにより、ユーザに外界と重畳する虚像を視認させる表示装置が知られている。例えば、車両においては、このような表示装置の一つとして、ヘッドアップディスプレイ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ、以下、ＨＵＤとも表記する）が実用化されている。また、このようなＨＵＤにおいて、虚像の透過度を制御して、外界の視認性を高め、同時に虚像を視認させることができるＨＵＤが知られている（特許文献１参照）。

特開２０１７−１５６５８０号公報

ところで、上記特許文献１に開示されたＨＵＤ等では、ユーザが適切に虚像を視認できない場合がある。つまり、従来の表示装置は、適切な画像の表示が困難な場合がある。

そこで、本開示は、より適切に画像を表示できる表示装置等を提供することを目的とする。

上記課題を解決するために、本開示の一態様に係る表示装置は、外界が透過して見える表示媒体に画像を投影することにより、前記外界の所定領域に形成された前記画像の虚像をユーザに視認させる表示装置であって、元画像を取得する第１取得部と、移動体の運転状況を取得する第２取得部と、前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正部と、生成された前記画像を前記表示媒体に投影する投影部と、を備える。

また、本開示の一態様に係る表示制御装置は、虚像を形成してユーザに視認させるために表示媒体に投影される画像を生成するための表示制御装置であって、元画像を取得する第１取得部と、移動体の運転状況を取得する第２取得部と、前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正部と、を備える。

また、本開示の一態様に係る表示方法は、外界が透過して見える表示媒体に画像を投影することにより、前記外界の所定領域に形成された前記画像の虚像をユーザに視認させる表示方法であって、元画像を取得する第１取得ステップと、移動体の運転状況を取得する第２取得ステップと、前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正ステップと、生成された前記画像を前記表示媒体に投影して、前記外界の所定領域に前記画像の虚像を形成させる投影ステップと、を含む。

また、本開示の一態様に係るプログラムは、上記に記載の表示方法をコンピュータに実行させるためのプログラムである。

本開示によれば、より適切に画像を表示することが可能となる。

図１は、実施の形態における表示装置の適用例を示す図である。 図２は、実施の形態における表示装置の機能構成を示すブロック図である。 図３は、実施の形態における表示方法を示すフローチャートである。 図４は、実施の形態における元画像の補正例１を説明する図である。 図５は、実施の形態における元画像の補正例２を説明する第１図である。 図６は、実施の形態における元画像の補正例２を説明する第２図である。 図７は、実施の形態における元画像の補正例３を説明する図である。 図８は、実施の形態における元画像の補正例４を説明する図である。 図９は、実施の形態における元画像の補正例５を説明する図である。 図１０は、実施の形態における元画像の補正例６を説明する第１図である。 図１１は、実施の形態における元画像の補正例６を説明する第２図である。 図１２は、実施の形態における元画像の補正例７を説明する図である。 図１３は、実施の形態における補正部の処理を説明する図である。

（本開示に至った知見）
ＨＵＤ等の車両に搭載される表示装置は、車両に関するあらゆる情報を、画像（例えば、数字、文字及び矢印などの図形を含む視覚情報）を用いて、当該車両を操作するドライバ等のユーザに表示する装置である。

表示装置によって表示される情報としては、例えば、モータ又は内燃機関等の動力部の駆動状況、走行速度、各液滴温度、電装部品への供給電圧、圧縮機への加給圧等、計器に表示される情報、車線はみだし、速度超過、前方車両発進等、車両周囲との関係性に基づく警告情報、目的地までの残り走行時間、方角、距離、及び、走行経路上での進行方向（例えば、ターンバイターン）等の経路情報、走行路における制限速度、駐停車禁止、車線規制等の交通標識情報、電話、メール、及び、特定のアプリケーションからの通知等、ユーザが携行する情報端末を介した端末情報等、いかなる画像に対しても適用可能である。また、表示装置によって表示される画像は、車両に関する画像でなくてもよい。例えば、表示装置は、ユーザの好みの写真、動画像の表示に用いられてもよく、インターネットサイト等の情報を表示するために用いられてもよい。

特に、ＨＵＤは、例えば、車両のコクピットの前方に設置されるウインドシールド（フロントガラス）及びコンバイナ等の表示媒体に画像を投影して、当該表示媒体に反射させることによって、ユーザから見た表示媒体よりも遠方に虚像を形成して視認させる。この際、表示媒体が光透過性（透光性ともいう）を有することにより、表示媒体の外側から入射する光は、外界の景色等として虚像に重畳されてユーザに視認される。

ここで、特許文献１に開示された技術を用いて、ＨＵＤを構成することにより、外界の視認性と、虚像によるＨＵＤから表示される情報の報知性とを制御できる。具体的には、特許文献１に開示されたＨＵＤでは、虚像を形成する際の画像を外縁部及び内側部に分けて、内側部に特定画素として表示されない画素を設けることで、内側部の透過度を向上して外界の視認性を確保しつつ、外縁部を残存させることでＨＵＤから表示される情報も視認させることができるとされている。

しかしながら、上記特許文献１に開示されたＨＵＤ等の表示装置では、外界の状況によらず、単に内側部を透過させる処理を行っているため外界の状況によっては、ユーザが適切に虚像を視認できない場合がある。例えば、外縁部を残存させることで、実質的に虚像の表示面積を縮小した場合、外界の輝度が高いと、虚像は外界の光にのまれて視認できなくなってしまうことがある。また、表示面積を縮小した虚像では、外界の色調と同じ色調で構成されている場合、同様に外界の光にのまれて視認できなくなってしまうことがある。

一方で、別の例として外界の輝度が低い場合に、高輝度の虚像を形成すると外界の光への暗順応時間によって外界の視認性が極端に低下するタイミングが生じる恐れがある。このように、外界と重畳して画像を表示する表示装置においては、表示画像が、外界の状況及び表示タイミング等に応じて適切に制御される必要がある。また、表示装置が車両に搭載される場合には、車両の運転状況に基づいて適切に制御された虚像が表示される必要がある。そこで本開示では、車両の運転状況を取得して、運転状況に応じた補正を行った画像を投影することでより適切な画像の表示を行うことが可能な表示装置について説明する。

以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的又は具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態）
［表示装置］
まず、実施の形態における表示装置の概要について説明する。図１は、実施の形態における表示装置の適用例を示す図である。図１では、表示装置１００が搭載された移動体の一例である車両５０の車室内を示している。また、表示装置１００は、車両５０のインストゥルメントパネルに内蔵されるように配置され、ユーザ５１（後述する図２参照）から見て視認されないように配置されている。これにより、車両５０の内装設計を自由に行えるため、車両５０のデザイン性を損なうことなく、表示装置１００を搭載することが可能となる。

表示装置１００は、表示媒体３４であるフロントガラスを介して反射する画像４１（後述する図２参照）によって虚像４２をユーザ５１に視認させる。なお、ここでは、ユーザ５１として車両５０のドライバを想定した配置で虚像４２が表示されているが、ユーザ５１は、助手席及び後部座席等、車両５０の搭乗者のいずれであってもよい。したがって、表示媒体３４もユーザ５１に応じてサイドウインドウ、リヤウインドウ、ルーフウインドウ等で実現されてもよい。

ここでは、ユーザ５１であるドライバの前方のフロントガラスの表示領域Ａ１越しに形成された虚像４２が視認される様子が示されている。図１に示す表示装置１００では、虚像４２として表示される画像４１に車両５０の状態に関する状態情報、及び、ターンバイターン方式のナビゲーションシステム(不図示）の一部の情報である進行方向を示す矢印が含まれている。なお図１では、判読性のために表示領域Ａ１の内容を拡大した拡大図を示し、対応する角どうしを一点鎖線の直線で接続している。

次に、表示装置１００を構成する各機能部と、形成される虚像４２と画像４１との関係を説明する。図２は、実施の形態における表示装置の機能構成を示すブロック図である。図２は、車両５０の前後方向及び高さ方向に沿う面を平面視した図であり、ユーザ５１が見えるよう、車室を透過したユーザ５１の像が示されている。また、図２では、車両５０の前方を走行する車両５０ａも併せて図示されている。

図２に示すように、本実施の形態の表示装置１００は、第１取得部１１、第２取得部１２、補正部１３、投影部２１、及び、元画像４０（後述する図１０参照）及び画像４１の外縁部と内側部との面積比の設定を変更する設定部３２を備える。なお、詳細は後述するが、設定部３２は、表示装置１００の付加的な機能を実現する際に必要となる構成であり、当該機能が不要な場合、設定部３２を備えることなく表示装置１００を実現することもできる。すなわち、設定部３２は、表示装置１００に必須の構成要素ではない。

第１取得部１１は、画像４１の生成に用いられる元画像４０を取得する機能部である。第１取得部１１は、例えば、元画像４０を生成する生成装置（不図示）から生成された元画像４０を取得する処理装置である。第１取得部１１は、プロセッサ等の回路と、メモリ等の記憶装置とによって上記の元画像４０を取得するプログラムが実行されることで実現される。第１取得部１１は、単に、通信を介して元画像４０を取得し、取得した元画像４０を補正部１３に送信する通信モジュールとみなすこともできる。

なお、第１取得部１１が上記の生成装置の機能を担うことで、元画像４０を直接生成してもよい。元画像は、車両５０に関する各種情報をもとに構成される。このため、第１取得部１１は、元画像４０を直接生成する場合には、ＥＣＵ３３、ナビゲーションシステム（不図示）等の外部の装置に接続され、外部の装置から情報を取得して元画像４０を生成する。

第２取得部１２は、車両５０の運転状況を取得する機能部である。第２取得部１２は、例えば、外界を撮像するために設けられた撮像部３１から、運転状況を取得するための情報として画像を取得する。撮像部３１は、表示装置１００の一部として専用に設けられてもよく、衝突防止システム、ドライブレコーダー等の外部の装置に備えられる撮像部が供用されてもよい。

また、第２取得部１２は、車両５０の状態及び走行シーンを運転状況として取得する。車両５０の状態は、ＥＣＵ３３等の車両５０の走行、動作、及び機能等を制御するために用いられる制御装置から取得される。第２取得部１２は、プロセッサ等の回路と、メモリ等の記憶装置とによって上記の運転状況を取得するプログラムが実行されることで実現される。第２取得部１２は、単に、通信を介して運転状況を取得し、取得した運転状況を補正部１３に送信する通信モジュールとみなすこともできる。

なお、車両５０の走行シーンは、ナビゲーションシステム、撮像部３１、ＥＣＵ３３等から取得された情報から生成することによって取得される。車両５０の状態及び走行シーンは、第２取得部１２において生成されることで取得されてもよく、第２取得部１２とは別に設けられた生成装置（不図示）によって生成され、第２取得部１２に取得されてもよい。

補正部１３は、第２取得部１２に取得された運転状況に基づいて、第１取得部１１に取得された元画像４０を補正することによって補正後の画像４１を生成する機能部である。補正部１３は、プロセッサ等の回路と、メモリ等の記憶装置とによって上記の元画像４０を補正するプログラムが実行されることで実現される。補正部１３による画像処理については、後述にて詳細に説明する。

以上の第１取得部１１、第２取得部１２、及び、補正部１３を併せて、適切な表示を行うための画像４１を生成する表示制御装置とみなすことができる。表示制御装置は、上記のように、実質的にプロセッサ等の回路と、メモリ等の記憶装置とを備えるコンピュータとして実現される。第１取得部１１、第２取得部１２、及び、補正部１３は、表示制御装置のように、一体的に構成されてもよい。また、表示制御装置において各機能部を実現する回路及び記憶装置は、機能部ごとに設けられてもよく、複数の機能部で共用されてもよく、すべての機能部を実現する一つの回路及び一つの記憶装置であってもよい。

投影部２１は、生成された画像４１を表示媒体３４に投影して、外界の所定領域Ａ２に画像４１の虚像４２を形成させるプロジェクタである。投影部２１には、光源が含まれ、当該光源から、画像４１に対応する光を出射する。また、投影部２１には、ミラー及びレンズ等の光学素子を組み合わせた光学系が設けられる。投影部２１は、光学系を介して表示媒体３４で光を反射されることで、表示媒体３４における表示領域Ａ１とユーザ５１の目とを結ぶ光路に沿うように画像４１の光を出射する。出射された画像４１の光は、図中に実線矢印で示すように、表示媒体３４において反射されてユーザ５１の目に入射する。ユーザ５１からは、画像４１の光は、表示媒体３４よりも奥（つまり外界側）に画像４１があるように見える。

つまり、表示媒体３４よりも外界側に画像４１の虚像４２が形成される。この虚像４２が形成される領域が、上記の所定領域Ａ２である。所定領域Ａ２は、例えば、図中のドットハッチを付したエリアであり、ユーザ５１の目と表示領域Ａ１上の点とを結ぶ直線が成す領域である。表示領域Ａ１は、複数点から成る範囲を有するので、所定領域Ａ２は、図中のように、表示媒体３４及び投影部２１の設計に応じて変化する。言い換えると、表示媒体３４と投影部２１との設計により、表示領域Ａ１を任意に設定可能である。

ここで、所定領域Ａ２に形成される虚像４２に対して、所定領域Ａ２上で重畳される外界の光がある。例えば図中の例では、車両５０ａの後部に重なるようにして虚像４２が形成されることがわかる。このように重畳される外界との関係性によって、形成される虚像４２が適切でなくなってしまう場合がある。そこで、本実施の形態では、撮像部３１によって所定領域Ａ２の少なくとも一部を含む領域の撮像を行い、得られた画像に基づいて補正された画像４１により、より適切な虚像４２を形成させている。

本実施の形態における画像処理について、具体的に図３〜図１３を用いて説明する。はじめに、図３を用いて、上記に説明した表示装置１００を用いた表示方法について説明する。図３は、実施の形態における表示方法を示すフローチャートである。

図３に示すように、本実施の形態においては、はじめに、第１取得部１１が、元画像４０を取得する（第１取得ステップＳ１０１）。第１取得部１１は、取得した元画像４０を補正部１３に送信する。第１取得ステップＳ１０１は、連続的に実施され、補正部１３には連続的に元画像４０が送信される。

また、第２取得部１２は、運転状況をＥＣＵ３３等の外部の装置から取得する（第２取得ステップＳ１０２）。第２取得部１２は取得した運転状況を補正部１３に送信する。第２取得ステップＳ１０２も同様に、連続的に実施され、補正部１３には、元画像４０と同様に連続的に運転状況が送信される。

ここで、補正部１３は、連続的に送信された元画像４０及び運転状況によって、画像４１を生成する。このとき、運転状況に基づいて、元画像４０の補正が必要と判定された場合に、当該元画像４０に対して補正が行われ画像４１が生成される（補正ステップＳ１０３）。一方で補正ステップＳ１０３では、補正部１３によって補正が不要と判定された元画像４０に対しては、補正を行うことなく（パススルーで）画像４１を生成する。このように、時系列に沿って連続的に送信される元画像４０からは、補正部１３によって一部が補正されて時系列上の一部の時点に補正されたものが含まれる連続的な画像４１が生成される。

生成された画像４１は、投影部２１によって表示媒体３４の表示領域Ａ１に向けて投影される。これにより、ユーザ５１側から見た場合の表示媒体３４の外界側に虚像４２が形成されて、ユーザ５１によって視認される（投影ステップＳ１０４）。このとき、虚像４２が重畳される外界、ならびに、車両５０の状態、及び、走行シーンに基づいて、時系列上の一部の時点の画像４１が適切に補正され、時系列のどの時点においても適切な虚像４２が形成される。つまり、表示装置１００によって、運転状況によらず適切な画像４１が表示されるため、ユーザ５１は、外界及び表示装置１００から報知される情報を適切に把握することができる。

なお、ユーザ５１への報知性を向上する観点から、警告音等の音声出力が組み合わされてもよい。表示される画像の強調が行われても、ユーザ５１の視界に入らない場合があり、視覚と聴覚との両方から働きかけることによって、ユーザ５１が虚像４２を視認する可能性を高めることができる。

［元画像の補正例１］
以下、本実施の形態の表示装置１００において実施される元画像４０の補正について、車両状況とともに説明する。図４は、実施の形態における元画像の補正例１を説明する図である。図４では、（ａ）に未補正のまま元画像４０が投影された場合の虚像４２ａを示し、（ｂ）に補正後の画像４１が投影された場合の虚像４２を示している。また、図４では、所定領域Ａ２において視認される外界の像として図２に示した車両５０の前方を走行する車両５０ａの後端が含まれる景色が示されている。つまり、図４は、ユーザ５１の視点で図２の状況を示した図である。図４の（ａ）の虚像４２ａのハッチングは、虚像４２ａが車両５０ａの塗装色と同系の色調で形成された状況を示している。また、図４の（ｂ）の虚像４２のドットハッチングは、虚像４２が車両５０ａの塗装色と同系の色調から補正された状況を示している。

図４の（ａ）に示すように、所定領域Ａ２の外界の景色が、形成された虚像４２ａと同系の色調であった場合、ユーザ５１にとって、外界と区別して虚像４２ａを視認することは困難となる。これに対して本実施の形態における表示装置１００によれば、上記の状況に対応可能である。具体的に、第２取得部１２は、撮像部３１から取得した画像により、外界の、特に所定領域Ａ２における色調である第１色調を示す色調情報を生成して取得する。第１色調は、例えば、所定領域Ａ２の色調の平均値として生成される。つまり、図中の所定領域Ａ２の景色のように、車両５０ａの主要な塗装色の他に白色等が混ざっている場合においても、より支配的な色調に近い色調を第１色調として生成することができる。

補正部１３は、このように、運転状況として取得された色調情報に基づいて、第１取得部１１から受信した元画像４０を補正する。ここでの補正は、元画像４０の色調を示す第２色調を、色相環上で、第１色調から最も遠い（つまり第１色調との色相差が最も大きい）色調である補色に近づける補正である。特に、補正部１３は、補正の効果をより向上するために、第２色調を第１色調の反対色に補正してもよい。これにより、同系の色調である虚像４２ａが形成されることなく、外界と区別して虚像４２を視認することが可能となる。

このように、本実施の形態における表示装置１００では、外界の第１色調が元画像４０の第２色調と同系の色調であった場合にも、適切に色調が補正された画像４１が生成されることで、外界と区別して適切に視認可能な画像４１の表示が行われる。

なお、文化的背景又はユーザ個人の主観の観点から、ユーザ５１が不快に感じる色調を避けて、補色に近づけるように補正してもよい。補正から除外される色調の情報は、あらかじめ、何らかの記憶装置等に格納されており、補正の際に読み出されて使用される。

また、ユーザ５１が色覚少数者である場合に、当該色覚少数者であることを示す情報又は、ユーザ５１自身が設定した視認困難な色調での表示を禁止する設定が設けられてもよい。このような設定の情報も、上記同様に何らかの記憶装置等に格納されており、補正の際に読み出されて使用される。これにより、ユーザ５１に対する表示が回避されるべき色調を設定し、当該色調での画像４１の表示が制限されるため、ユーザ５１が快適に視認することが可能となる。

一方で、道路標識及び信号など、色調を変えることにより、視認される情報に齟齬が生じる種別の元画像４０を補正する際には、上記のような色調の補正を行わないよう制限が設けられてもよい。ただし、後述する元画像の補正と組み合わせることにより、色調以外の要素で強調表示等を行ってもよい。このように、視認される情報に齟齬を生じさせることなく表示を行うことができる。

元画像４０を補正する際の色調に基づいて、さらに、後述する元画像４０の補正を適用することで、より効果的な表示ができる。例えば、元画像４０の補正では、色調の補正とともに、輝度を同時に補正してもよい。視認性の高い色調である黒色と比較して、視認性の低い色調である白色の輝度を黒色の輝度よりも高くなるよう元画像４０の補正を行ってもよい。これによれば、色調の違いによって生じる視認性の差を輝度等の補正によって補うことが可能となる。

また、元画像４０の色調の補正において、上記では、外界の景色の空間的な平均値をもとに補正を行う例を説明したが、さらに、外界の景色の時間的な平均値をもとに補正を行ってもよい。例えば、表示装置１００は、表示装置１００による表示が行われるより所定期間だけ前から取得された外界の景色の色調から、時間的な平均値を得る。このようにすることで、短期間における虚像４２の色調の遷移を抑制できるため、ユーザ５１は、虚像４２の色調が、表示装置１００の補正によって変化したのか、元画像４０が変更されたことによって変化したのかを容易に判断できるようになる。

［元画像の補正例２］
図５は、実施の形態における元画像の補正例２を説明する第１図である。また、図６は、実施の形態における元画像の補正例２を説明する第２図である。図５及び図６では、（ａ）に未補正のまま元画像４０が投影された場合の虚像４２ａを示し、（ｂ）に補正後の画像４１が投影された場合の虚像４２を示している。また、図５では、所定領域Ａ２において視認される外界の輝度が低い（つまり、外界が暗い）場合の景色が示されている。一方で、図６では、所定領域Ａ２において視認される外界の輝度が高い（つまり、外界が明るい）場合の景色が示されている。

図５の（ａ）では、所定領域Ａ２における外界の輝度が低い輝度であり、これに対して、形成された虚像４２ａの輝度が高い状況を示している。また、図５の（ｂ）では、虚像４２ａを形成するような高い輝度から補正された場合の画像４１による虚像４２を示している。

図５の（ａ）に示すように、所定領域Ａ２の外界の景色の輝度が低い場合、ユーザ５１にとって、外界の輝度と虚像４２ａの輝度との輝度差によって明順応及び暗順応を繰り返すこととなり、特に反応の遅い暗順応によって外界の視認が不可能なタイミングが多く現れる。したがって、このような状況においては、外界の視認性が低下してしまい、車両５０の運転に支障をきたす恐れがある。

これに対して本実施の形態における表示装置１００によれば、上記の状況に対応可能である。具体的には、第２取得部１２は、撮像部３１から取得した画像により、外界の、特に所定領域Ａ２における輝度である第１輝度を示す輝度情報を生成して取得する。第１輝度は、例えば、所定領域Ａ２の輝度の平均値として生成される。つまり、所定領域Ａ２の輝度が均一でない場合においても、平均的な輝度を抽出して補正に用いることができる。

補正部１３は、このように、運転状況として取得された輝度情報に基づいて、第１取得部１１から受信した元画像４０を補正する。ここでの補正は、元画像４０の輝度を低下させる補正である。特に、外界の輝度が低いか否かの判定は、第１輝度が第１閾値よりも低いか否かによって行われる。第１閾値は、元画像４０の輝度から相対的に決定されてもよく、一般的な固定値の輝度が用いられてもよい。また、このような輝度の判定は、第１閾値を用いずに、日没時刻の前後によって判定してもよい。つまり、ＧＰＳ等の位置測位システム等から割り出される車両５０の位置の日没時刻よりも遅い時刻においては、補正部１３による補正を行う。これにより、外界との輝度差が緩和された第２輝度を有する画像４１が生成されて虚像４２が形成され、虚像４２とともに外界を適切に視認することが可能となる。

また、図６の（ａ）では、所定領域Ａ２における外界の輝度が高く、これに対して、形成された虚像４２ａの輝度が低い状況を示している。また、図６の（ｂ）では、虚像４２ａを形成するような低い輝度から補正された場合の画像４１による虚像４２を示している。

図６の（ａ）に示すように、所定領域Ａ２の外界の景色の輝度が高い場合、虚像４２ａの輝度が十分高くなければ、ユーザ５１にとって、外界から虚像４２ａを区別して視認することが困難となる。

これに対して本実施の形態における表示装置１００によれば、上記の状況に対応可能である。具体的に、第２取得部１２は、上記の図５における説明と同様に、撮像部３１から取得した画像により、所定領域Ａ２における輝度である第１輝度を示す輝度情報を生成して取得する。

補正部１３は、このように、運転状況として取得された輝度情報に基づいて、第１取得部１１から受信した元画像４０を補正する。ここでの補正は、元画像４０の輝度を上昇させる補正である。特に、外界の輝度が高いか否かの判定は、第１輝度が第２閾値よりも高いか否かによって行われる。第２閾値は、元画像４０の輝度から相対的に決定されてもよく、一般的な固定値の輝度が用いられてもよい。また、このような輝度の判定は、第２閾値を用いずに、日出時刻の前後によって判定してもよい。つまり、ＧＰＳ等の位置測位システム等から割り出される車両５０の位置の日出時刻よりも遅い時刻においては、補正部１３による補正を行う。これにより、外界に対して十分高輝度となる第３輝度を有する画像４１が生成されて虚像４２が形成され、外界の明るさにのまれることなく虚像４２を視認することが可能となる。

このように、本実施の形態における表示装置１００では、外界の第１輝度と元画像４０の輝度との相対関係により、適切な第２輝度又は第３輝度を有する画像４１が生成される。第２輝度を有する画像４１は、比較的暗い外界の視認性が低下することを抑制し、第３輝度を有する画像４１は、比較的明るい外界にのまれることなく、虚像４２の視認性を確保できる。表示装置１００では、このような外界の輝度に応じた適切な画像４１の表示が可能である。

［元画像の補正例３］
図７は、実施の形態における元画像の補正例３を説明する図である。図７では、車両５０が走行している走行シーンを走行路の上空側から見た上面図を示している。ここでの車両５０は、破線矢印に沿って交差点５３を進行する様子が示されており、時系列上の三つの時点のそれぞれにおける位置が示されている。また、これら各時点において所定領域Ａ２に形成される虚像４２が示されている。また、図７では、車両５０の他に、対向車両５０ｂと、別の車両５０ｃと、横断者５２とが示されている。

図７に示すように、車両５０では、破線に沿って交差点５３を進行するために、ユーザ５１による車両５０の操舵が要求される。虚像４２は、この操舵が求められる操舵タイミングからの相対的な複数の時点のそれぞれで、虚像４２の表示の態様が異なっている。つまり、投影される画像４１は、複数の時点のそれぞれで異なる補正が成された結果、生成された画像である。

表示装置１００は、図中のように車両５０が交差点５３に侵入する際、まず、曲がるべき交差点５３が接近したことを表示装置１００からの情報によってユーザ５１に報知する。続いて、表示装置１００は、交差点５３に近づくと、対向車両５０ｂの有無などの安全確認のため外界の視認性を向上させ、さらに、交差点５３の直前において曲がるべき交差点を間違えないように、再び表示装置１００からの情報によるユーザ５１への報知を行う。

つまり、表示装置１００は、車両５０の操舵が要求される将来の操舵タイミングから逆算して、図中の例で２０秒前として示す第１期間だけ前の第１タイミングにおいては、当該第１タイミングより前における虚像４２の透過率よりも、形成される虚像４２の透過率を上昇させる。また、表示装置１００は、操舵タイミングから逆算して、図中の例で５秒前として示す第２期間だけ前の第２タイミングにおいては、当該第２タイミングより前の第１タイミングにおける虚像４２の透過率よりも、形成される虚像４２の透過率を低下させる。なお、虚像４２の透過率は、例えば、虚像４２の少なくとも一部の画素の輝度を低下させることによって上昇され、虚像４２の一部の画素の輝度を上昇させることによって低下される。

なお、後述する元画像４０の補正を適用することで、上記のような透過率が上昇された場合にも画像の視認性を維持することが可能となる。具体的には、表示装置１００では、元画像４０を外縁部（詳細は後述する）と内側部（詳細は後述する）とに分けて補正を行う。この２つの部分のうち、内側部の透過率を上昇させることで、上記に説明した外界の視認性の向上効果を得ながら、外縁部の透過率を維持する又は外縁部を強調表示させることで、虚像４２自体の視認性も維持できる。ここでの外縁部の強調表示には、上記の輝度の補正の他、後述するフレームアニメーションを適用することができる。特に時間領域で、所定頻度を有して輝度を変化させる点滅表示は、このような用途に好適である。

具体的には、第２取得部１２は、ナビゲーションシステム及び位置測位システム等を駆使して、運転状況として車両５０が走行する予定の走行経路と、車両５０の現在位置とから、将来の操舵タイミングの走行シーンを示すシーン情報を取得する。補正部１３は、第２取得部１２からシーン情報を受信すると、操舵タイミングからの逆算を行うことで第１タイミング及び第２タイミングを決定する。補正部１３は、第１取得部１１から連続的に元画像４０受信し、受信した元画像４０のうち、第１タイミング及び第２タイミングに対応する元画像４０をそれぞれ異なる態様で補正して、上記の虚像４２を形成させる。

なお、第１タイミング及び第２タイミングの、時系列上の順序に限定はなく、第２タイミングの後に第１タイミングが設定されてもよい。例えば、第２タイミングは、図中の例で６０秒前として示す第２期間だけ、操舵タイミングよりも前のタイミングであり、第１タイミングは、図中の例で２０秒前として示す第１期間だけ、操舵タイミングよりも前のタイミングである。これにより、第２タイミングにおいて表示装置１００からの報知のために形成された虚像４２は、第１タイミング以降では安全確認のために透過率が上昇され、外界の視認性が優先される。なお、この場合、表示装置１００では、図中の５秒前の時点における虚像４２は形成されず、６０秒前及び２０秒前の虚像４２のみによって交差点５３に侵入する際の報知が行われる。

このような表示装置１００による報知は、交差点５３の他に、工事中及び検問中等の車線規制、ならびに、目的地への到着の際など、将来の操舵タイミングが発生するあらゆる走行シーンにおいて有用である。

また、図中では、車両５０から見た対向車線において車両５０ｃが走行している。この車両５０ｃも同様の表示装置１００を搭載しているものとして説明する。図中に示すように、車両５０ｃは、横断者５２が車両５０ｃの進路に侵入した緊急事態である緊急タイミングの走行シーンにある。この場合、例えば、第２取得部１２は、撮像部３１等の外界を撮像する装置において撮像された画像、または、安全装備として専用に備えられた電磁波センサ等において検知された検知結果から、緊急タイミングの走行シーンを示すシーン情報を取得する。なお、緊急事態とは、例えば、上記のように、車両５０の走行継続によって事故の発生が想定される交通状況であり、ユーザ５１による車両の誤操作、車両５０の進路場への物体の進入等が挙げられる。

このような緊急タイミングの走行シーンに関するシーン情報を取得した場合、補正部１３は、即座に第１取得部１１から受信した元画像４０を緊急画像に差し替える補正を行うことで画像４１を生成する。この緊急画像は、例えば、補正部１３の記憶装置等にあらかじめ格納された固定の画像である。図中では、車両５０ｃの制動装置の操作を促すように「ＢＲＡＫＥ！！」の文字が虚像４２として形成されている。なお、ここで生成される画像４１は、外界に応じて、より虚像４２が強調表示されるように、反対色の色調補正及び輝度を上昇させる輝度補正が組み合わされてもよい。

このように、補正部１３は、運転状況として、車両５０の走行シーンに関するシーン情報を取得した場合、シーン情報に基づいて、元画像４０を補正するタイミングを決定し、決定されたタイミングにおいて元画像４０を補正して走行シーンに応じた画像４１を生成する。このように、表示装置１００では、走行シーンに基づいて適切な虚像４２を形成するための画像４１の生成及び表示が行われる。

また、このような緊急タイミングにおける画像４１の表示には、上記に説明した、ユーザ５１への報知性を向上する観点での、警告音等の音声出力が組み合わされてもよい。

さらに、車両５０が自動運転可能な場合、自動運転と手動運転とを切り替えた際に表示装置１００による表示態様が変更されてもよい。自動運転時には、ユーザ５１の注意が車両５０の操舵以外に向かいやすく、より報知性を向上させた表示（例えば、輝度、色調及び音声出力を組み合わせるなど）によって、効果的にユーザ５１の注意を引きつける。特に、上記の緊急タイミング等において、ユーザ５１の注意が散漫状態にあると、事故につながる恐れがあるため、このような制御が多大な効果を奏する。
一方で、手動運転時は、上記のような表示の強調では過剰となる場合があるため、積極的な報知性の向上を行わなくてもよい。

［元画像の補正例４］
図８は、実施の形態における元画像の補正例４を説明する図である。図８では、車両５０の状態を示す状態情報を取得した際の表示装置１００による元画像４０の補正を示す図である。具体的に図８の（ａ）には、状態情報において示される車両５０の状態が第１状態であった場合の虚像４２が示されており、図８の（ｂ）には、状態情報において示される車両５０の状態が第２状態であった場合の虚像４２が示されている。ここで、第１状態は、車両５０の走行速度が５２ｋｍ／ｈであり、車両５０の燃料残量が最大の５ポイントの状態である。また、第２状態は、車両５０の走行速度が１２０ｋｍ／ｈであり、車両５０の燃料残量がゼロの１段階上である１ポイントの状態である。

補正部１３は、取得した状態情報において示される車両５０の状態が第１状態から第２状態に変化したタイミングにおいて、それ以前の表示態様から変更するように、元画像４０を補正して画像４１を生成する。具体的には、元画像４０のうち、車両５０の走行速度及び車両５０の燃料残量を示す元画像４０は、第１状態から第２状態に変化したタイミングで、より強調されて視認されるように、例えば、色調が補正される。つまり、車両５０の状態が第２状態であることを示す状態情報を取得した際に、車両５０の走行速度及び車両５０の燃料残量を示す虚像４２の色調は、図８の（ｂ）に示すように、よりユーザ５１の視線を集める色調に変更される。

この第２状態は、走行速度の超過及び燃料残量が逼迫の状態であり、早急にユーザ５１による対応が必要な状態ともいえる。表示装置１００は、このように、車両５０の状態に応じた画像４１の表示により、車両５０の状態を示す虚像４２を適切なタイミングでユーザ５１に視認させることができる。なお、第１状態と第２状態との間の状態が存在してもよく、段階的に表示態様が変化する補正が行われてもよい。

また、このとき、同時に虚像４２に含まれている車両５０の進行方向を示す矢印は、車両５０の状態によらず一様な表示態様である。つまり、ここでの補正においては、複数の元画像４０のうち、補正対象となる元画像４０のみを補正して部分補正画像を生成した後に、補正対象ではない未補正のままの元画像４０、及び、部分補正画像を、はじめの複数の元画像４０の配置に従って再配置している。

このように、複数の元画像４０から成る画像集合を取得して、元画像４０ごとに補正の適用の有無を設定できる。画像４１は、複数の元画像４０のうちの補正対象の元画像４０が補正された部分補正画像と、未補正の元画像４０とが再配置されて生成される。表示装置１００では、複数の元画像４０をそれぞれ個別に補正することで、着目すべき情報に対応する虚像４２にユーザ５１の視線が向かいやすいように適切に画像４１を表示することができる。

［元画像の補正例５］
図９は、実施の形態における元画像の補正例５を説明する図である。なお、図９では、上記元画像４０の補正例４と同様に運転状況として状態情報を受信した場合において、異なる補正が行われる例を示している。また、図９では、上記元画像４０の補正例４と同様に複数の元画像４０をそれぞれ個別に補正する例を示している。図９の（ａ）には、状態情報において示される車両５０の状態が第１状態であった場合の虚像４２が示されており、図９の（ｂ）には、状態情報において示される車両５０の状態が第３状態であった場合の虚像４２が示されている。

ここでの第１状態は、上記元画像４０の補正例４と同様に、車両５０の走行速度が５２ｋｍ／ｈであり、車両５０の燃料残量が最大の５ポイントの状態である。一方、ここでの第３状態は、上記元画像４０の補正例４とは異なり、車両５０の走行速度が５２ｋｍ／ｈであり、車両５０の燃料残量がゼロの１段階上である１ポイントの状態である。すなわち、第３状態は、燃料残量が逼迫の状態であり、早急にユーザ５１による対応が必要な状態である。

補正部１３は、取得した状態情報において示される車両５０の状態が第１状態から第３状態に変化したタイミングにおいて、それ以前の表示態様から変更するように、元画像４０を補正して画像４１を生成する。具体的には、補正部１３は、元画像４０に外周を囲む外枠を追加する補正を適用して画像４１を生成される。表示装置１００では、上記の補正によって第１状態から第３状態に変化したタイミングで、虚像４２がより強調されて視認されるように、例えば、虚像４２の外周を囲む外枠４２ｂが追加される。つまり、車両５０の状態が第３状態であることを示す状態情報を取得した際に、車両５０の燃料残量を示す虚像４２には、図９の（ｂ）に示すように、よりユーザ５１の視線を集める外枠４２ｂが付加された表示態様に変更される。

なお、ここで説明した虚像４２に対する外枠４２ｂの付加による画像４１の強調表示は、運転状況としてシーン情報が取得された場合においても適用できる。例えば、図７の車両５０における操舵タイミングの５秒前の虚像４２、及び、車両５０ｃにおける緊急タイミングの虚像４２に外枠４２ｂが追加されてもよい。

［元画像の補正例６］
図１０は、実施の形態における元画像の補正例６を説明する第１図である。なお、図１０では、補正部１３による元画像４０の補正の別の態様を説明し、当該別の態様が適用可能な運転状況をさらに説明する。図１０では、補正部１３に受信される元画像４０と、当該元画像４０から生成される画像４１とが示されている。なお、ここでの元画像４０は、車両５０の進行方向を示す矢印であるが、その他の元画像４０についても以降で説明する補正を適用可能である。

図１０に示すように、元画像４０が補正部１３に受信されると、当該元画像４０がそのまま表示される場合よりも強調表示されるようにユーザ５１の目を引く補正が成されて画像４１が生成される。具体的には、図中の画像４１に示すように外縁部４１ｂ及び内側部４１ｃを区分するように補正を行う。補正部１３は、元画像４０のうち、外縁からあらかじめ設定された画素数分だけ内側の位置に境界を形成し、当該境界よりも外縁側を外縁部と決定し、当該境界よりも内側を内側部と決定する。補正部１３は、さらに、決定した元画像４０の外縁部の表示態様を第１態様に決定し、決定した元画像４０の内側部の表示態様を第２態様に決定する。補正部１３は、第１態様で外縁部４１ｂが表示され、かつ、決定された第２態様で内側部４１ｃが表示されるように元画像４０を補正して画像４１を生成する。

この第１態様と第２態様とは、色調及び輝度の少なくとも一方が異なっている。例えば、図１０の（ａ）に示す例では、補正部１３は、元画像４０に対して、内側部４１ｃの色調を維持して外縁部４１ｂの色調を補正している。これにより、内側部４１ｃと外縁部４１ｂとの色相差によって形成される虚像４２の視認性が向上される。例えば、元画像４０の補正例１で説明したように、元画像４０のまま形成された虚像４２ａが外界と同系の色調である場合に、表示装置１００は、外縁部４１ｂの色調のみを補色に近づける補正を行うことで、虚像４２の十分な視認性を確保することも可能である。また、図１０の（ａ）は、補正部１３が、元画像４０に対して、内側部４１ｃの輝度を維持して外縁部４１ｂの輝度を補正しているととらえてもよい。

また、図１０の（ｂ）に示す例では、図１０の（ａ）に示す例とは反対に、補正部１３は、元画像４０に対して、外縁部４１ｂの色調を維持して内側部４１ｃの色調を補正している。これにより、内側部４１ｃと外縁部４１ｂとの色相差によって形成される虚像４２の視認性が向上される。また、図１０の（ｂ）は、補正部１３が、元画像４０に対して、外縁部４１ｂの輝度を維持して内側部４１ｃの輝度を補正しているととらえてもよい。なお、このような外縁部４１ｂ及び内側部４１ｃは、互いに表示態様が異なっていればよい。したがって、補正部１３は、元画像４０に対して、内側部４１ｃの色調を補正して、外縁部４１ｂの色調を、補正後の内側部４１ｃの色調とは異なる色調に補正してもよい。又は、補正部１３は、元画像４０に対して、内側部４１ｃの輝度を補正して、外縁部４１ｂの輝度を、補正後の内側部４１ｃの輝度とは異なる輝度に補正してもよく、色調及び輝度の両方について補正してもよい。

ここで、図１１を用いて、外縁部及び内側部の設定について説明する。図１１は、実施の形態における元画像の補正例６を説明する第２図である。外縁部及び内側部を有する画像４１を生成する際に、補正部１３は、設定部３２から設定情報を取得する。設定情報は、外縁部と内側部との面積比の設定に関する情報であり、ユーザ５１によってあらかじめ設定された面積比の値を含む。補正部１３は、この面積比の値に従って、元画像４０の外縁部及び内側部を決定する際の境界の形成に用いる外縁からの画素数を算出する。

つまり、設定部３２において設定された面積比の値により、図中に実線矢印で示す外縁部４１ｄの幅が変更される。ここでは、図１０に示す外縁部４１ｂ及び内側部４１ｃの例に比べて、より幅の大きい外縁部４１ｄ、及び、外縁部４１ｄに応じて縮小された内側部４１ｅの例が示されている。このように設定部３２を介して、画像４１の表示が強調される際の強調のレベルを任意に設定することが可能となる。なお、設定部３２は、ユーザ５１による面積比の値の設定を受け付ける代わりに外界の輝度及び色調に応じた値が随時入力される構成であってもよい。これにより、外界の輝度及び色調に基づいて設定された外縁部の幅により、適切な画像４１の強調表示が可能となる。

［元画像の補正例７］
図１２は、実施の形態における元画像の補正例７を説明する図である。なお、図１２では、補正部１３による元画像４０の補正の別の態様を説明し、当該別の態様が適用可能な運転状況をさらに説明する。図１２では、補正部１３に受信される元画像４０と、当該元画像４０から生成される画像４１とが示されている。なお、ここでの元画像４０は、車両５０の進行方向を示す矢印であるが、その他の元画像４０についても以降で説明する補正を適用可能である。

ここでの補正部１３の補正によって生成される画像４１は、第１フレーム４１ｉ、第２フレーム４１ｉｉ、第３フレーム４１ｉｉｉ、第４フレーム４１ｉｖ、第５フレーム４１ｖ、及び、第６フレーム４１ｖｉから成るフレームアニメーションとして表示される。補正部１３は、受信された元画像４０を、経時的に補正することで、時分割に６つのフレームが遷移する画像４１が生成される。

例えば、図中の例では、第１フレーム４１ｉは、車両５０の進行方向を示す矢印のうち下方の１／３の箇所を示している。また、第２フレーム４１ｉｉは、車両５０の進行方向を示す矢印のうち下方の２／３の箇所を示している。また、第３フレーム４１ｉｉｉは、車両５０の進行方向を示す矢印の全体を示している。また、第４フレーム４１ｉｖは、車両５０の進行方向を示す矢印のうち上方の２／３の箇所を示している。また、第５フレーム４１ｖは、車両５０の進行方向を示す矢印のうち上方の１／３の箇所を示している。また、第６フレーム４１ｖｉは、車両５０の進行方向を示す矢印が示されていない。

これにより、ユーザ５１は、画像４１によって形成された虚像４２が、下方から上方へと出現して、下方から上方へと消えるため、時間領域において変化する、いわゆる、動きのある虚像４２として視認される。このように動きのある虚像４２は、視線を集めやすく、注目すべき情報を表示する際に効果的である。また、この動きのある虚像４２は、静止画像とは異なり、動きによってユーザ５１に訴求する効果がある。例えば、図中の例では、虚像４２によって下方から上方に向けて矢印が延びていることを暗示できるため、ナビゲーションによる進行方向が直進方向であることをより効果的にユーザ５１に報知することができる。また、フレームアニメーションのフレームレート、フレーム数、及び、動きの種別はこれによらず、ユーザ５１への報知内容に応じてより効果的なフレームアニメーションが選択されればよい。例えば、上記の他のフレームアニメーションとして、画像４１の内側部と外縁部との少なくとも一方の輝度を時間領域で所定頻度を有して変化させることにより点滅表示を実現することも可能である。

なお、本実施の形態における補正部１３による元画像の補正の処理は、以下のようにして実施される。図１３は、実施の形態における補正部の処理を説明する図である。図１３では、元画像４０から画像４１を生成する際のより詳細な処理を示している。

具体的に、補正部１３における補正の処理は、元画像４０を構成する最小単位の画像パーツごとに実行される。例えば、図中では、元画像４０は、車両５０に表示される警告表示の一つを示しており、感嘆符記号によってユーザ５１への警告を行うための画像パーツ４０ａ、及び、画像パーツ４０ａを強調させる三角形の画像パーツ４０ｂから構成されている。補正部１３は、まず、元画像４０を画像パーツに分解して、画像パーツ４０ａ及び画像パーツ４０ｂを得る。補正部１３は、次に、画像パーツ４０ａを補正することにより補正後の画像パーツ４１ｆを生成し、画像パーツ４０ｂを補正することにより補正後の画像パーツ４１ｇを生成する。補正部１３は、元画像４０における画像パーツの配置に従って、補正後の画像パーツ４１ｆ及び補正後の画像パーツ４１ｇを再配置して画像４１を生成する。

なお、複数の元画像４０から複数の画像４１を生成する場合にも、補正部１３は、同様に、各々の元画像４０の画像パーツを個別に処理して、最終的に複数の画像４１を生成する。このような処理により、補正部１３は、複雑な元画像４０であっても単純な処理によって、より効率的に適切な画像４１を生成することができる。

なお、元画像４０として、パーツ状態の画像パーツ４０ａ及び４０ｂが取得される場合がある。この場合、補正部１３は、画像パーツ４０ａ及び４０ｂと併せて、再配置の際のこれらの配置位置を示す画像生成情報を取得する。補正部１３は、画像パーツ４０ａ及び４０ｂを、上記同様に補正したて補正後の画像パーツ４１ｆ及び４１ｇを得た後、画像生成情報に従って、補正後の画像パーツ４１ｆ及び４１ｇを再配置することで画像４１を生成する。

［効果等］
以上説明したように、本実施の形態における表示装置１００は、外界が透過して見える表示媒体３４を介して、車両５０のユーザ５１に画像４１を表示する表示装置１００であって、画像４１の生成に用いられる元画像４０を取得する第１取得部１１と、車両５０の運転状況を取得する第２取得部１２と、運転状況に基づいて、元画像４０を補正することによって画像４１を生成する補正部１３と、生成された画像４１を表示媒体３４に投影して、外界の所定領域Ａ２に画像４１の虚像４２を形成させる投影部２１と、を備える。

このような表示装置１００は、車両５０において表示装置１００によりユーザ５１に対して様々な情報の報知を行う際に、車両５０がどのような状況にあるかに基づいて、適切に元画像４０を補正し、画像４１として表示することができる。画像４１が投影されることで形成される虚像４２は、上記のように車両５０がどのような状況にあるかに基づいて形成されており、ユーザ５１にとってより適した虚像４２として視認される。よって、表示装置１００は、より適切に画像４１を表示することができる。

また、例えば、運転状況は、所定領域Ａ２の色調である第１色調を示す色調情報を含み、補正部１３は、運転状況に含まれる色調情報に基づいて、第１色調に対して、元画像４０の色調である第２色調を色相環における補色に近づけるように元画像４０を補正して画像４１を生成してもよい。

これによれば、虚像４２が重畳される外界の色調に対して、虚像４２の色調が補色に近い色調となる。外界の色調に近い色調の元画像４０が取得された際に、元画像の色調が補正され、より色相差の大きい画像４１が表示される。したがって、色相差の大きい画像４１によって外界との色相差の大きい虚像４２が形成されるため、ユーザ５１にとって視認性が向上される。よって、表示装置１００は、より適切に画像４１を表示することができる。

また、例えば、運転状況は、所定領域Ａ２の輝度である第１輝度を示す輝度情報を含み、補正部１３は、運転状況に含まれる輝度情報に基づいて、（ｉ）第１輝度が第１閾値よりも低い場合に、元画像４０の輝度よりも低い第２輝度となるように元画像４０を補正して画像４１を生成し、（ｉｉ）第１輝度が、第２閾値よりも高い場合に、元画像４０の輝度よりも高い第３輝度となるように元画像４０を補正して画像４１を生成してもよい。

これによれば、虚像４２が重畳される外界の輝度が明るい場合に、虚像４２の輝度が十分高い輝度になるよう補正が行われる。つまり、外界の明るい輝度にのまれない虚像４２が形成されるので、ユーザ５１にとって視認性が向上される。一方で、虚像４２が重畳される外界の輝度が暗い場合に、元画像４０の輝度が高いと、暗順応の遅れにより外界の視認性が低下されることがあるが、表示装置１００によれば、元画像４０の輝度が低下されるように補正された画像４１が表示されるため、外界の視認性を損なわない輝度で画像４１が表示される。よって、表示装置１００は、外界の輝度によらず、より適切に画像４１を表示することができる。

また、例えば、運転状況は、車両５０の走行シーンに関するシーン情報を含み、補正部１３は、運転情報に含まれるシーン情報に基づいて、元画像４０を補正するタイミングを決定し、決定されたタイミングにおいて元画像４０を補正して画像４１を生成してもよい。

これによれば、走行シーンに基づいて適切に制御された画像４１が表示される。よって、表示装置１００は、走行シーンごとに、適切に画像４１を表示することができる。

また、例えば、シーン情報は、車両５０の操舵が要求される将来の操舵タイミングの走行シーンに関する情報であり、補正部１３は、操舵タイミングから第１期間だけ前に設定された第１タイミングにおいて、虚像４２の透過率を、第１タイミング以前よりも上昇させるように元画像４０を補正し、操舵タイミングから第２期間だけ前に設定された第２タイミングにおいて、虚像４２の透過率を、第１タイミングにおける虚像４２の透過率よりも低下させるように元画像４０を補正して画像４１を生成してもよい。

これによれば、将来の操舵タイミングの走行シーンに基づいて、虚像４２の透過率が適切に変化するように、制御された画像４１が表示される。よって、表示装置１００は、操舵タイミングの走行シーンにおいて、適切に画像４１を表示することができる。

また、例えば、シーン情報は、緊急事態である緊急タイミングの走行シーンに関する情報であり、補正部１３は、緊急タイミングにおいて元画像４０を緊急画像に差し替える補正によって画像４１を生成してもよい。

これによれば、緊急タイミングの走行シーンに基づいて、適切な緊急画像に基づく画像４１が表示される。よって、表示装置１００は、緊急タイミングの走行シーンにおいて、適切に画像４１を表示することができる。

また、例えば、運転状況は、車両５０の状態に関する状態情報を含み、補正部１３は、運転状況に含まれる状態情報に関与する車両５０の状態を示す元画像４０の表示態様を変更するように元画像４０を補正して、画像４１を生成してもよい。

これによれば、車両５０の状態情報が取得された際に、当該状態情報に基づく、車両５０の状態を示す元画像４０を補正して適切な表示態様の画像４１で車両５０の状態を表示できる。よって、表示装置１００は、適切に車両５０の状態を示す画像４１を表示することができる。

また、例えば、補正部１３は、形成される虚像４２が時間領域において変化するよう元画像４０を経時的に補正して画像４１を生成してもよい。

これによれば、表示装置１００は、時間領域において変化する虚像４２によってユーザ５１に画像４１を表示することができる。時間領域において変化する虚像４２は、ユーザ５１の視線を集めやすく、画像４１の表示を効果的にすることができる。よって、表示装置１００は、適切に画像４１を表示することができる。

また、例えば、補正部１３は、元画像４０のうちの外縁部の表示態様を第１態様に決定し、元画像４０のうちの外縁部を除く内側部の表示態様を第１態様と異なる第２態様に決定し、決定された第１態様で外縁部が表示され、かつ、決定された第２態様で内側部が表示されるように元画像４０を補正して画像４１を生成してもよい。

これによれば、表示装置１００は、外縁部及び内側部をそれぞれ異なる態様で構成する画像４１を表示することができる。外縁部及び内側部をそれぞれ異なる態様で構成する画像４１によって形成される虚像４２は、ユーザ５１の視線を集めやすく、画像４１の表示を効果的にすることができる。よって、表示装置１００は、適切に画像４１を表示することができる。

また、例えば、さらに、外縁部と内側部との面積比の設定を変更する設定部３２を備えてもよい。

これによれば、表示装置１００は、外縁部及び内側部をそれぞれ異なる態様で構成する画像４１を表示する際に、それぞれの面積比を変更することができる。異なる態様の外縁部及び内側部の面積比が変更されることによって、形成される虚像４２の視認性を制御できる。よって、ユーザ５１の視線の集中度合いを制御して、画像４１の表示を効果的にすることができる。よって、表示装置１００は、適切に画像４１を表示することができる。

また、例えば、運転状況は、所定領域Ａ２の色調である第１色調を示す色調情報を含み、補正部１３は、運転状況に含まれる色調情報に基づいて、第１色調に対して、元画像４０の外縁部及び内側部のいずれか一方の色調を色相環における補色に近づけるように元画像４０を補正して画像４１を生成してもよい。

これによれば、外縁部及び内側部のいずれかが少なくとも外界の色調に対する補色に近づいた画像４１を表示することができる。形成される虚像４２における外縁部及び内側部の少なくとも一方は、外界の色調から区別して視認することが容易であるため、ユーザ５１にとって視認性が向上される。よって、表示装置１００は、適切に画像４１を表示することができる。

また、例えば、補正部１３は、運転状況に基づいて、元画像４０を囲む外枠を追加することで元画像４０を補正して画像４１を生成してもよい。

これによれば、画像４１は、外枠によって強調して表示される。つまり、強調表示すべき情報に外枠を付加してユーザ５１に報知することができる。よって、表示装置１００は、適切に画像４１を表示することができる。

また、例えば、元画像４０は、複数の画像パーツから構成され、補正部１３は、複数の画像パーツの各々を補正した後に、元画像４０上における配置に従って補正後の画像パーツを再配置して画像４１を生成してもよい。

これによれば、元画像４０が複雑な画像である場合において画像パーツごとに分けて補正を行うことができる。補正処理に要する処理コストを低減でき、容易に表示装置１００を構成することができる。

また、例えば、第１取得部１１は、複数の元画像４０から成る画像集合を取得し、補正部１３は、複数の元画像４０のうちの補正対象となる元画像４０のみを補正して部分補正画像を生成した後に、補正対象ではない未補正の元画像４０、及び、部分補正画像を画像集合における複数の元画像４０の配置に従って再配置して画像４１を生成してもよい。

これによれば、複数の元画像４０のうち、必要なもののみを補正して画像４１を生成できる。不要な補正を省略できるため処理コストを低減できる他、部分的な補正によってユーザ５１の視線が集中する位置を制御できる。よって、表示装置１００は、適切に画像４１を表示することができる。

また、本実施の形態の表示制御装置は、車両５０のユーザに表示媒体３４を介して表示される画像４１を生成するための表示制御装置であって、画像４１の生成に用いられる元画像４０を取得する第１取得部１１と、車両５０の運転状況を取得する第２取得部１２と、運転状況に基づいて、元画像４０を補正することによって画像４１を生成して出力する補正部１３と、を備える。

これによれば、出力された画像４１を投影させることにより、上記表示装置１００と同様の効果を奏することができる。

また、本実施の形態における表示方法は、外界が透過して見える表示媒体３４を介して、車両５０のユーザ５１に画像４１を表示する表示方法であって、画像４１の生成に用いられる元画像４０を取得する第１取得ステップＳ１０１と、車両５０の運転状況を取得する第２取得ステップＳ１０２と、運転状況に基づいて、元画像４０を補正することによって画像４１を生成する補正ステップＳ１０３と、生成された画像４１を表示媒体３４に投影して、外界の所定領域Ａ２に画像４１の虚像４２を形成させる投影ステップＳ１０４と、を含む。

これによれば、上記表示装置１００と同様の効果を奏することができる。

また、本実施の形態のプログラムは、上記に記載の表示方法をコンピュータに実行させるためのプログラムである。

これによれば、コンピュータを用いて上記表示装置１００と同様の効果を奏することができる。

（その他の実施の形態）
以上、本開示に係る表示装置等について、上記実施の形態に基づいて説明したが、本開示は、上記の実施の形態に限定されるものではない。

また、表示装置は、上記実施の形態では複数の外部装置と組み合わされて使用される例を説明したが、これらの複数の外部装置を含む単一の装置として実現されてもよい。例えば、上記の表示装置と表示媒体とを一体化した表示装置を実現してもよく、上記の表示装置と撮像部とを一体化した表示装置を実現してもよく、上記の表示装置とＥＣＵとを一体化した表示装置を実現してもよく、上記の表示装置とその他の機能部とを一体化した表示装置を実現してもよい。また上記実施の形態における表示装置を構成する複数の構成要素が、個別の装置のそれぞれによって実現されてもよい。表示装置が複数の装置によって実現される場合、表示装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、上記実施の形態において、各動作例は、任意に組み合わされてよい。上記実施の形態においては、複数の元画像の補正例について説明したが、例えば、これらの複数の補正例を組み合わせた補正例も本開示に含まれる。

上記実施の形態においては、表示媒体として、車両のウインドシールドが適用される例を説明したが、表示媒体は、コンバイナ等の表示装置専用に設けられた部材で実現されてもよい。また、表示媒体として、メガネ型のユーザ装着型デバイスのレンズ部が適用されてもよい。また、上記実施の形態において説明した車両は、車室を有する４輪自動車等であるものとして説明したが、車両は、車室のない２輪自動車であってもよい。この場合、表示媒体としてメータバイザ又はヘルメットに設けられた風防等が利用可能である。また、上記の車両は、ディスプレイ装置等によって車両の操作を疑似体験するためのシミュレータを含む概念である。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本開示は、コンピュータが実行する表示方法として実現されてもよいし、このような表示方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

本開示は、各種の情報を示す画像を外界の景色に重畳する虚像としてドライバ等のユーザに視認させる表示装置として利用可能である。

１１ 第１取得部
１２ 第２取得部
１３ 補正部
２１ 投影部
３１ 撮像部
３２ 設定部
３４ 表示媒体
４０ 元画像
４０ａ、４０ｂ、４１ｆ、４１ｇ 画像パーツ
４１ 画像
４１ｂ、４１ｄ 外縁部
４１ｃ、４１ｅ 内側部
４１ｉ 第１フレーム
４１ｉｉ 第２フレーム
４１ｉｉｉ 第３フレーム
４１ｉｖ 第４フレーム
４１ｖ 第５フレーム
４１ｖｉ 第６フレーム
４２、４２ａ 虚像
４２ｂ 外枠
５０、５０ａ、５０ｃ 車両
５０ｂ 対向車両
５１ ユーザ
５２ 横断者
５３ 交差点
１００ 表示装置
Ａ１ 表示領域
Ａ２ 所定領域

Claims (17)

1. 外界が透過して見える表示媒体に画像を投影することにより、前記外界の所定領域に形成された前記画像の虚像をユーザに視認させる表示装置であって、
   元画像を取得する第１取得部と、
   移動体の運転状況を取得する第２取得部と、
   前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正部と、
   生成された前記画像を前記表示媒体に投影する投影部と、を備える
   表示装置。
2. 前記運転状況は、前記所定領域の色調である第１色調を示す色調情報を含み、
   前記補正部は、前記運転状況に含まれる前記色調情報に基づいて、前記第１色調に対して、前記元画像の色調である第２色調を色相環における補色に近づけるように前記元画像を補正して前記画像を生成する
   請求項１に記載の表示装置。
3. 前記運転状況は、前記所定領域の輝度である第１輝度を示す輝度情報を含み、
   前記補正部は、前記運転状況に含まれる前記輝度情報に基づいて、
   （ｉ）前記第１輝度が第１閾値よりも低い場合に、前記元画像の輝度よりも低い第２輝度となるように前記元画像を補正して前記画像を生成し、
   （ｉｉ）前記第１輝度が、第２閾値よりも高い場合に、前記元画像の輝度よりも高い第３輝度となるように前記元画像を補正して前記画像を生成する
   請求項１又は２に記載の表示装置。
4. 前記運転状況は、前記移動体の走行シーンに関するシーン情報を含み、
   前記補正部は、
   前記運転状況に含まれる前記シーン情報に基づいて、前記元画像を補正するタイミングを決定し、
   決定された前記タイミングにおいて前記元画像を補正して前記画像を生成する
   請求項１〜３のいずれか一項に記載の表示装置。
5. 前記シーン情報は、前記移動体の操舵が要求される将来の操舵タイミングの走行シーンに関する情報であり、
   前記補正部は、
   前記操舵タイミングから第１期間だけ前に設定された第１タイミングにおいて、前記虚像の透過率を、前記第１タイミング以前よりも上昇させるように前記元画像を補正し、
   前記操舵タイミングから第２期間だけ前に設定された第２タイミングにおいて、前記虚像の透過率を、前記第１タイミングにおける前記虚像の透過率よりも低下させるように前記元画像を補正して前記画像を生成する
   請求項４に記載の表示装置。
6. 前記シーン情報は、緊急事態である緊急タイミングの走行シーンに関する情報であり、
   前記補正部は、前記緊急タイミングにおいて前記元画像を緊急画像に差し替える補正によって前記画像を生成する
   請求項４に記載の表示装置。
7. 前記運転状況は、前記移動体の状態に関する状態情報を含み、
   前記補正部は、前記運転状況に含まれる前記状態情報に関与する前記移動体の状態を示す前記元画像の表示態様を変更するように前記元画像を補正して、前記画像を生成する
   請求項１〜６のいずれか一項に記載の表示装置。
8. 前記補正部は、形成される前記虚像が時間領域において変化するよう前記元画像を経時的に補正して前記画像を生成する
   請求項１〜７のいずれか一項に記載の表示装置。
9. 前記補正部は、
   前記元画像のうちの外縁部の表示態様を第１態様に決定し、
   前記元画像のうちの前記外縁部を除く内側部の表示態様を前記第１態様と異なる第２態様に決定して、
   決定された前記第１態様で前記外縁部が表示され、かつ、決定された前記第２態様で前記内側部が表示されるように前記元画像を補正して前記画像を生成する
   請求項１〜８のいずれか一項に記載の表示装置。
10. さらに、前記外縁部と前記内側部との面積比の設定を変更する設定部を備える
    請求項９に記載の表示装置。
11. 前記運転状況は、前記所定領域の色調である第１色調を示す色調情報を含み、
    前記補正部は、前記運転状況に含まれる前記色調情報に基づいて、前記第１色調に対して、前記元画像の前記外縁部及び前記内側部のいずれか一方の色調を色相環における補色に近づけるように前記元画像を補正して前記画像を生成する
    請求項９又は１０に記載の表示装置。
12. 前記補正部は、前記運転状況に基づいて、前記元画像を囲む外枠を追加することで前記元画像を補正して前記画像を生成する
    請求項１〜１１のいずれか一項に記載の表示装置。
13. 前記元画像は、複数の画像パーツから構成され、
    前記補正部は、前記複数の画像パーツの各々を補正した後に、前記元画像上における配置に従って補正後の画像パーツを再配置して前記画像を生成する
    請求項１〜１２のいずれか一項に記載の表示装置。
14. 前記第１取得部は、複数の前記元画像から成る画像集合を取得し、
    前記補正部は、複数の前記元画像のうちの補正対象となる前記元画像のみを補正して部分補正画像を生成した後に、前記補正対象ではない未補正の前記元画像、及び、前記部分補正画像を前記画像集合における複数の前記元画像の配置に従って再配置して前記画像を生成する
    請求項１〜３のいずれか一項に記載の表示装置。
15. 虚像を形成してユーザに視認させるために表示媒体に投影される画像を生成するための表示制御装置であって、
    元画像を取得する第１取得部と、
    移動体の運転状況を取得する第２取得部と、
    前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正部と、を備える
    表示制御装置。
16. 外界が透過して見える表示媒体に画像を投影することにより、前記外界の所定領域に形成された前記画像の虚像をユーザに視認させる表示方法であって、
    元画像を取得する第１取得ステップと、
    移動体の運転状況を取得する第２取得ステップと、
    前記運転状況に基づいて、前記元画像を補正することによって前記画像を生成する補正ステップと、
    生成された前記画像を前記表示媒体に投影して、前記外界の所定領域に前記画像の虚像を形成させる投影ステップと、を含む
    表示方法。
17. 請求項１６に記載の表示方法をコンピュータに実行させるための
    プログラム。

Images