JP2023141162A - 画像表示装置 - Google Patents

Abstract

【課題】本開示は、ユーザに煩わしさを与えずに、運転支援機能の向上を図ることができる、画像表示装置を提供することを目的とする。【解決手段】画像表示装置は、移動体のユーザの視線領域を特定する視線領域特定部と、前記ユーザが外部の所定の領域を視認しているか否かを判定する判定部と、前記ユーザに対して警告画像を表示する画像出力部と、を備え、前記判定部は、前記視線領域に基づいて、前記ユーザが前記所定の領域を視認しているか否かを判定し、前記表示制御部は、前記所定の領域のうち前記判定部により前記ユーザが視認していないと判定された領域に前記警告画像を表示する。【選択図】図５

Description

本開示は、画像表示装置に関する。

車両の運転支援のため、ユーザ（運転者）にとって有効な情報を含む画像を車両のウインドシールドの前方に表示する画像表示装置が知られている。ユーザが当該画像を視認しながら車両を運転することで、運転支援機能の向上を図っている。例えば、特許文献１には、自車両が交差点に接近した場合に、適切なタイミングで他車両等の存在をユーザに認識させる画像表示装置が記載されている。

特開２０２２－１８４９３号公報

しかしながら、特許文献１に係る画像表示装置は、ユーザが一度視認した他車両等についても、その存在をユーザに認識させるための画像を表示し続けるため、ユーザに煩わしさを与える恐れがある。

本開示は、ユーザに煩わしさを与えずに、運転支援機能の向上を図ることができる、画像表示装置を提供することを目的とする。

本開示の一態様に係る画像表示装置であって、
移動体のユーザの視線領域を特定する視線領域特定部と、
前記ユーザが外部の所定の領域を視認しているか否かを判定する判定部と、
前記ユーザに対して警告画像を表示する表示制御部と、
を備え、
前記判定部は、前記視線領域に基づいて、前記ユーザが前記所定の領域を視認しているか否かを判定し、
前記表示制御部は、前記所定の領域のうち前記判定部により前記ユーザが視認していないと判定された領域に前記警告画像を表示する。

上記構成によれば、判定部はユーザが注意すべき所定の領域を視認しているか否かを判定し、画像表示装置は、判定部の判定結果に基づいて警告画像を表示する。このため、ユーザが注意すべき所定の領域のうち、ユーザが視認している領域については警告画像を表示せず、ユーザが視認していない領域についてのみ警告画像を表示することができる。これにより、ユーザに煩わしさを与えずに、運転支援機能の向上を図ることができる。

また、前記表示制御部は、前記所定の領域のうち前記判定部により前記ユーザが視認していると判定された領域を、前記警告画像と異なる態様にて表示させてもよい。

上記構成によれば、ユーザが注意すべき所定の領域を視認しているか否かの判定結果に基づいて、注意すべき所定の領域の表示態様を変える。このため、注意すべき所定の領域のうち、ユーザが視認している領域については警告画像を目立たないように表示し、ユーザが視認していない領域については警告画像を目立つように表示することができる。これにより、視認した領域と視認していない領域を区別してユーザに認識させ、運転支援機能の向上を図ることができる。

また、前記判定部は、前記所定の領域と前記視線領域とが少なくとも１回重複した場合、前記ユーザが前記所定の領域を視認していると判定してもよい。

上記構成によれば、注意すべき所定の領域と視線領域とが１回重複すれば、その後、ユーザが当該領域から視線を逸らしても、当該領域は視認していると判定されるため、警告画像を表示しないようする。これにより、ユーザに煩わしさを与えずに、運転支援機能の向上を図ることができる。

また、前記移動体に搭載されたカメラは、前記移動体の外部に存在する人物または他車両を検出し、
前記画像表示装置は、前記カメラの検出結果に基づいて、前記所定の領域を特定してもよい。

上記構成によれば、ユーザが注意すべき所定の領域をリアルタイムで特定し、ユーザに認識させることができる。

また、前記画像表示装置は、前記移動体の位置情報に関連する前記所定の領域を外部サーバから取得してもよい。

上記構成によれば、画像表示装置は、潜在的な注意すべき所定の領域を外部サーバから取得する。これにより、人物または他車両は存在しないが、潜在的な注意すべき所定の領域をユーザに認識させることができる。

本開示によれば、ユーザに煩わしさを与えずに、運転支援機能の向上を図る画像表示装置を提供することができる。

第一実施形態に係る画像表示装置を備えた車両システムのブロック図である。 第一実施形態に係る画像表示装置を備えた車両の概念図である。 第一実施形態に係る画像表示装置を備えた車両の正面図である。 第一実施形態に係る画像表示装置の画像表示処理のフローチャートである。 第一実施形態に係る画像表示装置が表示する画像の一例である。 第二実施形態に係る画像表示装置の画像表示処理のフローチャートである。 第二実施形態に係る画像表示装置が表示する画像の一例である。

（第一実施形態）
以下、本発明の第一実施形態（以下、第一実施形態という。）について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。

また、本実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する。これらの方向は、図２に示す車両１について設定された相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。前後方向は、図２において示されていないが、左右方向及び上下方向に直交する方向である。

図１は、画像表示装置を備えた車両システム２のブロック図である。図１に示すように、車両システム２は、車両制御部３と、画像表示装置４と、センサ５と、カメラ６と、レーダ７と、を備える。さらに、車両システム２は、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）９と、無線通信部１０と、記憶装置１１と、を備える。さらに、車両システム２は、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７と、を備える。

車両制御部３は、車両１の走行を制御するように構成されている。車両制御部３は、例えば、少なくとも一つの電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭには、車両制御プログラムが記憶されてもよい。ＲＡＭには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。

センサ５は、加速度センサ、速度センサ及びジャイロセンサ等を備える。センサ５は、車両１の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、ユーザが運転席に座っているかどうかを検出する着座センサ、ユーザの顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。また、センサ５は、照度センサ等の周辺環境情報を取得するセンサを備えてもよい。

カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、車両１の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部３に送信するように構成されている。車両制御部３は、送信された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両１の外部に存在する対象物（歩行者、他車両、標識等）に関する情報を含んでもよい。例えば、周辺環境情報は、車両１の外部に存在する対象物の属性に関する情報と、車両１に対する対象物の距離や位置に関する情報とを含んでもよい。カメラ６は、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。また、カメラ６はＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）でもよい。

レーダ７は、ミリ波レーダ、マイクロ波レーダ及び／又はレーザーレーダ（例えば、ＬｉＤＡＲユニット）等である。例えば、ＬｉＤＡＲユニットは、車両１の周辺環境を検出するように構成されている。特に、ＬｉＤＡＲユニットは、車両１の周辺環境を示す３Ｄマッピングデータ（点群データ）を取得した上で、当該３Ｄマッピングデータを車両制御部３に送信するように構成されている。車両制御部３は、送信された３Ｄマッピングデータに基づいて、周辺環境情報を特定する。

ＨＭＩ８は、ユーザからの入力操作を受付ける入力部と、走行情報等をユーザに向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両１の運転モードを切替える運転モード切替スイッチ等を含む。ＧＰＳ９は、車両１の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。現在位置情報は、車両１のＧＰＳ座標（緯度及び経度）を含む。

無線通信部１０は、車両１の周囲にいる他車に関する情報（例えば、走行情報等）を他車から受信すると共に、車両１に関する情報（例えば、走行情報等）を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１の走行情報をインフラ設備に送信するように構成されている（路車間通信）。また、無線通信部１０は、歩行者が携帯する携帯型電子機器（スマートフォン、タブレット、ウェアラブルデバイス等）から歩行者に関する情報を受信すると共に、車両１の自車走行情報を携帯型電子機器に送信するように構成されている（歩車間通信）。車両１は、他車両、インフラ設備又は携帯型電子機器とアドホックモードによりインターネット等の通信ネットワークを介して通信してもよい。

記憶装置１１は、ハードディスクドライブ（ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置である。記憶装置１１には、２Ｄ又は３Ｄの地図情報及び／又は車両制御プログラムが記憶されてもよい。例えば、３Ｄの地図情報は、点群データによって構成されてもよい。記憶装置１１は、車両制御部３からの要求に応じて、地図情報や車両制御プログラムを車両制御部３に出力するように構成されている。

画像表示装置４は、いわゆるヘッドアップディスプレイ（ＨＵＤ）であり、表示制御部４０と、視線領域特定部４１と、判定部４２と、画像出力部４３と、路面描画部４４と、を備える。図２に示した例では、画像表示装置４は、ウインドシールド１８へ画像を表示させる。画像表示装置４は、車両１の外部の現実空間（特に、車両１の前方の周辺環境）と重畳されるように、所定の情報を車両１のユーザに向け画像として表示するように構成されている。画像表示装置４によって表示される画像情報は、例えば、車両１の走行に関連した車両走行情報及び／又は車両１の周辺環境に関連した周辺環境情報（特に、車両１の外部に存在する対象物に関連した情報）等である。

表示制御部４０は、画像表示装置４の各部の動作を制御する。表示制御部４０は、車両制御部３に接続されており、例えば、車両制御部３から送信される車両走行情報や周辺環境情報等に基づいて、画像出力部４３の動作を制御するための制御信号を生成し、生成された制御信号を画像出力部４３に送信する。表示制御部４０は、ＣＰＵ等のプロセッサとメモリが搭載され、メモリから読みだしたコンピュータプログラムをプロセッサが実行して、画像出力部４３等の動作を制御する。なお、本実施形態では、車両制御部３と表示制御部４０とは別個の構成として設けられているが、車両制御部３と表示制御部４０は一体的に構成されてもよい。例えば、車両制御部３と表示制御部４０は、単一の電子制御ユニットにより構成されていてもよい。

視線領域特定部４１は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含む内部カメラである。視線領域特定部４１は、図２に示すユーザの視点Ｅをトラッキングするアイトラッキングカメラとして機能し、ユーザの視線領域を計測して特定する。内部カメラは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。視線領域特定部４１は、例えば、ルームミラーの近傍、あるいはインストルメントパネルの内部等に設けられている。なお、本実施形態では、視線領域特定部４１は画像表示装置４の１つ要素として設けられているが、センサ５に含まれる構成であってもよい。
例えば視線領域特定部４１は、アイトラッキングカメラでユーザの視点Ｅを含む領域を特定し、ユーザの視点Ｅを錐体の頂点とした立体角で開き角度が１度の範囲をユーザの視線領域として設定する。

判定部４２は、視線領域特定部４１が計測したユーザの視線領域に基づいて、ユーザが所定の領域を視認しているか否かを判定する。ここで、所定の領域とは、例えば、車両制御部３が取得する周辺環境情報に含まれる、車両１の外部に存在する対象物（歩行者、他車両、標識等）に関する属性情報に応じた領域である。
例えば、カメラ６が取得した画像などにより他車両や歩行者などの交通他者が存在すると特定されていた場合は、該交通他者が存在する領域が所定の領域である。あるいは、車両の走行時に標識が通過する領域が所定の領域である。このように、所定の領域は、交通他者が存在する場合など、外部の状況に応じて都度設定される領域である。また、所定の領域は、標識が通過する領域など、外部の状況に寄らずに恒常的に設定される領域でもある。

画像出力部４３は、車両１のユーザに向けて表示される所定の画像を生成するための光を出射するように構成されている。画像出力部４３は、例えば、所定の領域のうち判定部４２によりユーザが視認していないと判定した領域に関する警告画像を生成するための画像を出力可能である。つまり、表示制御部４０は、例えば、所定の領域のうち判定部４２によりユーザが視認していないと判定した領域に関する警告画像を表示可能である。警告画像は、例えば車両１の外部に存在する対象物に関する属性情報に応じて領域を赤枠で表示する等、ユーザに注意を促すための画像である。

路面描画部４４は、車両１の外部の路面に向けて所定の情報を示す光パターンを出射するように構成されている。路面描画部４４は、二つの路面描画部（左側路面描画部４４Ｌおよび右側路面描画部４４Ｒ）を備える。

図２は、画像表示装置４を車両１の側面側から見た模式図である。画像表示装置４は、少なくとも画像表示装置４の一部が車両１の内部に位置する。具体的には、画像表示装置４は、車両１の室内の所定箇所に設置されている。例えば、画像表示装置４は、車両１のダッシュボード内に配置されてもよい。

図２に示すように、画像表示装置４は、画像表示本体部２１を備える。画像表示本体部２１は、本体ハウジング２２と、出射窓２３とを有する。出射窓２３は可視光を透過させる透光板で構成されている。画像表示本体部２１は、本体ハウジング２２の内部に、画像出力部４３と、凹面鏡２６（反射部の一例）と、平面鏡２８と、を有する。なお、画像表示装置４の表示制御部４０は、本実施形態では画像出力部４３内に収容されている。

画像出力部４３は、本体ハウジング２２内において、光を上方に出射するように設置されている。平面鏡２８は、画像出力部４３から出射される光の光路上に配置されている。具体的には、平面鏡２８は、画像出力部４３の上方に配置され、画像出力部４３から出射された光を凹面鏡２６に向けて反射するように構成されている。

凹面鏡２６は、画像出力部４３から出射されて平面鏡２８により反射された光の光路上に配置されている。具体的には、凹面鏡２６は、本体ハウジング２２内において、画像出力部４３及び平面鏡２８の前側に配置されている。凹面鏡２６は、画像出力部４３から出射された光をウインドシールド１８に向けて反射するように構成されている。凹面鏡２６は、所定の画像を形成するために凹状に湾曲した反射面を有し、画像出力部４３から出射され結像された光の像を所定の倍率で反射させる。凹面鏡２６は、例えば駆動機構２７を有し、表示制御部４０から送信される制御信号に基づいて凹面鏡２６の位置及び向きを変化させることができるように構成されていてもよい。

画像出力部４３から出射された光は、平面鏡２８及び凹面鏡２６で反射されて画像表示本体部２１の出射窓２３から出射される。画像表示本体部２１の出射窓２３から出射された光は、ウインドシールド１８に照射される。出射窓２３からウインドシールド１８に照射された光の一部は、ユーザの視点Ｅに向けて反射される。この結果、ユーザは、画像表示本体部２１から出射された光をウインドシールド１８の前方の所定の距離において形成される虚像として認識する。このように、画像表示装置４によって表示される画像がウインドシールド１８を通して車両１の前方の現実空間に重畳される結果、ユーザは、所定の画像により形成される虚像オブジェクトＩが車両外部に位置する道路上に浮いているように視認することができる。

なお、虚像オブジェクトＩとして２Ｄ画像（平面画像）を形成する場合には、所定の画像を任意に定めた単一距離の虚像となるように投影する。虚像オブジェクトＩとして３Ｄ画像（立体画像）を形成する場合には、互いに同一または互いに異なる複数の所定の画像をそれぞれ異なる距離の虚像となるように投影する。また、虚像オブジェクトＩの距離（ユーザの視点Ｅから虚像までの距離）は、画像出力部４３からユーザの視点Ｅまでの距離を調整する（例えば画像出力部４３と凹面鏡２６との間の距離を調整する）ことによって適宜調整可能である。

図３は、第一実施形態に係る画像表示装置４を備えた車両１の正面図である。図３に示すように、左側路面描画部４４Ｌは、左側ヘッドランプ２０Ｌに搭載され、右側路面描画部４４Ｒは、右側ヘッドランプ２０Ｒ内に搭載されている。以降の説明では、左側路面描画部４４Ｌおよび右側路面描画部４４Ｒを単に路面描画部４４という場合がある。

路面描画部４４は、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光偏向装置は、例えば、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー、ガルバノミラー、ポリゴンミラー等である。路面描画部４４は、レーザ光を走査することで光パターンを路面上に描画するように構成されている。レーザ光源がＲＧＢレーザ光源である場合、路面描画部４４は、様々な色の光パターンを路面上に描画することが可能となる。左側路面描画部４４Ｌおよび右側路面描画部４４Ｒは、それぞれ別の光パターンを路面上に描画してもよいし、それぞれの光パターンを合成することにより１つの光パターンを路面上に描画してもよい。

尚、本実施形態では、路面描画部４４は、ヘッドランプ２０Ｌ、２０Ｒ内に搭載された路面描画部４４Ｌ、４４Ｒを備えているが、路面描画部４４が路面上に光パターンを描画することが可能である限りにおいて、路面描画部４４の数、配置場所及び形状は特に限定されるものではない。例えば、左側路面描画部４４Ｌおよび右側路面描画部４４Ｒは、ヘッドランプの近傍に配置されてもよい。また、路面描画部４４の数が１つである場合、車体ルーフ上に配置されてもよい。また、路面描画部４４の数が４つである場合、左側ヘッドランプ２０Ｌ、右側ヘッドランプ２０Ｒ、左側リアコンビネーションランプ（図示せず）及び右側リアコンビネーションランプ（図示せず）内にそれぞれ１つの路面描画部４４が搭載されてもよい。

また、路面描画部４４の描画方式は、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）方式であってもよい。この場合、光源としてレーザの代わりにＬＥＤが使用される。

図４は、第一実施形態に係る画像表示装置４の画像表示処理のフローチャートである。図４に示すように、まず、カメラ６を起動して、車両１の周辺環境を示す画像データを取得する（Ｓ１００）。

次に、車両制御部３は、カメラ６で取得された画像データに基づいて周辺環境情報を取得し、周辺環境情報が車両１の外部に存在する対象物を含んでいるか判定する（Ｓ１０１）。周辺環境情報が車両１の外部に存在する対象物を含んでいると判定した場合（Ｓ１０１のＹＥＳ）、画像制御部４０は所定の領域（車両１の外部に存在する対象物に応じた領域）を特定する（Ｓ１０２）。

次に、視線領域特定部４１は、ユーザの視線領域を計測して特定する（Ｓ１０３）。

次に、判定部４２は、視線領域特定部４１が特定したユーザの視線領域に基づいて、ユーザが所定の領域を視認しているか否かを判定する（Ｓ１０４）。具体的には、判定部４２はユーザの視線領域と所定の領域が重複している割合が所定の値以上であれば、ユーザが所定の領域を視認していると判定する。判定部４２が、ユーザが所定の領域を視認していないと判定した場合（Ｓ１０４のＹＥＳ）、表示制御部４０は、ユーザに対して、視認していないと判定された所定の領域について警告画像を表示する（Ｓ１０５）。

なお、ユーザの視線領域と所定の領域が少なくとも一回重複している割合が所定の値以上となれば、その後、ユーザの視線領域と所定の領域が重複している割合が所定の値未満となっても、判定部４２は所定の領域を視認していると判定する。

次に、路面上に図形や文字等の光パターンを照射（路面描画）することで、車両の情報を、歩行者・対向車等の他者に対して通知・警告してもよい（Ｓ１０６）。また、他車に対して警告情報を車車間通信で送信してもよい（Ｓ１０６）。

次に、判定部４２は、ユーザが所定の領域を視認しているか否かを再度判定する（Ｓ１０７）。判定部４２が、ユーザが所定の領域を視認したと判定した場合（Ｓ１０７のＹＥＳ）、表示制御部４０は、所定の領域に表示された警告画像を終了する（Ｓ１０８）。このとき、表示制御部４０は、所定の領域に表示された警告画像を薄くする等、目立たない態様で表示してもよい。判定部４２が、ユーザが所定の領域を視認していないと判定した場合（Ｓ１０７のＮＯ）、表示制御部４０は、所定の領域に警告画像を表示し続ける（Ｓ１０５）。

ユーザが車両１の運転を続ける限りＳ１０１～Ｓ１０８の処理を繰り返す（Ｓ１０９のＮＯ）。ユーザが車両１の運転を終了した場合（Ｓ１０９のＹＥＳ）には、画像表示装置４は画像表示処理のフローを終了する。

図５は、第一実施形態に係る画像表示装置４が表示する画像の一例である。図５において、警告画像６０、６１は画像表示装置４が表示する画像であり、警告画像６０、６１以外の進入車５０、歩行者５１、５２等は車両１の外部の現実空間を表している。

図５に示すように、車両１の外部に進入車５０、歩行者５１、５２が存在している場合、車両制御部３は、カメラ６で取得された画像データに基づいて対象物として検出する（図４に示すＳ１０１）。次に、判定部４２が、視線領域特定部４１が特定したユーザの視線領域に基づいて、ユーザが進入車５０、歩行者５１を視認していないと判定した場合（図４に示すＳ１０４のＮＯ）、表示制御部４０は、進入車５０、歩行者５１に関する所定の領域に警告画像６０、６１を表示する（図４に示すＳ１０５）。また、判定部４２が、視線領域特定部４１が特定したユーザの視線領域に基づいて、ユーザが歩行者５２を視認していると判定した場合（図４に示すＳ１０４のＹＥＳ）、表示制御部４０は、歩行者５２に関する所定の領域に警告画像を表示しない。

上記構成により、ユーザが注意すべき所定の領域のうち、ユーザが視認している領域については警告画像を表示せず、ユーザが視認していない領域についてのみ警告画像をリアルタイムに表示することができる。これにより、ユーザに煩わしさを与えずに、運転支援機能の向上を図ることができる。

また、上記構成により、ユーザが注意すべき所定の領域のうち、ユーザが視認している領域については警告画像を目立たないように表示し、ユーザが視認していない領域については警告画像を目立つように表示することができる。これにより、視認した領域と視認していない領域を区別してユーザに認識させ、運転支援機能の向上を図ることができる。

（第二実施形態）
図６と図７を参照して、第二実施形態に係る画像表示装置４について説明する。

図６は、第二実施形態に係る画像表示装置４の画像表示処理のフローチャートである。図６に示すように、まず、車両制御部３は、無線通信部１０を経由して、外部サーバ（不図示）から車両１が現在走行している位置情報や道路情報（例えば、地図情報および現在位置情報に基づく道路情報）に関連したユーザが注意すべき所定の領域を取得する（Ｓ２００）。

次に、視線領域特定部４１は、ユーザの視線領域を計測して特定する（Ｓ２０１）。

次に、判定部４２は、視線領域特定部４１が計測したユーザの視線領域に基づいて、ユーザが注意すべき所定の領域を視認しているか否かを判定する（Ｓ２０２）。具体的には、判定部４２はユーザの視線領域と所定の領域が重複している割合が所定の値以上であれば、ユーザが所定の領域を視認していると判定する。判定部４２が、ユーザが所定の領域を視認していないと判定した場合（Ｓ２０２のＮＯ）、表示制御部４０は、ユーザに対して視認していないと判定された所定の領域に警告画像を表示する（Ｓ２０３）。

次に、路面上に図形や文字等の光パターンを照射（路面描画）することで、車両の情報を、歩行者・対向車等の他者に対して通知・警告してもよい（Ｓ２０４）。また、他車に対して警告情報を車車間通信で送信してもよい（Ｓ２０４）。

次に、判定部４２は、ユーザが所定の領域を視認しているか否かを再度判定する（Ｓ２０５）。判定部４２が、ユーザが所定の領域を視認したと判定した場合（Ｓ２０５のＹＥＳ）、表示制御部４０は、所定の領域に表示された警告画像を終了する（Ｓ２０６）。このとき、表示制御部４０は、所定の領域に表示された警告画像を薄くする等、目立たない態様で表示してもよい。判定部４２が、ユーザが所定の領域を視認していないと判定した場合（Ｓ２０５のＮＯ）、表示制御部４０は、所定の領域に警告画像を表示し続ける（Ｓ２０３）。

なお、ユーザの視線領域と所定の領域が少なくとも一回重複している割合が所定の値以上となれば、その後、ユーザの視線領域と所定の領域が重複している割合が所定の値未満となっても、判定部４２は所定の領域を視認していると判定する。

ユーザが車両１の運転を続ける限りＳ２０１～Ｓ２０６の処理を繰り返す（Ｓ２０７のＮＯ）。ユーザが車両１の運転を終了した場合（Ｓ２０７のＹＥＳ）には、画像表示装置４は画像表示処理のフローを終了する。

図７は、第二実施形態に係る画像表示装置４が表示する画像の一例である。図７において、警告画像７０は画像表示装置４が表示する画像であり、警告画像７０以外の歩行者５１、５２等は車両１の外部の現実空間を表している。
図７に示すように、判定部４２が、視線領域特定部４１が特定したユーザの視線領域に基づいて、ユーザが所定の領域を視認していないと判定した場合、表示制御部４０は、所定の領域に警告画像７０を表示する（図６に示すＳ２０６）。また、判定部４２が、視線領域特定部４１が特定したユーザの視線領域に基づいて、ユーザが所定の領域を視認していると判定した場合、表示制御部４０は、注意すべき所定の領域に警告画像を表示しない。このとき、所定の領域とは、図５に示すような進入車５０が存在しているかいないかに関わらず、潜在的にユーザが注意すべき領域を表す。

上記構成によれば、人物または他車両は存在しないが、潜在的な注意すべき所定の領域をユーザに認識させることができる。これにより、運転支援機能の向上を図ることができる。

以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

上述した実施形態においては、画像表示装置４がウインドシールド１８に画像を表示させる例を説明したが、コンバイナなど車室内部に設けられた表示部に画像を表示させるように構成してもよい。
また、上述した実施形態においては、車両に搭載される画像表示装置４を説明したが、本発明の画像表示装置は、例えば航空機、鉄道、船舶などに搭載されてもよい。

１：車両
２：車両システム
３：車両制御部
４：画像表示装置
５：センサ
６：カメラ
７：レーダ
８：ＨＭＩ
９：ＧＰＳ
１０：無線通信部
１１：記憶装置
１８：ウインドシールド
２０Ｌ：左側ヘッドランプ
２０Ｒ：右側ヘッドランプ
２１：画像表示本体部
２２：本体ハウジング
２３：出射窓
２６：凹面鏡
２７：駆動機構
４０：表示制御部
４１：視線領域特定部
４２：判定部
４３：画像出力部
４４：路面描画部
４４Ｌ：左側路面描画部
４４Ｒ：右側路面描画部
Ｉ：虚像オブジェクト
Ｅ：視点

Claims (5)

1. 移動体のユーザの視線領域を特定する視線領域特定部と、
   前記ユーザが外部の所定の領域を視認しているか否かを判定する判定部と、
   前記ユーザに対して警告画像を表示する表示制御部と、
   を備え、
   前記判定部は、前記視線領域に基づいて、前記ユーザが前記所定の領域を視認しているか否かを判定し、
   前記表示制御部は、前記所定の領域のうち前記判定部により前記ユーザが視認していないと判定された領域に前記警告画像を表示する、画像表示装置。
2. 前記表示制御部は、前記所定の領域のうち前記判定部により前記ユーザが視認していると判定された領域を、前記警告画像と異なる態様にて表示する、請求項１に記載の画像表示装置。
3. 前記判定部は、前記所定の領域と前記視線領域とが少なくとも１回重複した場合、前記ユーザが前記所定の領域を視認していると判定する、請求項１または２に記載の画像表示装置。
4. 前記移動体に搭載されたカメラは、前記移動体の外部に存在する人物または他車両を検出し、
   前記画像表示装置は、前記カメラの検出結果に基づいて、前記所定の領域を特定する、請求項１から３のいずれか一項に記載の画像表示装置。
5. 前記画像表示装置は、前記移動体の位置情報に関連する前記所定の領域を外部サーバから取得する、請求項１から３のいずれか一項に記載の画像表示装置。

Images