JP2019066564A - 表示装置、表示制御方法、及びプログラム - Google Patents
表示装置、表示制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2019066564A JP2019066564A JP2017189144A JP2017189144A JP2019066564A JP 2019066564 A JP2019066564 A JP 2019066564A JP 2017189144 A JP2017189144 A JP 2017189144A JP 2017189144 A JP2017189144 A JP 2017189144A JP 2019066564 A JP2019066564 A JP 2019066564A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- user
- display
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】重畳画像を視認する使用者が遠方から近方に視線を移した場合に、重畳画像内のコンテンツがずれて視認されることの煩わしさを低減できる表示装置、表示制御方法、及びプログラムを提供する。【解決手段】表示装置は、使用者に風景と重なって視認される重畳画像を表示する表示手段と、重畳画像の表示制御を行う表示制御手段と、使用者の注視距離を推定し、推定した注視距離が所定距離よりも近い近距離であるか否かを判別する注視距離判別手段と、を備える。表示制御手段は、注視距離判別手段が近距離であると判別すると、重畳画像のうち所定領域以外の部分に表示していたコンテンツC5、C6を視認困難とするか消去する。【選択図】図10
Description
本発明は、表示装置、表示制御方法、及びプログラムに関する。
使用者に風景と重なって視認される画像を表示する表示装置として、例えば、特許文献1に開示されたものがある。この種の表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、使用者の眼に対応して設けられた透光部材の前方に、風景に重畳させて各種情報を示す虚像(以下、重畳画像とも言う)を表示することで、AR(Augmented Reality)を実現する。
HMDのような表示装置は、ある結像位置に、設定されたサイズの重畳画像が表示されるように制御するが、使用者にとっては自身の注視位置(注視している物体までの距離)に応じて重畳画像のサイズが変化したように感じるという特性がある。この特性は、使用者が重畳画像とともに見る風景との比較として重畳画像のサイズを認識することに起因する。この特性により、使用者は、注視位置が近ければ近いほど重畳画像が小さく感じ、遠ければ遠いほど重畳画像が大きく感じる。このような特性により、重畳画像を視認する使用者が遠方から近方に視線を移すと、遠方時に風景内の特定対象に重なって表示されていたコンテンツ(重畳画像内の所定画像)が、当該特定対象とずれて視認されるという問題がある。
本発明は、上記実情に鑑みてなされたものであり、重畳画像を視認する使用者が遠方から近方に視線を移した場合に、重畳画像内のコンテンツがずれて視認されることの煩わしさを低減できる表示装置、表示制御方法、及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る表示装置は、
使用者の眼に対応して設けられ、前記使用者に風景と重なって視認される重畳画像を表示する表示手段と、
前記重畳画像の表示制御を行う表示制御手段と、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する注視距離判別手段と、を備え、
前記表示制御手段は、前記注視距離判別手段が前記近距離であると判別すると、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する。
使用者の眼に対応して設けられ、前記使用者に風景と重なって視認される重畳画像を表示する表示手段と、
前記重畳画像の表示制御を行う表示制御手段と、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する注視距離判別手段と、を備え、
前記表示制御手段は、前記注視距離判別手段が前記近距離であると判別すると、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する。
上記目的を達成するため、本発明の第2の観点に係る表示制御方法は、
使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させる表示制御方法であって、
前記使用者の注視距離を推定するステップと、
推定した前記注視距離が所定距離よりも近い近距離である場合に、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去するステップと、を備える。
使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させる表示制御方法であって、
前記使用者の注視距離を推定するステップと、
推定した前記注視距離が所定距離よりも近い近距離である場合に、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去するステップと、を備える。
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させるためのプログラムであって、
コンピュータに、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する処理と、
前記近距離であると判別されたことに応じて、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する処理と、
を実行させる。
使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させるためのプログラムであって、
コンピュータに、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する処理と、
前記近距離であると判別されたことに応じて、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する処理と、
を実行させる。
本発明によれば、重畳画像を視認する使用者が遠方から近方に視線を移した場合に、重畳画像内のコンテンツがずれて視認されることの煩わしさを低減できる。
本発明の一実施形態に係る表示装置を、図面を参照して説明する。
(第1実施形態)
第1実施形態に係る表示装置100は、図1に示すように、画像光生成装置1と、画像光生成装置1の動作を制御する制御装置2と、を備える。表示装置100は、使用者に風景と重なって視認される重畳画像を虚像V(図3参照)として表示するヘッドマウントディスプレイ(HMD:Head Mounted Display)として構成されている。この実施形態の表示装置100は、使用者が車両を運転する際に、図5に示す車内3にて使用される。
第1実施形態に係る表示装置100は、図1に示すように、画像光生成装置1と、画像光生成装置1の動作を制御する制御装置2と、を備える。表示装置100は、使用者に風景と重なって視認される重畳画像を虚像V(図3参照)として表示するヘッドマウントディスプレイ(HMD:Head Mounted Display)として構成されている。この実施形態の表示装置100は、使用者が車両を運転する際に、図5に示す車内3にて使用される。
画像光生成装置1は、図1〜図3に示すように、第1表示部10と、第2表示部20と、フレーム30と、フレーム30に配設された内カメラ31、モーションセンサ32、及び外カメラ33と、を備える。
画像光生成装置1は、図1に示すように眼鏡状に形成され、フレーム30を介して使用者の頭部に装着され使用される。フレーム30は、大別して、第1表示部10及び第2表示部20を保持するリム30aと、使用者の側頭部や耳上方にかけられるテンプル30bとから構成されている。
第1表示部10、第2表示部20は、図2に示すように、使用者の眼Eに対応して設けられる。具体的には、第1表示部10は使用者の右眼E1に対応して設けられ、第2表示部20は使用者の左眼E2に対応して設けられている。第1表示部10は、画像光L1を生成及び射出することで、右眼E1で視認される虚像V1を表示する。また、第2表示部20は、画像光L2を生成及び射出することで、左眼E2で視認される虚像V2を表示する。なお、虚像V1と虚像V2とは基本的に同様の画像を示すため、以下では、特に断りがない限りにおいては、両者を区別なく虚像V(あるいは重畳画像)とも呼ぶ。また、同様に、画像光L1と画像光L2とを区別なく画像光Lとも呼ぶ。
画像光生成装置1は、使用者に、第1表示部10及び第2表示部20を透かして風景(実景)を視認させるとともに、使用者から見て第1表示部10及び第2表示部20の前方に虚像Vを表示させる。
第1表示部10は、表示素子11と、導光装置12と、を備える。また、第2表示部20は、表示素子21と、導光装置22と、を備える。なお、画像光生成装置1は、概ね左右対称に形成されており、第1表示部10と第2表示部20とは同様に構成されている。そのため、以下では、第2表示部20の構成の具体的説明を省略して、主に第1表示部10について説明する。
表示素子11は、例えば、フルカラーのTFT(Thin Film Transistor)型の液晶表示パネルやバックライトから構成され、複数の点灯画素の組み合わせにより画像を表示する。つまり、表示素子11は、当該画像を表す画像光L(L1)を射出する。バックライトは、液晶表示パネルを背後から照明するものであり、例えば、LED(Light Emitting Diode)や導光体などから構成されている。表示素子11は、制御装置2の制御により、図3に示す駆動部11aを介して駆動される。駆動部11aは、例えば、液晶表示パネルが有する複数の画素の各々の透過/不透過状態を画像信号に応じて切り替える液晶用ドライバや、LEDを駆動する光源ドライバなどから構成されている。
なお、表示素子11は、画像光Lを射出することができるものであればよく、有機EL(Electro-Luminescence)パネルや、DMD(Digital Micromirror Device)やLCOS(Liquid Crystal On Silicon)などの反射型表示デバイスを用いたプロジェクタから構成されてもよい。
導光装置12は、図3に示すように、鏡筒部120と、導光部121と、透過部122と、を有する。鏡筒部120は、表示素子11が射出した画像光Lを透過させる、図示しない光学素子(例えば、複数のレンズからなる)を収容する。鏡筒部120内に位置する光学素子は、導光部121と協動して、導光部121の内部に重畳画像(虚像V)の中間像を形成する。鏡筒部120は、例えば、フレーム30におけるリム30aとテンプル30bとの連結部近傍に設けられている。
導光部121と透過部122は、透光性樹脂により形成され、図2に示すように、使用者が画像光生成装置1を装着すると当該使用者の右眼E1前方に位置し、眼鏡で言う右眼用のレンズに相当する形状を有する。
導光部121は、鏡筒部120内の光学素子を透過した画像光Lを受け、内部にて導くものである。導光部121には、当該光学素子の光軸に沿う画像光Lを、使用者の眼Eの前方に向かって反射させる反射面121aが形成されている。反射面121aで反射した画像光Lは、導光部121内でさらに複数回反射しつつ導光される。導光部121は、このような導光機能と、使用者に風景を透かして視認させる透視機能とを有する。透過部122は、導光部121と接合され、導光部121の透視機能を補助するものである。導光部121と透過部122との間には、ハーフミラー層123が形成されている。ハーフミラー層123の透過率を調整することで、透視される風景に対する虚像Vの表示見栄えが調整される。
ここで、図3を参照して、画像光Lの光路について簡潔に説明する。なお、図2に点線で表した画像光Lは、模式的に示したものである。
第1表示部10において、表示素子11が導光装置12に向かって射出した画像光L(L1)は、鏡筒部120内の光学素子を透過することで収束されて、導光部121に入射する。導光部121に入射した画像光Lは、反射面121aで反射した後に、さらに複数回反射してからハーフミラー層123に入射する。なお、複数回の反射の過程において導光部121中に中間像が形成される。ハーフミラー層123に入射した画像光Lの一部は、ハーフミラー層123で反射した後に導光部121から射出され、使用者の右眼E1に到達する。これにより、使用者は、導光部121及び透過部122を介した前方に、画像光Lに基づく虚像V(V1)を視認する。つまり、使用者は、表示素子11が表示した画像を虚像Vとして視認する。なお、同様に、第2表示部20において、表示素子21が導光装置22に向かって射出した画像光L(L2)は、使用者の左眼E2に到達し、虚像V(V2)として視認される。
第1表示部10において、表示素子11が導光装置12に向かって射出した画像光L(L1)は、鏡筒部120内の光学素子を透過することで収束されて、導光部121に入射する。導光部121に入射した画像光Lは、反射面121aで反射した後に、さらに複数回反射してからハーフミラー層123に入射する。なお、複数回の反射の過程において導光部121中に中間像が形成される。ハーフミラー層123に入射した画像光Lの一部は、ハーフミラー層123で反射した後に導光部121から射出され、使用者の右眼E1に到達する。これにより、使用者は、導光部121及び透過部122を介した前方に、画像光Lに基づく虚像V(V1)を視認する。つまり、使用者は、表示素子11が表示した画像を虚像Vとして視認する。なお、同様に、第2表示部20において、表示素子21が導光装置22に向かって射出した画像光L(L2)は、使用者の左眼E2に到達し、虚像V(V2)として視認される。
図2に戻って、内カメラ31は、使用者の眼球に関する情報を取得するための構成であり、制御装置2の制御により使用者の顔(主に眼E)を撮像する。内カメラ31は、例えば、リム30aにおける内側(使用者の顔と対向する位置)に設けられている。内カメラ31は、右眼E1と左眼E2の各々に対応して設けられている。なお、内カメラ31は、1つの眼を複数の方向から撮像するために、当該1つの眼に対して複数設けられていることが好ましい。例えば、内カメラ31は、右眼E1を互いに異なる方向から撮像する2つのカメラと、左眼E2を互いに異なる方向から撮像する2つのカメラとの計4つのカメラから構成することができる。内カメラ31は、撮像した右眼E1と左眼E2を含む撮像画像のデータ(以下、内側撮像データD1と言う)を制御装置2へと供給する。
モーションセンサ32は、画像光生成装置1の動きや向き、つまり画像光生成装置1を装着した使用者の顔の動きや向きを検出する。モーションセンサ32は、例えば、加速度センサ、ジャイロセンサ及び地磁気センサのうち1つ又は複数の組み合わせからなり、検出結果を示すデータ(以下、動きデータD2と言う)を制御装置2へと供給する。
外カメラ33は、使用者が視認する風景に関する情報を取得するための構成であり、制御装置2の制御により使用者が導光装置12、22を透かして見る風景を撮像する。外カメラ33は、例えばステレオカメラとして構成され、図1に示すように、リム30aの外側における左右端部の各々に設けられている。外カメラ33は、撮像した撮像画像のデータ(以下、外側撮像データと言う)を制御装置2へと供給する。
制御装置2は、例えば、使用者が画像光生成装置1の各種操作を行うコントローラとして構成され、図示しないインターフェース(I/F)を介して、画像光生成装置1と無線又は有線により通信を行う。無線通信としては、Bluetooth(登録商標)、UWB(Ultra Wide Band)、Z−Wave、ZigBeeなどの規格に準拠した方式を用いることができる。また、有線通信としては、USB(Universal Serial Bus)などの公知の方式を用いることができる。なお、制御装置2は、画像光生成装置1に組み込まれていてもよい。
制御装置2は、制御部40と、通信部50とを備える。また、制御装置2は、図示しない構成として、動作電力を供給する電源や、使用者の操作を受け付ける操作部や、画像光生成装置1と通信を行うためのインターフェースなどを備える。
通信部50は、表示装置100の外部装置と有線又は無線により通信を行うものであり、例えば、有線用のインターフェースや、アンテナ及び高周波回路等を有する無線通信用モジュールを含んで構成されている。利用可能な有線又は無線の通信方式は、前述と同様である。
通信部50は、使用者が搭乗する車両に搭載された車載装置200と通信を行い、当該車両に関する各種情報(以下、車両情報と言う)を受信する。車両情報は、車両自体の情報だけでなく車外の情報も含む。この実施形態における虚像Vは、主に車両情報を使用者に報知するために表示される。車載装置200は、例えば、車両の各部を制御するECU(Electronic Control Unit)、カーナビゲーション装置、複合計器などから構成されている。通信部50は、車両情報として、車速データD3や、現在の自車位置及び決定した案内経路に関するナビゲーションデータなどを車載装置200から受信する。また、通信部50は、車載装置200から虚像Vとして表示させる画像データの少なくとも一部を受信してもよい。また、通信部50は、携帯端末300と通信を行い、当該携帯端末300によるコンテンツデータ(画像データ、音声データ等)を受信してもよい。例えば、当該コンテンツデータは、ナビゲーション機能を有する携帯端末300からのナビゲーションデータを含んでいてもよい。
制御部40は、CPU(Central Processing Unit)41と、記憶部42と、図示しない表示制御部(グラフィックコントローラ)と、を備える。なお、制御部40の一部は、ASIC(Application Specific Integrated Circuit)などの専用回路によって構成されていてもよい。
記憶部42は、制御メモリとしてのROM(Read Only Memory)及びRAM(Random Access Memory)や、ビデオメモリとして画像データを記憶する不揮発性メモリなどから構成されている。ROMは、動作プログラム(後述の表示形態切替処理を実行するためのプログラムPGなど)や固定データを予め記憶する。RAMは、各種の演算結果などを一時的に記憶する。例えば、RAMには、後述の表示形態切替処理における判別結果や決定結果を示すデータなどが記憶される。
CPU41は、記憶部42のROMから読み出した動作プログラムや固定データを用いて、表示装置100の全体動作を制御するための処理を実行する。このときには、CPU41がROMから固定データを読み出す固定データ読出動作や、CPU41が記憶部42のRAMに各種データを書き込んで一時記憶させるデータ書込動作、CPU41がRAMに一時記憶されている各種データを読み出すデータ読出動作、CPU41が画像光生成装置1や、車載装置200などの外部装置と通信するための送受信動作などが行われる。
また、CPU41は、表示制御部を介して、ビデオメモリに記憶された画像(映像)データに基づき、画像光生成装置1(第1表示部10、第2表示部20)の表示制御(画像光Lの生成制御)を行う。つまり、CPU41は、表示制御部を介して、虚像Vとして視認される重畳画像の表示制御を行う。また、CPU41は、外カメラ33から取得した外側撮像データに基づいて、風景内に実在する対象物OB(図6参照)までの距離などを含む奥行き情報を算出する。CPU41は、算出した奥行き情報に応じて、対象物OBに重畳表示するコンテンツ画像(各種報知を行うための画像)の位置やサイズを制御する。コンテンツ画像は、各種報知を行うための画像であり、後述する車速画像C1、経路案内画像C2、時刻画像C3などである。コンテンツ画像は、表示可能領域である重畳画像(虚像V)に含まれる画像である。なお、以下では、所定の対象物OBに重畳表示されるコンテンツ画像を「AR(Augmented Reality)表示」と呼び、当該所定の対象物OBを「AR対象」とも呼ぶ。
ここで、上記の課題で述べたように、HMDとして構成される表示装置100は、使用者にとっては自身の注視位置(注視距離G)に応じて重畳画像のサイズが変化したように感じるという特性がある。当該特性により使用者は、例えば図4に示すように注視距離Gが所定値Pから、2倍の2Pとなると、重畳画像のサイズが概ね2倍となったように認識する。このように、使用者の認識上では、注視距離Gに概ね比例して重畳画像のサイズが変化する。
上記の特性により、図5に示すように、車両を運転中に重畳画像(虚像V)を視認している使用者が、近方位置P1から遠方位置P2に視線を移動させると、重畳画像内に含まれる所定のコンテンツ画像C(図5の例では「40km/h」を示す画像)が急に大きくなったように感じ、視界を妨げたり、煩雑さを感じさせたりしてしまい、状況に応じた適切な表示を行うことができなくなる場合がある。なお、図5では、風景に重畳される重畳画像の理解を容易にするため、車両のフロントガラス4を透かして視認される風景として走行車線5を描いている。使用者が注視する対象物OBは、注視位置に応じて、車両のダッシュボード6近傍であったり、走行車線5であったり、走行車線5内の先行車7であったりする。
この実施形態では、状況に応じた適切な表示を行うために、使用者の注視位置が遠方か近方かに応じて、重畳画像の表示形態を切り替える。まず、使用者の注視距離Gが遠方か近方かの判別手法を説明する。一例として、下記(i)〜(iii)のようにして注視距離Gが判別される。
(i)CPU41は、内カメラ31から取得した内側撮像データD1に基づいて、使用者の眼Eから注視している対象物OBまでの距離である注視距離Gを推定する。例えば、CPU41は、内側撮像データD1に含まれる右眼E1と左眼E2の各々の画像に対して公知の画像処理を実行し、図6(a)に示す、使用者の右眼E1及び左眼E2の瞳孔間距離Wと、輻輳角αとを算出する。そして、三角関数を用い、算出した瞳孔間距離W及び輻輳角αから注視距離Gを算出(推定)する。なお、注視距離Gを算出する手法は任意であり、公知の手法を適宜使用することができる。例えば、フレーム30に眼電位センサを設け、測定した眼電位と内側撮像データD1との少なくともいずれかを用いて、注視距離Gを算出してもよい。また、数式によらず、推定される注視距離Gと輻輳角αなどが対応付けられたテーブルデータを参照して、推定される注視距離Gを取得してもよい。注視距離Gの推定に用いられる数式やテーブルデータは、予め記憶部42のROMに格納しておけばよい。CPU41は、このように算出した注視距離Gが、予めROM内に記憶した設定距離以上である場合に使用者が遠方を見ていると判別し、設定距離未満である場合に使用者が近方を見ていると判別する。
(ii)また、CPU41は、モーションセンサ32から取得した動きデータD2に基づいて、使用者の顔向きに関する情報を公知の手法により算出する。この実施形態では一例として、動きデータD2に基づき、図6(b)に示すように、使用者が水平方向を見た場合を基準とした仰角θを算出する。なお、図6(b)では、水平方向に沿う軸をX軸、鉛直方向に沿う軸をY軸としている。CPU41は、このように算出した仰角θが、予めROM内に記憶した設定角度β以上である場合に使用者が遠方を見ていると判別し、設定角度β未満である場合に使用者が近方を見ていると判別する。
(iii)また、CPU41は、通信部50を介して車載装置200から取得した車速データD3が示す車速が、予めROM内に記憶した設定速度以上である場合に使用者が遠方を見ていると判別し、設定速度未満である場合に使用者が近方を見ていると判別する。当該判別手法は、車速が高いほど運転者は遠方を見るという性質を利用したものである。
第1実施形態では、上記のように注視距離Gが遠方か近方かを判別し、遠方と判別した場合には、重畳画像の表示形態を近方用から遠方用へと切り替える。
近方用形態は、虚像V(重畳画像)とともに視認する対象物OBが比較的近い場合(例えば、対象物OBがダッシュボード6や、ダッシュボード6近傍から見える走行車線5などである場合)に適した表示形態である。例えば、近方用形態では、図7(a)に示すように、虚像Vの表示領域内における下方中央部に車速画像C1を、下方右側に経路案内画像C2を、上方右側に時刻画像C3の各種コンテンツ画像を表示する。
遠方用形態は、虚像Vとともに視認する対象物OBが比較的遠い場合(例えば、対象物OBが走行車線5や、先行車7などである場合)に適した表示形態である。例えば、遠方用形態では、図7(b)に示すように、近方用形態における車速画像C1を縮小表示するとともに、虚像Vの表示領域内における上方左側に移動させる。また、近方用形態における経路案内画像C2を虚像Vの表示領域内における下方中央部に移動させる。また、近方用形態において表示していた時刻画像C3を消去する。なお、遠方用形態では、時刻画像C3を完全に消去せずに、近方用形態の時よりも表示輝度を低下させたり、彩度を低下させたりして視認困難としてもよい。このような遠方用形態により、運転中の視野に適した表示を実現することができる。
なお、遠方用形態において、近方用形態では表示されない遠方用コンテンツを表示したり、近方用形態において表示されていたコンテンツを近方用とは異なるデザインで表示したりしてもよい。例えば、図7(c)に示すように、遠方用形態では、カーナビゲーション装置で設定した目的地を示す目的地画像C4を表示したり、車速画像C1を近方用とは異なるデザインで表示したりしてもよい。
表示装置100の構成や重畳画像の説明は以上である。続いて、制御装置2の制御部40(CPU41)により実行される表示形態切替処理の一例を、図8(a)、(b)を参照して説明する。表示形態切替処理は、表示装置100の動作中に所定の制御周期で実行される。なお、表示形態切替処理の開始時は、後述の遠方用フラグがオフ状態となっており、近方用形態における重畳画像(虚像V)を表示するものとする。
図8(a)に示す表示形態切替処理を開始すると、まず、制御部40は、内カメラ31から内側撮像データD1を取得し、モーションセンサ32から動きデータD2を取得し、車載装置200から車速データD3を取得する(ステップS1)。
続いて、制御部40は、注視距離推定処理を実行し(ステップS2)、図8(b)に示すステップS21の処理へ移行する。ステップS21では、取得した内側撮像データD1に基づいて注視距離Gを算出し、算出した注視距離Gが予めROM内に記憶した設定距離以上であるか否かを判別する。算出した注視距離Gが設定距離以上の場合(ステップS21;Yes)、制御部40は、推定される注視距離Gが遠方であることを示す遠方用フラグをオン状態にセットする(ステップS24)。遠方用フラグは、RAM内のフラグ格納領域に記憶される。
ステップS21で算出した注視距離Gが設定距離未満の場合(ステップS21;No)、制御部40は、取得した動きデータD2に基づいて、使用者の顔向き角度を示す仰角θを算出し、算出した仰角θが予めROM内に記憶した設定角度β以上であるか否かを判別する(ステップS22)。算出した仰角θが設定角度β以上の場合(ステップS22;Yes)、制御部40は、遠方用フラグをオン状態にセットする(ステップS24)。
ステップS22で算出した仰角θが設定角度β未満の場合(ステップS22;No)、制御部40は、取得した車速データD3が示す車速が予めROM内に記憶した設定速度以上であるか否かを判別する(ステップS23)。車速が設定速度以上の場合(ステップS23;Yes)、制御部40は、遠方用フラグをオン状態にセットする(ステップS24)。つまり、ステップS21、S22、S23のいずれでYesとなった場合も遠方用フラグがオン状態となり、推定した注視距離Gが所定距離よりも遠い遠距離であることを示すことになる。
一方で、車速が設定速度未満の場合(ステップS23;No)、制御部40は、遠方用フラグをオフ状態にクリアする(ステップS25)。
一方で、車速が設定速度未満の場合(ステップS23;No)、制御部40は、遠方用フラグをオフ状態にクリアする(ステップS25)。
以上の注視距離推定処理を実行すると(ステップS2)、制御部40は、推定される注視距離Gが遠方であるか否かを判別する(ステップS3)。制御部40は、遠方用フラグがオン状態である場合、推定される注視距離Gが遠方であると判別し(ステップS3;Yes)、遠方用フラグがオフ状態である場合、推定される注視距離Gが近方であると判別する(ステップS3;No)。
注視距離Gが遠方である場合(ステップS3;Yes)、制御部40は、画像光生成装置1を表示制御し、重畳画像を遠方用形態で表示する(ステップS4)。例えば、図7(a)に示す近方用形態で表示されていた場合には、制御部40は、重畳画像を近方用形態から、図7(b)又は図7(c)に示す遠方用形態に切り替える表示制御を行う。
一方、注視距離Gが近方である場合(ステップS3;No)、制御部40は、画像光生成装置1を表示制御し、重畳画像を近方用形態で表示する(ステップS5)。例えば、図7(a)に示す近方用形態で表示されていた場合には、当該近方用形態での表示を継続する。また、図7(b)又は図7(c)に示す遠方用形態に切り替えられていた場合には、制御部40は、重畳画像を遠方用形態から、図7(a)に示す近方用形態へと戻す(切り替える)表示制御を行う。制御部40は、例えば、ユーザによる停止操作を受け付けるまで、以上の表示形態切替処理を継続して実行する。第1実施形態の説明は以上である。
ここからは、重畳画像の近方用及び遠方用形態が、第1実施形態と異なる他の実施形態について説明する。なお、以下の実施形態は、第1実施形態と表示装置100の構成については同様であり、主に画像処理が異なる。したがって、以下では、第1実施形態と同様の各構成については第1実施形態と同一の符号を用いて説明するとともに、第1実施形態と異なる点を中心に説明する。
(第2実施形態)
第2実施形態では、遠方用形態として、図9(a)に示すような重畳画像VF(以下、遠方用画像VFとも言う)が、表示形態切替処理の開始時に表示される。図9(a)に示す遠方用画像VFは、その表示領域内に、経路案内画像C5と、警告画像C6とを表示している。同図では、経路案内画像C5としての矢印表示が分岐路左側の車線に重畳され、左折を促す例を示している。また、警告画像C6は、例えば先行車7の存在を強調するためのものであり、実景として見える先行車7に重畳した位置に表示される。
第2実施形態では、遠方用形態として、図9(a)に示すような重畳画像VF(以下、遠方用画像VFとも言う)が、表示形態切替処理の開始時に表示される。図9(a)に示す遠方用画像VFは、その表示領域内に、経路案内画像C5と、警告画像C6とを表示している。同図では、経路案内画像C5としての矢印表示が分岐路左側の車線に重畳され、左折を促す例を示している。また、警告画像C6は、例えば先行車7の存在を強調するためのものであり、実景として見える先行車7に重畳した位置に表示される。
使用者が注視位置を遠方用画像VFに適した遠方から近方に変化させると、図4を参照して説明した特性により、遠方時よりも小さいサイズの画像として認識する。そうすると、図9(b)に示すように、経路案内画像C5や警告画像C6が実際に重畳させたい対象からずれてしまう場合があり、運転の妨げとなってしまう。つまり、使用者が注視位置を遠方から近方に変化させると、AR対象に対してのAR表示のずれ(以下、「ARずれ」と言う)が生じる場合がある。
このような問題を解消すべく、第2実施形態では、近方と判別した場合には、重畳画像の表示形態を遠方用画像VFから、遠方用画像VFに画像処理を施して作成される近方用の重畳画像VN(以下、近方用画像VNとも言う)へと切り替える。近方用画像VNの作成手順について、図10(a)〜(c)を参照して説明する。
近方用画像VNを作成する際には、制御部40は、まず、近方視認時の認識画像サイズSnを算出する。例えば、制御部40は、前述のように内カメラ31から取得した内側撮像データD1に基づいて、使用者の近方視認時の注視距離Gnを算出する。なお、後述するように、近方視認時の注視距離Gnは、ステップS21でNoと判別される場合の注視距離として取得できる。制御部40は、ROM内に、遠方用画像VFの設定画像サイズS0と基準注視距離G0とを示すデータを予め記憶しており、当該データに基づき、例えば、Sn=(Gn/G0)・S0の式により近方時の認識画像サイズSnを算出する。図10(a)では、点線で示す画像のサイズがSnに相当する。なお、制御部40は、Snをこのように随時算出しなくともよい。例えば、想定される画像サイズとしてSnを予めROM内に記憶しておき、制御部40は、ROMからSnを取得してもよい。
続いて、制御部40は、算出又は取得したSnに基づき、図10(b)に示すように、現在表示している遠方用画像VFと、近方視認時の認識画像サイズSnの画像との差分領域VDを抽出する。
続いて、制御部40は、図10(c)に示すように、遠方用画像VFから差分領域VDを削除して、近方用画像VNを生成し、画像光生成装置1に表示させる。なお、図10(c)では、削除された部分を点線で表現している。このようにすることで、注視位置が遠方から近方に移った場合に、ARずれが発生した画像(経路案内画像C5と、警告画像C6)が視認不能になるため、運転の妨げとなる表示を抑制することができる。なお、表示形態切替処理により、使用者の注視位置が遠方に戻った場合は、遠方用画像VFに切り替わるため、再び、経路案内画像C5や警告画像C6などのAR表示を適切に視認できる。
また、制御部40は、近方用画像VNにおいて、図10(c)に示すように、差分領域VDに表示されていたコンテンツ(経路案内画像C5と、警告画像C6)の方向へと使用者の視線を誘導する態様の誘導画像C7を表示してもよい。こうすれば、近方用画像VNを視認している使用者に、より遠方を見ればAR表示が存在することを報知することができるため、ユーザフレンドリである。
続いて、第2実施形態に係る表示形態切替処理の一例を、図8(a)、(b)を参照して説明する。第2実施形態では、表示形態切替処理の開始時は、遠方用フラグがオン状態となっており、遠方用形態における重畳画像(遠方用画像VF)を表示するものとする。
制御部40は、図8(a)に示す表示形態切替処理を開始すると、第1実施形態と同様に、各種データを取得し(ステップS1)、続いて、注視距離推定処理(ステップS2)を図8(b)に示す処理手順に従って実行する。
続いて、制御部40は、遠方用フラグを参照し、推定される注視距離Gが遠方であるか否かを判別する(ステップS3)。推定される注視距離Gが遠方でない場合(ステップS3;No)、つまり近方である場合、重畳画像を近方用形態で表示する(ステップS5)。ここで、制御部40は、例えば、遠方用フラグをオフ状態にクリアする(ステップS25)直前に、ステップS21で算出した注視距離を近方視認時の注視距離Gnとし、前述のように、近方時の認識画像サイズSnを算出する。そして、制御部40は、算出した認識画像サイズSnに基づき、図10(b)に示す差分領域VDを抽出し、遠方用画像VFから差分領域VDを削除して、図10(c)に示す近方用画像VNを生成し、画像光生成装置1に表示させる。また、近方用画像VNの表示制御において、制御部40は、差分領域VDに表示されていたコンテンツ(経路案内画像C5と、警告画像C6)の方向へと使用者の視線を誘導する誘導画像C7を近方用画像VN内に表示させる。これにより、例えば、重畳画像として、図10(a)に示す遠方用画像VFが表示されていた場合には、図10(c)に示す近方用画像VNに切り替わる。
一方、推定される注視距離Gが遠方である場合(ステップS3;Yes)、重畳画像を遠方用形態で表示する(ステップS4)。例えば、図10(a)に示す遠方用画像VFが表示されていた場合には、そのまま表示を継続する。また、図10(c)に示す近方用画像VNが表示されていた場合には、制御部40は、近方用画像VNを、図10(a)に示す遠方用画像VFへと戻す(切り替える)表示制御を行う。第2実施形態の説明は以上である。
(第3実施形態)
第3実施形態では、使用者が注視位置を遠方から近方に変化させた場合に生じるARずれを、第2実施形態とは異なる近方用画像を用いることによって解消する。第3実施形態では、遠方用形態として、第2実施形態と同様の図9(a)に示す遠方用画像VFが、表示形態切替処理の開始時に表示される。そして、所定の近方と判別した場合には、重畳画像の表示形態を遠方用画像VFから、遠方用画像VFに注視位置誘導画像INを付加表示した形態の近方用画像VMへと切り替える。
第3実施形態では、使用者が注視位置を遠方から近方に変化させた場合に生じるARずれを、第2実施形態とは異なる近方用画像を用いることによって解消する。第3実施形態では、遠方用形態として、第2実施形態と同様の図9(a)に示す遠方用画像VFが、表示形態切替処理の開始時に表示される。そして、所定の近方と判別した場合には、重畳画像の表示形態を遠方用画像VFから、遠方用画像VFに注視位置誘導画像INを付加表示した形態の近方用画像VMへと切り替える。
注視位置誘導画像INは、遠方用画像VFに応じて設定された設定注視位置へと誘導する態様で表示される。具体的には、注視位置誘導画像INは、図11(a)、(b)に示すように、右眼用の虚像V1内に表示される右眼用画像M1と、左眼用の虚像V2内に表示される左眼用画像M2とから構成される視差画像であり、右眼用画像M1と左眼用画像M2との視差によって、使用者の注視位置を設定注視位置へと誘導する。設定注視位置は、例えば、前記のようにROMに予め記憶された、遠方用画像VFの基準注視距離G0であり、遠方用画像VFにより適切にAR表示するための位置として定められている。
制御部40は、右眼用画像M1と左眼用画像M2とに視差を生じさせて、使用者から見て、遠方における設定注視位置に注視位置誘導画像INが表示されるように、右眼用画像M1及び左眼用画像M2の表示制御を行う。例えば、制御部40は、内側撮像データD1に基づいて使用者の右眼E1及び左眼E2の瞳孔間距離Wを算出し、算出した瞳孔間距離Wと基準注視距離G0とから三角関数を用いて、設定注視位置を規定する輻輳角αを算出する。そして、制御部40は、算出した輻輳角αに基づき、設定注視位置に注視位置誘導画像INが表示されるように右眼用画像M1と左眼用画像M2とに視差を生じさせる。なお、視差画像の表示態様や生成手法は任意であり、公知の画像処理法を適宜用いることができる。
また、注視位置誘導画像INは、図11(a)及び(b)に示すような視差画像に限られず、動画態様によって使用者の注視位置を設定注視位置へと誘導してもよい。例えば、注視位置誘導画像INは、図11(c)に示すように点滅表示するアイコン画像であったり、図11(d)に示すように移動表示するアイコン画像であったりしてもよい。点滅表示の場合は、例えば、設定注視位置(基準注視距離G0)に対しての使用者の注視距離Gに応じ、点滅間隔を変化させるといったことが可能である。なお、使用者の注視距離Gは、前述のように内側撮像データD1に基づいて算出できる。また、移動表示の場合は、使用者が視線を上げるようにアイコンを移動させればよい。この場合、アイコンの移動量を、前述のように算出可能な注視距離Gや仰角θに応じて変化させることもできる。
以上のように近方用画像VMにおいて注視位置誘導画像INを表示することで、使用者の注視位置を適切な位置に誘導し、復帰させることができる。続いて、第3実施形態に係る表示形態切替処理の一例を、図8(a)、(b)を参照して説明する。第3実施形態では、表示形態切替処理の開始時は、遠方用フラグがオン状態となっており、遠方用画像VFを表示するものとする。
制御部40は、図8(a)に示す表示形態切替処理を開始すると、第1及び第2実施形態と同様に、ステップS1からステップS3の処理を実行する。推定される注視距離Gが遠方でない場合(ステップS3;No)、つまり近方である場合、重畳画像を近方用形態で表示する(ステップS5)。これにより、例えば、重畳画像として、図10(a)に示す遠方用画像VFが表示されていた場合には、図11(a)及び(b)に示すように注視位置誘導画像INが表示された近方用画像VMに切り替わる。なお、近方用画像VMは、図11(c)や図11(d)に示す態様であってもよい。
一方、推定される注視距離Gが遠方である場合(ステップS3;Yes)、重畳画像を遠方用形態で表示する(ステップS4)。例えば、図10(a)に示す遠方用画像VFが表示されていた場合には、そのまま表示を継続する。また、図11(a)及び(b)などに示す近方用画像VMが表示されていた場合には、制御部40は、近方用画像VMを、図10(a)に示す遠方用画像VFへと戻す(切り替える)表示制御を行う。第3実施形態の説明は以上である。
なお、本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。
(変形例)
以上では、表示装置100がHMDで構成され、画像光生成装置1が使用者の頭部に装着される例を示したが、これに限られない。画像光生成装置1は、使用者の頭の動きに追従することができれば、使用者に装着されるものでなくともよく、例えば、画像光生成装置1が車内天井から吊り下げられていたり、運転座席に固定されていたりする構成であってもよい。また、表示装置100は、車両以外の乗り物(航空機、船舶など)の搭乗時に使用されるものであってもよいし、乗り物の搭乗時でなく使用者の歩行時に使用されるものであってもよい。
以上では、表示装置100がHMDで構成され、画像光生成装置1が使用者の頭部に装着される例を示したが、これに限られない。画像光生成装置1は、使用者の頭の動きに追従することができれば、使用者に装着されるものでなくともよく、例えば、画像光生成装置1が車内天井から吊り下げられていたり、運転座席に固定されていたりする構成であってもよい。また、表示装置100は、車両以外の乗り物(航空機、船舶など)の搭乗時に使用されるものであってもよいし、乗り物の搭乗時でなく使用者の歩行時に使用されるものであってもよい。
以上では、画像光生成装置1が、右眼E1、左眼E2の各々に対応する第1表示部10及び第2表示部20を備える例を示したが、第3実施形態で述べた視差画像としての注視位置誘導画像IN(図11(a)及び(b)参照)を表示する場合を除き、第1表示部10と第2表示部20のいずれか一方のみ備える構成としてもよい。
以上では、図8(b)に示す注視距離推定処理において、顔向き角度を示す仰角θや車速が閾値以上の場合に、遠方用フラグをオン状態とする、つまり、間接的に注視距離Gを推定する例を示したが、仰角θや車速と、推定される注視距離Gとが関連づけられたテーブルデータを予めROMに格納しておき、制御部40は、当該テーブルデータを参照して仰角θや車速に応じた、推定の注視距離Gを求めてもよい。また、使用者の顔向きに関する情報(仰角θなど)を内側撮像データD1に基づき求めてもよい。当該情報は、例えば、内側撮像データD1が示す撮像画像に対してパターンマッチングなどの公知の画像処理を実行することで求めることができる。また、注視距離Gの推定や算出に用いるカメラやセンサは、画像光生成装置1が備えるものに限られない。例えば、制御部40は、使用者が搭乗する車内に設けられるカメラや赤外線センサから情報を取得し、当該情報に基づいて注視距離Gを推定してもよい。また、前方対象物を検出する構成も、画像光生成装置1が備える外カメラ33に限られない。例えば、制御部40は、使用者が搭乗する車両に設けられるカメラや、ソナー、超音波センサ、ミリ波レーダなどの前方対象物検出手段から情報を取得し、前方対象物を検出してもよい。
以上では、注視距離推定処理において、ステップS21、S22、S23のいずれかでYesとなった場合に注視距離Gが遠方であると推定し、ステップS21、S22、S23の全てがNoとなった場合に注視距離Gが近方であると推定する例を示したが、注視距離Gの推定手法はこれに限定されず任意である。例えば、ステップS21、S22、S23のうち複数でYesとなった場合に注視距離Gが遠方であると推定してもよい。また、例えば、内側撮像データD1、動きデータD2、車速データD3などから推定される注視距離Gを複数算出し、算出した複数の注視距離に重み付けを考慮して所定の演算(例えば、注視距離Gの推定精度に応じた重み付け平均)を行うことで、遠方か近方かの判別対象となる注視距離Gを算出してもよい。
第1実施形態では、表示形態切替処理において近方用形態の重畳画像がデフォルトとして表示されるものとしたが、遠方用形態の重畳画像がデフォルトとして表示されてもよい。
また、第2実施形態では、遠方用画像VFから差分領域VDを削除して、近方用画像VNを生成する例を示したが、これに限られない。例えば、抽出した差分領域VDに存在するコンテンツ画像(経路案内画像C5や警告画像C6)を特定し、当該特定したコンテンツ画像を非表示にした態様を近方用画像VNとしてもよい。また、当該特定したコンテンツ画像を、遠方用形態のときと比べて視認困難(例えば、遠方用形態のときと比べて表示輝度を低下させたり、彩度を低下させたりすること等)とした態様を近方用画像VNとしてもよい。
また、第3実施形態では、注視距離Gが近方であると推定された場合に注視位置誘導画像INが表示されるものとしたが、これに限られない。例えば、重畳画像内に注視位置誘導画像INを常時表示してもよい。
また、第2実施形態では、遠方用画像VFから差分領域VDを削除して、近方用画像VNを生成する例を示したが、これに限られない。例えば、抽出した差分領域VDに存在するコンテンツ画像(経路案内画像C5や警告画像C6)を特定し、当該特定したコンテンツ画像を非表示にした態様を近方用画像VNとしてもよい。また、当該特定したコンテンツ画像を、遠方用形態のときと比べて視認困難(例えば、遠方用形態のときと比べて表示輝度を低下させたり、彩度を低下させたりすること等)とした態様を近方用画像VNとしてもよい。
また、第3実施形態では、注視距離Gが近方であると推定された場合に注視位置誘導画像INが表示されるものとしたが、これに限られない。例えば、重畳画像内に注視位置誘導画像INを常時表示してもよい。
また、第1〜第3実施形態の画像制御を組み合わせて実行してもよい。例えば、第1又は第2実施形態における重畳画像内に、第3実施形態で説明した注視位置誘導画像INを表示してもよい。また、注視距離Gが遠方か近方かの判別基準となる閾値の設定も任意である。第1〜第3実施形態の各々で当該閾値を異ならせてもよい。また、重畳画像を近方用形態と遠方用形態の一方から他方へと切り替える際、急に切り替わることの違和感を低減するため、切替直前の画像をフェードアウトさせ、切替後の画像をフェードインさせるなどのエフェクトを施しても良い。また、推定される注視距離Gを「近方」と「遠方」の2段階だけでなく、注視距離Gの判別基準となる閾値を複数設けることで、「近方」、近方より遠い「標準時」、標準時より遠い「遠方」といったように3段階以上の複数段階に区分してもよい。こうした場合、これら複数段階のうち、所定段階と、当該所定段階よりも遠い段階とで、第1〜第3実施形態と同様の処理で重畳画像の切替を実行すればよい。例えば、推定される注視距離Gを「近方」、「標準時」、「遠方」と3段階に区分した場合、「近方」の際に第1実施形態に係る図7(a)に示す画像を表示し、「遠方」の際に第1実施形態に係る図7(b)又は(c)に示す画像を表示し、「標準時」の際に第1実施形態に係る図7(b)又は(c)に示す画像から、第2実施形態で説明した差分領域VDを削除した画像を表示する、といった組合せも可能である。
また、AR表示としてのコンテンツ画像の種別や形態は、以上で例示した経路案内画像C2、C5や、目的地画像C4や、警告画像C6に限られず、任意である。また、AR対象としての対象物OBの種別も任意である。また、重畳画像を表示するための画像データは、予め記憶部42に用意されたものであってもよいし、車載装置200や携帯端末300などの外部装置から通信により取得可能であってもよい。
また、表示形態切替処理を実行するための動作プログラム(プログラムPG)は、予め記憶部72のROMに記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、プログラムPGは、表示装置100と接続された他の機器からダウンロードされるものであってもよい。また、表示装置100は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことによりプログラムPGに従う各処理を実行してもよい。
(1)以上に説明した第1実施形態に係る表示装置100は、使用者の眼Eに対応して設けられ、使用者に風景と重なって視認される重畳画像(虚像V)を表示する画像光生成装置1(表示手段の一例)と、制御部40と、を備える。制御部40は、重畳画像の表示制御を行う表示制御手段と、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも遠い遠距離であるか否かを判別する注視距離判別手段と、を機能として備える。表示制御手段は、注視距離判別手段が遠距離であると判別すると、重畳画像を遠方用形態に切り替え、遠方用形態(例えば、図7(b)や(c)に示す形態)では、切り替え前の重畳画像(例えば、図7(a)に示す近方用形態)内に表示していた所定コンテンツ(例えば、車速画像C1、経路案内画像C2)を縮小して表示するか、切り替え前とは異なる位置に表示するかの少なくともいずれかの表示制御を行う。
また、第1実施形態に係る表示装置100による表示制御手法は、使用者の注視距離Gを推定するステップと、推定した注視距離Gが所定距離よりも遠い遠距離である場合に、重畳画像を遠方用形態に切り替え、遠方用形態では、切り替え前の重畳画像内に表示していた所定コンテンツを縮小して表示するか、切り替え前とは異なる位置に表示するかの少なくともいずれかの表示制御を行うステップと、を備える。
また、第1実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも遠い遠距離であるか否かを判別する処理と、遠距離であると判別されたことに応じて重畳画像を遠方用形態に切り替え、遠方用形態では、切り替え前の重畳画像内に表示していた所定コンテンツを縮小して表示するか、切り替え前とは異なる位置に表示するかの少なくともいずれかの表示制御を行う処理と、を実行させる。
また、第1実施形態に係る表示装置100による表示制御手法は、使用者の注視距離Gを推定するステップと、推定した注視距離Gが所定距離よりも遠い遠距離である場合に、重畳画像を遠方用形態に切り替え、遠方用形態では、切り替え前の重畳画像内に表示していた所定コンテンツを縮小して表示するか、切り替え前とは異なる位置に表示するかの少なくともいずれかの表示制御を行うステップと、を備える。
また、第1実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも遠い遠距離であるか否かを判別する処理と、遠距離であると判別されたことに応じて重畳画像を遠方用形態に切り替え、遠方用形態では、切り替え前の重畳画像内に表示していた所定コンテンツを縮小して表示するか、切り替え前とは異なる位置に表示するかの少なくともいずれかの表示制御を行う処理と、を実行させる。
このようにしたので、前述のように、重畳画像を視認する使用者が近方から遠方に視線を移した場合に、風景の認識を妨げることを抑制できる。
また、表示制御手段は、遠方用形態では、切り替え前の重畳画像内に表示していた特定コンテンツ(例えば、時刻画像C3)を視認困難とするか消去してもよい。
また、表示制御手段は、遠方用形態では、切り替え前の重畳画像内に表示していなかった遠方用コンテンツ(例えば、目的地画像C4)を表示してもよい。
このようにすることで、状況に応じた適切な表示を行うことができ、ユーザフレンドリである。
また、表示制御手段は、遠方用形態では、切り替え前の重畳画像内に表示していなかった遠方用コンテンツ(例えば、目的地画像C4)を表示してもよい。
このようにすることで、状況に応じた適切な表示を行うことができ、ユーザフレンドリである。
(2)以上に説明した第2実施形態に係る表示装置100は、画像光生成装置1(表示手段の一例)と、制御部40と、を備える。制御部40は、重畳画像の表示制御を行う表示制御手段と、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも近い近距離であるか否かを判別する注視距離判別手段と、を機能として備える。表示制御手段は、注視距離判別手段が近距離であると判別すると、重畳画像のうち所定領域以外の部分(例えば、図10(b)に示す差分領域VDに対応する部分)に表示していたコンテンツ(例えは、経路案内画像C5や警告画像C6)を視認困難とするか消去する。
また、第2実施形態に係る表示装置100による表示制御方法は、使用者の注視距離Gを推定するステップと、推定した注視距離Gが所定距離よりも近い近距離である場合に、重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去するステップと、を備える。
また、第2実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも近い近距離であるか否かを判別する処理と、近距離であると判別されたことに応じて、重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する処理と、を実行させる。
また、第2実施形態に係る表示装置100による表示制御方法は、使用者の注視距離Gを推定するステップと、推定した注視距離Gが所定距離よりも近い近距離である場合に、重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去するステップと、を備える。
また、第2実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも近い近距離であるか否かを判別する処理と、近距離であると判別されたことに応じて、重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する処理と、を実行させる。
このようにしたので、前述のように、重畳画像を視認する使用者が遠方から近方に視線を移した場合に、重畳画像内のコンテンツがずれて視認されることの煩わしさ(ARずれによる煩わしさ)を低減できる。
また、表示制御手段は、注視距離判別手段が近距離であると判別すると、重畳画像のうち所定領域以外の部分(差分領域VD)を消去してもよい。
また、表示制御手段は、注視距離判別手段が近距離であると判別すると、重畳画像のうち所定領域内(近方用画像VN内)に誘導画像C7を表示し、誘導画像C7は、所定領域以外の部分に表示していたコンテンツ(例えば、経路案内画像C5や警告画像C6)の方向へと使用者の視線を誘導する態様で表示されるようにしてもよい。こうすれば、使用者に、より遠方を見ればAR表示が存在することを報知することができるため、ユーザフレンドリである。
また、表示制御手段は、注視距離判別手段が近距離であると判別すると、重畳画像のうち所定領域内(近方用画像VN内)に誘導画像C7を表示し、誘導画像C7は、所定領域以外の部分に表示していたコンテンツ(例えば、経路案内画像C5や警告画像C6)の方向へと使用者の視線を誘導する態様で表示されるようにしてもよい。こうすれば、使用者に、より遠方を見ればAR表示が存在することを報知することができるため、ユーザフレンドリである。
(3)以上に説明した第3実施形態に係る表示装置100は、画像光生成装置1(表示手段の一例)と、制御部40と、を備える。制御部40は、重畳画像の表示制御を行う表示制御手段を機能として備える。表示制御手段は、使用者の注視位置を、重畳画像に応じて設定された設定注視位置へと誘導する注視位置誘導画像IN(図11(a)〜(d)参照)を重畳画像内に表示する。
また、第3実施形態に係る表示装置100による表示制御方法では、使用者の注視位置を、重畳画像に応じて設定された設定注視位置へと誘導する注視位置誘導画像を重畳画像内に表示する。
また、第3実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視位置を、重畳画像に応じて設定された設定注視位置へと誘導する注視位置誘導画像を重畳画像内に表示する処理を実行させる。
また、第3実施形態に係る表示装置100による表示制御方法では、使用者の注視位置を、重畳画像に応じて設定された設定注視位置へと誘導する注視位置誘導画像を重畳画像内に表示する。
また、第3実施形態に係るプログラムPGは、コンピュータ(制御部40)に、使用者の注視位置を、重畳画像に応じて設定された設定注視位置へと誘導する注視位置誘導画像を重畳画像内に表示する処理を実行させる。
このようにしたので、重畳画像を視認する使用者の注視位置が変化した場合でも、重畳画像に応じた適切な注視位置へと誘導することができる
重畳画像は、使用者の左眼E2と右眼E1のそれぞれに対応して表示され、注視位置誘導画像INは、左眼用画像M2と、右眼用画像M1とを含み、左眼用画像M2と右眼用画像M1との視差によって、使用者の注視位置を設定注視位置へと誘導してもよい。
また、注視位置誘導画像INは、動画態様によって使用者の注視位置を設定注視位置へと誘導してもよい。
また、注視位置誘導画像INは、動画態様によって使用者の注視位置を設定注視位置へと誘導してもよい。
また、制御部40は、使用者の注視距離Gを推定し、推定した注視距離Gが所定距離よりも近い近距離であるか否かを判別する注視距離判別手段を機能としてさらに備え、表示制御手段は、注視距離判別手段が近距離であると判別すると、注視位置誘導画像INを表示してもよい。こうすれば、重畳画像を視認する使用者が遠方から近方に視線を移した場合に発生し易いARずれを、重畳画像に応じた適切な注視位置へと誘導することで、いち早く解消できる
また、第1〜第3実施形態のいずれにおいても、表示装置100は、車両の搭乗時に使用され、注視距離判別手段は、使用者の顔を撮像した撮像画像を示す情報(例えば内側撮像データD1)と、使用者の顔向きを示す情報(例えば動きデータD2)と、車両から取得した車両情報(例えば車速データD3)との少なくともいずれかに基づいて、使用者の注視距離Gを推定すればよい。
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
100…表示装置
1…画像光生成装置
10…第1表示部
11…表示素子、11a…駆動部
12…導光装置、120…鏡筒部、121…導光部、121a…反射面
122…透過部、123…ハーフミラー層
20…第2表示部、21…表示素子、22…導光装置
30…フレーム、30a…リム、30b…テンプル
31…内カメラ、D1…内側撮像データ
32…モーションセンサ、D2…動きデータ
33…外カメラ
2…制御装置
40…制御部、41…CPU、42…記憶部、PG…プログラム
50…通信部
200…車載装置、D3…車速データ
300…携帯端末
3…車内、4…フロントガラス、5…走行車線、6…ダッシュボード、7…先行車
E…眼、E1…右眼、E2…左眼
L、L1、L2…画像光
V、V1、V2…虚像
OB…対象物
C1…車速画像、C2…経路案内画像、C3…時刻画像、C4…目的地画像
C5…経路案内画像、C6…警告画像、C7…誘導画像
VF…遠方用画像、VN…近方用画像
VM…近方用画像、M1…右眼用画像、M2…左眼用画像、IN…注視位置誘導画像
1…画像光生成装置
10…第1表示部
11…表示素子、11a…駆動部
12…導光装置、120…鏡筒部、121…導光部、121a…反射面
122…透過部、123…ハーフミラー層
20…第2表示部、21…表示素子、22…導光装置
30…フレーム、30a…リム、30b…テンプル
31…内カメラ、D1…内側撮像データ
32…モーションセンサ、D2…動きデータ
33…外カメラ
2…制御装置
40…制御部、41…CPU、42…記憶部、PG…プログラム
50…通信部
200…車載装置、D3…車速データ
300…携帯端末
3…車内、4…フロントガラス、5…走行車線、6…ダッシュボード、7…先行車
E…眼、E1…右眼、E2…左眼
L、L1、L2…画像光
V、V1、V2…虚像
OB…対象物
C1…車速画像、C2…経路案内画像、C3…時刻画像、C4…目的地画像
C5…経路案内画像、C6…警告画像、C7…誘導画像
VF…遠方用画像、VN…近方用画像
VM…近方用画像、M1…右眼用画像、M2…左眼用画像、IN…注視位置誘導画像
Claims (6)
- 使用者の眼に対応して設けられ、前記使用者に風景と重なって視認される重畳画像を表示する表示手段と、
前記重畳画像の表示制御を行う表示制御手段と、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する注視距離判別手段と、を備え、
前記表示制御手段は、前記注視距離判別手段が前記近距離であると判別すると、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する、
ことを特徴とする表示装置。 - 前記表示制御手段は、前記注視距離判別手段が前記近距離であると判別すると、前記重畳画像のうち前記所定領域以外の部分を消去する、
ことを特徴とする請求項1に記載の表示装置。 - 前記表示制御手段は、前記注視距離判別手段が前記近距離であると判別すると、前記重畳画像のうち前記所定領域内に誘導画像を表示し、
前記誘導画像は、前記所定領域以外の部分に表示していたコンテンツの方向へと前記使用者の視線を誘導する態様で表示される、
ことを特徴とする請求項1又は2に記載の表示装置。 - 車両の搭乗時に使用され、
前記注視距離判別手段は、前記使用者の顔を撮像した撮像画像を示す情報と、前記使用者の顔向きを示す情報と、前記車両から取得した車両情報との少なくともいずれかに基づいて、前記使用者の注視距離を推定する、
ことを特徴とする請求項1乃至3のいずれか1項に記載の表示装置。 - 使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させる表示制御方法であって、
前記使用者の注視距離を推定するステップと、
推定した前記注視距離が所定距離よりも近い近距離である場合に、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去するステップと、を備える表示制御方法。 - 使用者の眼に対応して設けられる表示手段に、前記使用者に風景と重なって視認される重畳画像を表示させるためのプログラムであって、
コンピュータに、
前記使用者の注視距離を推定し、推定した前記注視距離が所定距離よりも近い近距離であるか否かを判別する処理と、
前記近距離であると判別されたことに応じて、前記重畳画像のうち所定領域以外の部分に表示していたコンテンツを視認困難とするか消去する処理と、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017189144A JP2019066564A (ja) | 2017-09-28 | 2017-09-28 | 表示装置、表示制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017189144A JP2019066564A (ja) | 2017-09-28 | 2017-09-28 | 表示装置、表示制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019066564A true JP2019066564A (ja) | 2019-04-25 |
Family
ID=66337804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017189144A Pending JP2019066564A (ja) | 2017-09-28 | 2017-09-28 | 表示装置、表示制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019066564A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203046A1 (ja) | 2019-03-29 | 2020-10-08 | 古河機械金属株式会社 | 硫化物系無機固体電解質材料用の窒化リチウム組成物 |
JP7504201B2 (ja) | 2020-05-12 | 2024-06-21 | 株式会社Nttドコモ | 情報通知システム |
-
2017
- 2017-09-28 JP JP2017189144A patent/JP2019066564A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203046A1 (ja) | 2019-03-29 | 2020-10-08 | 古河機械金属株式会社 | 硫化物系無機固体電解質材料用の窒化リチウム組成物 |
JP7504201B2 (ja) | 2020-05-12 | 2024-06-21 | 株式会社Nttドコモ | 情報通知システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10175484B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
US7952808B2 (en) | Display system for vehicle and display method | |
US10725300B2 (en) | Display device, control method for display device, and program | |
JP6413207B2 (ja) | 車両用表示装置 | |
US10250860B2 (en) | Electronic apparatus and image display method | |
JP2017211366A (ja) | 移動体システム、情報表示装置 | |
JP2015114757A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2015136874A1 (ja) | 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体 | |
WO2005043218A1 (ja) | 画像表示装置 | |
JP2016082462A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2015221651A (ja) | 表示装置 | |
KR20180016027A (ko) | 차량용 디스플레이 장치 및 이의 제어 방법 | |
JP7126115B2 (ja) | 表示システム、移動体、及び、設計方法 | |
CN114489332A (zh) | Ar-hud输出信息的显示方法及*** | |
JP2019066564A (ja) | 表示装置、表示制御方法、及びプログラム | |
JP2005313772A (ja) | 車両用ヘッドアップ・ディスプレイ装置 | |
JP2019066562A (ja) | 表示装置、表示制御方法、及びプログラム | |
JP2018041011A (ja) | 表示装置 | |
JP2019068143A (ja) | 表示装置、表示制御方法、及びプログラム | |
JP2016165973A (ja) | 画像生成装置、ヘッドアップディスプレイ | |
JP2018207207A (ja) | ヘッドアップディスプレイ装置 | |
US11187910B2 (en) | Head-up display device for adjusting display distances of virtual images | |
JP2019064422A (ja) | ヘッドアップディスプレイ装置 | |
JP2019151205A (ja) | 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム |