JP5956479B2 - 表示装置及び視線推定装置 - Google Patents

Description

本発明の実施形態は、表示装置及び視線推定装置に関する。

例えば、使用者が頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）が提案されている。例えば、外界重畳型のヘッドマウントディスプレイにおいて、使用者が遠方を見ているか近方を見ているかに依らず、ディスプレイの表示画面を見やすくすることが望まれる。このような使い易い表示装置及び視線推定装置が望まれる。

特開２００６−１０５８８９号公報

本発明の実施形態は、使い易い表示装置及び視線推定装置を提供する。

本発明の実施形態によれば、撮像部と、画像表示部と、を含む表示装置が提供される。前記撮像部は、観視者の瞼の第１状態における第１画像を撮像する。前記画像表示部は、光出射部と、光学部と、を含む。前記光出射部は、画像情報を含む光を出射する。前記光学部は前記光が入射し、前記光の少なくとも一部の光を前記観視者の眼球へ入射させるコンバイナを含む。前記画像表示部は、前記撮像部で撮像された前記第１画像に基づいて、前記少なくとも一部の前記光の前記眼球に対する入射方向を変更する。前記画像表示部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記入射方向を変更する。
本発明の別の実施形態によれば、撮像部と、処理部と、を含む視線推定装置が提供される。前記撮像部は、観視者の瞼の第１状態における第１画像を撮像する。前記処理部は、前記第１画像に基づいて、前記第１状態における前記観視者の視線の方向を推定する。前記処理部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記観視者の視線の方向を推定する。
本発明の別の実施形態によれば、撮像部と、画像表示部と、を含む表示装置が提供される。前記撮像部は、観視者の瞼の第１状態における第１画像を撮像する。前記画像表示部は、画像情報を含む光を前記観視者の眼球へ入射させる。前記画像表示部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記光の前記眼球に対する入射方向を変更する。

実施形態に係る表示装置を示す模式図である。 表示装置の動作を示す模式図である。 図３（ａ）及び図３（ｂ）は、実施形態に係る表示装置の動作を示す模式図である。 実施形態に係る表示装置の動作を示す模式図である。 実施形態に係る表示装置を示すブロック図である。 図６（ａ）及び図６（ｂ）は、実施形態に係る表示装置の動作を示す模式図である。 図７（ａ）〜図７（ｄ）は、実施形態に係る表示装置の動作を示す模式図である。 実施形態に係る表示装置の動作を例示するグラフ図である。 図９（ａ）及び図９（ｂ）は、実施形態に係る表示装置の動作を示す模式図である。 図１０（ａ）〜図１０（ｄ）は、実施形態に係る表示装置の動作を示す模式図である。 図１１（ａ）〜図１１（ｃ）は、実施形態に係る表示装置の動作を示す模式図である。 図１２（ａ）〜図１２（ｃ）は、実施形態に係る表示装置の動作を示す模式図である。 図１３（ａ）〜図１３（ｃ）は、実施形態に係る表示装置の動作を示す模式図である。 図１４（ａ）〜図１４（ｃ）は、実施形態に係る表示装置の動作を示す模式図である。 図１５（ａ）〜図１５（ｃ）は、実施形態に係る表示装置の動作を示す模式図である。 図１６（ａ）〜図１６（ｃ）は、表示装置の動作を示す模式図である。

以下に、各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係る表示装置を例示する模式図である。
図１に表したように、実施形態に係る表示装置１００は、画像表示部１０と、撮像部２０と、を含む。

画像表示部１０は、光学部１５と、光出射部１７と、を含む。光出射部１７は、画像情報を含む光を出射する。画像情報を含む光の少なくとも一部は、光学部１５へ入射する。光学部１５は、入射した画像情報を含む光の少なくとも一部を観視者５０の眼５１へ向けて進行させる（入射させる）。これにより、観視者５０は、画像を知覚する。表示装置１００は、例えば、使用者（観視者）の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）である。

この例では、表示装置１００は、保持部４０をさらに含む。保持部４０は、例えば、画像表示部１０及び撮像部２０を保持する。保持部４０は、例えば、画像表示部１０と観視者５０の眼５１との間の空間的配置を規定する。保持部４０は、例えば、画像表示部１０と、撮像部２０との空間的配置を規定する。保持部４０の形状は、例えば、眼鏡のフレームのような形状である。

光出射部１７（表示パネル）には、例えば、透過型の液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）パネルが用いられる。光出射部１７には、有機ＥＬパネル、ＬＣＯＳ（Liquid Crystal On Silicon）パネルまたはＤＭＤ(Digital Micromirror Device)パネルなどを用いても良い。光出射部１７には、レーザ光源を用いても良い。この場合にはレーザ光源をラスタスキャンすることによって画像を表示する。

この例では、表示装置１００は、駆動回路３０をさらに含む。駆動回路３０は、光出射部１７と電気的に接続され、光出射部１７の動作を制御する。駆動回路３０は、画像表示部１０と一体として設けられても良い。

光学部１５は、例えば、接眼レンズ１３と、コンバイナ１２と、を含む。光出射部１７を出射した画像情報を含む光の光路上において、光出射部１７と眼５１との間に接眼レンズ１３が設けられる。画像情報を含む光の光路上において、接眼レンズ１３と眼５１との間にコンバイナ１２が設けられる。

この例において、例えば、眼５１からコンバイナ１２へ向かう方向をＹ軸方向とする。Ｙ軸方向と垂直な１つの方向をＸ軸方向とする。Ｘ軸方向に対して垂直でＹ軸方向に対して垂直な方向をＺ軸方向とする。例えば、Ｘ軸方向は、観視者５０の右方向である。例えば、Ｙ軸方向は、観視者５０の正面方向である。例えば、Ｚ軸方向は、観視者５０の上方向である。

例えば、画像情報を含む光の少なくとも一部は、接眼レンズ１３によって集光され、コンバイナ１２に入射する。コンバイナ１２は、入射した光の少なくとも一部を眼５１（眼球）へ入射させる。これにより、例えば、光出射部１７によって表示される画像が虚像として観視者５０に表示される。

コンバイナ１２には、例えば、ハーフミラーが用いられる。画像情報を含む光は、ハーフミラーによって反射され、眼５１へ向かって進行する。ハーフミラーを用いることで、例えば、観視者５０は、外光と画像とを同時に見ることができる。

コンバイナ１２は、コンバイナ１２の眼５１とは反対側から眼５１へ向かって進行する外光の少なくとも一部を透過させる。これにより、観視者５０は、外光と画像とを同時に見ることができる。

ハーフミラーは、例えば、ガラス板または透明プラスチック板の上にアルミを蒸着させることによって、作られる。ハーフミラーには、ガラス板や透明プラスチック板の上に誘電体多層膜を設けたものを用いても良い。

コンバイナ１２は、眼鏡レンズと一体であってもよい。すなわち、眼鏡（保持部４０）のレンズ面を光反射性とし、ここに画像情報を含む光を入射させても良い。

撮像部２０は、例えば、観視者５０の眼５１を撮像する。撮像部２０は、観視者５０の瞼の第１状態における第１画像を撮像する。撮像部２０には、例えば、カメラが用いられる。撮像部２０は、例えば、保持部４０に取り付けられ、観視者５０の眼５１の全体を撮像することができるように配置される。この例では、撮像部２０は、観視者５０の側面に配置されている。後述するように、撮像部２０は、観視者５０の正面に配置されても良い。

撮像部２０によって撮像された瞼の像（第１画像）に基づいて、観視者５０の視線の方向が検出（推定）される。検出された視線の方向に基づいて、画像表示部１０は、眼５１（眼球）へ入射する画像情報を含む光の少なくとも一部の、眼５１（眼球）に対する入射方向を変更する。すなわち、画像表示部１０は、眼５１の位置に対する画像の表示位置を変更する。瞼の像に基づいて、観視者５０の視線の方向が検出される。検出された視線の方向に基づいて、表示される画像が制御される。これにより、観視者５０にとって見やすい位置に画像を表示することができる。

図２は、表示装置の動作を例示する模式図である。
図２は、表示装置１００を用いた観視者５０の視界を例示している。例えば、観視者５０が遠方を見ているときには、観視者５０の注視点は、点ｇ１の付近である。このとき、例えば、表示装置１００は、点ｇ１の位置に合わせて、画像Ｐ１を表示している。

例えば、人の視線は、遠方を見るときにはに上がり、近方を見るときには下がる。観視者５０が近方を見ているときには、観視者５０の注視点は、例えば、点ｇ２の付近である。例えば、観視者５０が正面の遠方を見ているときの観視者５０の視線の方向と、観視者５０が近方（例えば手元付近）を見ているときの観視者５０の視線の方向と、の間の角度は、３０度（°）〜４０°程度である。

例えば、遠近両用眼鏡において、このような視線の変化が応用されている。遠近両用眼鏡のレンズにおいては、遠方を見るときの視線方向に対応する部分の光学特性（度数）と、近方を見るときの視線方向に対応する部分の光学特性（度数）とは、異なる。

例えば、参考例のヘッドマウントディスプレイにおいて、画像が表示される範囲を広く設定される場合がある。例えば、表示範囲の上端へ向かう視線の方向と、表示範囲の下端へ向かう視線の方向と、の間の角度（垂直方向における画角）を、３０°〜４０°程度とする。これにより、遠方を見るときの視線の方向と近方を見るときの視線の方向との両方に対応することができる。

しかし、画角を大きくする場合には、光学部１５のサイズが大きくなりやすい。例えば、画角と光学部１５のサイズとの間には相関がある。ヘッドマウントディスプレイを軽量で小型とするために、画角を大きくすることができない場合がある。

これに対して、実施形態に係る表示装置においては、観視者の視線が検出され、検出された視線に応じて表示される画像の位置が変更される。これにより、光学部１５のサイズの増大を抑制し、遠方を見るときの視線方向と近方を見るときの視線方向との両方に対応することができる。

図３（ａ）及び図３（ｂ）は、実施形態に係る表示装置の動作を例示する模式図である。 図３（ａ）及び図３（ｂ）は、撮像部２０で撮像された眼５１の像を例示する模式図である。
図３（ａ）は、観視者５０が正面（水平方向）の遠方を見ているときの眼５１の像を例示している。図３（ｂ）は、観視者５０が近方（遠方を見ているときの視線の方向に対して、３０°程度下側に向かう方向）を見ているときの眼５１の像を例示している。

図３（ａ）及び図３（ｂ）に表したように、視線の方向によって眼の形状が異なる。遠方を見ているときの瞼の形状（眼の開き具合）と近方を見ているときの瞼の形状とは、異なる。表示装置１００においては、例えば、この形状の違いを用いて、観視者５０の視線方向を検出する。

図４は、実施形態に係る表示装置の動作を例示する模式図である。
図４は、表示装置１００の動作のフローチャートを例示している。図４に表したように、表示装置１００の動作は、例えば、キャリブレーション用画像撮像工程（ステップＳ１）と、画像保存工程（ステップＳ２）と、第１画像撮像工程（ステップＳ３）と、視線方向検出工程（ステップＳ４）と、視線方向判定工程（ステップＳ５）と、表示位置算出工程（ステップＳ６）と、光学系位置移動工程（ステップＳ７）と、を含む。

例えば、ステップＳ１において、遠方を見ている状態（第２状態）の眼５１の画像（第２画像）が、撮像部２０によって撮像される。例えば、第２画像は、観視者５０の視線が観視者５０の正面を向いている状態の瞼の画像である。

また、ステップＳ１において、近方を見ている状態（第３状態）の眼５１の画像（第３画像）が、撮像部２０によって撮像される。例えば、第３画像は、観視者５０の視線が観視者５０の下側を向いている状態の瞼の画像である。
例えば、ステップＳ２において、第２画像及び第３画像は、基準画像（キャリブレーション画像）として保持（保存）される。

第２状態における観視者５０の視線の方向は、第３状態における観視者５０の視線の方向と異なる。例えば、第３状態における観視者５０の視線は下側を向いている。第２状態における観視者５０の視線は、第３状態における観視者５０の視線よりも上側を向いている。

例えば、ステップＳ１及びステップＳ２は、表示装置１００の動作開始時に、毎回行われる。例えば、既に撮像されたデータ（画像）が保持されていれば、そのデータを呼び出してもよい。このように表示装置１００の動作開始時に、ステップＳ１及びステップＳ２を毎回行わなくてもよい。
また、例えば、ユーザ（観視者５０）と、撮像したキャリブレーション画像と、を対応づけて保持する。これにより、例えば、表示装置の使用時にユーザ認証を行い、キャリブレーション画像を呼び出すことができる。ユーザ認証には、ＩＤによる認証、顔認証、または、虹彩認識など、任意の方法を用いることができる。キャリブレーション画像における人物と、第１画像における人物と、が同じ人物であることが好ましい。これにより視線方向の検出精度が向上する。キャリブレーション画像における人物と、第１画像における人物と、は、必ずしも同じ人物でなくてもよい。

例えば、ステップＳ３において、撮像部２０は、観視者５０の眼５１（瞼）の画像（第１画像）を順次撮像する。

ステップＳ４において、観視者５０の視線の方向が検出される。予め撮像された第２画像と、第１画像と、の比較、及び、予め撮像された第３画像と、第１画像と、の比較、によって視線の方向が検出される。

例えば、順次撮像される第１画像のそれぞれにおいて、視線の方向が検出される。例えば、ステップＳ５において、検出された視線の方向の移動が判定される。例えば、検出された視線の方向に大きな変化がない場合は、表示装置１００は、ステップＳ３〜Ｓ５を繰り返す。検出された視線の方向に大きな変化があった場合は、表示装置１００は、例えば、ステップＳ６及びステップＳ７を行う。

ステップＳ６において、検出された視線の方向に基づいて、表示装置１００が表示する画像の位置が算出される。眼５１の位置に対する画像の表示位置が算出される。

ステップＳ７において、算出された表示位置に基づいて、画像表示部１０は、表示位置を変更する。これにより、観視者５０の視線の方向に対応した位置に画像が表示される。観視者５０の視線の方向によらず、見やすい位置に画像を表示することができる。ステップＳ７を行った後に、表示装置１００は、ステップＳ３〜Ｓ５を行う。視線の方向に応じて、ステップＳ６及びステップＳ７が行われる。なお、ユーザからの終了指示、または、表示装置１００に接続されたその他の装置からの終了指示に従って、表示装置１００は動作を終了する。

図５は、実施形態に係る表示装置を例示するブロック図である。
図５は、表示装置１００を用いた画像表示システムを例示している。

図５に表したように、表示装置１００は、画像表示部１０と、撮像部２０と、を含む。画像表示部１０は、例えば、光出射部１７と光学部１５とを含む。この例では、画像表示部１０は、駆動部３３（表示位置制御機構）をさらに含む。
例えば、表示装置１００は、通信部３２を含んでも良い。通信部３２から画像表示部１０へ画像情報が供給される。例えば、通信部３２から駆動回路３０を介して画像情報が供給される。これにより、画像表示部１０は、画像を観視者に対して表示する。通信部３２は、表示装置１００に含まれなくても良い。通信部３２は、表示装置１００と一体に設けられてもよく、表示装置１００とは別々に設けられても良い。

例えば、表示装置１００は、処理部３５をさらに含む。例えば、表示装置１００は、撮像部２０と、処理部３５と、を含む視線推定装置２００を含む。保持部４０は、視線推定装置２００に含まれるとみなしても良い。撮像部２０において、第１〜第３画像が撮像される。撮像された第１〜第３画像は、例えば、処理部３５へ送られる。処理部３５は、例えば、第１〜第３画像に基づいて、観視者５０の視線の方向を検出（推定）する。処理部３５は、検出した視線の方向に基づいて、表示装置１００が表示する画像の位置を算出する。処理部３５は、表示装置１００に含まれなくても良い。処理部３５は、表示装置１００と一体に設けられてもよく、表示装置１００とは別々に設けられても良い。
例えば、処理部３５が表示装置１００に含まれる場合には、上記の処理を行うためのＩＣなどが表示装置１００と一体として設けられる。図５に表した処理部３５などのハードウェア構成は、一例であり、実施形態に係る視線推定装置２００（表示装置１００）の一部、又は全部をＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現しても良い。各機能ブロックについては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法については、ＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。

処理部３５は、例えば、携帯端末やＰＣなどであっても良い。例えば、処理部３５は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、有する。例えば、ＣＰＵがＲＯＭなどの記憶部に記憶されているプログラムをＲＡＭに読み出して実行することで、処理部３５における処理が行われる。この場合には、例えば、処理部３５は、表示装置１００には含まれず、表示装置１００とは別に設けられる。例えば、有線または無線によって、表示装置１００と処理部３５との間の通信が行われる。表示装置１００と処理部３５との間の通信には、例えばクラウドコンピューティングのようなネットワークを用いても良い。実施形態は、画像表示部１０、撮像部２０、及び処理部３５などを含む表示システムであってもよい。なお、処理部３５が実施する処理の一部を回路で実現し、残りの処理をネットワークを介して接続されたクラウド上の演算装置（コンピュータ等）を用いて実現してもよい。

処理部３５において算出された画像の表示位置の情報は、例えば、画像表示部１０または駆動部３３へ送られる。例えば、駆動部３３は、光学部１５の、眼５１に対する位置を変更することができる。例えば、駆動部３３は、第１画像に基づいて、画像表示部１０の少なくとも一部の眼５１に対する位置を変更する。

例えば、光出射部１７、光学部１５及び駆動部３３の少なくともいずれかの動作によって、眼５１に対する画像の表示位置が変更される。画像の表示位置の変更については、後述する。

駆動部３３は、画像表示部１０とは別に設けられても良い。駆動部３３は、画像表示部１０と一体に設けられてもよく、別々に設けられても良い。

図６（ａ）及び図６（ｂ）は、実施形態に係る表示装置の動作を例示する模式図である。
図６（ａ）は、観視者５０が正面方向（水平方向）を見ている状態の眼５１の画像Ｐｒ２（第２画像）を例示している。図６（ｂ）は、正面方向に対して、観視者５０が３０°下側を見ている状態の眼５１の画像Ｐｒ３（第３画像）を例示している。図６（ａ）の画像及び図６（ｂ）の画像は、例えば、撮像部２０によって撮像された画像である。

例えば、観視者５０が遠方（正面方向、水平方向）を見ているときの視線の方向を０°方向とする。観視者５０の視線方向Ｄｇを、例えば、０°方向（水平方向）と視線方向との間の角度で表す。水平方向に対して下側へ向かう方向を角度のプラス方向とする。例えば、図６（ａ）に表した画像における視線方向Ｄｇは、０°方向である。図６（ｂ）に表した画像における視線方向Ｄｇは、３０°方向である。

図７（ａ）〜図７（ｄ）は、実施形態に係る表示装置の動作を例示する模式図である。
図７（ａ）〜図７（ｄ）は、撮像部２０によって撮像された眼５１の画像（第１画像）を例示している。

図７（ａ）は、視線方向Ｄｇが７°方向である状態の眼５１の画像である。図７（ｂ）は、視線方向Ｄｇが１５°方向である状態の眼５１の画像である。図７（ｃ）は、視線方向Ｄｇが２５°方向である状態の眼５１の画像である。図７（ｄ）は、視線方向Ｄｇが３５°方向である状態の眼５１の画像である。

例えば、図６（ａ）及び図６（ｂ）において例示した画像のそれぞれを基準画像とする。この基準画像を用いて、図７（ａ）〜図７（ｄ）に表した画像のそれぞれ（テスト画像）における観視者５０の視線を検出することができる。例えば、テスト画像と基準画像との間の絶対誤差（例えば、ＳＡＤ：Sum of Absolute Difference）を計算する。すなわち、第２画像と第１画像との差ＳＡＤ、及び、第３画像と第１画像との差ＳＡＤを計算する。例えば、差ＳＡＤの値が小さいほど２つの画像は類似しており、差ＳＡＤの値が大きいほど２つの画像の違いが大きい、と判断される。

図８は、実施形態に係る表示装置の動作を例示するグラフ図である。
図８は、基準画像とテスト画像との差ＳＡＤを例示している。図８の縦軸は、差ＳＡＤである。図８の横軸は、視線方向Ｄｇ（°）である。

図６（ａ）に表した画像を基準画像とし、図７（ａ）〜図７（ｄ）のそれぞれに表した画像をテスト画像としたときの、基準画像とテスト画像との差ＳＡＤを、差ＳＡＤ＿ＵＰとする。すなわち、差ＳＡＤ＿ＵＰは、第１画像と第２画像との差ＳＡＤである。

図６（ｂ）に表した画像を基準画像とし、図７（ａ）〜図７（ｄ）のそれぞれに表した画像をテスト画像としたときの、基準画像とテスト画像との差ＳＡＤを、差ＳＡＤ＿ＤＯＷＮとする。すなわち、差ＳＡＤ＿ＤＯＷＮは、第１画像と第３画像との差ＳＡＤである。

図８に表したように、視線方向Ｄｇと差ＳＡＤとは、例えば、線形に変化する。基準画像とテスト画像との差ＳＡＤを計算することにより、テスト画像における視線方向Ｄｇを推定することができる。

この例では、画像間の絶対誤差（ＳＡＤ）を用いて画像同士の類似性を判断したが、他の方法を用いても良い。例えば、画像間の二乗誤差（ＳＳＤ：Sum of Squared Difference）を用いてもよい。

図９（ａ）及び図９（ｂ）は、実施形態に係る表示装置の動作を例示する模式図である。
例えば、視線方向Ｄｇを瞼の位置で検出することもできる。
図９（ａ）は、視線方向Ｄｇが０°方向である状態の眼５１の画像（第２画像）を例示している。図９（ｂ）は、視線方向Ｄｇが３０°方向である状態の眼５１の画像を例示している。図９（ａ）の画像及び図９（ｂ）の画像は、例えば、撮像部２０によって撮像された画像である。

図９（ａ）に表したように、例えば、観視者５０が水平方向を見ているときは、瞼の位置は、上がっている。図９（ｂ）に表したように、例えば、観視者５０が下側を見ているときは、瞼の位置は、下がっている。
例えば、画像中において下瞼ＥＬｄから上瞼ＥＬｕへ向かう方向をＤｚ方向（＋Ｄｚ方向）とする。上瞼ＥＬｕから下瞼ＥＬｄへ向かう方向を−Ｄｚ方向とする。図９（ａ）の画像中の上瞼ＥＬｕのＤｚ方向における位置Ｐｕ０は、図９（ｂ）の画像中の上瞼ＥＬｕのＤｚ方向における位置Ｐｕ３０から見て、＋Ｄｚ方向に位置する。すなわち、図９（ａ）における上瞼ＥＬｕは、図９（ｂ）における上瞼ＥＬｕよりも、画像中において上側にある。

例えば、眼５１の画像（第１画像）において、上瞼ＥＬｕの位置ＰＬｚを検出する。第１画像中における上瞼ＥＬｕの位置ＰＬｚと、第２画像中における上瞼ＥＬｕの位置Ｐｕ０と、を比較する。第１画像中における上瞼ＥＬｕの位置ＰＬｚと、第３画像中における上瞼ＥＬｕの位置Ｐｕ３０と、を比較する。これにより、第１画像を撮像したときの観視者５０の視線の方向を推定することができる。

図１０（ａ）〜図１０（ｄ）は、実施形態に係る表示装置の動作を例示する模式図である。
図１０（ａ）〜図１０（ｄ）は、撮像部２０によって撮像された眼５１の画像（第１画像）を例示している。

図１０（ａ）は、視線方向Ｄｇが７°方向である状態の眼５１の画像である。図１０（ｂ）は、視線方向Ｄｇが１５°方向である状態の眼５１の画像である。図１０（ｃ）は、視線方向Ｄｇが２５°方向である状態の眼５１の画像である。図１０（ｄ）は、視線方向Ｄｇが３５°方向である状態の眼５１の画像である。

図１０（ａ）〜図１０（ｄ）に表わした画像のそれぞれにおいて、上瞼ＥＬｕのＤｚ方向における位置ＰＬｚを検出する。具体的には、例えば、観視者５０の上瞼ＥＬｕと、瞳Ｅｐとの境界を検出する。検出した上瞼ＥＬｕのＤｚ方向における位置ＰＬｚと、位置Ｐｕ０及び位置Ｐｕ３０と、を比較する。これにより、図１０（ａ）〜図１０（ｄ）に表わした画像のそれぞれにおいて、視線方向を検出することができる。

図１１（ａ）〜図１１（ｃ）は、実施形態に係る表示装置の動作を例示する模式図である。
図１１（ａ）〜図１１（ｃ）は、表示装置１００における視線方向の検出を例示している。

図１１（ａ）に表わしたように、例えば、Ｄｚ方向における上瞼ＥＬｕの画像中の位置ＰＬｚを検出する。これにより、視線方向を検出することができる。
図１１（ｂ）に表わしたように、上瞼ＥＬｕと下瞼ＥＬｄとの間の距離Ｄ１を検出し、これに基づいて視線の方向を検出しても良い。
図１１（ｃ）に表わしたように、瞼（例えば上瞼ＥＬｕ）の形状（例えば瞼の曲率）を検出し、これに基づいて、視線の方向を検出しても良い。

例えば、図１１（ａ）〜図１１（ｃ）に例示した方法のいずれかによって検出された視線の方向に基づいて、画像表示部１０は、眼５１の位置に対する画像の表示位置を変更する。

図１２（ａ）〜図１２（ｃ）、図１３（ａ）〜図１３（ｃ）、図１４（ａ）〜図１４（ｃ）及び図１５（ａ）〜図１５（ｃ）は、実施形態に係る表示装置の動作を例示する模式図である。
この例では、保持部４０は、メガネフレームと同様の形状をしている。

図１２（ａ）に表わしたように、撮像部２０は、保持部４０の上側に設けられても良い。この場合、撮像部２０は、眼５１の上側から眼５１を撮像する。図１２（ｂ）及び図１２（ｃ）は、図１２（ａ）の状態において眼５１を撮像した画像を例示している。図１２（ｂ）は、視線方向Ｄｇが０°方向である状態の眼５１の画像であり、図１２（ｃ）は、視線方向Ｄｇが３０°方向である状態の眼５１の画像である。

図１３（ａ）に表わしたように、撮像部２０は、保持部４０の下側に設けられても良い。この場合、撮像部２０は、眼５１の下側から眼５１を撮像する。図１３（ｂ）及び図１３（ｃ）は、図１３（ａ）の状態において眼５１を撮像した画像を例示している。図１３（ｂ）は、視線方向Ｄｇが０°方向である状態の眼５１の画像であり、図１３（ｃ）は、視線方向Ｄｇが３０°方向である状態の眼５１の画像である。

保持部４０の上側及び下側に撮像部２０を設けた場合には、眼の形状、上瞼の位置ＰＬｚ、上瞼と下瞼との間の距離Ｄ１、又は、上瞼の形状（曲率）を検出することで、視線の方向を検出することができる。

図１４（ａ）に表わしたように、撮像部２０は、保持部４０の側部に設けられても良い。この場合、撮像部２０は、観視者５０の横側から眼５１を撮像する。図１４（ｂ）及び図１４（ｃ）は、図１４（ａ）の状態において眼５１を撮像した画像を例示している。図１４（ｂ）は、視線方向Ｄｇが０°方向である状態の眼５１の画像であり、図１４（ｃ）は、視線方向Ｄｇが３０°方向である状態の眼５１の画像である。この場合には、例えば、眼の形状、上瞼と下瞼との間の距離Ｄ１、又は、上瞼と下瞼との間の角度θを検出することで、視線の方向を検出することができる。

図１５（ａ）に表わしたように、例えば、保持部４０に反射部４１を設ける。撮像部２０は、反射部４１に写った眼５１の像を撮像しても良い。例えば、眼鏡のレンズに相当する部分に反射部４１を設ける。反射部４１は、例えば、光反射性である。反射部４１には、例えば、ハーフミラーが用いられる。図１５（ｂ）及び図１５（ｃ）は、図１５（ａ）の状態において眼５１を撮像した画像を例示している。図１５（ｂ）は、視線方向Ｄｇが０°方向である状態の眼５１の画像であり、図１５（ｃ）は、視線方向Ｄｇが３０°方向である状態の眼５１の画像である。この場合には、例えば、眼の形状、上瞼の位置ＰＬｚ、又は、上瞼と下瞼との間の距離Ｄ１を検出することで、視線の方向を検出することができる。例えば、眼５１に赤外光を照射し、撮像部２０に赤外カメラを用いる。これにより、例えば、反射部４１に写った眼５１の像をより確実に撮像することができる。

例えば、観視者５０の眼５１の画像において、瞼ではなく瞳の像に基づいて、視線の方向を検出する参考例の表示装置がある。この参考例の表示装置においても、例えば、撮像部が設けられている。撮像部によって観視者の瞳の画像を複数取得し、その画像に基づいて、視線の方向を検出する。しかし、このような参考例の方法においては、確実に瞳を撮像する必要がある。そのため、例えば眼を撮像する撮像部の位置は、瞳を撮像することのできる位置に限定される。瞳を撮像するために、撮像部を移動させる必要が生じる場合もある。

これに対して、本実施形態に係る表示装置においては、眼５１の瞼の像に基づいて観視者５０の視線方向を検出する。これにより、上述のように、撮像部２０の配置についての自由度が高い。例えば、参考例の表示装置に比べて、高い精度で視線方向を検出することができる。視線方向を検出しやすい。これにより、より適切な位置に画像を表示することができる。

図１６（ａ）〜図１６（ｃ）は、表示装置の動作を例示する模式図である。
画像表示部１０は、検出された視線の方向に基づいて、眼５１の位置に対する画像の表示位置を変更する。例えば、駆動部３３によって、画像の表示位置が変更される。例えば、駆動部３３は、画像表示部１０の少なくとも一部（例えば光学部１５及び光出射部１７）を回転させる。回転の中心軸は、例えば、眼５１の位置に対応する。これにより、画像の表示位置と観視者５０の視線方向とが調整される。

図１６（ａ）〜図１６（ｃ）は、画像の表示位置と視線方向との関係を例示している。図１６（ａ）は、観視者５０の視線方向が０°方向である状態を例示している。図１６（ａ）に表わしたように、画面Ｐｄ１（観視者５０が知覚する画像の表示面）は、視線方向Ｄｇに対して、例えば、垂直である。すなわち、画像情報を含む光は、例えば、視線方向Ｄｇと平行な方向に進行し、眼５１へ入射する。この場合、観視者５０の視界内に画面Ｐｄ１があれば（観視者５０の眼５１が画像のアイレンジ内にあれば）、観視者５０は、画像の全体を見ることができる。

図１６（ｂ）及び図１６（ｃ）は、観視者の視線方向が０°方向よりも下側に移動した状態を例示している。このとき、例えば、図１６（ｂ）に表わしたように、画像の表示位置（画面Ｐｄ１）を、鉛直方向（０°方向に対して垂直な方向）に移動させる。この場合、画像情報を含む光は、例えば、視線方向Ｄｇと交差する方向に進行し、眼５１へ入射する。この場合、観視者５０の視界内に画面Ｐｄ１の全体がなく、観視者５０は、画像の全体を見ることができない場合がある。画像のアイレンジ方向が異なり、画面の一部が欠けてしまう場合がある。

これに対して、実施形態においては、例えば、図１６（ｃ）に表わしたように、画像の表示位置（画面Ｐｄ１の位置）は、眼５１を中心として回転するように調整される。この場合には、例えば、画像情報を含む光が、視線方向とほぼ平行な方向に進行し、眼５１へ入射しやすい。これにより、例えば、観視者５０は、画像の全体を見ることができる。駆動部３３は、例えば、画面Ｐｄ１の位置が眼５１を中心として回転するように、画像表示部１０の少なくとも一部を回転させる。駆動部３３は、第１画像から検出された視線方向に基づいて、画像表示部１０の少なくとも一部の眼５１に対する位置を変更する。

例えば、画像表示部１０の回転中心軸の位置は、眼５１の位置でなくても良い。画像表示部１０の回転中心軸の位置は、適宜選択することができる。例えば、画像表示部の回転中心軸の位置を、光学部１５の中央付近に設けても良い。この場合には、例えば、眼５１の中心の位置と、光学部１５の中央の位置と、の間の角度に応じた補正が行われる。

例えば、コンバイナ１２の位置を変更することで、画像の表示位置（画面Ｐｄ１の位置）を変更しても良い。すなわち、光学部１５は、第１画像に基づいて検出された観視者５０の視線方向に応じて、眼５１の位置に対するコンバイナ１２の位置を変更してもよい。これにより、観視者５０の視線方向に応じて、画像を表示することができる。

例えば、画像情報を含む光の光路を変更することで、画像の表示位置（画面Ｐｄ１の位置）を変更しても良い。すなわち、第１画像に基づいて検出された観視者５０の視線方向に応じて、画像情報を含む光の一部が入射するコンバイナにおける位置を変更する。例えば、接眼レンズ１３の位置または焦点距離などを変更しても良い。これにより、観視者５０の視線方向に応じて、画像を表示することができる。

例えば、光出射部１７において表示される画像を変更することで、画像の表示位置（画面Ｐｄ１の位置）を変更しても良い。例えば、駆動回路３０は、第１画像に基づいて、画像情報を変更する。このように、第１画像に基づいて、光出射部１７が出射する光を変更しても良い。

実施形態においては、上述の表示位置の変更方法が、適宜組み合わせて用いられても良い。これにより、観視者５０の視線方向に応じて、画像を表示することができる。

実施形態によれば、見やすい表示装置が提供される。

なお、本願明細書において、「垂直」及び「平行」は、厳密な垂直及び厳密な平行だけではなく、例えばばらつきなどを含むものであり、実質的に垂直及び実質的に平行であれば良い。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、光出射部、光学部、画像表示部、撮像部、処理部、駆動部、保持部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した表示装置及び視線推定装置を基にして、当業者が適宜設計変更して実施し得る全ての表示装置及び視線推定装置も、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…画像表示部、 １２…コンバイナ、 １３…接眼レンズ、 １５…光学部、 １７…光出射部、 ２０…撮像部、 ３０…駆動回路、 ３２…通信部、 ３３…駆動部、 ３５…処理部、 ４０…保持部、 ４１…反射部、 ５０…観視者、 ５１…眼（眼球）、 １００…表示装置、 ２００…視線推定装置、 Ｄ１…距離、 Ｄｇ…視線方向、 ＥＬｄ…下瞼、 ＥＬｕ…上瞼、 Ｅｐ…瞳、 Ｐ１…画像、 Ｐｄ１…画面、 ＰＬｚ…位置、 Ｐｒ２、Ｐｒ３…画像、 Ｐｕ０、Ｐｕ３０…位置、 Ｓ１〜Ｓ７…ステップ１〜７、 ＳＡＤ…差、 ｇ１、ｇ２…注視点

Claims (16)

1. 観視者の瞼の第１状態における第１画像を撮像する撮像部と、
   画像表示部であって、
   画像情報を含む光を出射する光出射部と、
   前記光が入射し、前記光の少なくとも一部の光を前記観視者の眼球へ入射させるコンバイナを含む光学部と、
   を含み、前記撮像部で撮像された前記第１画像に基づいて、前記少なくとも一部の前記光の前記眼球に対する入射方向を変更する画像表示部と、
   を備え、
   前記画像表示部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記入射方向を変更する表示装置。
2. 前記第１画像に基づいて前記第１状態における前記観視者の視線の方向を推定する処理部をさらに備え、
   前記画像表示部は、推定された視線の前記方向に沿った方向に前記入射方向を変更する請求項１記載の表示装置。
3. 前記第２状態における前記観視者の視線の方向は、前記第３状態における前記観視者の視線の方向とは異なる請求項１または２に記載の表示装置。
4. 前記第３状態における前記観視者の視線は、前記観視者の下側を向いており、
   前記第２状態における前記観視者の視線は、前記第３状態における前記観視者の視線よりも上側を向いている請求項１〜３のいずれか１つに記載の表示装置。
5. 前記画像表示部は、前記第１画像における上瞼の形状、前記第１画像における上瞼と下瞼との間の距離、及び、前記第１画像における上瞼の曲率、の少なくともいずれかに基づいて前記入射方向を変更する請求項１〜４のいずれか１つに記載の表示装置。
6. 前記画像表示部は、駆動部をさらに含み、
   前記駆動部は、前記第１画像に基づいて、前記画像表示部の前記眼球に対する位置を変更する請求項１〜５のいずれか１つに記載の表示装置。
7. 前記コンバイナは、前記コンバイナの前記眼球と反対側から前記眼球へ向かって進行する外光の少なくとも一部を透過させる請求項１〜６のいずれか１つに記載の表示装置。
8. 前記光学部は、前記第１画像に基づいて、前記眼球の位置に対する前記コンバイナの位置を変更する請求項１〜７のいずれか１つに記載の表示装置。
9. 前記光学部は、前記第１画像に基づいて、前記少なくとも一部の前記光が入射する前記コンバイナにおける位置を変更する請求項１〜８のいずれか１つに記載の表示装置。
10. 前記光出射部を制御する駆動回路をさらに備え、
    前記駆動回路は、前記第１画像に基づいて、前記画像情報を変更する請求項１〜９のいずれか１つに記載の表示装置。
11. 前記画像表示部を保持する保持部をさらに備え、
    前記保持部は、前記画像表示部と前記眼球との間の空間的配置を規定する請求項１〜１０のいずれか１つに記載の表示装置。
12. 観視者の瞼の第１状態における第１画像を撮像する撮像部と、
    前記第１画像に基づいて、前記第１状態における前記観視者の視線の方向を推定する処理部と、
    を備え、
    前記処理部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記観視者の視線の方向を推定する視線推定装置。
13. 前記第２状態における前記観視者の視線の方向は、前記第３状態における前記観視者の視線の方向と異なる請求項１２記載の視線推定装置。
14. 前記第３状態における前記観視者の視線は、前記観視者の下側を向いており、
    前記第２状態における前記観視者の視線は、前記第３状態における前記観視者の視線よりも上側を向いている請求項１２または１３に記載の視線推定装置。
15. 前記処理部は、前記第１画像における上瞼の形状、前記第１画像における上瞼と下瞼との間の距離、及び、前記第１画像における上瞼の曲率、の少なくともいずれかに基づいて前記視線の方向を推定する請求項１２〜１４のいずれか１つに記載の視線推定装置。
16. 観視者の瞼の第１状態における第１画像を撮像する撮像部と、
    画像情報を含む光を前記観視者の眼球へ入射させる画像表示部と、
    を備え、
    前記画像表示部は、予め撮像された前記観視者の前記瞼の第２状態における第２画像と前記第１画像との比較、及び、予め撮像された前記観視者の前記瞼の前記第２状態とは異なる第３状態における第３画像と前記第１画像との比較、に基づいて前記光の前記眼球に対する入射方向を変更する表示装置。

Images