JP7302592B2 - 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 - Google Patents
情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 Download PDFInfo
- Publication number
- JP7302592B2 JP7302592B2 JP2020510489A JP2020510489A JP7302592B2 JP 7302592 B2 JP7302592 B2 JP 7302592B2 JP 2020510489 A JP2020510489 A JP 2020510489A JP 2020510489 A JP2020510489 A JP 2020510489A JP 7302592 B2 JP7302592 B2 JP 7302592B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- eyeball
- scanning
- scanning mirror
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Description
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
を備えている情報検出装置を提供する。
また、本技術は、眼球に光を照射する照射部と、
前記照射部から照射された光を前記眼球へ到達させる導光部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
を備えており、
前記導光部は、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光を、波長の違いにより異なる方向へ反射する、
情報検出装置も提供する。
本技術の一つの実施態様に従い、前記情報検出装置は、前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置又は視線方向の推定処理を行う制御部をさらに備えていてよい。
本技術の一つの実施態様に従い、前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光とに基づき前記眼球の瞳孔位置又は視線方向を推定しうる。
本技術の一つの実施態様に従い、前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光の強度とに基づき前記眼球の瞳孔位置又は視線方向を推定しうる。
本技術の一つの実施態様に従い、前記照射部が、前記走査ミラーを介さずに前記光を前記眼球に照射するように構成されていてよい。
本技術の一つの実施態様に従い、前記照射部が、前記走査ミラーを介して前記光を前記眼球に照射するように構成されていてよい。
本技術の一つの実施態様に従い、前記情報検出装置は、前記照射部と前記導光部の間にハーフミラーが配置され、当該ハーフミラーは、反射光を透過し、それ以外の光は反射するように構成されてよい。
本技術の一つの実施態様に従い、前記複数種の光は、赤外光及び映像表示光であってよい。
本技術の一つの実施態様に従い、前記眼球に照射される光が赤外光であってよい。
本技術の一つの実施態様に従い、前記眼球に照射される光がビーム状の光であってよい。
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置の推定処理を行う制御部と、
前記制御部により推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射部と
を備えている映像投影装置も提供する。
また、本技術は、眼球に光を照射する照射部と、
前記照射部から照射された光を前記眼球へ到達させる導光部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置の推定処理を行う制御部と、
前記制御部により推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射部と
を備えており、
前記導光部は、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光を、波長の違いにより異なる方向へ反射する、
映像投影装置も提供する。
本技術の一つの実施態様に従い、前記映像表示光が、瞳孔付近に集光されそして網膜に照射されうる。
本技術の一つの実施態様に従い、前記映像表示光が、前記走査ミラーを介して眼球に照射されうる。
本技術の一つの実施態様に従い、前記映像投影装置がアイウェアディスプレイでありうる。
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
を含む情報検出方法も提供する。
また、本技術は、眼球に光を照射する照射工程と、
前記照射工程において照射された光を、導光部によって前記眼球へ到達させる導光工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
を含み、
前記導光工程において、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光が、波長の違いにより異なる方向へ反射される、
情報検出方法も提供する。
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
前記検出工程において検出された反射光に基づき、前記眼球の瞳孔位置を推定する推定工程と、
前記推定工程において推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射工程と
を含む映像投影方法も提供する。
また、本技術は、眼球に光を照射する照射工程と、
前記照射工程において照射された光を、導光部によって前記眼球へ到達させる導光工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
前記検出工程において検出された反射光に基づき、前記眼球の瞳孔位置を推定する推定工程と、
前記推定工程において推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射工程と
を含み、
前記導光工程において、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光が、波長の違いにより異なる方向へ反射される、
映像投影方法も提供する。
なお、本技術により奏される効果は、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。
1.第1の実施形態(情報検出装置)
(1)第1の実施形態の説明
(2)第1の実施形態の第1の例(情報検出装置)
(3)第1の実施形態の第2の例(情報検出装置)
2.第2の実施形態(映像投影装置)
(1)第2の実施形態の説明
(2)第2の実施形態の第1の例(映像投影装置)
(3)第2の実施形態の第2の例(映像投影装置)
(4)第2の実施形態の第3の例(映像投影装置)
3.第3の実施形態(情報検出方法)
(1)第3の実施形態の説明
(2)第3の実施形態の例(情報検出方法)
4.第4の実施形態(映像投影方法)
(1)第4の実施形態の説明
(2)第4の実施形態の例(映像投影方法)
5.装置の構成例
6.実施例
(1)実施例1(第1の実施形態の第1の例のシミュレーション)
(2)実施例2(第1の実施形態の第2の例のシミュレーション)
(3)実施例3(第1の実施形態の第2の例のシミュレーション)
(4)実施例4(第2の実施形態の第1の例のシミュレーション)
(5)実施例5(第2の実施形態の第2の例のシミュレーション)
(6)実施例6(第2の実施形態の第3の例のシミュレーション)
また、上記のとおり眼球からの反射光が走査ミラーを介して検出部に到達するので、走査ミラーを駆動することによって、眼球の種々の位置からの反射光を、例えば一つの光検出素子によって検出することができる。そのため、検出部を小型化することができる。また、本技術に従う装置の検出部を構成する光検出素子の数は少なくてよいので、当該装置は消費電力が少ない。
また、上記のとおり眼球からの反射光が走査ミラーを介して検出部に到達するので、例えば環境光又は迷光などのノイズ成分を排除することができる。
本技術に従う情報検出装置は、眼球での反射光は走査ミラーを介して検出部に到達する。すなわち、本技術に従う情報検出装置は、眼球の種々の位置からの反射光を検出することができる。そのため、本技術に従う情報検出装置は検出精度が高い。また、本技術に従う情報検出装置は、走査ミラーを駆動することによって、眼球の種々の位置からの反射光を例えば一つの光検出素子によって検出することができる。そのため、本技術に従う情報検出装置は消費電力が小さい。
上記特許文献3に記載の焦点距離制御装置においても、眼球で反射した赤外光が受光レンズによって集光される。そのため、当該装置は、やはり環境光又は迷光の影響を受けやすい。
本技術に従う情報検出装置を用いて光検出を行う場合、眼球からの反射光が走査ミラーを介して検出部に到達する。すなわち、検出部に到達する光の角度が限定される。そのため、本技術に従う情報検出装置を用いることによって、例えば環境光又は迷光などのノイズ成分の影響を減少することができる。
例えば情報検出装置100がメガネ状装置である場合、照射部101は例えば当該メガネ状装置のリム又はレンズのいずれかの位置に取り付けられていてよく、又は、リム又はレンズの一部として形成されていてもよい。
照射部101は、光161が導光部102を通過して眼球150に到達するように設けられていてよい。例えば、当該メガネ状装置のリム又はレンズの眼球側面とは反対側の面に照射部101が設けられていてよい。代替的には、照射部101は、光161が導光部102を通過せずに眼球150に到達するように設けられていてもよい。この場合、例えば、照射部101は、当該メガネ状装置のリム又はレンズの眼球側に設けられていてよい。照射部101は、例えば平面光源であってよい。
好ましくは、光161は、平行光として眼球に照射される。これにより、より正確な情報検出が可能となる。例えば、光161が導光部102を通過して眼球150に到達するように照射部101が構成されている場合、導光部102によって、光161が平行化されうる。又は、例えば光161が導光部102を通過せずに眼球150に到達するように設けられている場合、照射部101自体が光161を平行光として出力できるように構成されていてよい。
照射部101により照射される光161は、導光部102のみを介して眼球150に照射される。すなわち、光161は、走査ミラー103を介さずに眼球150に照射される。そのため、照射される光161は、走査ミラー103の反射率による影響を受けない。
照射部101から照射される光が平行光でない場合、導光部102は好ましくは当該光を平行化させる光学特性を有しうる。
例えば情報検出装置100がメガネ状装置である場合、導光部102は例えばメガネ状装置のレンズ自体であってよく、又は、レンズの一部として構成されていてもよい。
走査ミラー103は、導光部102によって反射された反射光162を検出部104に到達させるように構成されうる。導光部102によって反射された反射光162を走査ミラー103に到達させるために、導光部102と走査ミラー103との間の反射光の進路上に、光学系が適宜設けられてよい。また、走査ミラー103によって反射された反射光162を検出部104に到達させるために、走査ミラー103と検出部104との間の反射光の進路上にも、光学的が適宜設けられてよい。
例えば情報検出装置100がメガネ状装置である場合、走査ミラー103は当該メガネ状装置のテンプル111のいずれかの位置に取り付けられていてよく、又は、テンプルに含まれるように設けられていてもよい。
検出部104は、例えば反射光162の強度を検出しうる。反射光162が反射された眼球150の位置によって、反射光162の強度は異なる。例えば、瞳孔部分で反射された反射光の強度は、虹彩部分で反射された反射光の強度と異なる。また、眼球の表面(例えば角膜)で反射された反射光の強度は、眼球の眼底(例えば網膜)によって反射された散乱光よりも強い。そのため、走査ミラー103の面の向き又は走査振角と、検出部104により検出された光強度とに基づき、瞳孔位置及び/又は視線方向を推定することができる。
また、他の実施態様において、検出部104は、検出された反射光162に基づき、画像を生成してもよい。例えば、検出部104は、反射光162に基づく画像を生成するために、例えばCMOS又はCCDなどのイメージセンサ、特には赤外線イメージセンサを含みうる。例えば制御部105が、反射光162に基づき生成された画像を画像処理することで、眼球に関する情報(例えば瞳孔位置又は視線方向など)が取得されうる。
検出部104は、制御部105と接続されていてよい。検出部104により検出された光に関する情報、例えば強度などが制御部105によって処理されうる。
例えば、情報検出装置100がメガネ状装置である場合、検出部104は当該メガネ状装置のテンプルのいずれかの位置に取り付けられていてよく、又は、テンプルに含まれるように設けられていてもよい。
また、制御部105は、走査ミラー103を制御できるように、走査ミラー103と接続されていてよい。例えば、制御部105は、所定の走査振角の範囲内で、走査ミラー103を駆動させうる。制御部105は、走査ミラー103に関する情報、例えば走査ミラーの面の向き又は走査振角など、に関する情報を取得することができる。
好ましくは、制御部105は、走査ミラー103に関する情報と検出部104によって検出された反射光に関する情報とに基づき、眼球に関する情報を取得しうる。例えば、制御部105は、走査ミラー103の走査振角と検出部104によって検出された反射光(特には反射光の強度)とに基づき、例えば瞳孔位置、視線方向、又は眼球の回転角度などの推定処理を行いうる。
制御部105は、照射部101による光の照射を制御しうる。例えば、制御部105は、照射部101による光の照射のオン若しくはオフを切り替え、又は、照射される光の強度又は種類を変更しうる。また、制御部105は、走査ミラー103の駆動を制御しうる。例えば、制御部105は、走査ミラー103の走査振角を変更しうる。また、制御部105は、検出部104による検出を制御しうる。例えば、制御部105は、検出部104による検出動作のオン又はオフを切り替えうる。
例えば、情報検出装置100がメガネ状装置である場合、制御部105は当該メガネ状装置のテンプルに含まれるように設けられていてもよく、又は、当該メガネ状装置とは別の装置内に設けられており且つ当該メガネ状装置と有線又は無線で接続されていてもよい。
好ましくは、光361は、ビーム状の光(特にはレーザ光)として照射部301から照射されてよい。より好ましくは、照射部301は、ビーム状の赤外光を照射する。照射部301は、例えば赤外レーザ光を照射するものであってよい。これにより、例えば瞳孔部分から出る反射光をより明確に検出することができる。そのため、瞳孔位置をより正確に推定することができる。
照射部301により照射された光361は、ハーフミラー306によって反射されて走査ミラー303に到達し、走査ミラー303によってさらに反射されて導光部302に到達し、そして、導光部302によってさらに反射されて眼球に到達する。
例えば、情報検出装置300がメガネ状装置である場合、照射部301は当該メガネ状装置のテンプルのいずれかの位置に取り付けられていてよく、又は、テンプルに含まれるように設けられていてもよい。また、照射部301は、制御部305により制御可能に制御部305と接続されていてよい。
ハーフミラー306は、照射部301からの光を反射し且つ眼球からの反射光を透過する特性を有しうる。検出部304は、走査ミラー303で反射されそしてハーフミラー306を透過した反射光362を検出する。
導光部302は、例えばグレーティング又はグレーティングレンズであってもよい。導光部302がグレーティングである場合、所定の波長を有する光のみを選択的に反射することができる。導光部302がグレーティングレンズである場合、所定の波長を有する光のみを選択的に反射し且つ眼球に向けて光を集光させることができる。
また、情報検出装置300は、走査ミラー303と導光部302との間に、コリメートレンズなどの他の光学素子をさらに含んでもよい。
また、情報検出装置300の照射部301からの光は、ハーフミラー306及び走査ミラー303を介して眼球に照射される。そのため、当該光の利用効率が、上記「(2)第1の実施形態の第1の例(情報検出装置)」で述べた情報検出装置100よりも低くなる場合がある。しかしながら、ハーフミラー306及び走査ミラー303それぞれの光の透過率又は反射率を上げることで、当該光の利用効率を上げることができる。
本技術に従う映像投影装置は、上記「1.第1の実施形態(情報検出装置)」で述べた効果を奏する。さらに、本技術に従う映像投影装置は、映像表示光を適切な位置に照射することができるという効果を奏する。
映像投影装置400は、上記1.の「(2)第1の実施形態の第1の例(情報検出装置)」において説明した情報検出装置100に、映像表示光照射部420が追加された装置である。以下では、主に導光部402及び映像表示光照射部420について説明する。
さらに、導光部402は、映像表示光照射部420により照射された映像表示光を反射する特性を有するものであってよい。導光部402は、好ましくは映像表示光照射部420から照射された映像表示光が瞳孔付近に集光されそして網膜に照射されるように、当該映像表示光を反射する。すなわち、映像表示光が瞳孔を直進するように、導光部402は映像表示光を回折しうる。これにより、いわゆるマクスウェル視によりユーザに映像を提示することができる。そのため、鮮明な映像をユーザに提示することができる。
本技術において、映像表示光は瞳孔付近で集光されてよく、例えば瞳孔上で集光されてもよく又は光軸方向に瞳孔から数mm~十数mm程度(例えば1mm~20mm、特には2mm~15mm)ずれてもよい。後者のとおり焦点が瞳孔上になくても、マックスウェル視を実現することができる。焦点を光軸方向にずらすことで、映像がずれても、ユーザが映像を失いにくくすることができる。前記映像表示光は、より具体的には、瞳孔上、水晶体レンズ内、又は、角膜表面と瞳孔との間において集光されうる。
例えば映像投影装置400がメガネ状装置である場合、導光部102は例えば当該メガネ状装置のレンズ自体であってよく、又は、レンズの一部として構成されていてもよい。
映像表示光は、例えばマクスウェル視によりユーザに映像を提示することができるものでありうる。映像表示光は、例えばLED又はCRTにより照射される光であってよい。
例えば映像投影装置400がメガネ状装置である場合、映像表示光照射部420は例えば当該メガネ状装置のテンプル部分に取り付けられてよく、又は、テンプル部分に含まれてもよい。映像表示光照射部420により映像がユーザに提示されることによって、当該メガネ状装置のレンズを介してユーザが見る外界風景に当該映像が重畳される。
これらの構成要素のうち、照射部501、導光部502、走査ミラー503、検出部504、制御部505、及びハーフミラー506は、上記1.の「(3)第1の実施形態の第2の例(情報検出装置)」において説明した照射部301、導光部302、走査ミラー303、検出部304、制御部305、及びハーフミラー306に対応する。そのため、上記1.の「(3)第1の実施形態の第2の例(情報検出装置)」で述べたとおりの情報(例えば瞳孔位置)を検出することができる。
映像投影装置500は、上記1.の「(3)第1の実施形態の第2の例(情報検出装置)」において説明した情報検出装置300に、映像表示光照射部520が追加された装置であるともいえる。以下では、主に導光部502及び映像表示光照射部520について説明する。
例えば映像投影装置500がメガネ状装置である場合、映像表示光照射部520は例えば当該メガネ状装置のテンプル部分に取り付けられてよく、又は、テンプル部分に含まれてもよい。映像表示光照射部520により映像がユーザに提示されることによって、当該メガネ状装置のレンズを介してユーザが見る外界風景に当該映像が重畳される。
好ましくは、照明光661は、ビーム状の光として照射部601から照射されてよい。より好ましくは、照射部601は、ビーム状の赤外光、特には赤外線レーザ光を照射する。
照射部601により照射された照明光661は、ハーフミラー606によって反射されて走査ミラー603に到達し、走査ミラー603によってさらに反射されて導光部602に到達し、そして、導光部602によってさらに反射されて眼球650に到達する。
照射部601は、照明光661に加えて、映像表示光663を照射することができるように構成されている。例えば、照明光661及び映像表示光663は、合波された状態で照射部601により出力されてよい。映像表示光663によって、ユーザに映像が提示される。
照射部601は、例えば映像表示光及び照明光が合波されたレーザ光、特には赤、緑、及び青のレーザ光及び赤外線レーザ光が合波されたレーザ光を出力しうる。
例えば映像投影装置600がメガネ状装置である場合、照射部601は当該メガネ状装置のテンプルのいずれかの位置に取り付けられていてよく、又は、テンプルに含まれるように設けられていてもよい。照射部601により映像がユーザに提示されることによって、当該メガネ状装置のレンズを介してユーザが見る外界風景に当該映像が重畳される。
例えば図6の左に示されるとおり、導光部602の位置673に照明光661及び映像表示光663が到達した場合、照明光661及び映像表示光663のいずれもが瞳孔の中心671を通るように反射される。例えば図6の右に示されるとおりに、導光部602の位置674に照明光661及び映像表示光663が到達した場合、照明光661は瞳孔の中心からはずれた位置672に照射されるように反射され、及び、映像表示光663は、瞳孔の中心671を通るように反射される。
照明光が眼球に照射されることで、反射光が生じ、そして、当該反射光を走査することで、眼球に関する情報を取得することができる。
また、映像表示光が網膜上に走査されることにより、ユーザに映像が提示される。映像表示光は、当該走査によって、例えば瞳孔付近に集光されそして網膜に照射される。すなわち、映像表示光が瞳孔を直進する。これにより、いわゆるマクスウェル視によりユーザに映像を提示することができる。そのため、鮮明な映像をユーザに提示することができる。
また、制御部605は、走査ミラー603を制御可能に構成されていてよい。例えば、制御部605は、所定の走査振角の範囲内で、走査ミラー603を駆動させうる。制御部605は、走査ミラー603に関する情報、例えば走査ミラーの面の向き又は走査振角など、に関する情報を取得することができる。
好ましくは、制御部605は、走査ミラー603に関する情報と検出部604によって検出された反射光に関する情報とに基づき、眼球についての情報を取得しうる。例えば、制御部605は、走査ミラー603の走査振角と検出部604によって検出された反射光(例えば反射光の強度)とに基づき、瞳孔位置、視線方向、又は眼球の回転角度を推定しうる。
また、制御部605は、取得された眼球についての情報に基づき、照射部601を制御して、照射される映像表示光を調整しうる。これにより、ユーザの視野中の適切な位置に映像を表示することができる。
制御部605は、照射部601による照明光及び/又は映像表示光の照射を制御しうる。例えば、制御部605は、照射部601による照明光及び又は映像表示光の照射のオン若しくはオフを切り替え、又は、照射される照明光及び又は映像表示光の強度又は種類を変更しうる。また、制御部605は、走査ミラー603の駆動を制御しうる。例えば、制御部605は、走査ミラー603の走査振角を変更しうる。また、制御部605は、検出部604による検出を制御しうる。例えば、制御部605は、検出部604による検出動作のオン又はオフを切り替えうる。
本技術に従う情報検出方法によって、上記1.で述べたとおりの眼球の情報を検出することができる。
以上の処理が、例えば本技術に従う情報検出装置又は映像投影装置により行われうる。上記の各ステップにおけるこれら装置の各構成要素のより詳細な動作については、上記「1.第1の実施形態(情報検出装置)」及び「2.第2の実施形態(映像投影装置)」を参照されたい。
本技術に従う映像投影方法によって、上記1.で述べたとおりの眼球の情報を検出することができる。さらに、本技術に従う映像投影方法により、検出された眼球の情報に基づき、的確な位置に映像表示光を照射することができる。
以上の処理が、例えば本技術に従う映像投影装置により行われうる。上記の各ステップにおける当該装置の各構成要素のより詳細な動作については、上記「2.第2の実施形態(映像投影装置)」を参照されたい。
HMD900のノーズパッド951内に、本技術に従う情報検出を行うための主な構成要素が設けられている。すなわち、HMD900のノーズパッド951内に、照射部901、ハーフミラー906、走査ミラー903、検出部904、及び制御部905が設けられている。なお、制御部905は、ノーズパッド951内でなく、例えばテンプル953内に設けられていてもよい。
HMD900のテンプル953内に、本技術に従い検出された情報に基づき映像をユーザに提示するための主な構成要素が設けられている。すなわち、HMD900のテンプル953に、映像表示光照射部920が設けられている。映像表示光照射部920は、出力部921、走査ミラー922、レンズ923、及び光学系924を備えている。映像表示光照射部920は、制御部905と接続されうる。
また、HMD900のレンズ952に、導光部902が設けられている。
HMD1000のテンプル1053内に、本技術に従う情報検出を行うための主な構成要素、及び、本技術に従い検出された情報に基づき映像をユーザに提示するための主な構成要素が設けられている。また、HMD1000は、眼球への照明光、眼球からの反射光、及び映像表示光の進路上の光学系が共有されている。すなわち、HMD1000のテンプル1053内に、照射部1001、走査ミラー1003、検出部1004、及び制御部1005が設けられている。さらに、HMD1000のテンプル1053内に、ハーフミラー1006、レンズ1007、及び光学系(例えば反射ミラーなど)1008が設けられている。また、HMD1000のレンズ1052に、導光部1002が設けられている。
また、眼球が正面を向いている場合を0度とし、眼球が5度又は10度回転した場合においても、同様に走査振角が-10度~10度である場合において検出される反射光の光強度を得た。眼球が5度又は10度回転した場合に得られた光強度と走査振角との関係も図12に示す。
また、眼球の回転が0度である場合、5度である場合、及び10度である場合を比較すると、眼球の回転角度に応じて、光強度の分布が移動している。そのため、走査振角に対する光強度の分布に基づき、眼球の回転角度、瞳孔位置、又は視線方向を推定することもできる。
また、眼球が正面を向いている場合を0度とし、眼球が5度又は10度回転した場合においても、同様に走査振角-10度~10度において検出される光強度を得た。眼球が5度又は10度回転した場合に得られた光強度と走査振角との関係も図14に示す。
眼球の回転が0度である場合、5度である場合、及び10度である場合を比較すると、眼球の回転角度に応じて、光強度の分布が移動している。そのため、走査振角に対する光強度の分布に基づき、眼球の回転角度、瞳孔位置、又は視線方向を推定することもできる。
ホログラフィック素子1502は、実施例2と異なり、グレーティングレンズであり、すなわち集光特性を有する。当該集光特性によって、照射部からの照明光が瞳孔に向けて集光される。
また、眼球が正面を向いている場合を0度とし、眼球が5度又は10度回転した場合においても、同様に走査振角-10度~10度において検出される光強度を得た。眼球が5度又は10度回転した場合に得られた光強度と走査振角との関係も図16に示す。
また、眼球の回転が0度である場合、5度である場合、及び10度である場合を比較すると、眼球の回転角度に応じて、光強度の分布が移動している。そのため、光強度の分布によって、眼球の回転角度、瞳孔位置、又は視線方向を推定することもできる。
導光部1702は、映像表示光が瞳孔付近に集光するように映像表示光を反射する。すなわち、導光部1702は、映像表示光の反射型グレーティングレンズである。導光部1702によって反射された映像表示光は瞳孔(特には瞳孔の中心)を直進し、そして網膜に到達する。その結果、ユーザは、映像表示光による映像を認識することができる。
また、眼球が正面を向いている場合を0度とし、眼球が5度又は10度回転した場合においても、同様に走査振角が-10度~10度である場合において検出される反射光の光強度を得た。
映像投影装置1800は、上記「(3)第2の実施形態の第2の例(映像投影装置)」で説明した映像投影装置500のうち映像表示光照射部をより具体化した装置である。すなわち、映像表示光照射部1820は、出力部1821、走査ミラー1822、及びレンズ1823を備えている。出力部1821は、映像表示光を出力する。出力された映像表示光は、光学系1824によって方向又は強度が調節される。出力された映像表示光は、走査ミラー1822によって走査される。走査された映像表示光は、レンズ1823によってコリメートされて導光部1802に到達する。このように、映像表示光照射部1820は、走査された映像表示光をコリメートして導光部1802に照射する。
導光部1802は、映像表示光が瞳孔付近に集光するように映像表示光を反射する。すなわち、導光部1802は、映像表示光の反射型グレーティングレンズである。導光部1802によって反射された映像表示光は瞳孔(特には瞳孔の中心)を直進し、そして網膜に到達する。その結果、ユーザは、映像表示光による映像を認識することができる。
また、映像投影装置1800は、走査ミラー1803と導光部1802との間にレンズ1825が設けられている。走査ミラー1803により走査された照明光が、レンズ1825によってコリメートされて、導光部1802に到達する。そして、導光部1802が、当該コリメートされた照明光を反射して、当該照明光が眼球に到達する。すなわち、導光部1802は、照明光の反射型グレーティングである。
また、眼球が正面を向いている場合を0度とし、眼球が5度又は10度回転した場合においても、同様に走査振角が-10度~10度である場合において検出される反射光の光強度を得た。
映像投影装置1900は、上記「(4)第2の実施形態の第3の例(映像投影装置)」で説明した映像投影装置600と同様の構成を有する。
なお、映像投影装置1900と映像投影装置600とは、照射部及び検出部の配置が入れ替えられていること、及び、前者ではハーフミラー1906が照明光及び映像表示光を透過し且つ反射光を反射することが異なる。また、映像投影装置1900は、走査ミラー1903と導光部1902との間にレンズ1907が設けられている点も異なる。走査ミラー1903により走査された照明光が、レンズ1907によってコリメートされて、導光部902に到達する。そして、導光部902が、当該コリメートされた照明光を反射して、当該照明光が眼球に到達する。すなわち、導光部1902は、照明光の反射型グレーティングである。
また、眼球1950が正面を向いている場合を0度とし、眼球1950が5度又は10度回転した場合においても、同様に走査振角が-10度~10度である場合において検出される反射光の光強度を得た。
〔1〕眼球に光を照射する照射部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
を備えている情報検出装置。
〔2〕前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置又は視線方向の推定処理を行う制御部をさらに備えている、〔1〕に記載の情報検出装置。
〔3〕前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光とに基づき前記眼球の瞳孔位置又は視線方向を推定する、
〔2〕に記載の情報検出装置。
〔4〕前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光の強度とに基づき前記眼球の瞳孔位置又は視線方向を推定する、
〔2〕に記載の情報検出装置。
〔5〕前記照射部が、前記走査ミラーを介さずに前記光を前記眼球に照射するように構成されている、〔1〕~〔4〕のいずれか一つに記載の情報検出装置。
〔6〕前記照射部が、前記走査ミラーを介して前記光を前記眼球に照射するように構成されている、〔1〕~〔5〕のいずれか一つに記載の情報検出装置。
〔7〕前記眼球に照射される光が非可視光である、〔1〕~〔6〕のいずれか一つに記載の情報検出装置。
〔8〕前記眼球に照射される光が赤外光である、〔1〕~〔7〕のいずれか一つに記載の情報検出装置。
〔9〕前記眼球に照射される光がビーム状の光である、〔1〕~〔8〕のいずれか一つに記載の情報検出装置。
〔10〕眼球に光を照射する照射部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置の推定処理を行う制御部と、
前記制御部により推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射部と
を備えている映像投影装置。
〔11〕前記映像表示光が、瞳孔付近に集光されそして網膜に照射される、〔10〕に記載の映像投影装置。
〔12〕前記映像表示光が、前記走査ミラーを介して眼球に照射される、〔10〕又は〔11〕に記載の映像投影装置。
〔13〕
前記映像投影装置がアイウェアディスプレイである、〔10〕~〔12〕のいずれか一つに記載の映像投影装置。
〔14〕眼球に光を照射する照射工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
を含む情報検出方法。
〔15〕眼球に光を照射する照射工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
前記検出工程において検出された反射光に基づき、前記眼球の瞳孔位置を推定する推定工程と、
前記推定工程において推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射工程と
を含む映像投影方法。
101、301 照射部
102、302 導光部
103、303 走査ミラー
104、304 検出部
105、305 制御部
Claims (16)
- 眼球に光を照射する照射部と、
前記照射部から照射された光を前記眼球へ到達させる導光部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
を備えており、
前記導光部は、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光を、波長の違いにより異なる方向へ反射する、
情報検出装置。 - 前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置又は視線方向の推定処理を行う制御部をさらに備えている、請求項1に記載の情報検出装置。
- 前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光とに基づき前記眼球の瞳孔位置又は視線方向を推定する、
請求項2に記載の情報検出装置。 - 前記制御部が、前記走査ミラーの走査振角と前記検出部により検出された反射光の強度とに基づき前記眼球の瞳孔位置又は視線方向を推定する、
請求項2に記載の情報検出装置。 - 前記照射部が、前記走査ミラーを介さずに前記光を前記眼球に照射するように構成されている、請求項1~4のいずれか一項に記載の情報検出装置。
- 前記照射部が、前記走査ミラーを介して前記光を前記眼球に照射するように構成されている、請求項1~4のいずれか一項に記載の情報検出装置。
- 前記照射部と前記導光部の間にハーフミラーが配置され、当該ハーフミラーは、反射光を透過し、それ以外の光は反射するように構成されている、請求項1~6のいずれか一項に記載の情報検出装置。
- 前記複数の光が、赤外光及び可視光である、請求項1~7のいずれか一項に記載の情報検出装置。
- 前記眼球に照射される光が赤外光である、請求項1~7のいずれか一項に記載の情報検出装置。
- 前記眼球に照射される光がビーム状の光である、請求項1~7のいずれか一項に記載の情報検出装置。
- 眼球に光を照射する照射部と、
前記照射部から照射された光を前記眼球へ到達させる導光部と、
前記眼球からの反射光を走査する走査ミラーと、
前記走査ミラーにより走査された反射光を検出する検出部と、
前記検出部により検出された反射光に基づき、前記眼球の瞳孔位置の推定処理を行う制御部と、
前記制御部により推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射部と
を備えており、
前記導光部は、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光を、波長の違いにより異なる方向へ反射する、
映像投影装置。 - 前記映像表示光が、瞳孔付近に集光されそして網膜に照射される、請求項11に記載の映像投影装置。
- 前記映像表示光が、前記走査ミラーを介して眼球に照射される、請求項11又は12に記載の映像投影装置。
- 前記映像投影装置がアイウェアディスプレイである、請求項11~13のいずれか一項に記載の映像投影装置。
- 眼球に光を照射する照射工程と、
前記照射工程において照射された光を、導光部によって前記眼球へ到達させる導光工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
を含み、
前記導光工程において、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光が、波長の違いにより異なる方向へ反射される、
情報検出方法。 - 眼球に光を照射する照射工程と、
前記照射工程において照射された光を、導光部によって前記眼球へ到達させる導光工程と、
前記眼球からの反射光を走査ミラーによって走査する走査工程と、
前記走査ミラーにより走査された反射光を検出する検出工程と、
前記検出工程において検出された反射光に基づき、前記眼球の瞳孔位置を推定する推定工程と、
前記推定工程において推定された瞳孔位置を映像表示光が通過するように映像表示光を照射する映像表示光照射工程と
を含み、
前記導光工程において、当該導光部の一部の位置において、当該位置に入射する波長の異なる複数の光が、波長の違いにより異なる方向へ反射される、
映像投影方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018058483 | 2018-03-26 | ||
JP2018058483 | 2018-03-26 | ||
PCT/JP2019/007878 WO2019187958A1 (ja) | 2018-03-26 | 2019-02-28 | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019187958A1 JPWO2019187958A1 (ja) | 2021-05-13 |
JP7302592B2 true JP7302592B2 (ja) | 2023-07-04 |
Family
ID=68061398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020510489A Active JP7302592B2 (ja) | 2018-03-26 | 2019-02-28 | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210041693A1 (ja) |
EP (1) | EP3777652A4 (ja) |
JP (1) | JP7302592B2 (ja) |
CN (1) | CN111867445A (ja) |
WO (1) | WO2019187958A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2584276B (en) * | 2019-05-22 | 2023-06-07 | Sony Interactive Entertainment Inc | Capture of a three-dimensional representation of a scene |
WO2021117409A1 (ja) * | 2019-12-10 | 2021-06-17 | ソニーグループ株式会社 | 眼球情報検出装置及び映像表示装置 |
CN113129801A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 控制方法及装置、移动终端和存储介质 |
GB2608789B (en) | 2021-06-14 | 2024-02-07 | Trulife Optics Ltd | Optical system for eye tracking |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008000343A (ja) | 2006-06-22 | 2008-01-10 | Topcon Corp | 眼科装置 |
US20160081547A1 (en) | 2013-05-15 | 2016-03-24 | The Johns Hopkins University | Eye tracking and gaze fixation detection systems, components and methods using polarized light |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761314B2 (ja) * | 1991-10-07 | 1995-07-05 | コナミ株式会社 | 網膜反射光量測定装置及び該装置を用いた視線検出装置 |
JP3171698B2 (ja) | 1992-03-24 | 2001-05-28 | オリンパス光学工業株式会社 | カメラの焦点距離制御装置 |
CN1994217A (zh) * | 2000-09-26 | 2007-07-11 | 卡尔豪恩视觉公司 | 可调节透镜的屈光力修正 |
JP4682470B2 (ja) | 2001-07-16 | 2011-05-11 | 株式会社デンソー | スキャン型ディスプレイ装置 |
JP4608996B2 (ja) | 2004-08-19 | 2011-01-12 | ブラザー工業株式会社 | 瞳孔検出装置およびそれを備えた画像表示装置 |
CN101589327B (zh) * | 2007-09-26 | 2012-09-26 | 松下电器产业株式会社 | 光束扫描式显示装置、显示方法以及集成电路 |
US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
CN110542938B (zh) * | 2013-11-27 | 2023-04-18 | 奇跃公司 | 虚拟和增强现实***与方法 |
WO2016037984A1 (en) * | 2014-09-12 | 2016-03-17 | Centervue S.P.A. | Eye examination apparatus |
JP2016087291A (ja) * | 2014-11-10 | 2016-05-23 | パナソニックIpマネジメント株式会社 | 瞳孔・視線計測装置および照明システム |
CN106168853B (zh) * | 2016-06-23 | 2019-10-01 | 中国科学技术大学 | 一种自由空间头戴式视线跟踪*** |
-
2019
- 2019-02-28 JP JP2020510489A patent/JP7302592B2/ja active Active
- 2019-02-28 CN CN201980020385.9A patent/CN111867445A/zh active Pending
- 2019-02-28 US US16/982,464 patent/US20210041693A1/en active Pending
- 2019-02-28 WO PCT/JP2019/007878 patent/WO2019187958A1/ja unknown
- 2019-02-28 EP EP19774949.2A patent/EP3777652A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008000343A (ja) | 2006-06-22 | 2008-01-10 | Topcon Corp | 眼科装置 |
US20160081547A1 (en) | 2013-05-15 | 2016-03-24 | The Johns Hopkins University | Eye tracking and gaze fixation detection systems, components and methods using polarized light |
Non-Patent Citations (1)
Title |
---|
志水英二,網膜走査・投影方式ディスプレイ,映像情報メディア学会誌,2011年,vol. 65, no. 6, ,pp. 758-763 |
Also Published As
Publication number | Publication date |
---|---|
CN111867445A (zh) | 2020-10-30 |
JPWO2019187958A1 (ja) | 2021-05-13 |
EP3777652A1 (en) | 2021-02-17 |
WO2019187958A1 (ja) | 2019-10-03 |
EP3777652A4 (en) | 2021-05-19 |
US20210041693A1 (en) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7274724B2 (ja) | 導光光学素子を介したレチナールイメージングに基づく目の追跡具 | |
JP7302592B2 (ja) | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 | |
KR102594058B1 (ko) | 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템 | |
US9606354B2 (en) | Heads-up display with integrated display and imaging system | |
CN110192143B (zh) | 图像投影装置 | |
TW201712371A (zh) | 資料眼鏡用的投影裝置,資料眼鏡,以及操作資料眼鏡用的投影裝置的方法 | |
EP3746837B1 (en) | Gaze-tracking system using illuminators emitting different wavelengths | |
TWI746169B (zh) | 具有結構光偵測功能的擴增實境眼鏡 | |
US10452911B2 (en) | Gaze-tracking system using curved photo-sensitive chip | |
JP2010091944A (ja) | 画像表示装置及び画像表示システム | |
JP2016049261A (ja) | 照明撮像装置および視線検出装置 | |
TWM547127U (zh) | 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置 | |
JP2021062162A (ja) | 走査型眼底撮影装置 | |
TWI634869B (zh) | 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置 | |
JP6737993B2 (ja) | 眼科検査装置 | |
EP4356179A1 (en) | Optical system for eye tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7302592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |