JP7291708B2 - ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 - Google Patents

ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 Download PDF

Info

Publication number
JP7291708B2
JP7291708B2 JP2020536814A JP2020536814A JP7291708B2 JP 7291708 B2 JP7291708 B2 JP 7291708B2 JP 2020536814 A JP2020536814 A JP 2020536814A JP 2020536814 A JP2020536814 A JP 2020536814A JP 7291708 B2 JP7291708 B2 JP 7291708B2
Authority
JP
Japan
Prior art keywords
user
eye
display
volume
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536814A
Other languages
English (en)
Other versions
JP2021511564A (ja
Inventor
ライオネル アーネスト エドウィン,
ザカリー シー. ニーンステット,
イヴァン リー チェン ヨー,
サミュエル エー. ミラー,
ヤン シュー,
ジョーダン アレクサンダー カザミアス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021511564A publication Critical patent/JP2021511564A/ja
Priority to JP2023070734A priority Critical patent/JP2023083526A/ja
Application granted granted Critical
Publication of JP7291708B2 publication Critical patent/JP7291708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Description

(優先権の主張)
本願は、「DISPLAY SYSTEMS AND METHODS FOR DETERMINING REGISTRATION BETWEEN A DISPLAY AND A USER’S EYES」と題され、2018年3月16日に出願された、米国仮特許出願第62/644321号、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年1月17日に出願された米国仮特許出願第62/618559号、および「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年7月24日に出願された、米国仮特許出願第62/702849号の優先権を主張する。上記の出願はそれぞれ、参照することによってその全体として本明細書に組み込まれる。
(参照による組み込み)
本願は、以下の特許出願および刊行物、すなわち、2014年11月27日に出願された、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555585号、2015年4月18日に出願され、2015年10月22日に米国特許公開第2015/0302652号として公開された、米国特許出願第14/690401号、2014年3月14日に出願され、2016年8月16日に発行された現米国特許第9,417,452号である、米国特許出願第14/212,961号、2014年7月14日に出願され、2015年10月29日に米国特許公開第2015/0309263号として公開された、米国特許出願第14/331218号、米国特許公開第2016/0270656号、2015年6月25日に公開された、米国特許公開第2015/0178939号、米国特許公開第2015/0016777号、米国特許出願第15/274823号、米国特許出願第15/296,869号、2017年9月27日に出願された、米国特許出願第15/717747号、2017年4月26日に出願された、米国特許出願第15/497726号、2017年2月23日に公開された、米国特許公開第2017/0053165号、2017年2月23日に公開された、米国特許公開第2017/0053166号、2016年11月2日に出願され、2017年5月4日に米国特許公開第2017/0122725号として公開された、米国特許出願第15/341,760号、2016年11月2日に出願され、2017年5月4日に米国特許公開第2017/0124928号として公開された、米国特許出願第15/341822号、2018年1月17日に出願された、米国仮特許出願第62/618559号、および2018年3月14日に出願された、米国仮特許出願第62/642761号のそれぞれの全体を参照することによって組み込む。
(技術分野)
本開示は、仮想現実および拡張現実ディスプレイシステムを含む、ディスプレイシステムに関し、より具体的には、ユーザ上のディスプレイのフィット感を評価するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
複合現実システム内の位置合わせ観察および応答の種々の実施例が、開示される。
いくつかの実施形態では、ディスプレイシステムが、光をユーザの眼に投影し、仮想画像コンテンツを表示するために提供される。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器とを備える。処理電子機器は、1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定し、眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供し、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示すように構成される。
いくつかの他の実施形態では、ディスプレイシステムが、光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器とを備える。処理電子機器は、1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回るかどうかを決定し、眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供するように構成される。
いくつかの他の実施形態では、ディスプレイシステムが、光をユーザの眼に投影し、仮想画像コンテンツを表示するために提供される。ディスプレイシステムは、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器とを備える。処理電子機器は、頭部搭載型ディスプレイによって投影された光がユーザの眼によって適切に位置合わせされているかどうかを決定し、頭部搭載型ディスプレイがディスプレイシステムによって投影された光を位置合わせするためにユーザにフィットするように適切に調節されていない場合、フィードバックをユーザに提供するように構成される。
さらに他の実施形態では、方法が、ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するために提供される。本方法は、眼の第1の位置を決定するステップと、眼の第1の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定するステップであって、ディスプレイ位置合わせ体積は、ユーザの眼に対する頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ステップと、眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供するステップであって、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、ステップとを含む。
付加的実施例が、下記に列挙される。
実施例1.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定し、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供し、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例2.処理電子機器はさらに、眼の位置がディスプレイ位置合わせ体積外にあることを決定することに応じて、頭部搭載型ディスプレイがユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供するように構成され、フィードバックは、眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて提供される、通知である、実施例1に記載のディスプレイシステム。
実施例3.フレームに除去可能に搭載され、フレームのフィット感を調節するように構成される、少なくとも1つの交換可能フィット用部品をさらに備える、実施例1に記載のディスプレイシステム。
実施例4.交換可能フィット用部品は、フレームとユーザの鼻梁との間のフレームのフィット感を調節するように構成される、交換可能鼻梁部を備える、実施例3に記載のディスプレイシステム。
実施例5.交換可能フィット用部品は、フレームとユーザの前額との間のフレームのフィット感を調節するように構成される、交換可能前額パッドを備える、実施例3または4に記載のディスプレイシステム。
実施例6.交換可能フィット用部品は、フレームとユーザの頭部の背面との間のフレームのフィット感を調節するように構成される、交換可能背面パッドを備える、実施例3-5のいずれかに記載のディスプレイシステム。
実施例7.処理電子機器はさらに、頭部搭載型ディスプレイがユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することを含む、通知を提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、実施例2-6のいずれかに記載のディスプレイシステム。
実施例8.ユーザの眼に対してフレーム上に配置され、ユーザの眼を照明する、1つ以上の光源をさらに備え、1つ以上の眼追跡カメラは、1つ以上の光源からの光を使用して、眼の画像を形成する、実施例1-7のいずれかに記載のディスプレイシステム。
実施例9.1つ以上の光源は、ユーザの眼に対してフレーム上に配置され、ユーザの眼を照明する、少なくとも2つの光源を備える、実施例8に記載のディスプレイシステム。
実施例10.1つ以上の光源は、赤外線光エミッタを備える、実施例8-9のいずれかに記載のディスプレイシステム。
実施例11.1つ以上の光源は、1つ以上の閃光を眼上に形成し、処理電子機器は、1つ以上の閃光に基づいて、角膜の場所を決定するように構成される、実施例8-10のいずれかに記載のディスプレイシステム。
実施例12.眼の位置は、眼の回転中心の場所である、実施例1-11のいずれかに記載のディスプレイシステム。
実施例13.角膜は、それと関連付けられた、曲率中心を有する角膜球面を有し、処理電子機器は、角膜球面の曲率中心の場所を決定するように構成される、実施例1-11のいずれかに記載のディスプレイシステム。
実施例14.処理電子機器は、ディスプレイに、ディスプレイの複数のピクセルの明度をディスプレイの他のピクセルに対して上昇させる命令を提供することによって、通知を提供するように構成され、上昇された明度を伴う複数のピクセルが、不適切である位置合わせ下で暗化した知覚を受けることが予期されるピクセルを含む、実施例1に記載のディスプレイシステム。
実施例15.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回るかどうかを決定し、
眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が、出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例16.処理電子機器は、少なくとも、
眼の位置が接眼レンズから第2の閾値距離未満かどうかを決定することと、
眼の位置が頭部搭載型ディスプレイシステムから第2の閾値距離未満であることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
実施例17.処理電子機器は、少なくとも、
眼の位置が接眼レンズから第2の閾値距離を上回るかどうかを決定することと、
眼の位置が頭部搭載型ディスプレイシステムから第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
実施例18.処理電子機器は、少なくとも、
眼の位置が眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
眼の位置が眼追跡カメラの視認体積のサブ空間外の第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が、出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
実施例19.頭部搭載型ディスプレイの視認体積は、それを通して、頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される、体積である、実施例15に記載のディスプレイシステム。
実施例20.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
頭部搭載型ディスプレイによって投影された光が、ユーザの眼によって適切に位置合わせされているかどうかを決定し、
頭部搭載型ディスプレイが、ディスプレイシステムによって投影された光を位置合わせするためにユーザにフィットするように適切に調節されていない場合、フィードバックをユーザに提供する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例21.フレームに除去可能に搭載され、フレームのフィット感を調節するように構成される、少なくとも1つの交換可能フィット用部品をさらに備える、実施例20に記載のディスプレイシステム。
実施例22.交換可能フィット用部品は、フレームとユーザの鼻梁との間のフレームのフィット感を調節するように構成される、交換可能鼻梁部を備える、実施例21に記載のディスプレイシステム。
実施例23.交換可能フィット用部品は、フレームとユーザの前額との間のフレームのフィット感を調節するように構成される、交換可能前額パッドを備える、実施例20または22に記載のディスプレイシステム。
実施例24.交換可能フィット用部品は、フレームとユーザの頭部の背面との間のフレームのフィット感を調節するように構成される、交換可能背面パッドを備える、実施例20-23のいずれかに記載のディスプレイシステム。
実施例25.処理電子機器はさらに、頭部搭載型ディスプレイがユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、実施例20-24のいずれかに記載のディスプレイシステム。
実施例26.ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、
眼の第1の位置を決定するステップと、
眼の第1の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定するステップであって、ディスプレイ位置合わせ体積は、ユーザの眼に対する頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ステップと、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供するステップであって、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、ステップと、
を含む、方法。
実施例27.頭部搭載型ディスプレイシステムは、眼追跡カメラを備え、眼の第1の位置を決定するステップは、眼追跡カメラを利用して、ユーザの眼を結像するステップを含む、実施例26に記載の方法。
実施例28.眼の第1の位置は、眼の回転中心の位置であって、眼追跡カメラによる眼の結像に基づいて、眼の回転中心を計算するステップをさらに含む、実施例27に記載の方法。
実施例29.頭部搭載型ディスプレイシステムは、光を眼の中に投影し、仮想画像コンテンツをユーザの視野内に表示するように構成され、ウェアラブルシステムが適切にフィットされていることのインジケーションを表示するステップをさらに含む、実施例26に記載の方法。
実施例30.頭部搭載型ディスプレイシステムを用いて、眼の回転中心を経時的に自動的に追跡し、眼の回転中心が、位置合わせディスプレイ体積外に移動すると、ユーザに通知するステップをさらに含む、実施例26-29のいずれかに記載の方法。
実施例31.
眼の第2の位置を決定するステップと、
眼の第2の位置がディスプレイ位置合わせ体積内にあることを決定するステップと、
眼の第2の位置がディスプレイ位置合わせ体積内にあることの決定に応答して、ウェアラブルシステムがユーザに適切にフィットされていることを示す、付加的フィードバックをユーザに提供するステップと、
をさらに含む、実施例26または29に記載の方法。
実施例32.ユーザの眼が、ディスプレイ位置合わせ体積内にないとき、頭部搭載型ディスプレイシステムの少なくともいくつかのピクセルは、暗化される、またはユーザに不可視になる、実施例26-31のいずれかに記載の方法。
実施例33.眼の位置がディスプレイ位置合わせ体積外にあるとき、頭部搭載型ディスプレイシステムの視野を変化させるステップをさらに含み、
頭部搭載型ディスプレイシステムは、眼の位置がディスプレイ位置合わせ体積内にあるとき、第1の視野を有する、少なくとも1つのディスプレイを備え、ディスプレイは、眼の位置がディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、第2の視野は、第1の視野より小さい、実施例26-32のいずれかに記載の方法。
実施例34.通知を提供するステップは、第2の視野内においてフィードバックをユーザに提供するステップを含む、実施例33に記載の方法。
実施例35.ウェアラブルシステムは、少なくとも1つの交換可能フィット用部品を備え、
ウェアラブルシステムが、ユーザに適切にフィットされていないことを示す、通知をユーザに提供するステップをさらに含み、
通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するためのユーザへの提案または命令を含む、実施例26-34のいずれかに記載の方法。
実施例36.交換可能フィット用部品は、鼻梁パッド、前額パッド、およびウェアラブルシステムとユーザの頭部の背面との間に収まる背面パッドから成る群から選択される、少なくとも1つのフィット用部品を備える、実施例35に記載の方法。
実施例37.ウェアラブルシステムは、少なくとも1つの交換可能鼻梁部パッドを備え、頭部搭載型システムのディスプレイが眼に対して低すぎることを決定するステップをさらに含み、通知をユーザに提供するステップは、より大きい鼻梁パッドを据え付けるようにユーザにプロンプトするステップを含む、実施例36に記載の方法。
実施例38.
眼の第1の位置がディスプレイ位置合わせ体積外にある結果、ユーザが暗化されたように知覚することが予期される、頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別するステップと、
ディスプレイの複数のピクセルの明度をディスプレイ内の他のピクセルに対して上昇させ、予期される暗化を軽減させるステップと、
をさらに含む、実施例26-37のいずれかに記載の方法。
実施例39.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる、仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想レンダリングカメラによってレンダリングされるような仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼が位置する、ディスプレイから離れた距離を決定し、
決定された距離に基づいて、仮想レンダリングカメラの焦点距離を調節する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例40.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、ディスプレイに対する眼の位置を決定し、
ディスプレイに対する眼の位置に基づいて、ユーザが暗化されたように知覚することが予期される、仮想画像コンテンツのピクセルの量を決定し、
決定されたピクセルの量に基づいて、ディスプレイの動作を制御する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例41.処理電子機器は、ディスプレイに対する眼の位置に基づいて、ユーザが暗化されたように知覚することが予期されない、仮想画像コンテンツのピクセルの量を決定するように構成される、実施例40に記載のディスプレイシステム。
実施例42.処理電子機器は、
ディスプレイに対する眼の位置に基づいて、ユーザが暗化されたように知覚することが予期される、仮想画像コンテンツのピクセルの明度を上昇させることによって、
ディスプレイの動作を制御するように構成される、実施例40または41に記載のディスプレイシステム。
実施例43.仮想画像コンテンツのピクセルの量は、ピクセルのパーセンテージを含む、実施例40-42のいずれかに記載のディスプレイシステム。
実施例44.処理電子機器は、仮想画像コンテンツのピクセルの量と1つ以上の閾値を比較し、仮想画像コンテンツのピクセルの量が1つ以上の閾値を超えることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに表示および提供するように構成される、実施例40-43のいずれかに記載のディスプレイシステム。
実施例45.光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上のパラメータに基づいて、ディスプレイに対する位置合わせ体積を定義し、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムの位置合わせ体積内にあるかどうかを決定し、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、ディスプレイの動作を制御する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
実施例46.1つ以上のパラメータは、ディスプレイシステム上で起動しているアプリケーションのタイプを含む、実施例45に記載のディスプレイシステム。
実施例47.1つ以上のパラメータは、頭部搭載型ディスプレイの1つ以上の物理的パラメータを含む、実施例45-46のいずれかに記載のディスプレイシステム。
実施例48.頭部搭載型ディスプレイの1つ以上の物理的パラメータは、ディスプレイ視野、ディスプレイ表面サイズ、ディスプレイの形状、ディスプレイの外側筐体、ディスプレイによって仮想画像コンテンツを表す光に付与される屈折力の量のうちの1つ以上のものを含む、実施例45-47のいずれかに記載のディスプレイシステム。
実施例49.処理電子機器は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、仮想画像コンテンツをユーザに提示することによって、ディスプレイの動作を制御するように構成される、実施例45-48のいずれかに記載のディスプレイシステム。
実施例50.処理電子機器は、少なくとも、
眼の位置が頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
眼の位置が頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
実施例52.
処理電子機器はさらに、
ディスプレイシステム上で起動しているアプリケーションを識別し、
識別されたアプリケーションに基づいて、第1の閾値距離を決定する、
ように構成される、実施例15に記載のディスプレイシステム。
本明細書は、例えば、以下の項目も提供する。
(項目1)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
前記処理電子機器はさらに、前記眼の位置が前記ディスプレイ位置合わせ体積外にあることを決定することに応じて、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供するように構成され、前記フィードバックは、前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて提供される通知である、項目1に記載のディスプレイシステム。
(項目3)
前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、項目1に記載のディスプレイシステム。
(項目4)
前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、項目3に記載のディスプレイシステム。
(項目5)
前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、項目3に記載のディスプレイシステム。
(項目6)
前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、項目3に記載のディスプレイシステム。
(項目7)
前記処理電子機器はさらに、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することを含む前記通知を提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、項目3に記載のディスプレイシステム。
(項目8)
前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、1つ以上の光源をさらに備え、前記1つ以上の眼追跡カメラは、前記1つ以上の光源からの光を使用して、前記眼の画像を形成する、項目1に記載のディスプレイシステム。
(項目9)
前記1つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する少なくとも2つの光源を備える、項目8に記載のディスプレイシステム。
(項目10)
前記1つ以上の光源は、赤外線光エミッタを備える、項目8に記載のディスプレイシステム。
(項目11)
1つ以上の光源は、1つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記1つ以上の閃光に基づいて、前記角膜の場所を決定するように構成される、項目8に記載のディスプレイシステム。
(項目12)
前記眼の位置は、前記眼の回転中心の場所である、項目8に記載のディスプレイシステム。
(項目13)
前記角膜は、それと関連付けられた曲率中心を有する角膜球面を有し、前記処理電子機器は、前記角膜球面の曲率中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目14)
前記処理電子機器は、前記ディスプレイに、前記ディスプレイの複数のピクセルの明度を前記ディスプレイの他のピクセルに対して上昇させる命令を提供することによって、前記通知を提供するように構成され、上昇された明度を伴う前記複数のピクセルは、不適切である位置合わせ下で暗化した知覚を受けることが予期されるピクセルを含む、項目1に記載のディスプレイシステム。
(項目15)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目16)
前記処理電子機器は、少なくとも、
前記眼の位置が接眼レンズから第2の閾値距離未満かどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムから前記第2の閾値距離未満であることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目17)
前記処理電子機器は、少なくとも、
前記眼の位置が前記接眼レンズから第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムから前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目18)
前記処理電子機器は、少なくとも、
前記眼の位置が前記眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記眼追跡カメラの視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目19)
前記頭部搭載型ディスプレイの視認体積は、それを通して前記頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される体積である、項目15に記載のディスプレイシステム。
(項目20)
前記処理電子機器は、少なくとも、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目21)
前記処理電子機器はさらに、
前記ディスプレイシステム上で起動しているアプリケーションを識別することと、
前記識別されたアプリケーションに基づいて、前記第1の閾値距離を決定することと
を行うように構成される、項目15に記載のディスプレイシステム。
(項目22)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記頭部搭載型ディスプレイによって投影された光が、前記ユーザの眼によって適切に位置合わせされているかどうかを決定することと、
前記頭部搭載型ディスプレイが、前記ディスプレイシステムによって投影された光を位置合わせするために前記ユーザにフィットするように適切に調節されていない場合、フィードバックをユーザに提供することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目23)
前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、項目22に記載のディスプレイシステム。
(項目24)
前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、項目23に記載のディスプレイシステム。
(項目25)
前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、項目23に記載のディスプレイシステム。
(項目26)
前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、項目23に記載のディスプレイシステム。
(項目27)
前記処理電子機器はさらに、前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、項目23に記載のディスプレイシステム。
(項目28)
ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
前記眼の第1の位置を決定することと、
前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
を含む、方法。
(項目29)
前記頭部搭載型ディスプレイシステムは、眼追跡カメラを備え、前記眼の第1の位置を決定することは、前記眼追跡カメラを利用して、前記ユーザの眼を結像することを含む、項目28に記載の方法。
(項目30)
前記眼の第1の位置は、前記眼の回転中心の位置であり、前記眼追跡カメラによる前記眼の結像に基づいて、前記眼の回転中心を計算することをさらに含む、項目29に記載の方法。
(項目31)
前記頭部搭載型ディスプレイシステムは、光を前記眼の中に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記ウェアラブルシステムが適切にフィットされていることのインジケーションを表示することをさらに含む、項目28に記載の方法。
(項目32)
前記頭部搭載型ディスプレイシステムを用いて、前記眼の回転中心を経時的に自動的に追跡し、前記眼の回転中心が前記位置合わせディスプレイ体積外に移動すると、前記ユーザに通知することをさらに含む、項目28に記載の方法。
(項目33)
前記眼の第2の位置を決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることを決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることの決定に応答して、前記ウェアラブルシステムが、ユーザに適切にフィットされていることを示す付加的フィードバックをユーザに提供することと
をさらに含む、項目28に記載の方法。
(項目34)
前記ユーザの眼が、前記ディスプレイ位置合わせ体積内にないとき、前記頭部搭載型ディスプレイシステムの少なくともいくつかのピクセルは、暗化される、またはユーザに不可視になる、項目28に記載の方法。
(項目35)
前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、前記頭部搭載型ディスプレイシステムの視野を変化させることをさらに含み、
前記頭部搭載型ディスプレイシステムは、前記眼の位置が、前記ディスプレイ位置合わせ体積内にあるとき、第1の視野を有する少なくとも1つのディスプレイを備え、前記ディスプレイは、前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、前記第2の視野は、前記第1の視野より小さい、項目28に記載の方法。
(項目36)
前記通知を提供することは、前記第2の視野内においてフィードバックをユーザに提供することを含む、項目35に記載の方法。
(項目37)
前記ウェアラブルシステムは、少なくとも1つの交換可能フィット用部品を備え、
前記ウェアラブルシステムがユーザに適切にフィットされていないことを示す通知をユーザに提供することをさらに含み、
前記通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するためのユーザへの提案または命令を含む、項目28に記載の方法。
(項目38)
前記交換可能フィット用部品は、鼻梁パッド、前額パッド、および前記ウェアラブルシステムとユーザの頭部の背面との間に収まる背面パッドから成る群から選択される少なくとも1つのフィット用部品を備える、項目37に記載の方法。
(項目39)
前記ウェアラブルシステムは、少なくとも1つの交換可能鼻梁部パッドを備え、前記頭部搭載型システムのディスプレイが前記眼に対して低すぎることを決定することをさらに含み、前記通知をユーザに提供することは、より大きい鼻梁パッドを据え付けるように前記ユーザにプロンプトすることを含む、項目38に記載の方法。
(項目40)
前記眼の第1の位置が、前記ディスプレイ位置合わせ体積外にある結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別することと、
前記ディスプレイの複数のピクセルの明度を前記ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
をさらに含む、項目28に記載の方法。
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図1は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図2は、ウェアラブルシステムの実施例を図式的に図示する。
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。
図4は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を図式的に図示する。
図5は、眼の実施例を図式的に図示する。
図6は、眼追跡システムを含む、ウェアラブルシステムの概略図である。
図7Aは、眼追跡システムを含み得る、ウェアラブルシステムのブロック図である。
図7Bは、ウェアラブルシステム内のレンダリングコントローラのブロック図である。
図7Cは、頭部搭載型ディスプレイシステム内の位置合わせオブザーバのブロック図である。
図8Aは、眼の角膜球面を示す、眼の概略図である。
図8Bは、眼追跡カメラによって検出される、例示的角膜閃光を図示する。
図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。 図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。 図8C-8Eは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。
図9A-9Cは、眼追跡画像の座標系の例示的正規化を図示する。 図9A-9Cは、眼追跡画像の座標系の例示的正規化を図示する。 図9A-9Cは、眼追跡画像の座標系の例示的正規化を図示する。
図9D-9Gは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図9D-9Gは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図9D-9Gは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図9D-9Gは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。
図10は、眼の光学軸および視軸および眼の回転中心を含む、眼の実施例を図示する。
図11は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための方法の実施例のプロセスフロー図である。
図12Aおよび12Bは、ユーザの眼に対するディスプレイ要素の公称位置を図示し、相互に対するディスプレイ要素およびユーザの眼の位置を説明するための座標系を図示する。 図12Aおよび12Bは、ユーザの眼に対するディスプレイ要素の公称位置を図示し、相互に対するディスプレイ要素およびユーザの眼の位置を説明するための座標系を図示する。
図13Aおよび13Bは、頭部搭載型ディスプレイシステム内のユーザの眼に対するディスプレイ要素の公称位置付けおよび位置付け公差を図示する。 図13Aおよび13Bは、頭部搭載型ディスプレイシステム内のユーザの眼に対するディスプレイ要素の公称位置付けおよび位置付け公差を図示する。
図13Cおよび13Dは、ディスプレイ位置合わせ体積およびディスプレイからのコンテンツを視認するユーザの眼を図示する。 図13Cおよび13Dは、ディスプレイ位置合わせ体積およびディスプレイからのコンテンツを視認するユーザの眼を図示する。
図14は、ディスプレイに対するユーザの眼の種々の位置に関して知覚されるディスプレイの暗化の実施例を図示する。
図15Aおよび15Bは、異なるユーザのためのディスプレイシステムの頭部搭載型ディスプレイのフィット感を調節するための背面パッド、前額パッド、および鼻梁パッド等の交換可能部品を有する、頭部搭載型ディスプレイシステムの分解斜視図である。 図15Aおよび15Bは、異なるユーザのためのディスプレイシステムの頭部搭載型ディスプレイのフィット感を調節するための背面パッド、前額パッド、および鼻梁パッド等の交換可能部品を有する、頭部搭載型ディスプレイシステムの分解斜視図である。
図16は、頭部搭載型ディスプレイシステムとの位置合わせを観察し、位置合わせに関するフィードバックを提供するための方法の実施例のプロセスフロー図である。
図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。 図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。
図18は、ディスプレイによって投影されたライトフィールドの上下図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。
図19Aは、頭部搭載型ディスプレイシステムのディスプレイ筐体から導出される、位置合わせ体積を図示する。
図19Bは、ディスプレイ筐体と頭部搭載型ディスプレイシステムのディスプレイの重畳された位置合わせ体積を図示する。
図19Cは、図19Bの重畳された位置合わせ体積から導出される、集約位置合わせ体積を図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
ディスプレイシステムのディスプレイ部分は、オブジェクトがユーザの周囲環境内に位置するように現れるように、3次元(3D)仮想オブジェクトを表示し得る、頭部搭載型ディスプレイ(HMD)を含んでもよい。その結果、3D仮想オブジェクトは、ユーザによって実世界オブジェクトと類似様式において知覚され得る。
HMDは、空間的に変調された光をユーザに出力することによって、画像を表示し得、光は、仮想オブジェクトに対応する。空間的に変調された光は、画像光と称され得る、画像情報を含有し得る。ユーザによって知覚されるために、画像光は、HMDからユーザの眼に進行し、瞳孔を通して伝搬し、眼の網膜上に衝突する。画像のための画像光の全部または一部が、眼の瞳孔に入射しない、および/または眼の網膜上に衝突しない場合、視認者は、画像が見えないであろう、または画像の品質が、劣化され得ることを理解されたい。本明細書で使用されるように、位置合わせは、ディスプレイとユーザの眼の相対的位置付けに関する。例えば、ディスプレイは、ユーザの眼およびディスプレイが所望の量の画像光が眼に入射するために相互に対して、位置付けられているとき、適切に位置合わせされていると言え得る。ディスプレイデバイス内の位置合わせオブザーバ(例えば、コンピュータプログラム)が、ディスプレイが適切に位置合わせされている、または眼がディスプレイからの画像光を受け取るために位置付けられているかどうかを監視するようにプログラムされてもよい。
例えば、ユーザの眼を画像光を受け取るように位置付けさせることによって、コンテンツをユーザに適切に表示するために、ユーザの眼は、HMDに対して空間の特定の領域または体積内に位置する必要があり得る。本体積は、ディスプレイ位置合わせ体積と称され得る。ユーザの眼が、ディスプレイ位置合わせ体積外にある場合、ディスプレイ品質は、劣化され得る(例えば、暗化および/またはユーザの眼に到達しない表示コンテンツが存在し得る)。種々の要因が、HMDに対するユーザの眼の位置、したがって、ユーザの眼が所望のディスプレイ位置合わせ体積内に位置するかどうかを決定するために組み合わせられてもよい。実施例として、ユーザ間の解剖学的変動は、頭部搭載型ディスプレイが、その眼をディスプレイ位置合わせ体積外に設置するように一部のユーザにフィットすることを意味し得る。別の実施例として、HMDは、ユーザの頭部にきつく添着され得ず、特に、ユーザが動き回るとき、ユーザの頭部上で経時的に偏移し得る。特定の実施例として、HMDは、ユーザの鼻から滑脱する、またはユーザの眼間の線(眼球間軸)に対して傾斜し得、その結果、HMDは、ユーザの眼に対するディスプレイの偏移に起因して、所望の仮想コンテンツを提供することが不可能である場合がある(例えば、ある望ましくない劣化を伴わずに)。
本明細書に説明される種々のシステムおよび技法は、少なくとも部分的に、視認者が所望に応じて画像コンテンツを視認することを可能にするためのディスプレイの適切な位置合わせに関連する問題を解決することを対象とする。いくつかの実施形態では、頭部搭載型ディスプレイシステムは、ユーザの眼の位置を決定するように構成されてもよい。ディスプレイシステムは、次いで、その眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定してもよい。眼の位置を決定するステップは、眼と関連付けられた代表的ポインタ体積の位置、例えば、眼の回転中心を決定するステップを含んでもよい。眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定するステップは、眼の回転中心がディスプレイ位置合わせ体積内にあるかどうかを決定するステップを含んでもよい。本明細書に議論されるように、眼の回転中心は、眼を結像するように構成される、内向きに面した結像システムを使用して、決定されてもよい。加えて、いくつかの実施形態では、ディスプレイ位置合わせ体積は、ユーザの眼に対する頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である。例えば、ディスプレイ位置合わせ体積は、画像光を出力する頭部搭載型ディスプレイシステムの表面からの投影によって定義された体積であってもよい。より具体的には、ディスプレイ位置合わせ体積は、底辺から頂点に向かってテーパ状になる、3次元幾何学的形状であってもよい。ディスプレイ位置合わせ体積の底辺の形状は、少なくとも部分的に、ディスプレイの幾何学形状によって定義されてもよく、ディスプレイ位置合わせ体積の深度(すなわち、z-軸上の底辺から頂点までの距離)は、少なくとも部分的に、ディスプレイの視野(FOV)によって定義されてもよい。例えば、丸みを帯びたまたは円形ディスプレイ(例えば、そこから画像光が視認者に出力される、表面上のエリアの形状)は、円錐形のディスプレイ位置合わせ体積をもたらし得、多角形ディスプレイは、角錐ディスプレイ位置合わせ体積をもたらし得る。付加的実施例として、より大きいFOVを伴うディスプレイは、より小さいFOVを伴うディスプレイより小さい深度を有する、ディスプレイ位置合わせ体積をもたらし得る。いくつかの実施形態では、ディスプレイ位置合わせ体積は、切頭円錐または角錐の一般的形状を有してもよい。例えば、ディスプレイ位置合わせ体積は、錐台、例えば、長方形角錐等の角錐の錐台の一般的形状を有してもよい。
いくつかの実施形態では、頭部搭載型ディスプレイシステムの内向きに面した結像システムは、その眼を含む、ユーザの顔の画像を入手してもよい。内向きに面した結像システムは、頭部搭載型ディスプレイのフレーム上に搭載され得る、眼追跡システムであってもよい。頭部搭載型ディスプレイシステムは、画像を分析し、ユーザの眼とHMDの相対的位置と、ユーザの眼のそれぞれの位置がその眼に関するディスプレイ位置合わせ体積内にあるかどうかとを決定してもよい。本情報に基づいて、頭部搭載型ディスプレイシステムは、ユーザにHMDのフィット感を調節するように通知してもよい。例えば、通知は、ユーザに、デバイスが滑脱しており、調節の必要があること、またはHMDの調節を行うための提案を知らせてもよい。少なくともいくつかの実施形態では、頭部搭載型ディスプレイシステムは、そうでなければ、不整合または移動する仮想コンテンツによって暗化されるであろう、エリア内でユーザに出力される明度または光を上昇させること等によって、ユーザとのHMDの不整合によって生じる任意の表示劣化を軽減させるためのステップを講じてもよい。故に、HMDのそのような実施形態は、HMDが、ユーザの頭部に対して、滑脱、移動、または傾斜するとき等、ユーザがHMDを適切にフィットさせ、HMDの不適切なフィット感によって生じる問題を軽減することを補助し得る。いくつかの実施形態では、ディスプレイシステムは、ユーザに、不整合を通知し、また、不整合によって生じる表示劣化を軽減させるためのステップを講じるように構成されてもよいことを理解されたい。いくつかの他の実施形態では、ディスプレイシステムは、通知をユーザに提供しなくてもよい。むしろ、通知は、単に、ディスプレイシステム内の命令またはフラグであってもよく、これは、不整合によって生じる画像劣化を軽減させるためのアクションを行うようにディスプレイシステムをトリガする。
有利には、位置合わせの分析は、内向きに面した結像システムから入手された画像と、ディスプレイシステムによって記憶された、またはアクセス可能なディスプレイ位置合わせ体積に関する情報とを利用して、自動的に実施されてもよい。その結果、HMDのフィット感は、最初に、HMDを使用することに応じて、随意に、また、HMDの継続使用の過程の間、補正され、頭部搭載型ディスプレイシステムの使用における高レベルの画質を確実にしてもよい。
故に、頭部搭載型ディスプレイシステムの位置合わせを観察し、観察された位置合わせに応答してアクションを講じるためのシステムおよび方法の種々の実装が、本明細書に提供される。
(ウェアラブルシステムの3Dディスプレイの実施例)
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
ウェアラブルシステム(本明細書では、頭部搭載型ディスプレイシステムまたは拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されてもよい。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されてもよい。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されてもよい。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節(accommodation)に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されてもよい。ウェアラブルシステム200はまた、ARシステム200と称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられてもよい。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示してもよい。ディスプレイ220は、ユーザ210の頭部上に装着されるように構成され得るため、頭部搭載型ディスプレイ(HMD)とも称され得、ディスプレイ220を備える、ウェアラブルシステム200は、頭部搭載型ディスプレイシステムとも称され得る。
いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ(例えば、マイクロホン)232を含んでもよい。いくつかの実施形態では、示されない1つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されてもよい。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施してもよい。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム464(図4に示される)を含んでもよい。ウェアラブルシステム200はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム462(図4に示される)を含んでもよい。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム462は、フレーム230に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ210の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール260または270と電気通信してもよい。内向きに面した結像システム462は、1つ以上のカメラを含んでもよい。例えば、少なくとも1つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ウェアラブルシステム200は、外向きに面した結像システム464または内向きに面した結像システム462を使用して、ユーザの姿勢の画像を入手してもよい。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合されてもよい(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、a)画像捕捉デバイス(例えば、内向きに面した結像システムおよび/または外向きに面した結像システム内のカメラ)、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、b)場合によっては処理または読出後にディスプレイ220への通過のために、遠隔処理モジュール270または遠隔データリポジトリ280を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262または264によって遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ウェアラブルシステムの例示的コンポーネント
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。ある実装では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であってもよい。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザまたはユーザの環境と関連付けられた種々のデータ(例えば、聴覚的または視覚的データ等)を収集してもよい。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図3は、例示的ウェアラブルシステム200を示し、これは、ディスプレイ220を含んでもよい。ディスプレイ220は、フレーム230に対応する、ユーザの頭部または筐体またはフレーム230に搭載され得るディスプレイレンズ226を備えてもよい。ディスプレイレンズ226は、筐体230によって、ユーザの眼302、304の正面に位置付けられる、1つ以上の透明ミラーを備えてもよく、投影された光338を眼302、304の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム338の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、2つの広視野マシンビジョンカメラ316(世界カメラとも称される)が、筐体230に結合され、ユーザの周囲の環境を結像してもよい。これらのカメラ316は、二重捕捉式可視光/非可視(例えば、赤外線)光カメラであってもよい。カメラ316は、図4に示される外向きに面した結像システム464の一部であってもよい。世界カメラ316によって入手された画像は、姿勢プロセッサ336によって処理されてもよい。例えば、姿勢プロセッサ336は、1つ以上のオブジェクト認識装置708(例えば、図7に示される)を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別してもよい。
図3を継続して参照すると、光338を眼302、304の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の光プロジェクタモジュール(例えば、走査式レーザ成形波面(例えば、深度のために)光プロジェクタモジュール)が、示される。描写される図はまた、ユーザの眼302、304を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源326(発光ダイオード「LED」等)とペアリングされる、2つの小型赤外線カメラ324を示す。カメラ324は、図4に示される、内向きに面した結像システム462の一部であってもよい。ウェアラブルシステム200はさらに、センサアセンブリ339を特徴とし得、これは、X、Y、およびZ軸加速度計能力および磁気コンパスおよびX、Y、およびZ軸ジャイロスコープ能力を備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る。センサアセンブリ339は、図2Aを参照して説明される、IMUの一部であってもよい。描写されるシステム200はまた、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、またはARMプロセッサ(高度縮小命令セット機械)等の頭部姿勢プロセッサ336を備えてもよく、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス316から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ336は、ハードウェアプロセッサであってもよく、図2Aに示されるローカル処理およびデータモジュール260の一部として実装されてもよい。
ウェアラブルシステムはまた、1つ以上の深度センサ234を含んでもよい。深度センサ234は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されてもよい。深度センサ234は、レーザスキャナ(例えば、LIDAR)、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ316が深度感知能力を有する、ある実装では、カメラ316はまた、深度センサ234と見なされ得る。
また、示されるのは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ339からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ332である。プロセッサ332は、図2に示される、ローカル処理およびデータモジュール260の一部であってもよい。ウェアラブルシステム200はまた、図3に示されるように、例えば、GPS337(全地球測位システム)等の測位システムを含み、姿勢および測位分析を補助してもよい。加えて、GPSはさらに、ユーザの環境についての遠隔ベース(例えば、クラウドベース)の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ウェアラブルシステムは、GPS337および遠隔コンピューティングシステム(例えば、遠隔処理モジュール270、別のユーザのARD等)によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供してもよい。一実施例として、ウェアラブルシステムは、GPSデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出してもよい(例えば、遠隔処理モジュール270と通信することによって)。別の実施例として、ウェアラブルシステム200は、世界カメラ316(図4に示される外向きに面した結像システム464の一部であってもよい)を使用して、環境を監視してもよい。世界カメラ316によって入手された画像に基づいて、ウェアラブルシステム200は、環境内のオブジェクトを検出してもよい(例えば、図7に示される1つ以上のオブジェクト認識装置708を使用することによって)。ウェアラブルシステムはさらに、GPS337によって入手されたデータを使用して、キャラクタを解釈してもよい。
ウェアラブルシステム200はまた、レンダリングエンジン334を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されてもよい。レンダリングエンジン334は、ハードウェアプロセッサ(例えば、中央処理ユニットまたはグラフィック処理ユニット等)によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール260の一部である。レンダリングエンジン334は、ウェアラブルシステム200の他のコンポーネントに通信可能に結合されてもよい(例えば、有線または無線リンクを介して)。例えば、レンダリングエンジン334は、通信リンク274を介して、眼カメラ324に結合され、通信リンク272を介して、投影サブシステム318(網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼302、304の中に投影してもよい)に結合されてもよい。レンダリングエンジン334はまた、それぞれ、リンク276および294を介して、例えば、センサ姿勢プロセッサ332および画像姿勢プロセッサ336等の他の処理ユニットと通信してもよい。
カメラ324(例えば、小型赤外線カメラ)は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度(眼の輻輳・開散運動(vergence)を用いて推定されてもよい)を含んでもよい。GPS337、ジャイロスコープ、コンパス、および加速度計339は、大まかなまたは高速の姿勢推定を提供するために利用されてもよい。カメラ316のうちの1つ以上のものは、画像および姿勢を入手してもよく、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
図3に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの1つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図3に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ336、センサ姿勢プロセッサ332、およびレンダリングエンジン334は、ベルトパック内に位置付けられ、超広帯域、Wi-Fi、Bluetooth(登録商標)等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体230は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム200のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ240が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
ユーザの眼302、304の中への光338の投影に関して、いくつかの実施形態では、カメラ324は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳・開散される場所を測定するために利用されてもよい。眼が輻輳・開散する全ての点の3次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼302、304に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動移動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得る。相互に対する2つの眼の輻輳・開散運動移動(例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約0.7ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ324を用いて追跡されてもよく、レンダリングエンジン334および投影サブシステム318は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい(例えば、意図的に作成されたぼけを使用して)。好ましくは、システム220は、ユーザに、約60フレーム/秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ324は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1弧分(arc minute)の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム220は、位置特定システムと統合されてもよく、これは、GPS要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう)。
いくつかの実施形態では、ウェアラブルシステム200は、ユーザの眼の遠近調節に基づいて、1つ以上の仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の3Dディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される1つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、1mの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を3mに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム200は、ユーザの眼がより自然な様式において機能することを可能にする。
そのようなウェアラブルシステム200は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム200の種々の実施形態は、1つ以上の可変焦点要素(VFE)を通して、仮想画像を可変焦点距離に投影するように構成される。1つ以上の実施形態では、3D知覚は、画像をユーザから固定された焦点面に投影する、多平面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、z-方向に往復して移動される。
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム200は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム200は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム200のディスプレイの能力は、ユーザがオブジェクトを3Dにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を1つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
導波管スタックアセンブリ
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4Aは、そのウェアラブルシステム200のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、それぞれの対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して、画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部主要表面または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、モノリシック材料部品であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料部品の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。(補償レンズ層430およびスタックされた導波管アセンブリ480は、全体として、世界470から生じる光が、最初にスタックされた導波管アセンブリ480によって受け取られたときに光が有していたものと実質的に同一レベルの発散(またはコリメーション)で眼410に伝達されるように構成され得る。)そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的ではないまたは電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、光を具体的角度で出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差部で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一なパターンの出射放出となり得る。
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260の実施形態であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部を結像する、外向きに面した結像システム464(例えば、デジタルカメラ)を含んでもよい。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面した結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されてもよい。
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉してもよい。上記に説明されるように、いくつかの実施形態では、1つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられてもよい。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えてもよく、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供してもよい。ウェアラブルシステム400は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム464およびオーディオセンサ230の両方からの情報を使用してもよい。例えば、ウェアラブルシステム400は、単独で、または話者の反射された画像(例えば、鏡に見られるように)と組み合わせて、音声認識を使用して、話者の識別を決定してもよい。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別(例えば、名前または他の人口統計情報)を決定してもよい。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム466(例えば、デジタルカメラ)を含んでもよい。内向きに面した結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面した結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されてもよい。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含んでもよい。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含んでもよい。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知してもよい。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信してもよい。
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
眼画像の実施例
図5は、眼瞼504と、強膜508(「白眼」)と、虹彩512と、瞳孔516とを伴う、眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上側眼瞼504aと、下側眼瞼504bとを含む。眼500は、自然静置姿勢(例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される)に図示される。眼500の自然静置姿勢は、自然静置姿勢(例えば、図5に示される眼500に関しては、すぐ面外)にあって、本実施例では、瞳孔516内に心合されるときの眼500の表面に直交する方向である、自然静置方向520によって示され得る。
眼500が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向520に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する(かつ瞳孔516内に心合される)方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向524を参照して決定されてもよい。図5に示される例示的座標系を参照すると、眼500の姿勢は、両方とも眼の自然静置方向520に対する、眼の眼姿勢方向524の方位角偏向および天頂偏向を示す、2つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ(基点方位角から決定される、方位角偏向)およびφ(時として、極性偏向とも称される、天頂偏向)として表され得る。いくつかの実装では、眼姿勢方向524の周囲の眼の角度ロールが、眼姿勢の決定に含まれてもよく、角度ロールは、以下の分析に含まれてもよい。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されてもよい。
眼画像は、任意の適切なプロセスを使用して、例えば、画像を1つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されてもよい。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されてもよい。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されてもよい。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されてもよい。
(眼追跡システムの実施例)
図6は、眼追跡システムを含む、ウェアラブルまたは頭部搭載型ディスプレイシステム600の概略図を図示する。頭部搭載型ディスプレイシステム600は、少なくともいくつかの実施形態では、頭部搭載型ユニット602内に位置するコンポーネントと、非頭部搭載型ユニット604内に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。頭部搭載型ディスプレイシステム600のコンポーネントのうちのいくつかを非頭部搭載型ユニット604内に組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、頭部搭載型ディスプレイシステム600内のいずれかに含まれる1つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット602のCPU612と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット604のCPU616を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、頭部搭載型ディスプレイシステム600の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図2を参照して上記に説明されたものに類似する様式において、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図6に示されるように、頭部搭載型ディスプレイシステム600は、ユーザの眼610の画像を捕捉する、カメラ324を含む、眼追跡システムを含んでもよい。所望に応じて、眼追跡システムはまた、光源326aおよび326b(発光ダイオード「LED」等)を含んでもよい。光源326aおよび326bは、閃光(すなわち、カメラ324によって捕捉された眼の画像内に現れる、ユーザの眼からの反射)を生成し得る。カメラ324に対する光源326aおよび326bの位置は、既知であり得、その結果、カメラ324によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい(図7-11に関連して下記により詳細に議論されるであろうように)。少なくとも一実施形態では、1つの光源326と、ユーザの眼610の片方と関連付けられた1つのカメラ324とが存在してもよい。別の実施形態では、1つの光源326と、ユーザの眼610のそれぞれと関連付けられた1つのカメラ324とが存在してもよい。さらに他の実施形態では、1つ以上のカメラ324と、ユーザの眼610の一方またはそれぞれと関連付けられた1つ以上の光源326とが存在してもよい。具体的実施例として、2つの光源326aおよび326bと、ユーザの眼610のそれぞれと関連付けられた1つ以上のカメラ324とが存在してもよい。別の実施例として、光源326aおよび326b等の3つ以上の光源と、ユーザの眼610のそれぞれと関連付けられた1つ以上のカメラ324とが存在してもよい。
眼追跡モジュール614は、画像を眼追跡カメラ324から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、ユーザの眼姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対するユーザの眼の3次元位置、合焦されているユーザの眼610の一方または両方の方向、ユーザの輻輳・開散運動深度(すなわち、ユーザが合焦しているユーザからの深度)、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール614は、図7-11に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602内のCPU612を使用して実装される、ソフトウェアモジュールであってもよい。
眼追跡モジュール614からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、頭部搭載型ディスプレイシステム600のディスプレイがユーザの眼と適切に位置合わせされているかどうかを評価するように構成され得る、ライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620のためのソフトウェアモジュールを含む、CPU616等の非頭部搭載型ユニット604内のコンポーネントに伝送されてもよい。
レンダリングコントローラ618は、レンダリングエンジン622(例えば、GPU621内のソフトウェアモジュールであり得、画像をディスプレイ220に提供し得る、レンダリングエンジン)によって、眼追跡モジュール614からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ618は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ618は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく(すなわち、ユーザの視点からの画像の収集をシミュレートする)、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
時として、「ピンホール透視投影カメラ」(または単に、「透視投影カメラ」)または「仮想ピンホールカメラ」(または単に、「仮想カメラ」)とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。言い換えると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の3D仮想コンテンツ(例えば、仮想オブジェクト)を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット(例えば、焦点距離、カメラピクセルサイズ、主点座標、歪/歪曲パラメータ等)と、付帯パラメータの具体的セット(例えば、仮想世界に対する平行移動成分および回転成分)とを有する、ピンホールカメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向(例えば、レンダリングカメラの付帯パラメータ)を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および/または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口(例えば、ピンホール)をユーザまたは装着者の眼に対する具体的場所(視点の中心または回転中心または他の場所等)に有するカメラの視点から捕捉されたかのようにレンダリングされる。
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための1つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付および/または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ(例えば、頭部搭載型ユニット602)の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられたレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
いくつかの実施例では、システム600の1つ以上のモジュール(またはコンポーネント)(例えば、ライトフィールドレンダリングコントローラ618、レンダリングエンジン622等)は、ユーザの頭部および眼の位置および配向(例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように)に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム600は、事実上、ユーザの頭部および眼の位置および配向を3D仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを3D仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉され得るにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界/仮想世界マッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。実施例として、レンダリングコントローラ618は、画像が、画像を表示するために任意の所与の時間に利用される深度平面(または複数の深度平面)を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度平面切替は、1つ以上の固有のレンダリングカメラパラメータの調節を通して、行われてもよい。
位置合わせオブザーバ620は、眼追跡モジュール614からの情報を使用して、頭部搭載型ユニット602がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール614は、カメラ324に対するユーザの眼の3次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット602および眼追跡モジュール614は、場所情報を使用して、ディスプレイ220がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット602(またはヘッドセット)が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ220をユーザの眼から離れさせ、そこから下方に移動させている(望ましくあり得ない)かどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ220をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット602が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット602が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ620は、一般に、頭部搭載型ユニット602、特に、ディスプレイ220が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。言い換えると、位置合わせオブザーバ620は、ディスプレイシステム220内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム220内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ620は、頭部搭載型ユニット602が、ユーザの眼に対する位置および/または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット602が適切に位置付けられているかどうかを決定してもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット602の任意の不整合を、不整合を補正する方法に関する随意のフィードバック(頭部搭載型ユニット602を特定の様式において調節するための提案等)とともに知らせてもよい。
位置合わせオブザーバ620によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、2017年9月27日に出願された、米国特許出願第15/717,747号(弁理士整理番号MLEAP.052A2)(参照することによってその全体として本明細書に組み込まれる)に説明される。
(眼追跡モジュールの実施例)
例示的眼追跡モジュール614の詳細なブロック図が、図7Aに示される。図7Aに示されるように、眼追跡モジュール614は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール614は、光源326および頭部搭載型ユニット602に対する眼追跡カメラ324の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約4.7mmの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法704、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ706等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール614によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)号(参照することによってその全体として本明細書に組み込まれる)に説明される。
画像前処理モジュール710は、画像を眼カメラ324等の眼カメラから受信してもよく、1つ以上の前処理(すなわち、調整)動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール710は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ324からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール710は、高周波数雑音を瞳孔境界516a(図5参照)等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール710は、前処理された画像を瞳孔識別モジュール712および閃光検出および標識化モジュール714に出力してもよい。
瞳孔識別モジュール712は、前処理された画像を画像前処理モジュール710から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール712は、いくつかの実施形態では、カメラ324からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712は、眼追跡画像内の輪郭(例えば、瞳孔虹彩境界の輪郭)を識別し、輪郭モーメント(すなわち、質量中心)を識別し、スターバースト瞳孔検出および/またはCanny縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲(すなわち、眼カメラ324によって捕捉された画像内の歪曲)を補正し、ランダムサンプルコンセンサス(RANSAC)反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール712は、ユーザの瞳孔を示すと識別された前処理画像モジュール712の領域を示し得る、瞳孔識別データを、閃光検出および標識化モジュール714に出力してもよい。瞳孔識別モジュール712は、各眼追跡画像内のユーザの瞳孔の2D座標(すなわち、ユーザの瞳孔重心の2D座標)を閃光検出モジュール714に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール712はまた、同一種類の瞳孔識別データを座標系正規化モジュール718に提供してもよい。
瞳孔識別モジュール712によって利用され得る、瞳孔検出技法は、2017年2月23日に公開された米国特許公開第2017/0053165号および2017年2月23日に公開された米国特許公開第2017/0053166号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に説明される。
閃光検出および標識化モジュール714は、前処理された画像をモジュール710から、瞳孔識別データをモジュール712から受信してもよい。閃光検出モジュール714は、本データを使用して、閃光(すなわち、光源326からの光のユーザの眼からの反射)をユーザの瞳孔を示す前処理された画像の領域内で検出および/または識別してもよい。実施例として、閃光検出モジュール714は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール714は、瞳孔楕円形を再スケーリング(例えば、拡大)し、付加的閃光を包含してもよい。閃光検出モジュール714は、サイズおよび/または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール714はまた、眼追跡画像内の閃光のそれぞれの2D位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール714は、瞳孔-閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の2D位置を決定してもよい。閃光検出および標識化モジュール714は、閃光を標識化し、標識された閃光を伴う前処理画像を3D角膜中心推定モジュール716に出力してもよい。閃光検出および標識化モジュール714はまた、モジュール710からの前処理された画像およびモジュール712からの瞳孔識別データ等のデータを伝達してもよい。
モジュール712および714等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用してもよい。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別してもよい。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されてもよい。例えば、Canny縁検出器が、画像に適用され、画像の線等の縁を検出してもよい。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界516a(図5参照)が、Canny縁検出器を使用して、位置特定されてもよい。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔116の「姿勢」を検出するために使用されてもよい。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されてもよい。例えば、同心リングが、Canny縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されてもよい。例えば、Daugman積分微分演算子、Hough変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されてもよい。
3D角膜中心推定モジュール716は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール710、712、714から受信してもよい。3D角膜中心推定モジュール716は、これらのデータを使用して、ユーザの角膜の3D位置を推定してもよい。いくつかの実施形態では、3D角膜中心推定モジュール716は、眼の角膜曲率またはユーザの角膜球面の中心、すなわち、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の3D位置を推定してもよい。3D角膜中心推定モジュール716は、角膜球面および/またはユーザの角膜の推定された3D座標を示すデータを、座標系正規化モジュール718、光学軸決定モジュール722、および/またはライトフィールドレンダリングコントローラ618に提供してもよい。3D角膜中心推定モジュール716の動作のさらなる詳細は、図8A-8Eに関連して本明細書に提供される。3D角膜中心推定モジュール716および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)(参照することによってその全体として本明細書に組み込まれる)に議論される。
座標系正規化モジュール718は、随意に、(その破線輪郭によって示されるように)眼追跡モジュール614内に含まれてもよい。座標系正規化モジュール718は、ユーザの角膜の中心(および/またはユーザの角膜球面の中心)の推定された3D座標を示すデータを、3D角膜中心推定モジュール716から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール718は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱(例えば、位置合わせオブザーバ620によって識別され得る、ユーザの頭部上のその正常静置位置からの頭部搭載型コンポーネントの滑脱)を補償することに役立ち得る。座標系正規化モジュール718は、座標系を回転させ、座標系のz-軸(すなわち、輻輳・開散運動深度軸)と角膜中心(例えば、3D角膜中心推定モジュール716によって示されるように)を整合させてもよく、カメラ中心(すなわち、座標系の原点)を30mm等の角膜中心から離れた所定の距離に平行移動させてもよい(すなわち、モジュール718は、眼カメラ324が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る)。本正規化プロセスを用いることで、眼追跡モジュール614は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール718は、角膜(および/または角膜球面)の中心の3D座標、瞳孔識別データ、および前処理された眼追跡画像を3D瞳孔中心ロケータモジュール720に提供してもよい。座標系正規化モジュール718の動作のさらなる詳細は、図9A-9Cに関連して本明細書に提供される。
3D瞳孔中心ロケータモジュール720は、正規化または非正規化座標系内において、ユーザの角膜(および/または角膜球面)の中心の3D座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。3D瞳孔中心ロケータモジュール720は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔の中心の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、瞳孔重心の2D位置(モジュール712によって決定されるように)、角膜中心の3D位置(モジュール716によって決定されるように)、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法704、および角膜の屈折率(空気の屈折率に対する)等の眼の光学性質、または任意のこれらの組み合わせに基づいて、3次元におけるユーザの瞳孔の場所を決定してもよい。3D瞳孔中心ロケータモジュール720の動作のさらなる詳細は、図9D-9Gに関連して本明細書に提供される。3D瞳孔中心ロケータモジュール720および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、2017年4月26日に出願された、米国特許出願第15/497,726(弁理士整理番号MLEAP.023A7)号(参照することによってその全体として本明細書に組み込まれる)に議論される。
光学軸決定モジュール722は、ユーザの角膜およびユーザの瞳孔の中心の3D座標を示すデータを、モジュール716および720から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール722は、角膜中心の位置から(すなわち、角膜球面の中心から)、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔の中心までのベクトルを識別してもよい。光学軸決定モジュール722は、実施例として、ユーザの光学軸を規定する出力をモジュール724、728、730、および732に提供してもよい。
回転中心(CoR)推定モジュール724は、ユーザの眼の光学軸のパラメータ(すなわち、頭部搭載型ユニット602に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ)を含むデータを、モジュール722から受信してもよい。CoR推定モジュール724は、ユーザの眼の回転中心(すなわち、ユーザの眼が左、右、上、および/または下に回転するとき、その周囲でユーザの眼が回転する、点)を推定し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、CoR推定モジュール724は、瞳孔の中心(モジュール720によって識別される)または角膜の曲率中心(モジュール716によって識別されるように)を網膜に向かって光学軸(モジュール722によって識別される)に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法704であってもよい。一実施例として、角膜の曲率中心とCoRとの間の特定の距離は、約4.7mmであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。
少なくともいくつかの実施形態では、CoR推定モジュール724は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ(他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため)、その眼のそれぞれの光学軸において偏移させるであろう。CoR推定モジュール724は、次いで、モジュール722によって識別される2つ(以上の)光学軸を分析し、それらの光学軸の交差部の3D点を位置特定してもよい。CoR推定モジュール724は、次いで、その交差部の3D点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。種々の技法が、CoR推定モジュール724および左および右眼の決定されたCoR位置の正確度を増加させるために採用されてもよい。実施例として、CoR推定モジュール724は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交差部の平均点を見出すことによって、CoRを推定してもよい。付加的実施例として、モジュール724は、推定されたCoR位置を経時的にフィルタリングまたは平均化してもよく、推定されたCoR位置の移動平均を経時的に計算してもよく、および/またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、CoR位置を経時的に推定してもよい。具体的実施例として、モジュール724は、決定されたCoRが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたCoR位置(すなわち、眼の角膜曲率の中心の4.7mm背後)からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、CoR位置のユーザ毎精緻化を可能にし得るように、光学軸交差部の決定された点および仮定されたCoR位置(眼の角膜曲率の中心から4.7mm等)の加重平均を計算してもよい。
瞳孔間距離(IPD)推定モジュール726は、ユーザの左および右眼の回転中心の推定された3D位置を示すデータを、CoR推定モジュール724から受信してもよい。IPD推定モジュール726は、次いで、ユーザの左および右眼の回転中心間の3D距離を測定することによって、ユーザのIPDを推定してもよい。一般に、ユーザの左眼の推定されたCoRとユーザの右眼の推定されたCoRとの間の距離は、ユーザが光学無限遠を見ている(すなわち、ユーザの眼の光学軸が、相互に略平行である)とき、ユーザの瞳孔の中心間の距離と概ね等しくあり得、これは、瞳孔間距離(IPD)の典型的定義である。ユーザのIPDは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのIPDは、位置合わせオブザーバ620に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度(例えば、左および右ディスプレイレンズが、ユーザのIPDに従って適切に離間されているかどうか)を査定する際に使用されてもよい。別の実施例として、ユーザのIPDは、輻輳・開散運動深度推定モジュール728に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール726は、CoR推定モジュール724に関連して議論されるもの等の種々の技法を採用し、推定されたIPDの正確度を増加させてもよい。実施例として、IPD推定モジュール724は、正確な様式におけるユーザのIPDの推定の一部として、フィルタリング、経時的に平均、仮定されたIPD距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
輻輳・開散運動深度推定モジュール728は、データを眼追跡モジュール614内の種々のモジュールおよびサブモジュール(図7Aに関連して示されるように)から受信してもよい。特に、輻輳・開散運動深度推定モジュール728は、瞳孔中心の推定された3D位置(例えば、上記に説明されるモジュール720によって提供されるように)、光学軸の1つ以上の決定されたパラメータ(例えば、上記に説明されるモジュール722によって提供されるように)、回転中心の推定された3D位置(例えば、上記に説明されるモジュール724によって提供されるように)、推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって提供されるように)、および/または光学軸および/または視軸の1つ以上の決定されたパラメータ(例えば、下記に説明されるモジュール722および/またはモジュール730によって提供されるように)を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール728は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から3フィートのオブジェクトを見ているとき、ユーザの左および右眼は、3フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている(すなわち、ユーザの眼の光学軸が、ユーザの瞳孔の中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である)とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール728は、ユーザの瞳孔の推定された中心(例えば、モジュール720によって提供されるように)を示すデータを利用し、ユーザの瞳孔の推定された中心間の3D距離を決定してもよい。輻輳・開散運動深度推定モジュール728は、瞳孔中心間のそのような決定された3D距離と推定されたIPD(例えば、回転中心の推定された3D位置間のユークリッド距離)(例えば、上記に説明されるモジュール726によって示されるように)を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の3D距離および推定されたIPDに加え、輻輳・開散運動深度推定モジュール728は、既知の、仮定された、推定された、および/または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール728は、瞳孔中心間の3D距離、推定されたIPD、および三角法計算における3DCoR位置を組み合わせて、ユーザの輻輳・開散運動深度を推定(すなわち、決定)してもよい。実際、推定されたIPDに対する瞳孔中心間のそのような決定された3D距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール728は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された3D距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール728は、ユーザの左および右光学軸が交差する(または水平平面等の平面上のユーザの左および右光学軸の投影が交差する)、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール728は、ゼロ深度をユーザの左および右光学軸が、ユーザのIPDによって分離される深度であると設定することによって、本計算において、ユーザのIPDを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
いくつかの実施形態では、輻輳・開散運動深度推定モジュール728は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交差に基づいて(その光学軸の代わりに)、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。図10に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔の中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール614は、光学軸/視軸マッピングモジュール730を含んでもよい。光学軸/視軸マッピングモジュール730は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール728およびライトフィールドレンダリングコントローラ618等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール730は、光学軸と視軸との間の内向きの(鼻側に、ユーザの鼻に向かって)約5.2°の典型的オフセットを含む、仮定された眼寸法704を使用してもよい。言い換えると、モジュール730は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を5.2°鼻に向かって(鼻側に)右に、ユーザの右光学軸を5.2°鼻に向かって(鼻側に)左に偏移させ得る。他の実施例では、モジュール730は、光学軸(例えば、上記に説明されるモジュール722によって示されるように)を視軸にマッピングする際、ユーザ毎較正データ706を利用してもよい。付加的実施例として、モジュール730は、ユーザの光学軸を鼻側に4.0°~6.5°、4.5°~6.0°、5.0°~5.4°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール730は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および/または少なくとも部分的に、特定のユーザのための較正プロセス(すなわち、特定のユーザの光学軸-視軸オフセットを決定するため)に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール730はまた、左および右光学軸の原点を偏移させ、ユーザのCoRの代わりに、ユーザのCoP(モジュール732によって決定されるように)に対応させてもよい。
随意の視点中心(CoP)推定モジュール732が、提供されるとき、ユーザの左および右視点中心(CoP)の場所を推定してもよい。CoPは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、CoP推定モジュール732は、ユーザの瞳孔中心の3D場所、ユーザの角膜曲率の中心の3D場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのCoPは、角膜曲率の中心の正面の約5.01mm(すなわち、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に5.01mm)にあり得、光学または視軸に沿ってユーザの角膜の外側表面の約2.97mm背後にあり得る。ユーザの視点中心は、その瞳孔の中心の真正面にあり得る。実施例として、ユーザのCoPは、ユーザの瞳孔から約2.0mm未満、ユーザの瞳孔から約1.0mm未満、またはユーザの瞳孔から約0.5mm未満、またはこれらの値のいずれか間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、CoPは、1.0mm~2.0mm、約1.0mm、0.25mm~1.0mm、0.5mm~1.0mm、または0.25mm~0.5mmにあり得る。
(レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての)本明細書に説明される視点中心は、望ましくない視差偏移を低減および/または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、画面上に投影するレンズの正面のピンホールによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔/虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における2つの点光源(またはオブジェクト)が、ピンホールの開口部を中心として厳密に回転する(例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される)とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、CoPは、眼の瞳孔の中心に位置するはずであると考えられるであろう(およびそのようなCoPが、いくつかの実施形態では、使用されてもよい)。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外側表面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、CoPをユーザの眼の前房内のそのような位置に設定することが所望され得る。
上記に議論されるように、眼追跡モジュール614は、左および右眼回転中心(CoR)の推定された3D位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の3D位置、ユーザの角膜曲率の左および右中心の3D位置、ユーザの左および右瞳孔中心の3D位置、ユーザの左および右視点中心の3D位置、ユーザのIPD等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ618および位置合わせオブザーバ620等の他のコンポーネントに提供してもよい。眼追跡モジュール614はまた、ユーザの眼の他の側面と関連付けられたデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール614は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする(すなわち、焦点を別の点に迅速に偏移させる)度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
レンダリングコントローラの実施例
例示的ライトフィールドレンダリングコントローラ618の詳細なブロック図が、図7Bに示される。図6および7Bに示されるように、レンダリングコントローラ618は、眼追跡情報を眼追跡モジュール614から受信してもよく、出力をレンダリングエンジン622に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ618は、輻輳・開散運動深度、左および右眼回転中心(および/または視点中心)、および瞬目データ、サッカードデータ等の他の眼データに関する情報を受信してもよい。
深度平面選択モジュール750は、輻輳・開散運動深度情報を受信してもよく、そのようなデータに基づいて、レンダリングエンジン622に、コンテンツが特定の深度平面(すなわち、特定の遠近調節または焦点距離)上に位置するように現れる状態で、コンテンツをユーザに提供させてもよい。図4に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度平面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の1つ以上の可変深度平面を含んでもよい。これらおよび他の実施形態では、深度平面選択モジュール750が、レンダリングエンジン622に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい(すなわち、レンダリングエンジン622に、ディスプレイ220に深度平面を切り替えるように指示させる)。少なくともいくつかの実施形態では、深度平面選択モジュール750およびレンダリングエンジン622は、コンテンツを異なる深度にレンダリングし、また、深度平面選択データを生成し、および/またはディスプレイ220等のディスプレイハードウェアに提供してもよい。ディスプレイ220等のディスプレイハードウェアは、深度平面選択モジュール750およびレンダリングエンジン622等のモジュールによって生成および/または提供される深度平面選択データ(制御信号であり得る)に応答して、電気的な深度平面切替を実施してもよい。
一般に、深度平面選択モジュール750が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度平面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度平面を切り替えることが望ましくあり得る。実施例として、深度平面間の過剰な切替を回避することが望ましくあり得、および/または瞬目または眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度平面を切り替えることが望ましくあり得る。
ヒステリシス帯交差検出モジュール752は、特に、ユーザの輻輳・開散運動深度が、2つの深度平面間の中点または遷移点で変動するとき、深度平面間の過剰な切替を回避することに役立ち得る。特に、モジュール752は、深度平面選択モジュール750に、ヒステリシスを深度平面のその選択に呈させてもよい。実施例として、モジュール752は、深度平面選択モジュール750に、ユーザの輻輳・開散運動深度が第1の閾値を通過した後のみ、第1のより遠い深度平面から第2のより近い深度平面に切り替えさせてもよい。同様に、モジュール752は、深度平面選択モジュール750に(ひいては、ディスプレイ220等のディスプレイに指示し得る)、ユーザの輻輳・開散運動深度が第1の閾値よりユーザから遠い第2の閾値を通過した後のみ、第1のより遠い深度平面に切り替えさせてもよい。第1の閾値と第2の閾値との間の重複領域では、モジュール750は、深度平面選択モジュール750に、いずれかの深度平面が選択された深度平面として現在選択されているように維持させ、したがって、深度平面間の過剰な切替を回避してもよい。
眼球イベント検出モジュール750は、他の眼データを図7Aの眼追跡モジュール614から受信してもよく、深度平面選択モジュール750に、眼球イベントが生じるまで、いくつかの深度平面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール750は、深度平面選択モジュール750に、ユーザ瞬目が検出されるまで、計画された深度平面切替を遅延させてもよく、眼追跡モジュール614内の瞬目検出コンポーネントから、ユーザが現在瞬目しているときを示す、データを受信してもよく、それに応答して、深度平面選択モジュール750に、瞬目イベントの間、計画された深度平面切替を実行させてもよい(モジュール750に、瞬目イベントの間、ディスプレイ220に深度平面切替を実行するように指示させることによって等)。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度平面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール750は、眼サッカードが検出されるまで、計画された深度平面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度平面の離散偏移を促進し得る。
所望に応じて、深度平面選択モジュール750は、眼球イベントの不在下であっても、深度平面切替を実行する前に、限定された期間にわたってのみ、計画された深度平面切替を遅延させてもよい。同様に、深度平面選択モジュール750は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度平面外に実質的にあるとき(すなわち、ユーザの輻輳・開散運動深度が、深度平面切替のための通常閾値を超える所定の閾値を超えたとき)、深度平面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール754が、深度平面切替を無限に遅延させず、大遠近調節誤差が存在するとき、遅延深度平面切替を遅延させないことを確実にすることに役立ち得る。
レンダリングカメラコントローラ758は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン622に提供してもよい。レンダリングエンジン622は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ(「レンダリングカメラ」に対応する)によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラ視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所(本明細書に議論されるような視点中心または回転中心または他の場所等)に開口を有する、カメラ視点から捕捉されたかのようにレンダリングされてもよい。
レンダリングカメラコントローラ758は、CoR推定モジュール724によって決定された左および右眼回転中心(CoR)に基づいて、および/またはCoP推定モジュール732によって決定された左および右眼視点中心(CoP)に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ758は、種々の要因に基づいて、CoR場所とCoP場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ758は、種々のモードでは、レンダリングカメラをCoR場所に常時位置合わせする、レンダリングカメラをCoP場所に常時位置合わせする、種々の要因に基づいて、経時的に、CoR場所へのレンダリングカメラの位置合わせとCoP場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、CoR場所とCoP場所との間で光学(または視)軸に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。CoRおよびCoP位置は、随意に、平滑フィルタ756を通して通過し得(レンダリングカメラ位置付けのための前述のモードのいずれかにおいて)、これは、CoRおよびCoP場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール614によって識別される推定されたCoRまたはCoPの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。CoPは、CoRからオフセットされるため、レンダリングカメラの位置がユーザのCoPに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する。対照的に、レンダリングカメラの位置が、ユーザのCoRに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ(ピンホールの背後)は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのCoRに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動(すなわち、回転)しなくてもよい。
(位置合わせオブザーバの実施例)
例示的位置合わせオブザーバ620のブロック図が、図7Cに示される。図6、7A、および7Cに示されるように、位置合わせオブザーバ620は、眼追跡情報を眼追跡モジュール614(図6および7A)から受信してもよい。実施例として、位置合わせオブザーバ620は、ユーザの左および右眼回転中心(例えば、共通座標系上にある、または頭部搭載型ディスプレイシステム600との基準共通フレームを有し得る、ユーザの左および右眼回転中心の3次元位置)に関する情報を受信してもよい。他の実施例として、位置合わせオブザーバ620は、ディスプレイ付帯性質、フィット感公差、および眼追跡有効インジケータを受信してもよい。ディスプレイ付帯性質は、ディスプレイの視野、1つ以上のディスプレイ表面のサイズ、および頭部搭載型ディスプレイシステム600に対するディスプレイ表面の位置等のディスプレイ(例えば、図2のディスプレイ200)に関する情報を含んでもよい。フィット感公差は、ユーザの左および右眼が、ディスプレイ性能が影響される前に公称位置から移動し得る距離を示し得る、ディスプレイ位置合わせ体積に関する情報を含んでもよい。加えて、フィット感公差は、ユーザの眼の位置の関数として予期される、ディスプレイ性能影響の量を示してもよい。
図7Cに示されるように、位置合わせオブザーバ620は、3D位置フィット感モジュール770を含んでもよい。位置フィット感モジュール770は、実施例として、左眼回転中心3D位置(例えば、CoR左)、右眼回転中心3D位置(例えば、CoR右)、ディスプレイ付帯性質、およびフィット感公差を含む、種々のデータを取得および分析してもよい。3D位置フィット感モジュール770は、個別の左および右眼公称位置からのユーザの左および右眼の距離を決定してもよく(例えば、3D左誤差および3D右誤差を計算してもよく)、誤差距離(例えば、3D左誤差および3D右誤差)をデバイス3Dフィット感モジュール772に提供してもよい。
3D位置フィット感モジュール770はまた、ディスプレイ付帯性質およびフィット感公差までの誤差距離を比較してユーザの眼が、公称体積、部分的に劣化された体積(例えば、その中でディスプレイ220の性能が部分的に劣化された体積)、または完全に劣化されたまたはほぼ完全に劣化された体積(例えば、その中でディスプレイ220がコンテンツをユーザの眼に提供することが実質的に不可能である体積)内にあるかどうかを決定してもよい。少なくともいくつかの実施形態では、3D位置フィット感モジュール770または3Dフィット感モジュール772は、図7Cに示されるフィット感の品質出力等のユーザ上のHMDのフィット感を定質的に説明する出力を提供してもよい。実施例として、モジュール770は、ユーザ上のHMDの現在のフィット感が、良好、許容内、または失敗であるかどうかを示す、出力を提供してもよい。良好なフィット感は、ユーザが画像の少なくともあるパーセンテージ(90%等)を視認することを可能にするフィット感に対応し得、許容内フィット感は、ユーザが画像の少なくともより低いパーセンテージ(80%等)を視認することを可能にし得る一方、失敗フィット感は、画像のさらにより低いパーセンテージのみがユーザに可視である、フィット感であり得る。
別の実施例として、3D位置フィット感モジュール770および/またはデバイス3Dフィット感モジュール772は、ユーザに可視のディスプレイ220によって表示される画像の全体的エリア(またはピクセル)のパーセンテージであり得る、可視エリアメトリックを計算してもよい。モジュール770および772は、1つ以上のモデル(例えば、数学的または幾何学的モデル)、1つ以上のルックアップテーブル、またはユーザの眼の位置の関数としてユーザに可視の画像のパーセンテージを決定するための他の技法、またはこれらおよび他の技法の組み合わせを使用して、ディスプレイ220に対するユーザの左および右眼の位置(例えば、ユーザの眼の回転中心に基づき得る)を評価することによって、可視エリアメトリックを計算してもよい。加えて、モジュール770および772は、ユーザの眼の位置の関数としてユーザに可視であることが予期される、ディスプレイ220によって表示される画像の領域または部分を決定してもよい。
位置合わせオブザーバ620はまた、デバイス3Dフィット感モジュール772を含んでもよい。モジュール772は、データを3D位置フィット感モジュール770から受信してもよく、また、眼追跡モジュール614によって提供され得、眼追跡システムがユーザの眼の位置を現在追跡しているかどうか、または眼追跡データが利用不可能である、またはエラー条件下にある(例えば、信頼性がないと決定された)かどうかを示し得る、眼追跡有効インジケータを受信してもよい。デバイス3Dフィット感モジュール772は、所望に応じて、眼追跡有効データの状態に応じて、3D位置フィット感モジュール770から受信されたフィット感の質データを修正してもよい。例えば、眼追跡システムからのデータが、利用可能ではない、またはエラーを有することが示される場合、デバイス3Dフィット感モジュール772は、エラーが存在することの通知を提供し、および/またはフィット感の質またはフィット感誤差に関する出力をユーザに提供しなくてもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ620は、フィット感の質および誤差の性質および大きさの詳細に関するフィードバックをユーザに提供してもよい。実施例として、頭部搭載型ディスプレイシステムは、較正またはフィッティングプロセスの間、フィードバックをユーザに提供してもよく(例えば、設定プロシージャの一部として)、動作の間もフィードバックを提供してもよい(例えば、フィット感が、滑脱に起因して劣化する場合、位置合わせオブザーバ620は、頭部搭載型ディスプレイシステムを再調節するようにユーザにプロンプトしてもよい)。いくつかの実施形態では、位置合わせ分析は、自動的に実施されてもよく(例えば、頭部搭載型ディスプレイシステムの使用の間)、フィードバックは、ユーザ入力を伴わずに提供されてもよい。これらは、単に、例証的実施例である。
眼追跡システムを用いてユーザの角膜を位置特定する実施例
図8Aは、眼の角膜球面を示す、眼の概略図である。図8Aに示されるように、ユーザの眼810は、角膜812と、瞳孔822と、水晶体820とを有し得る。角膜812は、角膜球面814によって示される、略球状形状を有し得る。角膜球面814は、角膜中心とも称される、中心点816と、半径818とを有し得る。ユーザの眼の半球状角膜は、角膜中心816の周囲に湾曲し得る。
図8B-8Eは、3D角膜中心推定モジュール716および眼追跡モジュール614を使用してユーザの角膜中心816を位置特定する、実施例を図示する。
図8Bに示されるように、3D角膜中心推定モジュール716は、角膜閃光854を含む、眼追跡画像852を受信してもよい。3D角膜中心推定モジュール716は、次いで、光線856を眼カメラ座標系内に投射するために、眼カメラ座標系850内において、眼カメラ324および光源326の既知の3D位置(眼追跡付帯性質および固有性質データベース702、仮定された眼寸法データベース704、および/またはユーザ毎較正データ706内のデータに基づき得る)をシミュレートしてもよい。少なくともいくつかの実施形態では、眼カメラ座標系850は、その原点を眼追跡カメラ324の3D位置に有してもよい。
図8Cでは、3D角膜中心推定モジュール716は、第1の位置における角膜球面814a(データベース704からの仮定された眼寸法に基づき得る)および角膜曲率中心816aをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814aが、光を光源326から閃光位置854に適切に反射させるであろうかどうかをチェックしてもよい。図8Cに示されるように、第1の位置は、光線860aが光源326と交差しないため、合致しない。
図8Dと同様に、3D角膜中心推定モジュール716は、第2の位置における角膜球面814bおよび角膜曲率中心816bをシミュレートする。3D角膜中心推定モジュール716は、次いで、角膜球面814bが、光を光源326から閃光位置854に適切に反射させるかどうかをチェックする。図8Dに示されるように、第2の位置もまた、合致しない。
図8Eに示されるように、3D角膜中心推定モジュール716は、最終的に、角膜球面の正しい位置が角膜球面814cおよび角膜曲率中心816cであることを決定することが可能である。3D角膜中心推定モジュール716は、源326からの光が、角膜球面から適切に反射し、カメラ324によって画像852上の閃光854の正しい場所に結像されるであろうことをチェックすることによって、図示される位置が正しいことを確認する。本配列、および光源326、カメラ324の既知の3D位置、およびカメラの光学性質(焦点距離等)を用いることで、3D角膜中心推定モジュール716は、角膜の曲率の中心816の3D場所(ウェアラブルシステムに対する)を決定し得る。
少なくとも図8C-8Eに関連して本明細書に説明されるプロセスは、事実上、ユーザの角膜中心の3D位置を識別するための反復、繰り返し、または最適化プロセスであり得る。したがって、複数の技法(例えば、反復、最適化技法等)のいずれかが、効率的かつ迅速に選別する、または可能性として考えられる位置の検索空間を低減させるために使用されてもよい。さらに、いくつかの実施形態では、システムは、光源326等の2つ、3つ、4つ、またはそれよりも多くの光源を含んでもよく、これらの光源の全てのうちのいくつかは、異なる位置に配置され、画像852上の異なる位置に位置する、閃光854等の複数の閃光および異なる原点および方向を有する、光線856等の複数の光線をもたらしてもよい。そのような実施形態は、モジュール716が、閃光および光線の一部または全部がその個別の光源と画像852上のその個別の位置との間に適切に反射される結果をもたらす、角膜位置を識別することを模索し得るため、3D角膜中心推定モジュール716の正確度を向上させ得る。言い換えると、これらの実施形態では、光源の一部または全部の位置が、図8B-8Eの3D角膜位置決定(例えば、反復、最適化技法等)プロセスに依拠し得る。
(眼追跡画像の座標系を正規化する実施例)
図9A-9Cは、図7Aの座標系正規化モジュール718等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱(すなわち、ヘッドセット滑脱)を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
図9Aに示されるように、座標系正規化モジュール718は、ユーザの角膜の回転中心の推定された3D座標900を受信してもよく、画像852等の非正規化眼追跡画像を受信してもよい。眼追跡画像852および座標900は、実施例として、眼追跡カメラ324の場所に基づく、非正規化座標系850内にあってもよい。
第1の正規化ステップでは、座標系正規化モジュール718は、図9Bに示されるように、座標系のz-軸(すなわち、輻輳・開散運動深度軸)が、座標系の原点と角膜曲率中心座標900との間のベクトルと整合され得るように、座標系850を回転座標系902へと回転させてもよい。特に、座標系正規化モジュール718は、ユーザの角膜曲率中心の座標900が、回転画像904の平面に対して法線となるまで、眼追跡画像850を回転眼追跡画像904へと回転させてもよい。
第2の正規化ステップとして、座標系正規化モジュール718は、図9Cに示されるように、角膜曲率中心座標900が、正規化された座標系910の原点から標準的な正規化された距離906にあるように、回転座標系902を正規化された座標系910へと平行移動させてもよい。特に、座標系正規化モジュール718は、回転眼追跡画像904を正規化された眼追跡画像912へと平行移動させてもよい。少なくともいくつかの実施形態では、標準的な正規化された距離906は、約30ミリメートルであってもよい。所望に応じて、第2の正規化ステップは、第1の正規化ステップに先立って実施されてもよい。
(眼追跡システムを用いてユーザの瞳孔重心を位置特定する実施例)
図9D-9Gは、3D瞳孔中心ロケータモジュール720および眼追跡モジュール614を使用してユーザの瞳孔中心(すなわち、図8Aに示されるように、ユーザの瞳孔822の中心)を位置特定する、実施例を図示する。
図9Dに示されるように、3D瞳孔中心ロケータモジュール720は、瞳孔重心913(すなわち、瞳孔識別モジュール712によって識別されるようなユーザの瞳孔の中心)を含む、正規化された眼追跡画像912を受信してもよい。3D瞳孔中心ロケータモジュール720は、次いで、眼カメラ324の正規化された3D位置910をシミュレートし、瞳孔重心913を通して、光線914を正規化された座標系910内に投射してもよい。
図9Eでは、3D瞳孔中心ロケータモジュール720は、3D角膜中心推定モジュール716からのデータに基づいて(および図8B-8Eに関連してより詳細に議論されるように)、曲率中心900を有する角膜球面901等の角膜球面をシミュレートしてもよい。実施例として、角膜球面901は、図8Eに関連して識別された曲率中心816cの場所に基づいて、および図9A-9Cの正規化プロセスに基づいて、正規化された座標系910内に位置付けられてもよい。加えて、3D瞳孔中心ロケータモジュール720は、図9Eに示されるように、光線914(すなわち、正規化された座標系910の原点とユーザの瞳孔の正規化された場所との間の光線)とシミュレートされた角膜との間の第1の交差部916を識別してもよい。
図9Fに示されるように、3D瞳孔中心ロケータモジュール720は、角膜球面901に基づいて、瞳孔球面918を決定してもよい。瞳孔球面918は、角膜球面901と共通曲率中心を共有するが、小半径を有し得る。3D瞳孔中心ロケータモジュール720は、角膜中心と瞳孔中心との間の距離に基づいて、角膜中心900と瞳孔球面918との間の距離(すなわち、瞳孔球面918の半径)を決定してもよい。いくつかの実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図7Aの仮定された眼寸法704から、眼追跡付帯性質および固有性質データベース702から、および/またはユーザ毎較正データ706から決定されてもよい。他の実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図7Aのユーザ毎較正データ706から決定されてもよい。
図9Gに示されるように、3D瞳孔中心ロケータモジュール720は、種々の入力に基づいて、ユーザの瞳孔中心の3D座標を位置特定してもよい。実施例として、3D瞳孔中心ロケータモジュール720は、瞳孔球面918の3D座標および半径、シミュレートされた角膜球面901と正規化された眼追跡画像912内の瞳孔重心913と関連付けられた光線914との間の交差部916の3D座標、角膜の屈折率に関する情報、および空気の屈折率等の他の関連情報(眼追跡付帯性質および固有性質データベース702内に記憶されてもよい)を利用して、ユーザの瞳孔の中心の3D座標を決定してもよい。特に、3D瞳孔中心ロケータモジュール720は、シミュレーションにおいて、空気(約1.00の第1の屈折率における)と角膜材料(約1.38の第2の屈折率における)との間の屈折差に基づいて、光線916を屈折された光線922の中に屈曲させてもよい。角膜によって生じる屈折を考慮後、3D瞳孔中心ロケータモジュール720は、屈折された光線922と瞳孔球面918との間の第1の交差部920の3D座標を決定してもよい。3D瞳孔中心ロケータモジュール720は、ユーザの瞳孔中心920が屈折された光線922と瞳孔球面918との間のおおよそ第1の交差部920に位置することを決定してもよい。本配列を用いることで、3D瞳孔中心ロケータモジュール720は、瞳孔中心920の3D場所(ウェアラブルシステムに対する)を正規化された座標系910内で決定し得る。所望に応じて、ウェアラブルシステムは、瞳孔中心920の座標をオリジナル眼カメラ座標系850へと正規化解除してもよい。瞳孔中心920は、角膜曲率中心900とともに使用され、とりわけ、光学軸決定モジュール722を使用して、ユーザの光学軸と、輻輳・開散運動深度推定モジュール728によって、ユーザの輻輳・開散運動深度とを決定してもよい。
(光学軸と視軸との間の差異の実施例)
図7Aの光学軸/視軸マッピングモジュール730に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸(その瞳孔の中心およびその角膜の曲率中心によって定義される)が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図10は、眼の光学軸1002と、眼の視軸1004と、これらの軸間のオフセットとを図示する、眼1000の実施例である。加えて、図10は、眼の瞳孔中心1006と、眼の角膜曲率の中心1008と、眼の平均回転中心(CoR)1010とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心1008は、寸法1012によって示されるように、眼の平均回転中心(CoR)1010の正面の約4.7mmにあり得る。加えて、眼の視点中心1014は、眼の角膜曲率の中心1008の正面の約5.01mm、ユーザの角膜の外側表面1016の約2.97mm背後、および/またはユーザの瞳孔中心1006の真正面(例えば、眼1000の前房内の場所に対応する)にあり得る。付加的実施例として、寸法1012は、3.0mm~7.0mm、4.0~6.0mm、4.5~5.0mm、または4.6~4.8mm、またははこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心(CoP)1014は、少なくともいくつかの実施形態では、レンダリングカメラをCoPに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
図10はまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼1000内のそのような場所を図示する。図10に示されるように、レンダリングカメラのピンホールは、ヒトの眼1000の(a)瞳孔または虹彩1006の中心および(b)角膜曲率の中心1008の両方より角膜の外側表面に近い、ヒトの眼1000の光学軸1002または視軸1004に沿った場所1014と位置合わせされてもよい。例えば、図10に示されるように、レンダリングカメラのピンホールは、角膜1016の外側表面から後方に約2.97ミリメートルおよび角膜曲率の中心1008から前方に約5.01ミリメートルにある、ヒトの眼1000の光学軸1002に沿った場所1014と位置合わせされてもよい。レンダリングカメラのピンホールの場所1014および/またはそれに対して場所1014が対応するヒトの眼1000の解剖学的領域は、ヒトの眼1000の視点中心を表すと見なされ得る。図10に示されるようなヒトの眼1000の光学軸1002は、角膜曲率の中心1008および瞳孔または虹彩1006の中心を通る最短線を表す。ヒトの眼1000の視軸1004は、ヒトの眼1000の中心窩から瞳孔または虹彩1006の中心まで延在する線を表すため、光学軸1002と異なる。
(コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス)
図11は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法1100のプロセスフロー図である。方法1100は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法1100の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ(すなわち、ユーザとのウェアラブルデバイスのフィット感)に関するフィードバックを提供するために使用されてもよい。
ブロック1110では、ウェアラブルシステムは、ユーザの片眼または両眼の画像を捕捉してもよい。ウェアラブルシステムは、少なくとも図3の実施例に示されるように、1つ以上の眼カメラ324を使用して、眼画像を捕捉してもよい。所望に応じて、ウェアラブルシステムはまた、IR光をユーザの眼上で光輝させ、対応する閃光を眼カメラ324によって捕捉された眼画像内に生産するように構成される、1つ以上の光源326を含んでもよい。本明細書に議論されるように、閃光は、眼追跡モジュール614によって、眼が見ている場所を含む、ユーザの眼についての種々の情報を導出するために使用されてもよい。
ブロック1120では、ウェアラブルシステムは、ブロック1110において捕捉された眼画像内で閃光および瞳孔を検出してもよい。実施例として、ブロック1120は、閃光検出および標識化モジュール714によって、眼画像を処理し、眼画像内の閃光の2次元位置を識別するステップと、瞳孔識別モジュール712によって、眼画像を処理し、眼画像内の瞳孔の2次元位置を識別するステップとを含んでもよい。
ブロック1130では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右角膜の3次元位置を推定してもよい。実施例として、ウェアラブルシステムは、ユーザの左および右角膜の曲率中心の位置およびそれらの曲率中心とユーザの左および右角膜との間の距離を推定してもよい。ブロック1130は、少なくとも図7Aおよび8A-8Eに関連して本明細書に説明されるように、曲率中心の位置を識別する3D角膜中心推定モジュール716を伴ってもよい。
ブロック1140では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右瞳孔中心の3次元位置を推定してもよい。実施例として、ウェアラブルシステムおよび3D瞳孔中心ロケータモジュール720は、特に、少なくとも図7Aおよび9D-9Gに関連して説明されるように、ブロック1140の一部として、ユーザの左および右瞳孔中心の位置を推定してもよい。
ブロック1150では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右中心または回転(CoR)の3次元位置を推定してもよい。実施例として、ウェアラブルシステムおよびCoR推定モジュール724は、特に、少なくとも図7Aおよび10に関連して説明されるように、ユーザの左および右眼に関するCoRの位置を推定してもよい。特定の実施例として、ウェアラブルシステムは、角膜の曲率中心から網膜に向かう光学軸に沿って逆行することによって、眼のCoRを見出し得る。
ブロック1160では、ウェアラブルシステムは、ユーザのIPD、輻輳・開散運動深度、視点中心(CoP)、光学軸、視軸、および他の所望の属性を眼追跡データから推定してもよい。実施例として、ブロック1160の一部として、IPD推定モジュール726は、左および右CoRの3D位置を比較することによって、ユーザのIPDを推定してもよく、輻輳・開散運動深度推定モジュール728は、左光学軸と右光学軸の交差部(または交差部の近く)または左視軸と右視軸の交差部を見出すことによって、ユーザの深度を推定してもよく、光学軸決定モジュール722は、左および右光学軸を経時的に識別してもよく、光学軸/視軸マッピングモジュール730は、左および右視軸を経時的に識別してもよく、CoP推定モジュール732は、左および右視点中心を識別してもよい。
ブロック1170では、ウェアラブルシステムは、コンテンツをレンダリングしてもよく、随意に、ブロック1120-1160において識別された眼追跡データに部分的に基づいて、位置合わせに関するフィードバック(すなわち、ユーザの頭部とのウェアラブルシステムのフィット感)を提供してもよい。実施例として、ウェアラブルシステムは、ライトフィールドレンダリングコントローラ618(図7B)およびレンダリングエンジン622に関連して議論されるように、レンダリングカメラのための好適な場所を識別し、次いで、レンダリングカメラの場所に基づいて、ユーザのためのコンテンツを生成してもよい。別の実施例として、ウェアラブルシステムは、位置合わせオブザーバ620に関連して議論されるように、かつ図16のブロック1608に関連して議論されるように、ユーザに適切にフィットされているか、またはユーザに対するその適切な場所から滑脱しているかどうかを決定してもよく、デバイスのフィット感が調節の必要があるかどうかを示す、随意のフィードバックをユーザに提供してもよい。いくつかの実施形態では、ウェアラブルシステムは、図16のブロック1610に関連して議論されるように、不適切なまたはずれた位置合わせの影響を低減させる、最小限にする、または補償する試みにおいて、不適切なまたは準理想的位置合わせに基づいて、レンダリングされたコンテンツを調節してもよい。
(デバイス位置合わせの概要)
本明細書に説明されるウェアラブルシステム200が、高知覚画質の画像を出力するために、ウェアラブルシステム200(図2)のディスプレイ220は、好ましくは、ユーザに適切にフィットされる(例えば、システム200の入力および出力が、ユーザの頭部の対応する部分と適切にインターフェースをとるように、かつデバイスが、装着および使用するために安定かつ快適であるように、ユーザの頭部に対して位置付けられ、配向されている)。実施例として、ディスプレイ220が、視覚的コンテンツをユーザの眼に提供するために、ディスプレイ220は、好ましくは、ユーザの眼の正面に位置し、ディスプレイ220の関連性質に応じて、ユーザの眼は、好ましくは、特定の体積(例えば、図13Aおよび13Bと関連付けられたさらなる議論参照)内に位置する。付加的実施例として、スピーカ240が、好ましくは、ユーザの耳の近傍、その上、またはその中に位置し、高品質オーディオコンテンツをユーザに提供し、オーディオセンサ(例えば、マイクロホン)232が、好ましくは、特定のエリア内に位置し、音をユーザから受信し、内向きに面した結像システム462(1つ以上のカメラ324と、1つ以上の赤外線光源326とを含んでもよい)が、好ましくは、ユーザの眼の鮮明な妨害のない画像を取得するための位置および配向に適切に位置する(眼追跡システムの一部であってもよい)。これらは、単に、ウェアラブルシステム200が、好ましくは、ユーザに適切にフィットされる、種々の理由の実施例である。
ウェアラブルシステム200が、ユーザに適切に位置合わせされていることを確実にするために、ウェアラブルシステム200は、図6の位置合わせオブザーバ620等の位置合わせオブザーバを含んでもよい。いくつかの実施形態では、適切に位置合わせされているウェアラブルシステム200は、ユーザの片眼または両眼が、十分な画像光を受け取り、ウェアラブルディスプレイシステム200のディスプレイ220によって提供される視野の実質的に全体を見ることが可能であるように位置付けられる、ディスプレイを含む。例えば、適切に位置合わせされているディスプレイは、80%以上、約85%以上、約90%以上、または約95%以上の明度均一性を伴って、ディスプレイの視野の約80%以上、約85%以上、約90%以上、または約95%以上の割合を横断して、画像が見えることを可能にし得る。明度均一性は、ディスプレイが視野全体を通して同一コンテンツを表示するとき、ディスプレイの視野の全体を横断した最大輝度によって除算される最小輝度に100%を乗算したもの(100%×Lmin/Lmax)と等しくあり得ることを理解されたい。
位置合わせオブザーバ620は、種々のセンサを使用して、ウェアラブルシステム200がユーザ上にフィットされている程度(例えば、ウェアラブルシステム200のディスプレイ220がユーザ上に適切に位置付けられているかどうか)を決定してもよい。実施例として、位置合わせオブザーバ620は、眼追跡システムを含み得る、内向きに面した結像システム462を使用して、ウェアラブルシステム200の関連部分が、ユーザ、特に、ユーザの眼、耳、口、またはウェアラブルシステム200とインターフェースをとる他の部分に対して空間的に配向される程度を決定してもよい。
位置合わせオブザーバ620は、特定のユーザのためのウェアラブルシステム200の初期または後続構成または設定等の較正プロセスを補助してもよい。実施例として、位置合わせオブザーバ620は、その特定のユーザのためのウェアラブルシステム200の構成または設定の間、フィードバックをユーザに提供してもよい。加えて、または代替として、位置合わせオブザーバ620は、持続的または断続的に、ユーザ上のウェアラブルシステム200の位置合わせを監視し、使用の間の継続的な適切な位置合わせをチェックしてもよく、ユーザフィードバックをオンザフライで提供してもよい。位置合わせオブザーバ620は、構成プロセスの一部として、または使用の間の位置合わせ監視の一部としてのいずれかにおいて、ウェアラブルシステム200が適切に位置合わせされているとき、およびウェアラブルシステム200が適切に位置合わせされていないときを示す、ユーザフィードバックを提供してもよい。位置合わせオブザーバ620はまた、ユーザが、任意の位置合わせずれを補正し、適切な位置合わせを達成し得る方法のための特定の推奨を提供してもよい。実施例として、位置合わせオブザーバ620が、(ユーザの鼻梁から下方に等の)ウェアラブルデバイスの滑脱を検出後、ユーザにウェアラブルデバイスを上方に押し戻すように推奨し得ること、ユーザがウェアラブルデバイスのいくつかの調節可能コンポーネントを調節することを推奨し得ること(例えば、図15Aおよび15Bに関連して本明細書に説明されるように)等が挙げられる。
(位置合わせ座標系の実施例)
図12A-12Bは、本明細書に説明されるウェアラブルシステムのディスプレイに対するユーザの左および右眼の3次元位置を定義するために使用され得る、例示的眼位置座標系を図示する。実施例として、座標系は、軸x、y、およびzを含んでもよい。座標系の軸zは、ユーザの眼がある平面とディスプレイ220がある平面との間の距離等の深度(例えば、ユーザの顔の正面の平面に対して法線の方向)に対応し得る。座標系の軸xは、ユーザの左眼と右眼との間の距離等の左右方向に対応し得る。座標系の軸yは、ユーザが直立しているときの垂直方向であり得る、上下方向に対応し得る。
図12Aは、ユーザの眼1200の側面図およびディスプレイ表面1202(図2のディスプレイ220の一部であり得る)を図示する一方、図12Bは、ユーザの眼1200の上下図およびディスプレイ表面1202を図示する。ディスプレイ表面1202は、ユーザの眼の正面に位置してもよく、画像光をユーザの眼に出力してもよい。実施例として、ディスプレイ表面1202は、1つ以上の外部結合光要素、アクティブまたはピクセルディスプレイ要素を備えてもよく、図4のスタックされた導波管アセンブリ480等の導波管のスタックの一部であってもよい。いくつかの実施形態では、ディスプレイ表面1202は、平面であってもよい。いくつかの他の実施形態では、ディスプレイ表面1202は、他のトポロジを有してもよい(例えば、湾曲される)。ディスプレイ表面1202は、ディスプレイの物理的表面、または単に、そこから、画像光がディスプレイ220からユーザの眼に伝搬すると理解される、平面または他の想像上の表面であってもよいことを理解されたい。
図12Aに示されるように、ユーザの眼1200は、公称位置1206からオフセットされた実際の位置1204を有し得、ディスプレイ表面1202は、位置1214にあってもよい。図12Aはまた、ユーザの眼1200の角膜頂点1212を図示する。ユーザの通視線(例えば、その光学軸および/または視軸)は、実際の位置1204と角膜頂点1212との間の線に実質的に沿ってあり得る。図12Aおよび12Bに示されるように、実際の位置1204は、z-オフセット1210、y-オフセット1208、およびx-オフセット1209だけ公称位置1206からオフセットされ得る。公称位置1206は、ディスプレイ表面1202に対するユーザの眼1200のための好ましい位置(時として、所望の体積内に概して心合され得る、設計位置とも称される)を表し得る。ユーザの眼1200が、公称位置1206から離れるように移動するにつれて、ディスプレイ表面1202の性能は、例えば、図14に関連して本明細書に議論されるように、劣化され得る。
加えて、レンダリングカメラのためのデフォルト位置は、公称位置1206であり得ることを理解されたい。本明細書に議論されるように、ディスプレイシステムは、コンテンツを想像上のレンダリングカメラの視点からレンダリングするように構成されてもよい。その結果、レンダリングカメラの種々のパラメータ、例えば、焦点距離は、ユーザに提供されるコンテンツの出現に影響を及ぼし得る。例えば、焦点距離は、ユーザに提示される仮想コンテンツの倍率およびサイズを決定し得る。したがって、異なる焦点距離は、異なる深度平面と関連付けられ得る。
いくつかの実施形態では、レンダリングカメラのレンズは、デフォルトとして公称位置1206に位置付けられてもよく、公称位置1206は、本実施例では、点1204であると理解され得る、回転中心に対応すると仮定される。しかしながら、公称位置1206からの回転中心1204のオフセットは、望ましくない視認者不快感を生じさせ得る。例えば、倍率誤差が、眼毎に生じ得、仮想コンテンツが、意図されるより大きくまたはより小さく現れ得ることを理解されたい。あるシナリオでは、レンダリングカメラの焦点距離が、予期されるものより短い場合(例えば、ユーザの眼の回転中心が公称位置の背後に位置付けられる結果としてであるが、レンダリング空間内の本変位またはオフセットを補償しない場合)、仮想コンテンツは、意図されるものより小さく現れ得る。同様に、レンダリングカメラの焦点距離が、予期されるものより長い(例えば、ユーザの眼の回転中心が公称位置の正面に位置付けられる結果としてであるが、レンダリング空間内の本変位またはオフセットを補償しない場合)場合、仮想コンテンツは、意図されるものより大きく現れ得る。そのような倍率誤差が、眼毎に異なる場合(例えば、一方の眼の回転中心が、公称位置の背後に位置付けられ、ユーザの他方の眼の回転中心が、公称位置の正面に位置付けられる結果としてであるが、レンダリング空間内のこれらのオフセットの適切な補償がない場合)、同一仮想オブジェクトの知覚されるサイズは、眼毎に異なり得る。サイズの本差異は、ユーザにあるレベルの不快感(例えば、双眼サイズ相違を解消しようとすることからの潜在的眼精疲労および/または頭痛)を生じさせ得る。
いくつかの実施形態では、レンダリングカメラの焦点距離は、デフォルト位置1206(回転中心に関して仮定された位置)と回転中心1204の実際の位置との間のz-軸オフセットに基づいて決定されてもよい。例えば、回転中心が、公称位置の背後に位置付けられる場合、次いで、レンダリングカメラの焦点距離は、低減され得る(例えば、オフセット量だけ低減される)。他方では、回転中心が、公称位置の正面に位置付けられる場合、焦点距離は、増加され得る(例えば、オフセット量だけ増加される)。
加えて、いくつかの実施形態では、レンダリングカメラの焦点距離はまた、システムによって使用されている深度平面に基づいて計算されてもよい。例えば、いくつかの実施形態では、レンダリングカメラの光学系は、薄レンズ方程式(1/o+1/i=1/f)に従うと仮定され得、式中、oは、オブジェクト距離(例えば、その上にコンテンツが提示されている深度平面)であって、iは、定数(例えば、回転中心からユーザの網膜までの距離)であって、fは、焦点距離である。本明細書に議論されるように、その上にコンテンツが提示される深度平面は、ユーザからある設定距離を有する。その結果、数量oおよびiは、既知であるため、焦点距離は、fを求めることによって決定され得る。いくつかの実装では、レンダリングカメラ焦点距離調節が、図11を参照して上記に説明されるようなステップ1170および図16を参照して下記にさらに詳細に説明されるようなステップ1610等の本明細書に説明される1つ以上の動作に関連して実施されてもよい。本明細書に説明されるシステムのうちの1つ以上のものによって採用され得る、付加的レンダリングカメラ調節スキームの実施例は、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年1月17日に出願された、米国仮特許出願第62/618559号、および「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年7月24日に出願された、米国仮特許出願第62/702849号(両方とも、参照することによってその全体として本明細書に組み込まれる)に提供される。
図12Aを継続して参照すると、ユーザの眼1200と関連付けられた点または体積が、本明細書の位置合わせの分析におけるユーザの眼の位置を表すために使用され得ることを理解されたい。代表的点または体積は、好ましくは、一貫して使用される、眼1200と関連付けられた任意の点または体積であり得る。例えば、点または体積は、眼1200上または内にあってもよい、または眼1200から離れるように配置されてもよい。いくつかの実施形態では、点または体積は、眼1200の回転中心である。回転中心は、本明細書に説明されるように決定され得、眼1200内の種々の軸上に概ね対称的に配置され、光学軸と整合される単一ディスプレイ位置合わせ体積が分析のために利用されることを可能にするため、位置合わせ分析を簡略化するための利点を有し得る。
図12Aはまた、ディスプレイ表面1202が、(ユーザがその光学軸が地面と平行な状態で真っ直ぐ見ているときにy-軸に沿って見られるような)ユーザの水平線の下方に心合され得、(y-軸に対して)傾斜され得ることを図示する。特に、ディスプレイ表面1202は、ユーザが、眼1200が位置1206にあるとき、ディスプレイ表面1202の中心を見るために、おおよそ角度1216において見下ろす必要があるであろうように、ユーザの水平線の若干下方に配置され得る。これは、ユーザがその水平線の上方よりその水平線の下方のコンテンツを視認することがより快適であり得るため、特に、より短い深度(またはユーザからの距離)にレンダリングされたコンテンツを視認するとき、ディスプレイ表面1202とのより自然かつ快適な相互作用を促進し得る。加えて、ディスプレイ表面1202は、ユーザがディスプレイ表面1202の中心を見ている(例えば、ユーザの水平線の若干下方を見ている)とき、ディスプレイ表面1202が、ユーザの通視線と略垂直であるように、(y-軸に対して)角度1218等で傾斜され得る。少なくともいくつかの実施形態では、ディスプレイ表面1202はまた、ユーザの眼の公称位置に対して(例えば、x-軸に沿って)左または右に偏移されてもよい。実施例として、ユーザの通視線が、無限遠未満のある距離に合焦されるとき、ディスプレイ表面の中心に衝打するように、左眼ディスプレイ表面は、右に偏移されてもよく、右眼ディスプレイ表面は、左に偏移されてもよい(例えば、ディスプレイ表面1202は、相互に向かって偏移されてもよく)、これは、ウェアラブルデバイス上での典型的使用の間のユーザ快適性を増加させ得る。
(ディスプレイ位置合わせ体積の実施例)
図13A-13Bは、例示的ディスプレイ位置合わせ体積1302aを図示する。ディスプレイ位置合わせ体積1302aは、その中に眼1200が画像光をディスプレイデバイスから受け取るように位置付けられる、空間体積を表し得る。いくつかの実施形態では、ユーザの眼の回転中心は、好ましくは、眼が、ディスプレイデバイスからの画像情報を位置合わせする、または受信するように位置する。いくつかの実施形態では、ユーザの眼の回転中心が、ディスプレイ位置合わせ体積1302a内に位置するとき、ユーザは高明度均一性を伴って、ディスプレイデバイスによって出力された画像の全体を見ることが可能である。例えば、本明細書に説明されるように、適切に位置合わせされているディスプレイは、80%以上、約85%以上、約90%以上、または約95%以上の明度均一性を伴って、ディスプレイの視野の約80%以上、約85%以上、約90%以上、または約95%以上の割合を横断して、画像が見えることを可能にし得る。言い換えると、「良好な」位置合わせ(実施例として、図7Cのモジュール772によって決定されるように)を伴うディスプレイは、90%以上の明度均一性を有し得、「許容内」位置合わせを伴うディスプレイは、80%以上の明度均一性を有し得、「失敗」位置合わせを伴うディスプレイは、80%未満の明度均一性を有し得る。
また、本明細書に説明されるように、回転中心1204は、ユーザの眼の3次元位置を参照および決定するための便宜的参照点としての役割を果たし得る。ユーザの眼のそれぞれの回転中心は、角膜の曲率中心から回転中心(CoR)までユーザの光学軸に沿って逆行すること等によって、本明細書に説明される技法を使用して決定されてもよい。しかしながら、一般に、ユーザの眼と関連付けられる任意の所望の参照点が、本明細書に説明されるプロセスおよびシステムにおいて利用されてもよい。ディスプレイ位置合わせ体積1203は、その中でディスプレイ表面1202がほぼ完全な潜在性で動作することが可能である(例えば、ディスプレイ表面1202の性能の図15Aおよび15Bに関連して説明されるタイプの有意な劣化を伴わずに)、空間の体積を表し得る。ユーザの眼(例えば、ユーザの眼の回転中心1204)が、位置合わせ体積1302a内にない場合、ユーザは、劣化された性能を被り得、ディスプレイ表面1202によって提供されるコンテンツの一部または全部が、部分的に暗化される、またはユーザに完全に不可視となり得る。
図13Aに示されるように、位置合わせ体積1302aは、その上側部分が典型的には、その底辺と平行な平面によって切断された後に残る角錐の部分である、錐台の形状を有してもよい。言い換えると、位置合わせ体積1302aは、ユーザの眼が、ディスプレイ表面1202により近いとき、x軸およびy軸に沿ってより大きくなり得(例えば、図12Aおよび12B参照)、ユーザの眼がディスプレイ表面1202からより遠いとき、xおよびy軸に沿ってより小さくなり得る。錐台は、その中の剪断平面(例えば、オリジナル形状の一部が切断された線)が体積の底辺と平行である、切頭の実施例である。一般に、体積1302a等の位置合わせ体積は、1つ以上の非平行剪断平面(例えば、図13Bに示されるような)によって、または1つ以上の非平面剪断によって等、任意の様式において切頭される体積の形状をとってもよい。
位置合わせ体積の寸法は、ディスプレイ表面1202およびウェアラブルシステムの他の要素の具体的実装に依存し得る。実施例として、図13Bは、位置合わせ体積1302bがディスプレイ表面1202に対して角度付けられ得ることを図示する。図13Bの実施例では、ディスプレイ表面1202に最も近い位置合わせ体積1302bの部分は、ユーザの眼が体積の正面(ディスプレイ表面1202に最も近いz位置)において垂直に(y方向に)移動するにつれて、ユーザの眼が、ディスプレイ表面から離れるように移動し(z軸に沿って)、位置合わせ体積1302bの内側に留まる必要があるであろうように、ディスプレイ表面1202から離れるように角度付けられてもよい。いくつかの実施形態では、位置合わせ体積1302bの形状は、図13Bの角度付けられた体積1302b外のユーザの眼を追跡することが不可能であり得る、眼追跡システムの能力に基づき得る。
位置合わせ体積の寸法および形状はまた、ディスプレイ表面1202を含み得る、ディスプレイ220の種々の部分の性質に依存し得る。実施例として、ディスプレイ220は、1つ以上の導波管(スタックされ得、複数の輻輳・開散運動キューをユーザに提供し得る)と、画像投入デバイスからの光を受け取り、光を導波管の中に結合する、内部結合要素と、導波管上に配置され、光を外部結合要素に分散させる、光分散要素(時として、直交瞳エクスパンダ(OPE)とも称される)と、光を視認者の眼に向かって指向する、外部結合要素(時として、射出瞳エクスパンダ(EPE)とも称される)とを伴う、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、本明細書に記載のように、ディスプレイ表面1202は、そこから画像情報を伴う光が、ディスプレイシステムから出力され、画像をユーザの眼内に形成する、表面または表面の一部である。例えば、ディスプレイ表面1202は、外部結合要素またはEPEによって定義された導波管表面上のエリアであってもよく、ディスプレイ表面1202の周は、外部結合要素またはEPEによって定義されたエリアの周である。ライトフィールドディスプレイおよびそのようなディスプレイのコンポーネントのさらなる実施例および詳細はまた、2018年3月14日に出願された、米国仮特許出願第62/642,761号(参照することによってその全体として本明細書に組み込まれる)の少なくとも図9A-9Cに関連して説明される。
いくつかの実施形態では、位置合わせ体積1302aのx寸法は、体積の背面(例えば、ディスプレイ表面からz-軸に沿った最大距離)に沿って、約3.0mm、3.0mm、3.5mm、4.0mm、4.5mm、4.7mm、5.0mm、5.5mm、または6.0mmに及んでもよい、または3.0mm未満または6.0mmを上回ってもよい。同様に、位置合わせ体積1302aのy寸法は、体積の背面に沿って、約2.5mm、3.0mm、3.5mm、3.9mm、4.0mm、4.5mm、5.0mm、5.5mm、または6.0mmに及んでもよい、または2.5mm未満または6.0mmを上回ってもよい。公称xおよびy位置では、位置合わせ体積1302aのz寸法は、約7.0mm、7.5mm、8.0mm、8.5mm、9.0mm、9.5mm、10.0mm、10.5mm、または11.0mmに及んでもよい、または7.0mm未満または11.0mmを上回ってもよい。xおよびy寸法は、体積の正面において、より大きくてもよい。実施例として、体積の正面における位置合わせ体積のxおよびy寸法は、約7.0mm、7.5mm、8.0mm、8.5mm、8.9mm、9.0mm、9.5mm、10.0mm、10.0mm、10.5mm、11.0mm、11.4mm、11.5mm、12.0mm、または12.5mm、または7.0mm未満または12.5mmを上回ってもよい。具体的実施例として、位置合わせ体積の寸法は、約9mmのz-寸法と、体積の背面における約4.7mmおよび体積の表面における約11.4mmのx-寸法と、体積の背面における約3.9mmおよび体積の正面における約8.9mmのy-寸法とを含んでもよい。
少なくともいくつかの実施形態では、それぞれ、異なる最小レベルのディスプレイ性能と関連付けられる、体積1302bおよび1304等の複数の位置合わせ体積が存在し得る。実施例として、図13Bの体積1304は、体積1302より小さくあり得、その中でユーザがディスプレイ表面1202によって提供されるコンテンツの全てを100%明度均一性で知覚する、体積を表し得る一方、より大きい体積1302bは、その中でユーザがディスプレイ表面1202によって提供されるコンテンツの少なくとも90%を100%明度均一性で知覚する、体積を表し得る。したがって、いくつかの実施形態では、ディスプレイシステムは、ユーザの眼が、ディスプレイの位置合わせ、すなわち、視認体積内にあるかどうかを決定するように構成されてもよく、および/またはユーザの眼が位置合わせ体積から閾値距離内にあるかどうかを決定するように構成されてもよい。例えば、いくつかの実施形態では、より小さい体積1304は、ベースライン位置合わせ体積または視認体積であると見なされ得、より大きい体積1302bの境界は、位置合わせ体積からの容認可能閾値距離の限界を定めると見なされ得る。いくつかの実施形態では、ディスプレイシステムが、眼の位置がディスプレイシステムの視認体積外の閾値距離を上回ることを決定する場合、ディスプレイシステムは、本明細書に議論されるように、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供し、および/または位置合わせずれによって生じる表示劣化を軽減させるためのアクションを講じるように構成されてもよい。
いくつかの実施形態では、ディスプレイ位置合わせ体積は、少なくとも部分的に、システム上で現在起動中である、または起動されるであろう、アプリケーションに基づいて、決定されてもよい。例えば、より大きいディスプレイ位置合わせ体積(例えば、体積1302b)は、その中で読取資料が、ディスプレイの視野の一部(例えば、中心部分)のみを占有し得る、読取ベースのアプリケーション等、その中で視野の一部のみが仮想コンテンツを表示するために利用される、アプリケーションを起動するとき、ディスプレイシステムによって採用されてもよい。その結果、位置合わせずれに起因する、視野の周縁における画像コンテンツを知覚するユーザの能力の損失は、そのような読取ベースのアプリケーションを起動しているとき、アプリケーションがコンテンツを周縁に提示し得ないため、知覚不可能であり得る。その結果、より大きいディスプレイ位置合わせ体積は、例えば、そのような画像位置合わせが、ディスプレイシステム上で起動されているアプリケーションによって提示されるコンテンツに影響を及ぼし得ないとき、位置合わせずれに関するユーザへの不必要な通知を低減させるために利用されてもよい。同様に、別の実施例では、より大きいディスプレイ位置合わせ体積(例えば、体積1302b)は、運動志向アプリケーション、または比較的に高レベルのユーザ関与および/または物理的アクティビティを要求する、別のアプリケーション等、その中で頭部搭載型ディスプレイがユーザの眼に対して偏移することが予期される、アプリケーションを起動するとき、ディスプレイシステムによって採用されてもよい。そのようなアプリケーションでは、位置合わせずれに関する通知は、例えば、注意を逸らすと見なされる、または別様にユーザ体験を損なわせ得る。すなわち、より大きいディスプレイ位置合わせ体積を提供することは、ディスプレイシステムがそのような修正をユーザのために生成するであろう、可能性を低減させる。いくつかの他の実施形態では、より小さいディスプレイ位置合わせ体積(例えば、体積1304)は、その中でディスプレイの完全視野を横断して、または視野の周辺部分に、コンテンツを提供することが所望される、アプリケーションを起動するときに利用されてもよい。そのようなアプリケーションは、その中でコンテンツがディスプレイの視野の全体を横断して表示される、没入型のゲーム用アプリケーションを含んでもよい。いくつかの実装では、ディスプレイ位置合わせ体積は、ユーザ選好、ユーザ視覚処方箋、システムの動作条件、および同等物を含む、他の要因に基づいて決定されてもよい。
図13Cおよび13Dは、眼の回転中心をユーザの眼およびディスプレイ表面に対する眼の位置を示す参照点として使用するように構成される、例示的ディスプレイ位置合わせ体積を図示する。特に、図13Cは、ユーザの眼1200内の位置合わせ体積1302b等のディスプレイ位置合わせ体積の例示的位置付けを図示する。図13Cの実施例では、眼1200の回転中心1204は、位置合わせ体積1302b内に概ね心合される。加えて、位置合わせ体積1302bは、約9mmの深度と、深度軸の中点における、約3.5mmの幅および3mmの高さの例示的寸法とともに図示される。本明細書に議論されるように、位置合わせ体積の寸法は、変動し得、ウェアラブルシステムの種々のコンポーネントの性質に関連し得る。図13Cはまた、眼1200の水晶体または瞳孔であり得る、眼構造1340を図示する。
図13Dは、ユーザの眼1200が、概して、位置合わせ体積1302b内に位置付けられ、ディスプレイ表面1202を通して、仮想コンテンツ1350を見ている、より大きいコンテキストを示す。本明細書に議論されるように、仮想コンテンツ1350等の仮想コンテンツは、ディスプレイ表面1202の深度を上回る深度と関連付けられた輻輳・開散運動および遠近調節キューとともに、ユーザに提供され得る。言い換えると、仮想コンテンツ1350は、眼1200を伴うユーザに、ディスプレイ1202よりユーザから離れた距離にあるように現れ得る。そのような配列は、図13Dの実施例に図示される。
図13Dを継続して参照すると、ディスプレイ位置合わせ体積1302bは、ディスプレイ表面1202の周から眼1200の内側の点までの投影によって定義された境界を有する、想像上の体積であり得ることを理解されたい。例えば、投影は、角錐を定義し得、ディスプレイ位置合わせ体積1302bは、その角錐の錐台であり得る。したがって、光学軸上のディスプレイ表面1202に面した平面に沿ったディスプレイ位置合わせ体積1302bの断面形状は、ディスプレイ表面1202の周によって作成される形状に類似する。例えば、図示されるように、ディスプレイ表面1202が正方形である場合、ディスプレイ位置合わせ体積1302bの断面形状もまた、正方形である。加えて、また、図示されるように、ディスプレイ表面1202の中心が、ユーザの水平線の下方にある場合、錐台もまた、ディスプレイ位置合わせ体積1302bの正面の中心もまたユーザの水平線の下方にあるように、傾けられ得る。いくつかの実施形態では、ディスプレイ表面1202の関連する周は、それにわたって画像光またはディスプレイコンテンツが出力される、ディスプレイのエリアの周であることを理解されたい。ディスプレイ位置合わせ体積1302bの境界は、その中に眼1200の回転中心1204等の種々の特徴がマッピングされる、同一座標系内に定義され、それによって、ディスプレイ位置合わせ体積1302bとこれらの種々の特徴との間の比較を可能にしてもよい。
いくつかの実施形態では、眼の回転中心1204は、ディスプレイ位置合わせ体積1302bを定義する、錐台内に心合される。しかしながら、眼の回転中心1204の公称場所および/または錐台の全体的形状は、ディスプレイシステムが、ディスプレイを適切に位置合わせし、位置合わせの質と、理想的ではない場合でも、容認可能であり得る、位置合わせのレベルに関する正確なフィードバックを提供することが可能であるように、実験的に決定される、またはディスプレイ表面1202からの投影以外の基準を使用して選択されてもよいことを理解されたい。
(種々の位置合わせ位置におけるディスプレイ性能の実施例)
図14は、ディスプレイ表面1202の性能がユーザの眼1200の位置に伴って変動し得る様子を図示する。図示されるように、ディスプレイ表面1202からの光線は、ディスプレイ表面1202の縁からの光線が眼1200に向かって内向きに伝搬するような角度で眼に指向され得る。したがって、円錐1202’は、ディスプレイ表面1202によって、眼1200に出力され、画像を形成する、光の円錐を表す。
その結果、ディスプレイ表面1202が、眼1200に対して偏移するにつれて、視野の個別の部分に対応するピクセルの射出瞳は、眼1200の網膜に到達せず、画像は、視野のそれらの部分では、暗く現れる。眼の回転中心の位置1204a、1204b、1204c、および1204dは、事実上、回転中心の理想化位置1204’に対して偏移される。すなわち、眼1200に対するディスプレイ表面1202の移動は、眼の回転中心を、可能性として、ディスプレイ表面1202のためのディスプレイ位置合わせ体積1302a、1304、1302b(図13Aおよび13B)外に移動させ得る。本明細書に議論されるように、ディスプレイ位置合わせ体積は、ディスプレイ表面1202に結び付けられ得、例えば、ディスプレイ位置合わせ体積は、ディスプレイ表面1202からの投影によって定義され得る。その結果、ディスプレイ表面1202が、眼1200に対して移動するにつれて、ディスプレイ位置合わせ体積1302a、1302b(図13Aおよび13B)も移動する。図14は、ユーザの眼の回転中心の種々の位置(例えば、位置1204a、1204b、1204c、および1204d)と、ディスプレイ表面1202の相対的位置と、ディスプレイ表面1202によって提供されるコンテンツが種々の位置のそれぞれにおいてユーザによってどのように知覚されるであろうかの表現(例えば、表現1400a、1400b、1400c、および1400d)とを図示する。
実施例1400aでは、ユーザの眼の回転中心は、位置合わせ体積1300b(例えば、眼1200がその網膜上でディスプレイ表面1202によって出力された画像光のほぼ全てを受け取ることに起因して、その中の画質が高い、体積)等の位置合わせ体積内に心合され得る、位置1204aにあり得る。表現1400aは、ユーザの眼が位置1204aにあるときのディスプレイ表面1202によって提供されるコンテンツのユーザの知覚(またはビュー)を表し得る。表現1400aによって示されるように、ディスプレイ表面1202を横断したコンテンツの実質的に全てに関する輝度は、均一であって、完全またはほぼ完全明度レベルにあり得る。
実施例1400bでは、ユーザの眼の回転中心は、体積1304(図13B)等の好ましいディスプレイ位置合わせ体積外であるが、体積1302b(例えば、その中のディスプレイ性能が若干のみ劣化される、体積)等の二次位置合わせ体積内にあり得る、位置1204bにあり得る。表現1400bは、ユーザの眼の回転中心が位置1204bにあるときのディスプレイ表面1202によって提供されるコンテンツのユーザの知覚(またはビュー)を表し得る。表現1400bによって示されるように、ディスプレイ表面1202の右側に沿った画像の部分1402は、ディスプレイ表面1202に対するユーザの眼の位置合わせずれに起因して、低減された明度(例えば、50%明度)の知覚を有し得る。
実施例1400cでは、ユーザの眼の回転中心は、体積1302b(図13B)等の第2の位置合わせ体積外(またはその外側縁上)にあり得る、位置1204cにあり得る。表現1400cは、ユーザの眼の回転中心が位置1204cにあるときのディスプレイ表面1202によって提供されるコンテンツのユーザの知覚(またはビュー)を表し得る。表現1400cによって示されるように、ユーザが知覚する、表示される画像の縁に沿った部分1406は、位置合わせずれに起因して、完全に(またはほぼ完全に)暗化されて現れ、したがって、ユーザによって見られ得ない。その中のディスプレイのいくつかのピクセルが知覚される輝度レベルを下回る、配列では、ディスプレイは、低減された視野を提供し得る(例えば、ユーザは、ディスプレイがそうでなければ提示することが可能な完全視野を知覚することが不可能であり得る)。加えて、暗い部分1406と表現の残りとの間で徐々に低減された明度を有する、画像の帯域または部分1404が存在し得る。
実施例1400dでは、ユーザの眼の回転中心は、所望の位置合わせ体積から大きく外れ得る、位置1204dにあり得る。表現1400dは、ユーザの眼の回転中心が位置1204dにあるときのディスプレイ表面1202によって提供されるコンテンツのユーザの知覚(またはビュー)を表し得る。表現1400dによって示されるように、有意な位置合わせずれに起因して、画像の大部分1410は、完全に(またはほぼ完全に)暗くユーザに現れ得、画像の実質的部分1408は、暗化されて現れ得る。
本明細書に議論されるように、ディスプレイシステムは、位置合わせずれに起因して暗化を受ける、ディスプレイの視野の部分の出力される光または知覚される明度を増加させるように構成され得ることを理解されたい。例えば、位置合わせずれが存在することを決定することに応じて、本明細書に議論されるように、ディスプレイシステムは、フラグまたは命令の形態における通知をディスプレイに提供し、位置合わせずれに起因して暗化を受けることが予期されるピクセルのためのユーザに出力される光の量を増加させてもよい。例えば、実施例1400bでは、部分1402内の画像情報を表すピクセルは、位置合わせずれから予期される知覚される明度の低減を軽減させるように、その知覚される明度を上昇させてもよい。
明度を上昇させ、暗化を補償する能力は、高レベルの位置合わせずれに伴って減少し得ることを理解されたい。例えば、実施例1400dでは、エリア1410は、眼1200がそれらのエリア内のピクセルから任意の光を受け取りないことに起因して、暗くなり得る。その結果、明度を上昇させることは、部分1402(実施例1400b)における位置合わせずれに起因する暗化を軽減させ得るが、明度を上昇させることは、位置合わせずれが眼が光を全く受け取らないように妨害するディスプレイの部分1410(実施例1400d)内の暗化を軽減させることを不可能にし得る。部分1410は、部分14より大きく、おおよその指標として、暗化されることが予期される部分のサイズは、明度を上昇させることが効果的であるかどうかを示し得る。すなわち、暗化されることが予期される部分のサイズ(例えば、ピクセルの数)が、十分に大きい場合、いくつかの実施形態では、位置合わせずれが、明度を上昇させることがそれらのピクセルの大部分にとって効果的ではないであろうほど十分に大きいと仮定され得る。その結果、いくつかの実施形態では、ディスプレイシステムは、暗化されることが予期される部分内のピクセルの数を比較し、その数が閾値を超える場合、ディスプレイおよび眼が適切に位置合わせされていないことを示す、フィードバックをユーザに提供するように構成されてもよい。
(ウェアラブルシステムのための交換可能フィット用部品の実施例)
図15Aおよび15Bは、交換可能フィット用部品を含み得る、ウェアラブルシステム220の分解斜視図を示す。特に、図15Aは、ウェアラブルシステム200が、パッド1500a、1500b、および1500c等の交換可能背面パディングを含み得る、様子を図示する一方、図15Bは、システム200が、パッド1502等の交換可能前額パッドおよびパッド1504等の交換可能鼻梁部パッドを含み得る、様子を図示する。これらの交換可能パッドは、変動する解剖学的属性(例えば、ディスプレイ220およびフレーム230が、種々の異なるユーザにとってフィットする程度)を有し得る、個々のユーザのためのウェアラブルシステム200のフィット感を調節するために使用されてもよい。実施例として、比較的に小頭部を伴うユーザは、比較的に大背面パッド1500a、1500b、および1500cをフレーム230に取り付けることから利点を享受し得る一方、比較的に大頭部を伴うユーザは、比較的に小背面パッドを取り付ける、またはさらに背面パッドを省略することによって、より良好な結果(例えば、より良好な光学性能およびその頭部上のフレーム300の安定性)を取得し得る。同様に、突出した鼻および/または前額を伴うユーザは、より小さい前額パッド1502および/または鼻梁パッド1504から利点を享受し得る一方、あまり突出していない鼻および/または前額を伴うユーザは、より大きい前額パッド1502および/または鼻梁パッド1504から利点を享受し得る。これらは、単に、例証的実施例であって、一般に、任意の特定のユーザのための最良適合をもたらす交換可能パッドのセットを決定することは、複雑であり得る。本明細書に説明されるように、ディスプレイシステムは、通知をユーザに表示し、異なる交換可能フィット用部品がユーザとのディスプレイの適切な位置合わせを提供するために望ましくあり得ることを示してもよい。
図15Aを参照すると、ウェアラブルシステムは、1つ以上の筐体開口部1510を含んでもよい。筐体開口部1510は、フレーム230内の開口部であってもよく、所望に応じて、随意に、ディスプレイの導波管の機械的保護のための光学的に透過性の構造等のレンズまたは他の構造を含んでもよい。筐体開口部1510内のレンズは、クリア(例えば、完全にまたはほぼ完全に透明)であってもよい、または部分的に不透明であってもよい(例えば、開口部1510を通して通過する周囲光のレベルを低減させるために)。フレーム230内の開口部は、略円形であるように図15Aに図示されるが、任意の所望の形状を有してもよい。
デバイス位置合わせを観察する例示的プロセス
図16は、デバイス位置合わせを観察し、位置合わせに関するフィードバックまたはウェアラブルデバイス内の位置合わせずれのための補償を提供するための例示的方法1600のプロセスフロー図である。方法1600は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法1600の実施形態は、ウェアラブルシステムによって、眼追跡システムからのデータに基づいて、位置合わせ(すなわち、ユーザとのウェアラブルデバイスのフィット感)に関するフィードバックを提供し、ディスプレイを調節し、フィット感誤差(例えば、位置合わせずれ)を補償するように試みるために使用されてもよい。
ブロック1602では、ウェアラブルシステムは、フィット感公差を取得してもよい。フィット感公差は、体積1302a、1302b、または1304等のディスプレイ位置合わせ体積と関連付けられた情報を含んでもよい。特に、フィット感公差は、ウェアラブルデバイスに対するユーザの眼の公称(例えば、正常)位置と関連付けられた情報を含んでもよく、公称位置からの分散がデバイス性能に影響を及ぼす程度と関連付けられた情報を含んでもよい。一実施例として、フィット感公差は、少なくともある所望の性能の量を伴って(例えば、ディスプレイ内の任意のピクセル上の50%以下の暗化を伴って)、ウェアラブルデバイスがユーザとインターフェースをとることが可能である、公称位置の範囲に関する情報を含んでもよい。
ブロック1604では、ウェアラブルシステムは、位置合わせデータを取得してもよい。位置合わせデータは、ウェアラブルシステムの種々のコンポーネントとユーザの関連付けられた部分との間の空間関係を含んでもよい。実施例として、位置合わせデータは、ウェアラブルシステムの左眼ディスプレイに対するユーザの左眼の3次元位置、右眼ディスプレイに対するユーザの右眼の3D位置、およびウェアラブルシステムのオーディオ出力(例えば、スピーカ、ヘッドホン、ヘッドセット等)に対するユーザの耳の3D位置のうちの1つ以上のものを含んでもよい。ウェアラブルシステムは、任意の好適な機構を使用して、位置合わせデータを取得してもよい。実施例として、ウェアラブルシステムは、図3に示されるタイプの眼追跡カメラ324(または内向きに面したカメラである場合とそうではない場合がある、他のカメラ)を使用して、ユーザの片眼または両眼の画像を捕捉し、ユーザの眼とウェアラブルシステムの相対的位置を決定してもよい。他の実施例として、ウェアラブルシステムは、深度センサ、圧力センサ、温度センサ、光センサ、オーディオセンサ、または他のセンサを含み、ユーザに対するウェアラブルデバイスの位置等の位置合わせデータを測定または取得してもよい。
ブロック1606では、ウェアラブルシステムは、フィット感特性を決定してもよい。実施例として、ウェアラブルシステムは、ユーザの左眼が左眼位置合わせ体積(左眼のための体積1302a、1302b、または1304のうちの1つ等)内にあるかどうかと、ユーザの右眼が右眼位置合わせ体積(右眼のための体積1302a、1302b、または1304のうちの1つ等)内にあるかどうかとを決定してもよい。ブロック1606はまた、その公称位置からのユーザの眼(または他の身体部分)の距離を決定するステップを伴ってもよい。実施例として、ウェアラブルシステムは、ブロック1606において、ユーザの眼のうちの少なくとも一方がその個別のディスプレイ位置合わせ体積外にあることと、ユーザの眼がそのディスプレイ位置合わせ体積外にある程度および方向とを決定してもよい。位置合わせずれの方向および大きさに関する情報(例えば、位置合わせ体積または公称位置とユーザの眼または他の身体部分の実際の位置との間の距離)は、有益なこととして、ブロック1608および1610において利用されてもよい。
ブロック1608では、ウェアラブルシステムは、ユーザ(またはある他のエンティティ)に、ブロック1608において決定されたフィット感特性に関するフィードバックを提供してもよい。実施例として、ウェアラブルシステムが、ブロック1606において、ウェアラブルデバイスがユーザの眼に対して低すぎると決定する場合、ウェアラブルシステムは、ユーザに、ブロック1608において、ユーザが適切な鼻梁パッド1504を利用する(例えば、いずれも以前に取り付けられていない場合、鼻梁パッドを追加する、または既存の鼻梁パッドをより大きいまたはより高い鼻梁パッドと付け替えるため)ことを示唆する通知を提供してもよい。逆に言えば、ウェアラブルデバイスが、ユーザの眼に対して高すぎると決定する場合、システムは、ユーザに、より小さい鼻梁パッドを使用する、またはパッドを完全に除去する(パッドを伴わずに装着可能であるように設計される場合)ための提案を提供してもよい。他の実施例として、ウェアラブルシステムは、ユーザに、パッド1502等の前額パッド、パッド1500a-1500c等の背面パッドに対する変更、ウェアラブルシステムの他の調節可能コンポーネントに対する変更、ユーザがウェアラブルシステムを装着している方法に対する変更(例えば、システムをユーザに対する特定の方向に移動または回転させるための命令)を提案する、フィードバックを提供してもよい。一般に、ユーザフィードバックは、ディスプレイに対するユーザの眼の位置またはシステムによって識別される可視画像部分等の他のメトリックに基づいて、生成されてもよい。実施例として、システムが、ユーザの眼が位置合わせ体積の上方にあることを決定すると、システムは、ユーザに、位置合わせずれを補正するために、ユーザがウェアラブルデバイスをその鼻梁に沿って押し上げることを推奨してもよい。
ユーザフィードバックは、任意の好適なデバイスを使用して提供されてもよい。実施例として、ユーザフィードバックは、ウェアラブルデバイス内のディスプレイまたは外部ディスプレイによって提示されるビデオを介して、またはウェアラブルデバイスまたは外部デバイスによって提示されるオーディオを介して、提供されてもよい。種々の実施形態では、ウェアラブルデバイスは、ユーザが比較的に直感的様式において適切な位置合わせを取得することを補助するための双方向ガイドを提供してもよい。実施例として、ウェアラブルデバイスは、2つの仮想標的を表示し得、一方は、ユーザの眼の位置を表し、他方は、公称位置合わせ位置を表す。次いで、ユーザがウェアラブルデバイスを移動させ、そのフィット感を調節するにつれて、ユーザは、その調節が位置合わせに影響を及ぼす程度を知覚することができ、ユーザは、迅速かつ直感的に、適切な位置合わせを達成することができる。
その中でユーザフィードバックがウェアラブルデバイスの一部であるディスプレイ等の出力デバイスによって提供される、配列では、ウェアラブルデバイスは、ユーザがフィードバックを知覚することが可能であることを確実にする様式において、ユーザフィードバックを提供してもよい。実施例として、図14の表現1400dを検討する。そのような実施例では、ウェアラブルシステムは、ユーザフィードバックを、図14の実施例1400dのディスプレイの不可視の右半分とは対照的に、ユーザによって知覚される表示される画像の部分、例えば、ディスプレイの左半分の中に移動させてもよい。
いくつかの実施形態では、本明細書に説明されるタイプのフィードバックは、小売環境では、販売員に提供されてもよく、フィードバックは、ネットワークを経由して、販売員のコンピュータまたはモバイルデバイスに通信されてもよい。
ブロック1608では、ウェアラブルシステムは、その出力および入力を調節し、未補正フィット感誤差を補償してもよい。いくつかの実施形態では、ブロック1608は、ユーザが、フィードバックに応答して、フィット感誤差を補正することに失敗した後のみ実施されてもよい。他の実施形態では、ブロック1608は、ユーザがフィット感誤差を補正するまで実施されてもよい。いくつかの実施形態では、ブロック1608は、ユーザがフィット感誤差を伴ったままウェアラブルシステムを使用し続けることを決定する度に実施されてもよい。いくつかの実施形態では、ブロック1608は、省略されてもよい。
実施例として、ウェアラブルシステムは、ブロック1608において、表示される画像の一部を調節することによって(例えば、図14に示されるタイプの位置合わせずれ誘発暗化を補償するため)、マイクロホン入力を調節する(例えば、ユーザがマイクロホンから離れすぎているとき、マイクロホン利得を上昇させる、またはユーザがマイクロホンに近すぎるとき、マイクロホン利得を低減させる)ことによって、スピーカ出力を調節することによって(例えば、ユーザが、それぞれ、ウェアラブルデバイス内のスピーカに近すぎる、またはそこから離れすぎているとき、スピーカ音量を上昇または低下させる)等、その出力および入力を調節してもよい。1つの特定の実施例として、ウェアラブルシステムは、位置合わせずれ誘発暗化を低減させる試みにおいて、図14の部分1402、1404、または1408等の画像の一部の輝度を選択的に上昇させてもよい。いくつかの他の実施形態では、ウェアラブルシステムは、図14の部分1406または1410等の画像のある部分がユーザに不可視であることを認識し得、それらの領域内における光出力を低減させ、ウェアラブルシステムによるエネルギー消費を低減させてもよい。例えば、画像の異なる部分が専用の選択的にアクティブ化される光源または光源の一部を有し得る構成では、画像の見えない部分と関連付けられた1つ以上の光源または光源の一部は、その光出力を低減またはオフにされてもよい。
(ディスプレイ位置合わせ体積を識別する実施例)
図17A-17Hは、ディスプレイによって投影されたライトフィールドの図と、ライトフィールドの交差部が、ディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。図18は、ディスプレイによって投影された重複ライトフィールドの上下図と、ライトフィールドの交差部がディスプレイ位置合わせ体積を部分的に定義し得る様子とを図示する。図17A-17Hおよび18が図示するように、ディスプレイ位置合わせ体積のサイズおよび形状は、部分的に、ディスプレイ(図2のディスプレイ220であり得る)の幾何学形状および外部結合される光がディスプレイから外に(例えば、導波管ディスプレイから外に)伝搬する角度に依存し得る。光が出力される角度は、ディスプレイのFOVを定義し得ることを理解されたい。すなわち、法線に対する角度が大きいほど、より大きいFOVを提供する。いくつかの実施形態では、ディスプレイ表面は、所望のFOVを提供するために十分に大きい角度を出力し得る。
図17A-17Hおよび18は、導波管1701、内部結合要素1702、直交瞳エクスパンダ(OPE)1704、および射出瞳エクスパンダ(EPE)1706等の要素を含む、ライトフィールドディスプレイ(図12A-14を含む、本明細書の種々の他の図にもまた図示される、ディスプレイ表面1202を形成することができる)であり得る、ディスプレイ220を図示する。実施例として、内部結合要素1702は、画像源からの光を受け取り、光を導波管1701の中に結合することができる。導波管1701は、光をOPE1704に伝達することができ、OPE1704は、瞳拡張を提供し、光をEPE1706に指向し得、EPE1706(ディスプレイ表面1202上に提供されることができる)は、さらなる瞳拡張を提供し、光をユーザの眼に伝達する。ライトフィールドディスプレイおよびそのようなディスプレイのコンポーネントのさらなる実施例および詳細はまた、2018年3月14日に出願された米国仮特許出願第62/642,761号(参照することによってその全体として本明細書に組み込まれる)の少なくとも図9A-9Cに関連して説明される。
図17Aは、ディスプレイ220が光学無限遠およびディスプレイのFOVの最右領域(例えば、最右ピクセル)における仮想画像コンテンツと関連付けられた光1710を投影する、実施例を図示する。対照的に、図17Bは、ディスプレイ220は、ディスプレイのFOVの光学無限遠および最左領域(例えば、最左ピクセル)におおけるオブジェクトと関連付けられた光1712を投影する、実施例を図示する。図17Cは、図17Aの光1710および図17Bの光1712の重複領域1714を図示する。領域1714は、水平位置合わせ体積であり得る。特に、ユーザの眼が、図17Cの領域1714内に配置されると、ユーザは、オブジェクトをFOVの最右領域(図17Aにおけるように)およびFOVの最左領域(図17Bにおけるように)の両方において知覚することが可能である(例えば、ディスプレイ220は、ユーザにそこからの光を提供することが可能である)。
図17D-Fは、図17A-17Eのものに類似するが、垂直方向における、実施例を図示する。特に、図17Dは、ディスプレイ220は、光学無限遠およびディスプレイのFOVの最下領域(例えば、最下ピクセル)におけるオブジェクトと関連付けられた光1716を投影する、実施例を図示する一方、図17Eは、ディスプレイ220は、光学無限遠およびディスプレイのFOVの最上領域(例えば、最上ピクセル)におけるオブジェクトと関連付けられた光1718を投影する、実施例を図示する。同様に、図17Fは、図17Dの光1716および図17Eの光1718の重複領域1720を図示する。領域1720は、垂直位置合わせ体積であり得る。特に、ユーザの眼が図17Fの領域1720内に配置されると、ユーザは、FOVの最下領域(図17Dにおけるように)およびFOVの最上領域(図17Eにおけるように)の両方におけるオブジェクトを知覚することが可能である(例えば、ディスプレイ220は、ユーザにそこからの光を提供することが可能である)。
図17Gおよび17Hは、図17Cの領域1714と図17Fの領域1720の交差部(領域1722として)を図示する。特に、図17Gは、その中でディスプレイ220のFOVの4つの角におけるオブジェクトからの光が重複する、領域1722を図示する。図17Hは、単に、領域1722の輪郭を図示する。明白となるはずであるように、ユーザの眼が、領域1722内に配置されると、ユーザは、ディスプレイのFOV内の任意の場所におけるオブジェクトを知覚することが可能である(例えば、ディスプレイ220は、ユーザにそこからの光を提供することが可能である)。いくつかの実施形態では、ディスプレイ220の位置合わせ体積は、それを通して、頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される、頭部搭載型ディスプレイの視認体積であると理解され得る。
いくつかの実施形態では、他の属性(ディスプレイサイズ等)を一定に保持しながら、ディスプレイ220のFOVを増加させる(水平に、垂直に、またはそれらの組み合わせにおいて)ことは、関連位置合わせ体積(例えば、水平体積1714、垂直体積1720、または組み合わせられた位置合わせ体積1722)を縮小する影響を有し得る。実施例として、図17A-Cおよび水平FOVおよび位置合わせ体積1714を検討する。ディスプレイ220の水平FOVにおける増加は、右水平縁上のオブジェクトからの光1710が、ディスプレイ表面1202(例えば、EPE1706)によってより鋭角(例えば、ディスプレイ表面1202に対する法線からより大きい角度)で投影されることを意味する。同様に、左水平縁上のオブジェクトからの光1712も、より鋭角で投影される。したがって、図17Cの視点では、水平位置合わせ体積1714の頂点は、水平FOVの増加に伴って、ディスプレイ表面1202に向かって移動し、それによって、体積1714を縮小させる。類似考慮点は、いくつかの実施形態では、垂直FOVおよび垂直位置合わせ体積および全体的FOVおよび全体的位置合わせ体積にも適用され得る。
図18は、長方形形状および特定のFOVを有し得る、ディスプレイ表面1202、およびディスプレイによって生産された光線を含む、ディスプレイ220の上下図を示す。一般に、図18のディスプレイ220の位置合わせ体積は、図18の上下視点では、三角形に現れる、体積1802であり得る。体積1802は、図17A-17Gに示される光によって形成される種々のライトフィールドが重複する、体積を表し得る。ユーザの眼が、体積1802外(例えば、体積1804内)に位置する場合、ディスプレイ220の少なくとも一部からのライトフィールドの光は、ユーザの眼に到達することができず、FOVの一部の部分的または完全暗化をもたらすであろうことを理解されたい。
ディスプレイの側面図および位置合わせ体積は、図18に示されるものとほぼ同一外観(少なくとも、長方形ディスプレイに関して)を有するであろうが、ディスプレイ220の図示される寸法は、その幅ではなく、ディスプレイ220の高さとなり、図示されるFOVは、図18に示される水平FOVではなく、垂直FOVとなるであろうことに留意されたい。したがって、体積1802は、実際には、略角錐形状を有し得る。他の実施形態では、ディスプレイは、円形形状、楕円形形状、自由形態形状、または任意の他の所望の形状等の非長方形形状を有してもよい。そのような実施形態では、対応する位置合わせ体積は、ライトフィールドを関連FOVに投影し、それらのライトフィールドが交差する場所(体積1802に対応し得る)およびライトフィールドが交差しない場所(体積1804に対応し得る)を識別することによって決定されてもよい。
本明細書に議論されるように、角錐の「底辺」は、切頭されてもよく(適切に位置合わせされているとき、ユーザの睫毛がディスプレイに影響を及ぼさないように、ユーザの眼をディスプレイから離れるように移動させることに役立ち得る)、角錐の「上部」もまた、切頭されてもよい(そうでなければ、角錐形状の位置合わせ体積の「上部」において、急速に位置合わせ状態になったり、そこからずれたりし得る、ユーザの眼の場所決定における雑音の影響を低減させる際に有用であり得る)。「上部」は、体積1802の頂点に近接し、「底辺」は、導波管1701に近接することを理解されたい。ユーザの眼が、位置合わせ体積1802外の領域1804内に位置するとき、ユーザは、本明細書に議論されるように、ディスプレイ220のピクセルの一部または全部の暗化を知覚し得る(例えば、図14参照)。
一般に、位置合わせ体積は、種々の理由から、任意の数の方法において調節されてもよい(例えば、切頭または別様に低減される)。実施例として、位置合わせ体積は、体積が、ディスプレイ220から最小距離を有し、ユーザの睫毛または瞼がディスプレイ220に影響を及ぼすことを防止するように、切頭されてもよい。その結果、いくつかの実施形態では、ディスプレイシステム(例えば、ディスプレイシステムの処理電子機器)は、少なくとも部分的に、片眼または両眼がディスプレイ220から最小閾値距離(例えば、最小許容可能距離)未満にあるかどうかを決定することによって、ユーザの眼が位置合わせ体積1802内にあるかどうかを決定するように構成されてもよい。眼が、ディスプレイから最小閾値距離未満にあると決定される場合、ディスプレイシステムは、眼が位置合わせ体積1802外にあって、したがって、ディスプレイおよび眼が適切に位置合わせされていないことを意味すると本結果を解釈し得る。その結果、ディスプレイシステムは、本明細書に議論されるように、位置合わせが不適切であることを示す、フィードバックをユーザに提供してもよく、および/または位置合わせずれによって生じる表示劣化を軽減させるためのアクションを講じるように構成されてもよい。いくつかの実装では、そのような最小閾値距離は、1つ以上の寸法において変動し得る。例えば、最小閾値距離は、ディスプレイの公称位置および/または表面からの距離の関数として、z-軸に沿って線形に変動し得る。
眼がディスプレイ220から最小距離内にあるかどうかを決定することに加えて、または代替として、いくつかの実施形態では、ディスプレイシステム(例えば、ディスプレイシステムの処理電子機器)は、少なくとも部分的に、片眼または両眼がディスプレイ220からの最大閾値距離を上回るかどうかを決定することによって、ユーザの眼が位置合わせ体積1802内にあるかどうかを決定するように構成されてもよい。最大閾値距離は、上記の角錐1802の「上部」が切頭される距離に対応し得ることを理解されたい。眼が、ディスプレイからの最大閾値距離を上回ると決定される場合、ディスプレイシステムは、眼が位置合わせ体積1802外にあって、したがって、ディスプレイおよび眼が適切に位置合わせされていないことを意味すると本結果を解釈し得る。その結果、ディスプレイシステムは、本明細書に議論されるように、位置合わせが不適切であることを示す、フィードバックをユーザに提供してもよく、および/または位置合わせずれによって生じる表示劣化を軽減させるためのアクションを講じるように構成されてもよい。
眼がディスプレイ220から最小距離内にある、および/または最大距離を超えるかどうかを決定することに加えて、または代替として、ウェアラブルシステムは、ユーザの眼が、ディスプレイ位置合わせ体積と正確に重複し得ない、眼追跡体積内にある場合、ユーザの眼のみを追跡し得る、図6のカメラ324および光源326等の要素を含む、眼追跡システムを有してもよい。いくつかの実施形態では、眼追跡システムのカメラは、ディスプレイ位置合わせ体積を包含する、視野を有してもよい。したがって、ディスプレイ位置合わせ体積は、カメラの視野のサブ空間または一部と見なされ得る。ディスプレイシステムは、カメラによって結像されるとき、ユーザの眼が、そのサブ空間内にある、またはそのサブ空間から閾値距離内にあるかどうかを決定するように構成されてもよい。眼が、サブ空間内またはサブ空間から閾値距離内にある場合、ディスプレイシステムは、眼がディスプレイ位置合わせ体積内にあることを意味すると本結果を解釈し得る。眼が、サブ空間外または対象から閾値距離外にある場合、ディスプレイシステムは、眼がディスプレイ位置合わせ体積外にあることを意味すると本結果を解釈し得る。ディスプレイシステムが、眼がディスプレイ位置合わせ体積外にあることを決定する場合、ディスプレイシステムは、本明細書に議論されるように、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに表示および提供するように構成されてもよく、および/または位置合わせずれによって生じる表示劣化を軽減させるためのアクションを講じるように構成されてもよい。
筐***置合わせ体積およびシステム位置合わせ体積の実施例
図19Aは、例示的筐***置合わせ体積1900を図示する。周囲環境からの光は、ディスプレイのフレームまたは筐体内の開口部を通して通過し、ユーザに到達する。ディスプレイのためのフレームまたは筐体は、いくつかの角度からの一部の周囲光がユーザの眼に到達しないように遮断し得ることを理解されたい。その結果、ディスプレイ位置合わせ体積と同様に、筐***置合わせ体積1900は、外部環境からの光を受け取り、ディスプレイの筐体またはフレームを通して利用可能な完全視野を作成するように、その中にユーザの眼が位置付けられる、空間体積を表し得る。いくつかの実施形態では、ユーザの眼の回転中心は、好ましくは、眼が外部環境からの光を完全な利用可能な視野に対応する角度で受け取るように、筐***置合わせ体積1900内に位置する。いくつかの実施形態では、ユーザの眼の回転中心が、筐***置合わせ体積1900内に位置するとき、ユーザは、彼らの周囲の世界の容認可能部分を見ることが可能である。ユーザの眼とウェアラブルシステムの適切な位置合わせ(例えば、回転中心を筐***置合わせ体積1900内に提供することによって)は、ユーザがその経路内の障害物を見ることが可能となるであろう、可能性を低減させることに役立ち得、ユーザに、重複し、双眼視覚を促進する、左および右視野を提供し得、および/またはより快適な視覚的体験をユーザに提供し得る。
図19Aに示されるように、筐***置合わせ体積1900は、図15Aに関連して前述のように、ウェアラブルシステムのフレーム230内の開口部(またはレンズ)であり得る、筐体開口部1510を参照して部分的または全体的に決定されてもよい。筐***置合わせ体積1900は、実施例として、筐体開口部1510の形状およびサイズによって定義された底辺を伴う、円錐状形状を有してもよい。筐体開口部1510の最近傍の円錐状形状の部分および筐体開口部1510から最も遠い部分は、切頭されてもよく(例えば、筐***置合わせ体積1900から除外される)、これは、適切に位置合わせされているとき、ユーザの睫毛がディスプレイに影響を及ぼさないように、ユーザの眼をディスプレイおよび筐体開口部1510から離れるように移動させることに役立ち得、かつそうでなければ、円錐形状の位置合わせ体積の「上部」における小体積内で急速に位置合わせ状態になったり、そこからずれたりし得る、ユーザの眼の場所決定における雑音の影響を低減させることに役立ち得る。いくつかの実施形態では、ディスプレイシステムは、ユーザの眼(例えば、眼の回転中心)が筐***置合わせ体積1900内にあるかどうかを決定し、ユーザの眼が位置合わせ体積1900外にある場合、位置合わせずれの通知を提供するように構成されてもよい。
図19Bは、図1900の筐***置合わせ体積1900(筐体開口部1510と関連付けられる)上に重畳される、図13Aのディスプレイ位置合わせ体積1302a(ディスプレイ表面1202と関連付けられる)を図示する。少なくともいくつかの実施形態では、ユーザの眼の回転中心が、図19Aの筐***置合わせ体積1900および図13Aのディスプレイ位置合わせ体積1302a(または本明細書で議論される他のディスプレイ位置合わせ体積のいずれか)等のディスプレイ位置合わせ体積の両方内に位置することが望ましくあり得る。ユーザの眼が、筐体およびディスプレイ位置合わせ体積の両方内に位置するとき、ユーザは、画像情報をディスプレイデバイスから受け取ることが可能である(ディスプレイデバイスによって提供される完全視野を伴う)一方、また、筐体によって提供される外部環境の完全視野を視認することも可能であり得る。
図19Cは、組み合わせられた位置合わせ体積1902内の全点が筐体およびディスプレイ位置合わせ体積の両方内(例えば、ディスプレイ位置合わせ体積1302aおよび筐***置合わせ体積1900内)にある、組み合わせられた位置合わせ体積1902の実施例を図示する。図19Bおよび19Cに示されるように、少なくともいくつかの実施形態では、ディスプレイ位置合わせ体積1302aは、概して、筐***置合わせ体積1900より小さくあり得る(例えば、筐***置合わせ体積1900は、ディスプレイ位置合わせ体積1302aの角においてのみより小さくあり得る)。そのような実施形態では、組み合わせられた位置合わせ体積1902は、図19Cに図示されるように、丸みを帯びた角を有する切頭角錐に類似する、形状を有してもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザの眼(例えば、眼の回転中心)が、筐***置合わせ体積1900、ディスプレイ位置合わせ体積1204、または筐***置合わせ体積1900およびディスプレイ位置合わせ体積1204の両方内にあるかどうかを決定するように構成されてもよい。ユーザの眼が、分析されている特定の体積外にある場合、ディスプレイシステムは、ユーザの眼が分析されている位置合わせ体積(例えば、筐***置合わせ体積1900、ディスプレイ位置合わせ体積1204、または筐***置合わせ体積1900、ディスプレイ位置合わせ体積1204の両方)外にある場合の位置合わせずれの通知を提供するように構成されてもよい。
例えば、いくつかの実施形態では、筐***置合わせ体積1900およびディスプレイ位置合わせ体積1204によって定義された組み合わせられた重複位置合わせ体積は、ユーザの眼が本組み合わせられた位置合わせ体積内にあるかどうかを決定するために分析されてもよい。いくつかの実施形態では、これは、外側筐体とも称され得る、筐体の位置合わせまたは視認体積の一部またはサブ空間であると理解され得る。ディスプレイシステムは、ユーザの眼が本サブ空間(またはサブ空間外の容認可能閾値距離)内にあるかどうかを決定するように構成されてもよい。ディスプレイシステムが、眼の位置がディスプレイの外側筐体の視認体積のサブ空間外の閾値距離を上回ることを決定する場合、ディスプレイおよび眼が適切に位置合わせされていないことを示す、フィードバックをユーザに提供してもよい。
(周囲環境内のオブジェクトを検出するためのコンピュータビジョン)
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して遂行されてもよい。
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および/または眼認識を実施し、ユーザの視野内の顔および/またはヒトの眼の存在および場所を決定するように構成されてもよい。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
これらのコンピュータビジョン技法のうちの1つ以上のものはまた、他の環境センサ(例えば、マイクロホン等)から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
本明細書に議論されるように、周囲環境内のオブジェクトは、1つ以上の基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または1つ以上のセンサアセンブリ(ディスプレイシステムの一部である場合とそうではない場合がある)から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
(機械学習)
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Gneralization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
オブジェクトを検出するための基準は、1つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および/またはオブジェクトが環境内に存在する可能性と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および/またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および/またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび/またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実施形態は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態において、不揮発性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つ以上の一部であり得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
(他の考慮点)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含んでもよい。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されてもよい。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれてもよい。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されてもよい。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。

Claims (38)

  1. 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
    前記ユーザの頭部上に支持されるように構成されるフレームと、
    前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
    前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
    前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
    前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイのディスプレイ位置合わせ体積内にあるかどうかを決定することと、
    前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
    を行うように構成される、処理電子機器と
    を備え
    前記処理電子機器は、前記ディスプレイに、前記ディスプレイの複数のピクセルの明度を前記ディスプレイの他のピクセルに対して上昇させる命令を提供することによって、前記通知を提供するように構成され、上昇された明度を伴う前記複数のピクセルは、不適切である位置合わせ下で暗化した知覚を受けることが予期されるピクセルを含む、ディスプレイシステム。
  2. 前記処理電子機器はさらに、前記眼の位置が前記ディスプレイ位置合わせ体積外にあることを決定することに応じて、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供するように構成され、前記フィードバックは、前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて提供される通知である、請求項1に記載のディスプレイシステム。
  3. 前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、請求項1に記載のディスプレイシステム。
  4. 前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、請求項3に記載のディスプレイシステム。
  5. 前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、請求項3に記載のディスプレイシステム。
  6. 前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、請求項3に記載のディスプレイシステム。
  7. 前記処理電子機器はさらに、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供することを含む前記通知を提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案を前記ユーザに提供することを含むように構成される、請求項3に記載のディスプレイシステム。
  8. 前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、1つ以上の光源をさらに備え、前記1つ以上の眼追跡カメラは、前記1つ以上の光源からの光を使用して、前記眼の画像を形成する、請求項1に記載のディスプレイシステム。
  9. 前記1つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する少なくとも2つの光源を備える、請求項8に記載のディスプレイシステム。
  10. 前記1つ以上の光源は、赤外線光エミッタを備える、請求項8に記載のディスプレイシステム。
  11. 1つ以上の光源は、1つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記1つ以上の閃光に基づいて、角膜の場所を決定するように構成される、請求項8に記載のディスプレイシステム。
  12. 前記眼の位置は、前記眼の回転中心の場所である、請求項8に記載のディスプレイシステム。
  13. 膜は、それと関連付けられた曲率中心を有する角膜球面を有し、前記処理電子機器は、前記角膜球面の曲率中心の場所を決定するように構成される、請求項1に記載のディスプレイシステム。
  14. 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
    前記ユーザの頭部上に支持されるように構成されるフレームと、
    前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
    前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
    前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
    前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイの視認体積外の第1の閾値距離を上回るかどうかを決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイの視認体積外の前記第1の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
    を行うように構成される、処理電子機器と
    を備える、ディスプレイシステム。
  15. 前記処理電子機器は、少なくとも、
    前記眼の位置が前記頭部搭載型ディスプレイから第2の閾値距離未満かどうかを決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイから前記第2の閾値距離未満であることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
    によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。
  16. 前記処理電子機器は、少なくとも、
    前記眼の位置が前記頭部搭載型ディスプレイから第2の閾値距離を上回るかどうかを決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイから前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
    によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。
  17. 前記処理電子機器は、少なくとも、
    前記眼の位置が前記眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
    前記眼の位置が前記眼追跡カメラの視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
    によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。
  18. 前記頭部搭載型ディスプレイの視認体積は、それを通して前記頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される体積である、請求項14に記載のディスプレイシステム。
  19. 前記処理電子機器は、少なくとも、
    前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
    前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
    によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。
  20. 前記処理電子機器はさらに、
    前記ディスプレイシステム上で起動しているアプリケーションを識別することと、
    前記識別されたアプリケーションに基づいて、前記第1の閾値距離を決定することと
    を行うように構成される、請求項14に記載のディスプレイシステム。
  21. 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
    前記ユーザの頭部上に支持されるように構成されるフレームと、
    前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
    前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
    前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
    前記頭部搭載型ディスプレイによって投影された光が、前記ユーザの眼によって適切に位置合わせされているかどうかを決定することと、
    前記頭部搭載型ディスプレイが、前記ディスプレイシステムによって投影された光を位置合わせするために前記ユーザにフィットするように適切に調節されていない場合、フィードバックを前記ユーザに提供することと
    前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていない結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイの複数のピクセルを識別することと、
    前記頭部搭載型ディスプレイの前記複数のピクセルの明度を前記頭部搭載型ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
    を行うように構成される、処理電子機器と
    を備える、ディスプレイシステム。
  22. 前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、請求項21に記載のディスプレイシステム。
  23. 前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、請求項22に記載のディスプレイシステム。
  24. 前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、請求項22に記載のディスプレイシステム。
  25. 前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、請求項22に記載のディスプレイシステム。
  26. 前記処理電子機器はさらに、前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案を前記ユーザに提供することを含むように構成される、請求項22に記載のディスプレイシステム。
  27. ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
    前記眼の第1の位置を決定することと、
    前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
    前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
    前記眼の第1の位置が、前記ディスプレイ位置合わせ体積外にある結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別することと、
    前記ディスプレイの前記複数のピクセルの明度を前記ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
    を含む、方法。
  28. 前記頭部搭載型ディスプレイシステムは、眼追跡カメラを備え、前記眼の第1の位置を決定することは、前記眼追跡カメラを利用して、前記ユーザの眼を結像することを含む、請求項27に記載の方法。
  29. 前記眼の第1の位置は、前記眼の回転中心の位置であり、前記眼追跡カメラによる前記眼の結像に基づいて、前記眼の回転中心を計算することをさらに含む、請求項28に記載の方法。
  30. 前記頭部搭載型ディスプレイシステムは、光を前記眼の中に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記ウェアラブルシステムが適切にフィットされていることのインジケーションを表示することをさらに含む、請求項27に記載の方法。
  31. 前記頭部搭載型ディスプレイシステムを用いて、前記眼の回転中心を経時的に自動的に追跡し、前記眼の回転中心が前記位置合わせディスプレイ体積外に移動すると、前記ユーザに通知することをさらに含む、請求項27に記載の方法。
  32. 前記眼の第2の位置を決定することと、
    前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることを決定することと、
    前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることの決定に応答して、前記ウェアラブルシステムが、前記ユーザに適切にフィットされていることを示す付加的フィードバックを前記ユーザに提供することと
    をさらに含む、請求項27に記載の方法。
  33. 前記ユーザの眼が、前記ディスプレイ位置合わせ体積内にないとき、前記頭部搭載型ディスプレイシステムの少なくともいくつかのピクセルは、暗化される、または前記ユーザに不可視になる、請求項27に記載の方法。
  34. ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
    前記眼の第1の位置を決定することと、
    前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
    前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと、
    前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、前記頭部搭載型ディスプレイシステムの視野を変化させること
    含み、
    前記頭部搭載型ディスプレイシステムは、前記眼の位置が、前記ディスプレイ位置合わせ体積内にあるとき、第1の視野を有する少なくとも1つのディスプレイを備え、前記ディスプレイは、前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、前記第2の視野は、前記第1の視野より小さい方法。
  35. 前記通知を提供することは、前記第2の視野内においてフィードバックを前記ユーザに提供することを含む、請求項34に記載の方法。
  36. 前記ウェアラブルシステムは、少なくとも1つの交換可能フィット用部品を備え、
    前記ウェアラブルシステムが前記ユーザに適切にフィットされていないことを示す通知を前記ユーザに提供することをさらに含み、
    前記通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するための前記ユーザへの提案または命令を含む、請求項27に記載の方法。
  37. 前記交換可能フィット用部品は、鼻梁パッド、前額パッド、および前記ウェアラブルシステムと前記ユーザの頭部の背面との間に収まる背面パッドから成る群から選択される少なくとも1つのフィット用部品を備える、請求項36に記載の方法。
  38. 前記ウェアラブルシステムは、少なくとも1つの交換可能鼻梁パッドを備え、前記頭部搭載型システムのディスプレイが前記眼に対して低すぎることを決定することをさらに含み、前記通知を前記ユーザに提供することは、より大きい鼻梁パッドを据え付けるように前記ユーザにプロンプトすることを含む、請求項37に記載の方法。
JP2020536814A 2018-01-17 2019-01-17 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 Active JP7291708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023070734A JP2023083526A (ja) 2018-01-17 2023-04-24 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862618559P 2018-01-17 2018-01-17
US62/618,559 2018-01-17
US201862644321P 2018-03-16 2018-03-16
US62/644,321 2018-03-16
US201862702849P 2018-07-24 2018-07-24
US62/702,849 2018-07-24
PCT/US2019/014086 WO2019143864A1 (en) 2018-01-17 2019-01-17 Display systems and methods for determining registration between a display and a user's eyes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023070734A Division JP2023083526A (ja) 2018-01-17 2023-04-24 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2021511564A JP2021511564A (ja) 2021-05-06
JP7291708B2 true JP7291708B2 (ja) 2023-06-15

Family

ID=67213314

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020536814A Active JP7291708B2 (ja) 2018-01-17 2019-01-17 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP2023070734A Pending JP2023083526A (ja) 2018-01-17 2023-04-24 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023070734A Pending JP2023083526A (ja) 2018-01-17 2023-04-24 ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法

Country Status (9)

Country Link
US (3) US10917634B2 (ja)
EP (2) EP3740847B1 (ja)
JP (2) JP7291708B2 (ja)
KR (1) KR20200108857A (ja)
CN (1) CN111771179A (ja)
AU (1) AU2019209950A1 (ja)
CA (1) CA3088116A1 (ja)
IL (2) IL311004A (ja)
WO (1) WO2019143864A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
JP2018061621A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
US10984237B2 (en) * 2016-11-10 2021-04-20 Neurotrack Technologies, Inc. Method and system for correlating an image capturing device to a human user for analyzing gaze information associated with cognitive performance
EP3701312A4 (en) 2017-10-22 2020-11-11 Lumus Ltd. HEAD-MOUNTED AUGMENTED REALITY DEVICE USING AN OPTICAL BENCH
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
CN111971609B (zh) * 2018-04-06 2023-03-14 依视路国际公司 用于定制被适配用于生成虚像的头戴式装置的方法
US11762207B2 (en) * 2018-06-29 2023-09-19 Magic Leap, Inc. Head mounted audio-visual display system
US11768377B2 (en) 2018-07-13 2023-09-26 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
WO2020154524A1 (en) 2019-01-25 2020-07-30 Magic Leap, Inc. Eye-tracking using images having different exposure times
FR3093215B1 (fr) * 2019-02-22 2021-08-27 Fogale Nanotech Procédé et dispositif de surveillance de l’environnement d’un robot
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11181973B2 (en) * 2019-05-09 2021-11-23 Apple Inc. Techniques related to configuring a display device
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的***和技术
US11153512B1 (en) 2019-05-29 2021-10-19 Facebook Technologies, Llc Imaging and display with ellipsoidal lensing structure
US11353698B1 (en) 2019-05-29 2022-06-07 Facebook Technologies, Llc Dual Purkinje imaging with ellipsoidal lensing structure
AU2020301646B2 (en) 2019-06-27 2024-05-02 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
US11064188B2 (en) * 2019-07-29 2021-07-13 Htc Corporation Driving method for calculating interpupillary distance and related head-mounted device
CN112346558A (zh) * 2019-08-06 2021-02-09 苹果公司 眼睛跟踪***
JP7499466B2 (ja) * 2019-08-06 2024-06-14 パナソニックIpマネジメント株式会社 表示装置
CN112419986A (zh) * 2019-08-20 2021-02-26 Oppo广东移动通信有限公司 头戴式显示设备的图像显示方法、装置及***
CN114341781A (zh) * 2019-09-09 2022-04-12 苹果公司 使用定向光源的基于闪光的注视跟踪
IL269809B (en) * 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11269181B2 (en) * 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11375180B2 (en) * 2019-12-10 2022-06-28 Yousseff El Moumni Video engine for generating an enhanced impression of depth based upon two-dimensioned video content
CN110933390B (zh) * 2019-12-16 2022-01-07 Oppo广东移动通信有限公司 基于图像投影的显示方法及装置
CN110927973A (zh) * 2019-12-16 2020-03-27 Oppo广东移动通信有限公司 显示装置
CN113010125B (zh) 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
JP2023509305A (ja) 2019-12-25 2023-03-08 ルムス エルティーディー. 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021179876A1 (en) * 2020-03-09 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for implementing adaptive feature detection for vslam systems
US11768379B2 (en) * 2020-03-17 2023-09-26 Apple Inc. Electronic device with facial sensors
US11474358B2 (en) * 2020-03-20 2022-10-18 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
CN116137801A (zh) 2020-07-23 2023-05-19 奇跃公司 使用交替采样的眼睛跟踪
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
US11410580B2 (en) 2020-08-20 2022-08-09 Facebook Technologies, Llc. Display non-uniformity correction
US11774759B2 (en) 2020-09-03 2023-10-03 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
CN116420104A (zh) 2020-09-30 2023-07-11 海思智财控股有限公司 用于虚拟实境及扩增实境装置的虚拟影像显示***
EP3985483A1 (en) * 2020-10-19 2022-04-20 Carl Zeiss Vision International GmbH Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program
KR20220063467A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 디스플레이를 포함하는 웨어러블 전자 장치
CN112634127B (zh) * 2020-12-22 2022-07-29 天津大学 一种无监督立体图像重定向方法
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
US11681363B2 (en) 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
EP4232868A4 (en) 2021-05-19 2024-04-17 Lumus Ltd. ACTIVE OPTICAL ENGINE
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
WO2023238197A1 (ja) * 2022-06-06 2023-12-14 株式会社ソニー・インタラクティブエンタテインメント 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20150035744A1 (en) 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices
US20170212351A1 (en) 2016-01-07 2017-07-27 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5844656A (en) * 1996-11-07 1998-12-01 Xybernaut Corporation Head mounted display with adjustment components
JPH11155152A (ja) 1997-11-21 1999-06-08 Canon Inc 三次元形状情報入力方法及び装置及び画像入力装置
TW487892B (en) * 1999-08-31 2002-05-21 Shimadzu Corp Head display
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) * 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US20030030597A1 (en) * 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
JP2003307774A (ja) 2002-04-17 2003-10-31 Canon Inc 視線検出機能付き光学機器
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
WO2006017771A1 (en) * 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP5600240B2 (ja) 2005-07-19 2014-10-01 ウェルズ ファーゴ バンク ナショナル アソシエイション 重合体マレイミド類を調製する方法
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP4379409B2 (ja) 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US20070273983A1 (en) * 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
WO2008007781A1 (fr) 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
EP2078229A2 (en) * 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US8066372B2 (en) 2007-10-23 2011-11-29 Mcgill University Binocular vision assessment and/or therapy
IL196078A (en) * 2007-12-20 2014-09-30 Raytheon Co Imaging system
US8223113B2 (en) 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
DE102009010467A1 (de) 2009-02-26 2010-09-09 Carl Zeiss Vision Gmbh Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
US20190302882A1 (en) 2009-04-01 2019-10-03 Tobii Ab Visual display with illuminators for gaze tracking
WO2011018655A2 (en) * 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
WO2012014121A2 (en) 2010-07-26 2012-02-02 Koninklijke Philips Electronics N.V. Ironing board assembly with configurable ironing surface
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) * 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP5414946B2 (ja) 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US20130022220A1 (en) * 2011-07-20 2013-01-24 Google Inc. Wearable Computing Device with Indirect Bone-Conduction Speaker
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8879801B2 (en) 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
DK2583618T3 (en) * 2011-10-22 2018-03-12 Alcon Pharmaceuticals Ltd Apparatus for monitoring one or more parameters of the eye
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
EP2812775A1 (en) * 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
JP6028357B2 (ja) 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
KR102022719B1 (ko) 2012-04-05 2019-11-05 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
EP2857939B1 (en) * 2012-05-25 2018-08-29 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20130339433A1 (en) 2012-06-15 2013-12-19 Duke University Method and apparatus for content rating using reaction sensing
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
CN104813218A (zh) * 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学***
US8860634B2 (en) 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
IL298018B2 (en) 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US9264803B1 (en) 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
JP6286781B2 (ja) 2013-06-27 2018-03-07 シーワイ・ビジョン・インコーポレイテッドCy Vision Inc. 眼鏡型画像表示装置
US10073518B2 (en) 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
IL295157B2 (en) * 2013-10-16 2023-10-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
AU2014354673B2 (en) 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
JP6509883B2 (ja) 2014-01-31 2019-05-08 マジック リープ, インコーポレイテッドMagic Leap,Inc. 多焦点表示システムおよび方法
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9529428B1 (en) 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2015184413A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
US9626936B2 (en) * 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US9808185B2 (en) 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
US20160131902A1 (en) 2014-11-12 2016-05-12 Anthony J. Ambrus System for automatic eye tracking calibration of head mounted display device
US9681804B2 (en) * 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
JP2016149660A (ja) 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
AU2016233280B2 (en) 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry
JP6483514B2 (ja) 2015-04-28 2019-03-13 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US10951882B2 (en) 2015-06-19 2021-03-16 Maxell, Ltd. Head mounted display device and method for providing visual aid using same
US20170285343A1 (en) * 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
CA2995756A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
CN108292040B (zh) 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
CN113220116A (zh) 2015-10-20 2021-08-06 奇跃公司 改变可穿戴设备用户输入模式的***和方法及可穿戴***
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
KR102592980B1 (ko) 2015-11-04 2023-10-20 매직 립, 인코포레이티드 광 필드 디스플레이 계측
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
KR102567431B1 (ko) 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
NZ744822A (en) * 2016-02-11 2020-01-31 Magic Leap Inc Multi-depth plane display system with reduced switching between depth planes
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
CA3017930A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10878237B2 (en) 2016-06-29 2020-12-29 Seeing Machines Limited Systems and methods for performing eye gaze tracking
US10139644B2 (en) 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
US10409368B2 (en) * 2016-07-27 2019-09-10 Fove, Inc. Eye-gaze detection system, displacement detection method, and displacement detection program
US10425636B2 (en) * 2016-10-03 2019-09-24 Microsoft Technology Licensing, Llc Automatic detection and correction of binocular misalignment in a display device
EP3305176A1 (en) 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
GB2557175A (en) 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
US10395111B2 (en) * 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
SG11201907370XA (en) * 2017-02-12 2019-09-27 Lemnis Tech Pte Ltd Methods, devices and systems for focus adjustment of displays
US11494986B2 (en) 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
EP3420887A1 (en) 2017-06-30 2019-01-02 Essilor International Method for determining the position of the eye rotation center of the eye of a subject, and associated device
CN109752849B (zh) * 2017-11-03 2021-05-18 宏达国际电子股份有限公司 头戴式显示装置
CN109752848B (zh) * 2017-11-06 2021-08-17 宏达国际电子股份有限公司 头戴式显示装置
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
KR20200110367A (ko) * 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
JP2022540675A (ja) 2019-07-16 2022-09-16 マジック リープ, インコーポレイテッド 1つ以上の眼追跡カメラを用いた眼回転中心の決定
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20150035744A1 (en) 2013-07-30 2015-02-05 Steve Robbins Near-eye optic positioning in display devices
US20170212351A1 (en) 2016-01-07 2017-07-27 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes

Also Published As

Publication number Publication date
EP4339692A2 (en) 2024-03-20
AU2019209950A1 (en) 2020-07-09
CA3088116A1 (en) 2019-07-25
US20220221934A1 (en) 2022-07-14
IL275824B1 (en) 2024-04-01
US20240094528A1 (en) 2024-03-21
EP3740847A4 (en) 2021-10-20
EP3740847B1 (en) 2024-03-13
EP3740847A1 (en) 2020-11-25
EP4339692A3 (en) 2024-06-19
CN111771179A (zh) 2020-10-13
WO2019143864A1 (en) 2019-07-25
US20190222830A1 (en) 2019-07-18
KR20200108857A (ko) 2020-09-21
US11880033B2 (en) 2024-01-23
JP2023083526A (ja) 2023-06-15
IL275824A (en) 2020-08-31
IL311004A (en) 2024-04-01
US10917634B2 (en) 2021-02-09
JP2021511564A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7291708B2 (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US11290706B2 (en) Display systems and methods for determining registration between a display and a user's eyes
JP7415077B2 (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP7512505B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
JP2023504207A (ja) ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法
JP7456995B2 (ja) 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
JP2022540675A (ja) 1つ以上の眼追跡カメラを用いた眼回転中心の決定
KR20230040346A (ko) 비구면 각막 모델을 사용한 눈 추적

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R150 Certificate of patent or registration of utility model

Ref document number: 7291708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150