JP7291708B2 - ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 - Google Patents
ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 Download PDFInfo
- Publication number
- JP7291708B2 JP7291708B2 JP2020536814A JP2020536814A JP7291708B2 JP 7291708 B2 JP7291708 B2 JP 7291708B2 JP 2020536814 A JP2020536814 A JP 2020536814A JP 2020536814 A JP2020536814 A JP 2020536814A JP 7291708 B2 JP7291708 B2 JP 7291708B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- eye
- display
- volume
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 144
- 210000001508 eye Anatomy 0.000 claims description 886
- 238000012545 processing Methods 0.000 claims description 106
- 210000003128 head Anatomy 0.000 claims description 47
- 210000004087 cornea Anatomy 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 26
- 210000001061 forehead Anatomy 0.000 claims description 22
- 230000008447 perception Effects 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 description 126
- 238000009877 rendering Methods 0.000 description 117
- 230000003287 optical effect Effects 0.000 description 94
- 230000033001 locomotion Effects 0.000 description 60
- 230000000007 visual effect Effects 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 210000001331 nose Anatomy 0.000 description 33
- 238000001514 detection method Methods 0.000 description 29
- 238000010606 normalization Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 230000004308 accommodation Effects 0.000 description 15
- 210000001525 retina Anatomy 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000029777 axis specification Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004418 eye rotation Effects 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000000284 resting effect Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000004434 saccadic eye movement Effects 0.000 description 5
- 210000002159 anterior chamber Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- 206010034962 Photopsia Diseases 0.000 description 3
- 230000002350 accommodative effect Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 229910000065 phosphene Inorganic materials 0.000 description 3
- 230000001179 pupillary effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000473391 Archosargus rhomboidalis Species 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 208000024875 Infantile dystonia-parkinsonism Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000001543 infantile parkinsonism-dystonia Diseases 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000002197 limbic effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000001473 noxious effect Effects 0.000 description 1
- 238000013386 optimize process Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Ophthalmology & Optometry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Eye Examination Apparatus (AREA)
Description
本願は、「DISPLAY SYSTEMS AND METHODS FOR DETERMINING REGISTRATION BETWEEN A DISPLAY AND A USER’S EYES」と題され、2018年3月16日に出願された、米国仮特許出願第62/644321号、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年1月17日に出願された米国仮特許出願第62/618559号、および「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年7月24日に出願された、米国仮特許出願第62/702849号の優先権を主張する。上記の出願はそれぞれ、参照することによってその全体として本明細書に組み込まれる。
(参照による組み込み)
(技術分野)
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定し、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供し、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回るかどうかを決定し、
眼の位置が頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が、出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
眼の位置が接眼レンズから第2の閾値距離未満かどうかを決定することと、
眼の位置が頭部搭載型ディスプレイシステムから第2の閾値距離未満であることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
眼の位置が接眼レンズから第2の閾値距離を上回るかどうかを決定することと、
眼の位置が頭部搭載型ディスプレイシステムから第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
眼の位置が眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
眼の位置が眼追跡カメラの視認体積のサブ空間外の第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が、出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
頭部搭載型ディスプレイによって投影された光が、ユーザの眼によって適切に位置合わせされているかどうかを決定し、
頭部搭載型ディスプレイが、ディスプレイシステムによって投影された光を位置合わせするためにユーザにフィットするように適切に調節されていない場合、フィードバックをユーザに提供する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
眼の第1の位置を決定するステップと、
眼の第1の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定するステップであって、ディスプレイ位置合わせ体積は、ユーザの眼に対する頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ステップと、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供するステップであって、通知は、少なくとも、ディスプレイおよび眼が適切に位置合わせされていないことを示す、ステップと、
を含む、方法。
眼の第2の位置を決定するステップと、
眼の第2の位置がディスプレイ位置合わせ体積内にあることを決定するステップと、
眼の第2の位置がディスプレイ位置合わせ体積内にあることの決定に応答して、ウェアラブルシステムがユーザに適切にフィットされていることを示す、付加的フィードバックをユーザに提供するステップと、
をさらに含む、実施例26または29に記載の方法。
頭部搭載型ディスプレイシステムは、眼の位置がディスプレイ位置合わせ体積内にあるとき、第1の視野を有する、少なくとも1つのディスプレイを備え、ディスプレイは、眼の位置がディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、第2の視野は、第1の視野より小さい、実施例26-32のいずれかに記載の方法。
ウェアラブルシステムが、ユーザに適切にフィットされていないことを示す、通知をユーザに提供するステップをさらに含み、
通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するためのユーザへの提案または命令を含む、実施例26-34のいずれかに記載の方法。
眼の第1の位置がディスプレイ位置合わせ体積外にある結果、ユーザが暗化されたように知覚することが予期される、頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別するステップと、
ディスプレイの複数のピクセルの明度をディスプレイ内の他のピクセルに対して上昇させ、予期される暗化を軽減させるステップと、
をさらに含む、実施例26-37のいずれかに記載の方法。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる、仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想レンダリングカメラによってレンダリングされるような仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼が位置する、ディスプレイから離れた距離を決定し、
決定された距離に基づいて、仮想レンダリングカメラの焦点距離を調節する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、ディスプレイに対する眼の位置を決定し、
ディスプレイに対する眼の位置に基づいて、ユーザが暗化されたように知覚することが予期される、仮想画像コンテンツのピクセルの量を決定し、
決定されたピクセルの量に基づいて、ディスプレイの動作を制御する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ディスプレイに対する眼の位置に基づいて、ユーザが暗化されたように知覚することが予期される、仮想画像コンテンツのピクセルの明度を上昇させることによって、
ディスプレイの動作を制御するように構成される、実施例40または41に記載のディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光をユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上のパラメータに基づいて、ディスプレイに対する位置合わせ体積を定義し、
1つ以上の眼追跡カメラを用いて取得される眼の画像に基づいて、眼の位置を決定し、
眼の位置が頭部搭載型ディスプレイシステムの位置合わせ体積内にあるかどうかを決定し、
眼の位置がディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、ディスプレイの動作を制御する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
眼の位置が頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
眼の位置が頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回ることの決定に応答して、ディスプレイおよび眼が出力のために適切に位置合わせされていないことを示す、フィードバックをユーザに提供することと、
によって、眼の位置が視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、実施例15に記載のディスプレイシステム。
処理電子機器はさらに、
ディスプレイシステム上で起動しているアプリケーションを識別し、
識別されたアプリケーションに基づいて、第1の閾値距離を決定する、
ように構成される、実施例15に記載のディスプレイシステム。
本明細書は、例えば、以下の項目も提供する。
(項目1)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
前記処理電子機器はさらに、前記眼の位置が前記ディスプレイ位置合わせ体積外にあることを決定することに応じて、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供するように構成され、前記フィードバックは、前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて提供される通知である、項目1に記載のディスプレイシステム。
(項目3)
前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、項目1に記載のディスプレイシステム。
(項目4)
前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、項目3に記載のディスプレイシステム。
(項目5)
前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、項目3に記載のディスプレイシステム。
(項目6)
前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、項目3に記載のディスプレイシステム。
(項目7)
前記処理電子機器はさらに、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することを含む前記通知を提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、項目3に記載のディスプレイシステム。
(項目8)
前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、1つ以上の光源をさらに備え、前記1つ以上の眼追跡カメラは、前記1つ以上の光源からの光を使用して、前記眼の画像を形成する、項目1に記載のディスプレイシステム。
(項目9)
前記1つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する少なくとも2つの光源を備える、項目8に記載のディスプレイシステム。
(項目10)
前記1つ以上の光源は、赤外線光エミッタを備える、項目8に記載のディスプレイシステム。
(項目11)
1つ以上の光源は、1つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記1つ以上の閃光に基づいて、前記角膜の場所を決定するように構成される、項目8に記載のディスプレイシステム。
(項目12)
前記眼の位置は、前記眼の回転中心の場所である、項目8に記載のディスプレイシステム。
(項目13)
前記角膜は、それと関連付けられた曲率中心を有する角膜球面を有し、前記処理電子機器は、前記角膜球面の曲率中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目14)
前記処理電子機器は、前記ディスプレイに、前記ディスプレイの複数のピクセルの明度を前記ディスプレイの他のピクセルに対して上昇させる命令を提供することによって、前記通知を提供するように構成され、上昇された明度を伴う前記複数のピクセルは、不適切である位置合わせ下で暗化した知覚を受けることが予期されるピクセルを含む、項目1に記載のディスプレイシステム。
(項目15)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムの視認体積外の第1の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目16)
前記処理電子機器は、少なくとも、
前記眼の位置が接眼レンズから第2の閾値距離未満かどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムから前記第2の閾値距離未満であることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目17)
前記処理電子機器は、少なくとも、
前記眼の位置が前記接眼レンズから第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイシステムから前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目18)
前記処理電子機器は、少なくとも、
前記眼の位置が前記眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記眼追跡カメラの視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目19)
前記頭部搭載型ディスプレイの視認体積は、それを通して前記頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される体積である、項目15に記載のディスプレイシステム。
(項目20)
前記処理電子機器は、少なくとも、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックをユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、項目15に記載のディスプレイシステム。
(項目21)
前記処理電子機器はさらに、
前記ディスプレイシステム上で起動しているアプリケーションを識別することと、
前記識別されたアプリケーションに基づいて、前記第1の閾値距離を決定することと
を行うように構成される、項目15に記載のディスプレイシステム。
(項目22)
光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記頭部搭載型ディスプレイによって投影された光が、前記ユーザの眼によって適切に位置合わせされているかどうかを決定することと、
前記頭部搭載型ディスプレイが、前記ディスプレイシステムによって投影された光を位置合わせするために前記ユーザにフィットするように適切に調節されていない場合、フィードバックをユーザに提供することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目23)
前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、項目22に記載のディスプレイシステム。
(項目24)
前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、項目23に記載のディスプレイシステム。
(項目25)
前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、項目23に記載のディスプレイシステム。
(項目26)
前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、項目23に記載のディスプレイシステム。
(項目27)
前記処理電子機器はさらに、前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていないことのフィードバックをユーザに提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案をユーザに提供することを含むように構成される、項目23に記載のディスプレイシステム。
(項目28)
ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
前記眼の第1の位置を決定することと、
前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
を含む、方法。
(項目29)
前記頭部搭載型ディスプレイシステムは、眼追跡カメラを備え、前記眼の第1の位置を決定することは、前記眼追跡カメラを利用して、前記ユーザの眼を結像することを含む、項目28に記載の方法。
(項目30)
前記眼の第1の位置は、前記眼の回転中心の位置であり、前記眼追跡カメラによる前記眼の結像に基づいて、前記眼の回転中心を計算することをさらに含む、項目29に記載の方法。
(項目31)
前記頭部搭載型ディスプレイシステムは、光を前記眼の中に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記ウェアラブルシステムが適切にフィットされていることのインジケーションを表示することをさらに含む、項目28に記載の方法。
(項目32)
前記頭部搭載型ディスプレイシステムを用いて、前記眼の回転中心を経時的に自動的に追跡し、前記眼の回転中心が前記位置合わせディスプレイ体積外に移動すると、前記ユーザに通知することをさらに含む、項目28に記載の方法。
(項目33)
前記眼の第2の位置を決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることを決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることの決定に応答して、前記ウェアラブルシステムが、ユーザに適切にフィットされていることを示す付加的フィードバックをユーザに提供することと
をさらに含む、項目28に記載の方法。
(項目34)
前記ユーザの眼が、前記ディスプレイ位置合わせ体積内にないとき、前記頭部搭載型ディスプレイシステムの少なくともいくつかのピクセルは、暗化される、またはユーザに不可視になる、項目28に記載の方法。
(項目35)
前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、前記頭部搭載型ディスプレイシステムの視野を変化させることをさらに含み、
前記頭部搭載型ディスプレイシステムは、前記眼の位置が、前記ディスプレイ位置合わせ体積内にあるとき、第1の視野を有する少なくとも1つのディスプレイを備え、前記ディスプレイは、前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、前記第2の視野は、前記第1の視野より小さい、項目28に記載の方法。
(項目36)
前記通知を提供することは、前記第2の視野内においてフィードバックをユーザに提供することを含む、項目35に記載の方法。
(項目37)
前記ウェアラブルシステムは、少なくとも1つの交換可能フィット用部品を備え、
前記ウェアラブルシステムがユーザに適切にフィットされていないことを示す通知をユーザに提供することをさらに含み、
前記通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するためのユーザへの提案または命令を含む、項目28に記載の方法。
(項目38)
前記交換可能フィット用部品は、鼻梁パッド、前額パッド、および前記ウェアラブルシステムとユーザの頭部の背面との間に収まる背面パッドから成る群から選択される少なくとも1つのフィット用部品を備える、項目37に記載の方法。
(項目39)
前記ウェアラブルシステムは、少なくとも1つの交換可能鼻梁部パッドを備え、前記頭部搭載型システムのディスプレイが前記眼に対して低すぎることを決定することをさらに含み、前記通知をユーザに提供することは、より大きい鼻梁パッドを据え付けるように前記ユーザにプロンプトすることを含む、項目38に記載の方法。
(項目40)
前記眼の第1の位置が、前記ディスプレイ位置合わせ体積外にある結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別することと、
前記ディスプレイの複数のピクセルの明度を前記ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
をさらに含む、項目28に記載の方法。
(ウェアラブルシステムの3Dディスプレイの実施例)
ウェアラブルシステムの例示的コンポーネント
導波管スタックアセンブリ
ウェアラブルシステムの他のコンポーネント
眼画像の実施例
(眼追跡システムの実施例)
(眼追跡モジュールの実施例)
レンダリングコントローラの実施例
(位置合わせオブザーバの実施例)
眼追跡システムを用いてユーザの角膜を位置特定する実施例
(眼追跡画像の座標系を正規化する実施例)
(眼追跡システムを用いてユーザの瞳孔重心を位置特定する実施例)
(光学軸と視軸との間の差異の実施例)
(コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス)
(デバイス位置合わせの概要)
(位置合わせ座標系の実施例)
(ディスプレイ位置合わせ体積の実施例)
(種々の位置合わせ位置におけるディスプレイ性能の実施例)
(ウェアラブルシステムのための交換可能フィット用部品の実施例)
デバイス位置合わせを観察する例示的プロセス
(ディスプレイ位置合わせ体積を識別する実施例)
筐***置合わせ体積およびシステム位置合わせ体積の実施例
(周囲環境内のオブジェクトを検出するためのコンピュータビジョン)
(機械学習)
(他の考慮点)
Claims (38)
- 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が前記頭部搭載型ディスプレイのディスプレイ位置合わせ体積内にあるかどうかを決定することと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと
を行うように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記ディスプレイに、前記ディスプレイの複数のピクセルの明度を前記ディスプレイの他のピクセルに対して上昇させる命令を提供することによって、前記通知を提供するように構成され、上昇された明度を伴う前記複数のピクセルは、不適切である位置合わせ下で暗化した知覚を受けることが予期されるピクセルを含む、ディスプレイシステム。 - 前記処理電子機器はさらに、前記眼の位置が前記ディスプレイ位置合わせ体積外にあることを決定することに応じて、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供するように構成され、前記フィードバックは、前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて提供される通知である、請求項1に記載のディスプレイシステム。
- 前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、請求項1に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、請求項3に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、請求項3に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、請求項3に記載のディスプレイシステム。
- 前記処理電子機器はさらに、前記頭部搭載型ディスプレイが前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供することを含む前記通知を提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案を前記ユーザに提供することを含むように構成される、請求項3に記載のディスプレイシステム。
- 前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、1つ以上の光源をさらに備え、前記1つ以上の眼追跡カメラは、前記1つ以上の光源からの光を使用して、前記眼の画像を形成する、請求項1に記載のディスプレイシステム。
- 前記1つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する少なくとも2つの光源を備える、請求項8に記載のディスプレイシステム。
- 前記1つ以上の光源は、赤外線光エミッタを備える、請求項8に記載のディスプレイシステム。
- 1つ以上の光源は、1つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記1つ以上の閃光に基づいて、角膜の場所を決定するように構成される、請求項8に記載のディスプレイシステム。
- 前記眼の位置は、前記眼の回転中心の場所である、請求項8に記載のディスプレイシステム。
- 角膜は、それと関連付けられた曲率中心を有する角膜球面を有し、前記処理電子機器は、前記角膜球面の曲率中心の場所を決定するように構成される、請求項1に記載のディスプレイシステム。
- 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得される前記眼の画像に基づいて、前記眼の位置を決定することと、
前記眼の位置が前記頭部搭載型ディスプレイの視認体積外の第1の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイの視認体積外の前記第1の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。 - 前記処理電子機器は、少なくとも、
前記眼の位置が前記頭部搭載型ディスプレイから第2の閾値距離未満かどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイから前記第2の閾値距離未満であることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。 - 前記処理電子機器は、少なくとも、
前記眼の位置が前記頭部搭載型ディスプレイから第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイから前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。 - 前記処理電子機器は、少なくとも、
前記眼の位置が前記眼追跡カメラの視野のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記眼追跡カメラの視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。 - 前記頭部搭載型ディスプレイの視認体積は、それを通して前記頭部搭載型ディスプレイによって提示される仮想画像コンテンツの全ピクセルを表す光が通過することが予期される体積である、請求項14に記載のディスプレイシステム。
- 前記処理電子機器は、少なくとも、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の第2の閾値距離を上回るかどうかを決定することと、
前記眼の位置が前記頭部搭載型ディスプレイの外側筐体の視認体積のサブ空間外の前記第2の閾値距離を上回ることの決定に応答して、前記ディスプレイおよび前記眼が出力のために適切に位置合わせされていないことを示すフィードバックを前記ユーザに提供することと
によって、前記眼の位置が前記視認体積外の前記第1の閾値距離を上回るかどうかを決定するように構成される、請求項14に記載のディスプレイシステム。 - 前記処理電子機器はさらに、
前記ディスプレイシステム上で起動しているアプリケーションを識別することと、
前記識別されたアプリケーションに基づいて、前記第1の閾値距離を決定することと
を行うように構成される、請求項14に記載のディスプレイシステム。 - 光をユーザの眼に投影し、仮想画像コンテンツを表示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる深度で異なる期間に位置するように現れる仮想画像コンテンツを提示するための異なる量の波面発散を伴って、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを表示するように構成される、ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記頭部搭載型ディスプレイによって投影された光が、前記ユーザの眼によって適切に位置合わせされているかどうかを決定することと、
前記頭部搭載型ディスプレイが、前記ディスプレイシステムによって投影された光を位置合わせするために前記ユーザにフィットするように適切に調節されていない場合、フィードバックを前記ユーザに提供することと、
前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていない結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイの複数のピクセルを識別することと、
前記頭部搭載型ディスプレイの前記複数のピクセルの明度を前記頭部搭載型ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。 - 前記フレームに除去可能に搭載され、前記フレームのフィット感を調節するように構成される少なくとも1つの交換可能フィット用部品をさらに備える、請求項21に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの鼻梁との間の前記フレームのフィット感を調節するように構成される交換可能鼻梁部を備える、請求項22に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの前額との間の前記フレームのフィット感を調節するように構成される交換可能前額パッドを備える、請求項22に記載のディスプレイシステム。
- 前記交換可能フィット用部品は、前記フレームと前記ユーザの頭部の背面との間の前記フレームのフィット感を調節するように構成される交換可能背面パッドを備える、請求項22に記載のディスプレイシステム。
- 前記処理電子機器はさらに、前記頭部搭載型ディスプレイが、前記ユーザにフィットするように適切に調節されていないことのフィードバックを前記ユーザに提供することが、現在据え付けられている交換可能フィット用部品を別の交換可能フィット用部品と付け替えるための提案を前記ユーザに提供することを含むように構成される、請求項22に記載のディスプレイシステム。
- ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
前記眼の第1の位置を決定することと、
前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと、
前記眼の第1の位置が、前記ディスプレイ位置合わせ体積外にある結果、前記ユーザが暗化されたように知覚することが予期される前記頭部搭載型ディスプレイシステムのディスプレイの複数のピクセルを識別することと、
前記ディスプレイの前記複数のピクセルの明度を前記ディスプレイ内の他のピクセルに対して上昇させ、前記予期される暗化を軽減させることと
を含む、方法。 - 前記頭部搭載型ディスプレイシステムは、眼追跡カメラを備え、前記眼の第1の位置を決定することは、前記眼追跡カメラを利用して、前記ユーザの眼を結像することを含む、請求項27に記載の方法。
- 前記眼の第1の位置は、前記眼の回転中心の位置であり、前記眼追跡カメラによる前記眼の結像に基づいて、前記眼の回転中心を計算することをさらに含む、請求項28に記載の方法。
- 前記頭部搭載型ディスプレイシステムは、光を前記眼の中に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記ウェアラブルシステムが適切にフィットされていることのインジケーションを表示することをさらに含む、請求項27に記載の方法。
- 前記頭部搭載型ディスプレイシステムを用いて、前記眼の回転中心を経時的に自動的に追跡し、前記眼の回転中心が前記位置合わせディスプレイ体積外に移動すると、前記ユーザに通知することをさらに含む、請求項27に記載の方法。
- 前記眼の第2の位置を決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることを決定することと、
前記眼の第2の位置が、前記ディスプレイ位置合わせ体積内にあることの決定に応答して、前記ウェアラブルシステムが、前記ユーザに適切にフィットされていることを示す付加的フィードバックを前記ユーザに提供することと
をさらに含む、請求項27に記載の方法。 - 前記ユーザの眼が、前記ディスプレイ位置合わせ体積内にないとき、前記頭部搭載型ディスプレイシステムの少なくともいくつかのピクセルは、暗化されるか、または前記ユーザに不可視になる、請求項27に記載の方法。
- ユーザの眼による頭部搭載型ディスプレイシステムからの仮想画像コンテンツの位置合わせを評価するための方法であって、前記方法は、
前記眼の第1の位置を決定することと、
前記眼の第1の位置が前記頭部搭載型ディスプレイシステムのディスプレイ位置合わせ体積内にあるかどうかを決定することであって、前記ディスプレイ位置合わせ体積は、前記ユーザの眼に対する前記頭部搭載型ディスプレイシステムの適切なフィット感と関連付けられた想像上の体積である、ことと、
前記眼の位置が前記ディスプレイ位置合わせ体積内にあるかどうかを決定することに基づいて、通知を提供することであって、前記通知は、少なくとも、前記ディスプレイおよび前記眼が適切に位置合わせされていないことを示す、ことと、
前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、前記頭部搭載型ディスプレイシステムの視野を変化させることと
を含み、
前記頭部搭載型ディスプレイシステムは、前記眼の位置が、前記ディスプレイ位置合わせ体積内にあるとき、第1の視野を有する少なくとも1つのディスプレイを備え、前記ディスプレイは、前記眼の位置が、前記ディスプレイ位置合わせ体積外にあるとき、第2の視野を有し、前記第2の視野は、前記第1の視野より小さい、方法。 - 前記通知を提供することは、前記第2の視野内においてフィードバックを前記ユーザに提供することを含む、請求項34に記載の方法。
- 前記ウェアラブルシステムは、少なくとも1つの交換可能フィット用部品を備え、
前記ウェアラブルシステムが前記ユーザに適切にフィットされていないことを示す通知を前記ユーザに提供することをさらに含み、
前記通知は、現在据え付けられている交換可能フィット用部品を代替交換可能フィット用部品と交換するための前記ユーザへの提案または命令を含む、請求項27に記載の方法。 - 前記交換可能フィット用部品は、鼻梁パッド、前額パッド、および前記ウェアラブルシステムと前記ユーザの頭部の背面との間に収まる背面パッドから成る群から選択される少なくとも1つのフィット用部品を備える、請求項36に記載の方法。
- 前記ウェアラブルシステムは、少なくとも1つの交換可能鼻梁パッドを備え、前記頭部搭載型システムのディスプレイが前記眼に対して低すぎることを決定することをさらに含み、前記通知を前記ユーザに提供することは、より大きい鼻梁パッドを据え付けるように前記ユーザにプロンプトすることを含む、請求項37に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023070734A JP2023083526A (ja) | 2018-01-17 | 2023-04-24 | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862618559P | 2018-01-17 | 2018-01-17 | |
US62/618,559 | 2018-01-17 | ||
US201862644321P | 2018-03-16 | 2018-03-16 | |
US62/644,321 | 2018-03-16 | ||
US201862702849P | 2018-07-24 | 2018-07-24 | |
US62/702,849 | 2018-07-24 | ||
PCT/US2019/014086 WO2019143864A1 (en) | 2018-01-17 | 2019-01-17 | Display systems and methods for determining registration between a display and a user's eyes |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023070734A Division JP2023083526A (ja) | 2018-01-17 | 2023-04-24 | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021511564A JP2021511564A (ja) | 2021-05-06 |
JP7291708B2 true JP7291708B2 (ja) | 2023-06-15 |
Family
ID=67213314
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536814A Active JP7291708B2 (ja) | 2018-01-17 | 2019-01-17 | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
JP2023070734A Pending JP2023083526A (ja) | 2018-01-17 | 2023-04-24 | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023070734A Pending JP2023083526A (ja) | 2018-01-17 | 2023-04-24 | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10917634B2 (ja) |
EP (2) | EP3740847B1 (ja) |
JP (2) | JP7291708B2 (ja) |
KR (1) | KR20200108857A (ja) |
CN (1) | CN111771179A (ja) |
AU (1) | AU2019209950A1 (ja) |
CA (1) | CA3088116A1 (ja) |
IL (2) | IL311004A (ja) |
WO (1) | WO2019143864A1 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102402467B1 (ko) | 2016-10-05 | 2022-05-25 | 매직 립, 인코포레이티드 | 혼합 현실 교정을 위한 안구주위 테스트 |
JP2018061621A (ja) * | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム |
US10984237B2 (en) * | 2016-11-10 | 2021-04-20 | Neurotrack Technologies, Inc. | Method and system for correlating an image capturing device to a human user for analyzing gaze information associated with cognitive performance |
EP3701312A4 (en) | 2017-10-22 | 2020-11-11 | Lumus Ltd. | HEAD-MOUNTED AUGMENTED REALITY DEVICE USING AN OPTICAL BENCH |
KR20200110367A (ko) | 2018-01-17 | 2020-09-23 | 매직 립, 인코포레이티드 | 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝 |
EP3740847B1 (en) | 2018-01-17 | 2024-03-13 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
CN111971609B (zh) * | 2018-04-06 | 2023-03-14 | 依视路国际公司 | 用于定制被适配用于生成虚像的头戴式装置的方法 |
US11762207B2 (en) * | 2018-06-29 | 2023-09-19 | Magic Leap, Inc. | Head mounted audio-visual display system |
US11768377B2 (en) | 2018-07-13 | 2023-09-26 | Magic Leap, Inc. | Systems and methods for display binocular deformation compensation |
EP3827426A4 (en) | 2018-07-24 | 2022-07-27 | Magic Leap, Inc. | AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES |
WO2020028867A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
TWI683136B (zh) * | 2019-01-03 | 2020-01-21 | 宏碁股份有限公司 | 視訊穿透式頭戴顯示器及其控制方法 |
WO2020154524A1 (en) | 2019-01-25 | 2020-07-30 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
FR3093215B1 (fr) * | 2019-02-22 | 2021-08-27 | Fogale Nanotech | Procédé et dispositif de surveillance de l’environnement d’un robot |
WO2020213088A1 (ja) * | 2019-04-17 | 2020-10-22 | 楽天株式会社 | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
US11181973B2 (en) * | 2019-05-09 | 2021-11-23 | Apple Inc. | Techniques related to configuring a display device |
CN114127610A (zh) | 2019-05-20 | 2022-03-01 | 奇跃公司 | 用于估计眼睛姿势的***和技术 |
US11153512B1 (en) | 2019-05-29 | 2021-10-19 | Facebook Technologies, Llc | Imaging and display with ellipsoidal lensing structure |
US11353698B1 (en) | 2019-05-29 | 2022-06-07 | Facebook Technologies, Llc | Dual Purkinje imaging with ellipsoidal lensing structure |
AU2020301646B2 (en) | 2019-06-27 | 2024-05-02 | Lumus Ltd. | Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element |
US11156829B2 (en) * | 2019-07-29 | 2021-10-26 | Facebook Technologies, Llc | Pupil expander cailibration |
US11064188B2 (en) * | 2019-07-29 | 2021-07-13 | Htc Corporation | Driving method for calculating interpupillary distance and related head-mounted device |
CN112346558A (zh) * | 2019-08-06 | 2021-02-09 | 苹果公司 | 眼睛跟踪*** |
JP7499466B2 (ja) * | 2019-08-06 | 2024-06-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
CN112419986A (zh) * | 2019-08-20 | 2021-02-26 | Oppo广东移动通信有限公司 | 头戴式显示设备的图像显示方法、装置及*** |
CN114341781A (zh) * | 2019-09-09 | 2022-04-12 | 苹果公司 | 使用定向光源的基于闪光的注视跟踪 |
IL269809B (en) * | 2019-10-03 | 2021-12-01 | Eyejets Ltd | A compact retinal scanning device for tracking pupil movements of a user's eye and its applications |
US11228745B2 (en) * | 2019-11-26 | 2022-01-18 | Varjo Technologies Oy | Display apparatus and method of correcting image distortion therefor |
US11269181B2 (en) * | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
US11375180B2 (en) * | 2019-12-10 | 2022-06-28 | Yousseff El Moumni | Video engine for generating an enhanced impression of depth based upon two-dimensioned video content |
CN110933390B (zh) * | 2019-12-16 | 2022-01-07 | Oppo广东移动通信有限公司 | 基于图像投影的显示方法及装置 |
CN110927973A (zh) * | 2019-12-16 | 2020-03-27 | Oppo广东移动通信有限公司 | 显示装置 |
CN113010125B (zh) | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
JP2023509305A (ja) | 2019-12-25 | 2023-03-08 | ルムス エルティーディー. | 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
WO2021179876A1 (en) * | 2020-03-09 | 2021-09-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and system for implementing adaptive feature detection for vslam systems |
US11768379B2 (en) * | 2020-03-17 | 2023-09-26 | Apple Inc. | Electronic device with facial sensors |
US11474358B2 (en) * | 2020-03-20 | 2022-10-18 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
IL299775A (en) | 2020-07-15 | 2023-03-01 | Magic Leap Inc | Eye tracking using an aspheric cornea model |
CN116137801A (zh) | 2020-07-23 | 2023-05-19 | 奇跃公司 | 使用交替采样的眼睛跟踪 |
JP2023539962A (ja) | 2020-08-14 | 2023-09-21 | ヒーズ アイピー ホールディングス エルエルシー | リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法 |
US11410580B2 (en) | 2020-08-20 | 2022-08-09 | Facebook Technologies, Llc. | Display non-uniformity correction |
US11774759B2 (en) | 2020-09-03 | 2023-10-03 | Hes Ip Holdings, Llc | Systems and methods for improving binocular vision |
CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示*** |
EP3985483A1 (en) * | 2020-10-19 | 2022-04-20 | Carl Zeiss Vision International GmbH | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program |
KR20220063467A (ko) * | 2020-11-10 | 2022-05-17 | 삼성전자주식회사 | 디스플레이를 포함하는 웨어러블 전자 장치 |
CN112634127B (zh) * | 2020-12-22 | 2022-07-29 | 天津大学 | 一种无监督立体图像重定向方法 |
US11733773B1 (en) | 2020-12-29 | 2023-08-22 | Meta Platforms Technologies, Llc | Dynamic uniformity correction for boundary regions |
US11681363B2 (en) | 2021-03-29 | 2023-06-20 | Meta Platforms Technologies, Llc | Waveguide correction map compression |
EP4232868A4 (en) | 2021-05-19 | 2024-04-17 | Lumus Ltd. | ACTIVE OPTICAL ENGINE |
US11754846B2 (en) | 2022-01-21 | 2023-09-12 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
US11710212B1 (en) * | 2022-01-21 | 2023-07-25 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
WO2023238197A1 (ja) * | 2022-06-06 | 2023-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US20150035744A1 (en) | 2013-07-30 | 2015-02-05 | Steve Robbins | Near-eye optic positioning in display devices |
US20170212351A1 (en) | 2016-01-07 | 2017-07-27 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
Family Cites Families (130)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US5844656A (en) * | 1996-11-07 | 1998-12-01 | Xybernaut Corporation | Head mounted display with adjustment components |
JPH11155152A (ja) | 1997-11-21 | 1999-06-08 | Canon Inc | 三次元形状情報入力方法及び装置及び画像入力装置 |
TW487892B (en) * | 1999-08-31 | 2002-05-21 | Shimadzu Corp | Head display |
US6529331B2 (en) | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
US6771423B2 (en) * | 2001-05-07 | 2004-08-03 | Richard Geist | Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view |
US20030030597A1 (en) * | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
JP2003307774A (ja) | 2002-04-17 | 2003-10-31 | Canon Inc | 視線検出機能付き光学機器 |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
WO2006017771A1 (en) * | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
JP5600240B2 (ja) | 2005-07-19 | 2014-10-01 | ウェルズ ファーゴ バンク ナショナル アソシエイション | 重合体マレイミド類を調製する方法 |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP4379409B2 (ja) | 2005-11-08 | 2009-12-09 | ソニー株式会社 | 撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
US20070273983A1 (en) * | 2006-05-26 | 2007-11-29 | Hebert Raymond T | Devices, methods, and systems for image viewing |
US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
WO2008007781A1 (fr) | 2006-07-14 | 2008-01-17 | Panasonic Corporation | Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle |
EP2078229A2 (en) * | 2006-11-02 | 2009-07-15 | Sensics, Inc. | Systems and methods for a head-mounted display |
US8066372B2 (en) | 2007-10-23 | 2011-11-29 | Mcgill University | Binocular vision assessment and/or therapy |
IL196078A (en) * | 2007-12-20 | 2014-09-30 | Raytheon Co | Imaging system |
US8223113B2 (en) | 2007-12-26 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with variable delay |
DE102009010467A1 (de) | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
US20190302882A1 (en) | 2009-04-01 | 2019-10-03 | Tobii Ab | Visual display with illuminators for gaze tracking |
WO2011018655A2 (en) * | 2009-08-13 | 2011-02-17 | Bae Systems Plc | Head up display system |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
WO2012014121A2 (en) | 2010-07-26 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Ironing board assembly with configurable ironing surface |
US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) * | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
CA3035118C (en) | 2011-05-06 | 2022-01-04 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
KR101824501B1 (ko) * | 2011-05-19 | 2018-02-01 | 삼성전자 주식회사 | 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법 |
JP5414946B2 (ja) | 2011-06-16 | 2014-02-12 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
US20130022220A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Wearable Computing Device with Indirect Bone-Conduction Speaker |
US8629815B2 (en) * | 2011-08-09 | 2014-01-14 | Google Inc. | Laser alignment of binocular head mounted display |
US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130083003A1 (en) | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
US8879801B2 (en) | 2011-10-03 | 2014-11-04 | Qualcomm Incorporated | Image-based head position tracking method and system |
DK2583618T3 (en) * | 2011-10-22 | 2018-03-12 | Alcon Pharmaceuticals Ltd | Apparatus for monitoring one or more parameters of the eye |
RU2621633C2 (ru) | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
EP2812775A1 (en) * | 2012-02-06 | 2014-12-17 | Sony Mobile Communications AB | Gaze tracking with projector |
JP6028357B2 (ja) | 2012-03-22 | 2016-11-16 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
KR102022719B1 (ko) | 2012-04-05 | 2019-11-05 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
US20130286053A1 (en) * | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
EP2857939B1 (en) * | 2012-05-25 | 2018-08-29 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
US9001427B2 (en) | 2012-05-30 | 2015-04-07 | Microsoft Technology Licensing, Llc | Customized head-mounted display device |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US20130339433A1 (en) | 2012-06-15 | 2013-12-19 | Duke University | Method and apparatus for content rating using reaction sensing |
US9317971B2 (en) | 2012-06-29 | 2016-04-19 | Microsoft Technology Licensing, Llc | Mechanism to give holographic objects saliency in multiple spaces |
CN104813218A (zh) * | 2012-09-11 | 2015-07-29 | 奇跃公司 | 人机工程学的头戴显示设备和光学*** |
US8860634B2 (en) | 2012-10-11 | 2014-10-14 | Sony Computer Entertainment Europe Limited | Head mountable display |
US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
US9699433B2 (en) | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
US9727991B2 (en) * | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
IL298018B2 (en) | 2013-03-11 | 2024-04-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
EP2973532A4 (en) | 2013-03-15 | 2017-01-18 | Magic Leap, Inc. | Display system and method |
US9264803B1 (en) | 2013-06-05 | 2016-02-16 | Google Inc. | Using sounds for determining a worn state of a wearable computing device |
US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9256987B2 (en) | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
JP6286781B2 (ja) | 2013-06-27 | 2018-03-07 | シーワイ・ビジョン・インコーポレイテッドCy Vision Inc. | 眼鏡型画像表示装置 |
US10073518B2 (en) | 2013-08-19 | 2018-09-11 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
IL295157B2 (en) * | 2013-10-16 | 2023-10-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
AU2014354673B2 (en) | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US8958158B1 (en) | 2013-12-03 | 2015-02-17 | Google Inc. | On-head detection for head-mounted display |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
JP6509883B2 (ja) | 2014-01-31 | 2019-05-08 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 多焦点表示システムおよび方法 |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
US9529428B1 (en) | 2014-03-28 | 2016-12-27 | Amazon Technologies, Inc. | Using head movement to adjust focus on content of a display |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
WO2015184413A1 (en) | 2014-05-30 | 2015-12-03 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
US9626936B2 (en) * | 2014-08-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Dimming module for augmented and virtual reality |
US9808185B2 (en) | 2014-09-23 | 2017-11-07 | Fitbit, Inc. | Movement measure generation in a wearable electronic device |
US20160131902A1 (en) | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
US9681804B2 (en) * | 2015-01-12 | 2017-06-20 | X Development Llc | Hybrid lens system for head wearable display |
JP2016149660A (ja) | 2015-02-13 | 2016-08-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
AU2016233280B2 (en) | 2015-03-16 | 2021-03-25 | Magic Leap, Inc. | Augmented reality pulse oximetry |
JP6483514B2 (ja) | 2015-04-28 | 2019-03-13 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US10951882B2 (en) | 2015-06-19 | 2021-03-16 | Maxell, Ltd. | Head mounted display device and method for providing visual aid using same |
US20170285343A1 (en) * | 2015-07-13 | 2017-10-05 | Mikhail Belenkii | Head worn display with foveal and retinal display |
CA2995756A1 (en) | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation |
CN108135469B (zh) | 2015-08-21 | 2021-03-09 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
CN108292040B (zh) | 2015-09-30 | 2020-11-06 | 索尼互动娱乐股份有限公司 | 优化头戴式显示器屏幕上的内容定位的方法 |
CN113220116A (zh) | 2015-10-20 | 2021-08-06 | 奇跃公司 | 改变可穿戴设备用户输入模式的***和方法及可穿戴*** |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US9652896B1 (en) | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
KR20170051013A (ko) * | 2015-11-02 | 2017-05-11 | 엘지전자 주식회사 | 테더링 형 hmd 및 그 hmd의 제어 방법 |
KR102592980B1 (ko) | 2015-11-04 | 2023-10-20 | 매직 립, 인코포레이티드 | 광 필드 디스플레이 계측 |
US10025060B2 (en) * | 2015-12-08 | 2018-07-17 | Oculus Vr, Llc | Focus adjusting virtual reality headset |
KR102567431B1 (ko) | 2016-01-19 | 2023-08-14 | 매직 립, 인코포레이티드 | 눈 이미지 수집, 선택 및 결합 |
NZ744822A (en) * | 2016-02-11 | 2020-01-31 | Magic Leap Inc | Multi-depth plane display system with reduced switching between depth planes |
US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
US10908279B2 (en) * | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
CA3017930A1 (en) | 2016-03-25 | 2017-09-28 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10878237B2 (en) | 2016-06-29 | 2020-12-29 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
US10139644B2 (en) | 2016-07-01 | 2018-11-27 | Tilt Five, Inc | Head mounted projection display with multilayer beam splitter and color correction |
CN109661194B (zh) | 2016-07-14 | 2022-02-25 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
US10409368B2 (en) * | 2016-07-27 | 2019-09-10 | Fove, Inc. | Eye-gaze detection system, displacement detection method, and displacement detection program |
US10425636B2 (en) * | 2016-10-03 | 2019-09-24 | Microsoft Technology Licensing, Llc | Automatic detection and correction of binocular misalignment in a display device |
EP3305176A1 (en) | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
KR102402467B1 (ko) | 2016-10-05 | 2022-05-25 | 매직 립, 인코포레이티드 | 혼합 현실 교정을 위한 안구주위 테스트 |
GB2557175A (en) | 2016-11-17 | 2018-06-20 | Nokia Technologies Oy | Method for multi-camera device |
US10395111B2 (en) * | 2016-12-01 | 2019-08-27 | Varjo Technologies Oy | Gaze-tracking system and method |
SG11201907370XA (en) * | 2017-02-12 | 2019-09-27 | Lemnis Tech Pte Ltd | Methods, devices and systems for focus adjustment of displays |
US11494986B2 (en) | 2017-04-20 | 2022-11-08 | Samsung Electronics Co., Ltd. | System and method for two dimensional application usage in three dimensional virtual reality environment |
EP3420887A1 (en) | 2017-06-30 | 2019-01-02 | Essilor International | Method for determining the position of the eye rotation center of the eye of a subject, and associated device |
CN109752849B (zh) * | 2017-11-03 | 2021-05-18 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
CN109752848B (zh) * | 2017-11-06 | 2021-08-17 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
EP3740847B1 (en) | 2018-01-17 | 2024-03-13 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
KR20200110367A (ko) * | 2018-01-17 | 2020-09-23 | 매직 립, 인코포레이티드 | 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝 |
US11145096B2 (en) | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
EP3827426A4 (en) | 2018-07-24 | 2022-07-27 | Magic Leap, Inc. | AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES |
JP2022540675A (ja) | 2019-07-16 | 2022-09-16 | マジック リープ, インコーポレイテッド | 1つ以上の眼追跡カメラを用いた眼回転中心の決定 |
IL299775A (en) | 2020-07-15 | 2023-03-01 | Magic Leap Inc | Eye tracking using an aspheric cornea model |
-
2019
- 2019-01-17 EP EP19741593.8A patent/EP3740847B1/en active Active
- 2019-01-17 KR KR1020207022017A patent/KR20200108857A/ko not_active Application Discontinuation
- 2019-01-17 CN CN201980014647.0A patent/CN111771179A/zh active Pending
- 2019-01-17 IL IL311004A patent/IL311004A/en unknown
- 2019-01-17 WO PCT/US2019/014086 patent/WO2019143864A1/en unknown
- 2019-01-17 EP EP24155344.5A patent/EP4339692A3/en active Pending
- 2019-01-17 CA CA3088116A patent/CA3088116A1/en active Pending
- 2019-01-17 AU AU2019209950A patent/AU2019209950A1/en not_active Abandoned
- 2019-01-17 JP JP2020536814A patent/JP7291708B2/ja active Active
- 2019-01-17 US US16/251,017 patent/US10917634B2/en active Active
- 2019-01-17 IL IL275824A patent/IL275824B1/en unknown
-
2022
- 2022-03-28 US US17/706,429 patent/US11880033B2/en active Active
-
2023
- 2023-04-24 JP JP2023070734A patent/JP2023083526A/ja active Pending
- 2023-11-28 US US18/521,613 patent/US20240094528A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US20150035744A1 (en) | 2013-07-30 | 2015-02-05 | Steve Robbins | Near-eye optic positioning in display devices |
US20170212351A1 (en) | 2016-01-07 | 2017-07-27 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
Also Published As
Publication number | Publication date |
---|---|
EP4339692A2 (en) | 2024-03-20 |
AU2019209950A1 (en) | 2020-07-09 |
CA3088116A1 (en) | 2019-07-25 |
US20220221934A1 (en) | 2022-07-14 |
IL275824B1 (en) | 2024-04-01 |
US20240094528A1 (en) | 2024-03-21 |
EP3740847A4 (en) | 2021-10-20 |
EP3740847B1 (en) | 2024-03-13 |
EP3740847A1 (en) | 2020-11-25 |
EP4339692A3 (en) | 2024-06-19 |
CN111771179A (zh) | 2020-10-13 |
WO2019143864A1 (en) | 2019-07-25 |
US20190222830A1 (en) | 2019-07-18 |
KR20200108857A (ko) | 2020-09-21 |
US11880033B2 (en) | 2024-01-23 |
JP2023083526A (ja) | 2023-06-15 |
IL275824A (en) | 2020-08-31 |
IL311004A (en) | 2024-04-01 |
US10917634B2 (en) | 2021-02-09 |
JP2021511564A (ja) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7291708B2 (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
US11290706B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
JP7415077B2 (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
JP7512505B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
JP2023504207A (ja) | ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 | |
JP7456995B2 (ja) | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 | |
JP2022540675A (ja) | 1つ以上の眼追跡カメラを用いた眼回転中心の決定 | |
KR20230040346A (ko) | 비구면 각막 모델을 사용한 눈 추적 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7291708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |