KR20200097292A - 디스플레이 디바이스에 대한 향상된 포즈 결정 - Google Patents
디스플레이 디바이스에 대한 향상된 포즈 결정 Download PDFInfo
- Publication number
- KR20200097292A KR20200097292A KR1020207019367A KR20207019367A KR20200097292A KR 20200097292 A KR20200097292 A KR 20200097292A KR 1020207019367 A KR1020207019367 A KR 1020207019367A KR 20207019367 A KR20207019367 A KR 20207019367A KR 20200097292 A KR20200097292 A KR 20200097292A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- current image
- patch
- characteristic points
- real
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 52
- 238000005259 measurement Methods 0.000 claims description 26
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 102
- 238000010168 coupling process Methods 0.000 description 70
- 238000005859 coupling reaction Methods 0.000 description 70
- 210000003128 head Anatomy 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 31
- 238000004422 calculation algorithm Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 18
- 210000001525 retina Anatomy 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 14
- 239000000463 material Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000002347 injection Methods 0.000 description 11
- 239000007924 injection Substances 0.000 description 11
- 230000002146 bilateral effect Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000002513 implantation Methods 0.000 description 5
- 241000153282 Theope Species 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005253 cladding Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013488 ordinary least square regression Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 241000149788 Pseudophryne major Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001886 ciliary effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G06K9/00597—
-
- G06K9/00671—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
사용자의 머리 포즈를 결정하기 위해, 이미징 디바이스를 갖는 머리-장착 디스플레이 시스템은, 머리 포즈를 결정하는 데 사용될 특징적 포인트들에 대응하는 포인트들을 갖는, 실세계 환경의 현재 이미지를 획득할 수 있다. 특징적 포인트들은 패치-기반이며, 이전 이미지로부터 현재 이미지 상에 투영되는 제1 특징적 포인트, 및 현재 이미지로부터 추출되는, 현재 이미지에 포함된 제2 특징적 포인트를 포함한다. 후속적으로, 각각의 특징적 포인트는 실세계 환경에서의 특징적 포인트들의 위치들을 표시하는 디스크립터-기반 맵 정보에 기반하여 실세계 포인트들과 매칭된다. 이미징 디바이스들의 배향은, 매칭에 기반하여 그리고 현재 이미지에서 캡처된 뷰에서의 특징적 포인트들의 상대적 포지션들에 기반하여 결정된다. 그 배향은 머리-장착 디스플레이 시스템의 착용자의 머리 포즈를 추론하는 데 사용될 수 있다.
Description
[0001]
본 출원은, 2017년 12월 15일자로 출원된 미국 가출원 제62/599,620호 및 2018년 1월 30일자로 출원된 미국 가출원 제62/623,606호를 우선권으로 주장한다. 이 출원들 각각은 이로써 인용에 의해 그 전체가 포함된다.
[0002]
본 출원은, 다음의 특허 출원들: 2014년 11월 27일자로 출원되고 미국 공개 번호 제2015/0205126호로 2015년 7월 23일자로 공개된 미국 출원 번호 제14/555,585호; 2015년 4월 18일자로 출원되고 미국 공개 번호 제2015/0302652호로 2015년 10월 22일자로 공개된 미국 출원 번호 제14/690,401호; 2014년 3월 14일자로 출원되고 2016년 8월 16일자로 허여된 현재 미국 특허 번호 제9,417,452호인 미국 출원 번호 제14/212,961호; 2014년 7월 14일자로 출원되고 미국 공개 번호 제2015/0309263호로 2015년 10월 29일자로 공개된 미국 출원 번호 제14/331,218호; 2014년 3월 11일자로 출원되고 미국 공개 번호 제2014/0306866호로 2014년 10월 16일자로 공개된 미국 출원 번호 제14/205,126호; 2017년 3월 17일자로 출원된 미국 출원 번호 제15/597,694호; 및 2017년 9월 27일자로 출원된 미국 출원 번호 제15/717747호 각각의 전체 내용을 인용에 의해 추가로 포함한다.
[0003]
본 개시내용은 디스플레이 시스템들에 관한 것으로, 보다 구체적으로는 증강 현실 디스플레이 시스템들에 관한 것이다.
[0004]
현대 컴퓨팅 및 디스플레이 기술들은 이른바 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 디지털 방식으로 재생되는 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실 또는 "VR" 시나리오는 전형적으로, 다른 실제 실세계 시각적 입력에 대한 투명도(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실 또는 "AR" 시나리오는 전형적으로, 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 혼합 현실 또는 "MR" 시나리오는 AR 시나리오의 타입이고, 전형적으로, 자연 세계에 통합되고 그에 응답하는 가상 오브젝트들을 수반한다. 예컨대, MR 시나리오에서, AR 이미지 콘텐츠는 실세계의 오브젝트들에 의해 차단되거나 또는 다르게는 실세계의 오브젝트들과 상호작용하는 것으로 지각될 수 있다.
[0005]
도 1을 참조하면, AR 기술의 사용자가, 배경의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(30)을 특징으로 하는 실세계 공원형 장소(20)를 보는 증강 현실 장면(10)이 묘사된다. 이러한 아이템들 외에도, AR 기술의 사용자는 또한, 자신이 실세계 플랫폼(30) 위에 서 있는 로봇 동상(40), 및 호박벌의 의인화인 것처럼 보이는 날고 있는 만화형 아바타 캐릭터(50)와 같은 "가상 콘텐츠"를 "보는" 것으로 지각하지만, 이러한 엘리먼트들(40, 50)은 실세계에서 존재하지 않는다. 인간의 시각적 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고 자연스러운 느낌의 풍부한 프리젠테이션을 가능하게 하는 AR 기술을 생성하는 것은 난제이다.
[0006]
본원에 개시된 시스템들 및 방법들은 AR 및 VR 기술에 관련된 다양한 난제들을 해결한다.
[0007]
일부 비-제한적 실시예들은 시스템을 포함하며, 시스템은, 하나 이상의 이미징 디바이스들, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체들을 포함한다. 동작들은, 하나 이상의 이미징 디바이스들을 통해, 실세계 환경의 현재 이미지를 획득하는 동작 ― 현재 이미지는 포즈를 결정하기 위한 복수의 포인트들을 포함함 ―; 이전 이미지로부터의 패치-기반 제1 특징적 포인트(patch-based first salient point)를 현재 이미지 내의 복수의 포인트들 중 대응하는 포인트 상에 투영하는 동작; 현재 이미지로부터 제2 특징적 포인트를 추출하는 동작; 특징적 포인트들에 대한 개개의 디스크립터들을 제공하는 동작; 현재 이미지와 연관된 특징적 포인트들을 실세계 환경의 디스크립터-기반 맵에서 특정된 실세계 위치들과 매칭시키는 동작; 및 매칭에 기반하여, 시스템과 연관된 포즈를 결정하는 동작을 포함하며, 포즈는 실세계 환경에서의 하나 이상의 이미징 디바이스들의 배향을 적어도 표시한다.
[0008]
위의 실시예들에서, 동작들은, 현재 이미지 상의 패치-기반 제1 특징적 포인트의 포지션을 조정하는 동작을 더 포함할 수 있고, 포지션을 조정하는 동작은: 제1 특징적 포인트와 연관된 제1 패치를 획득하는 동작 ― 제1 패치는 제1 특징적 포인트를 포함하는(encompassing) 이전 이미지의 부분 및 제1 특징적 포인트 주위의 이전 이미지의 영역을 포함함 ―; 및 현재 이미지 내에, 제1 패치와 유사한 제2 패치를 로케이팅하는 동작을 포함하며, 제1 특징적 포인트는 제2 패치 내에서 제1 패치에서와 유사한 위치에 포지셔닝된다. 제2 패치를 로케이팅하는 동작은 이전 이미지 내의 제1 패치와 현재 이미지 내의 제2 패치 사이의 차이를 최소화하는 동작을 포함할 수 있다. 패치-기반 제1 특징적 포인트를 현재 이미지 상에 투영하는 동작은, 시스템의 관성 측정 유닛으로부터의 정보에 적어도 부분적으로 기반할 수 있다. 제2 특징적 포인트를 추출하는 동작은: 현재 이미지의 이미지 영역이, 이전 이미지로부터 투영된 임계 개수 미만의 특징적 포인트들을 갖는다고 결정하는 동작; 및 이미지 영역으로부터 하나 이상의 디스크립터-기반 특징적 포인트들을 추출하는 동작을 포함할 수 있고, 추출된 특징적 포인트들은 제2 특징적 포인트를 포함한다. 이미지 영역은 현재 이미지 전체를 포함할 수 있거나, 또는 이미지는 현재 이미지의 서브세트를 포함한다. 이미지 영역은 현재 이미지의 서브세트를 포함할 수 있고, 시스템은 하나 이상의 이전에 결정된 포즈들 사이의 차이들 또는 프로세싱 제약들 중 하나 이상에 기반하여 서브세트와 연관된 크기를 조정하도록 구성될 수 있다. 현재 이미지와 연관된 특징적 포인트들을 실세계 환경의 맵에서 특정된 실세계 위치들과 매칭시키는 동작은: 맵 정보에 액세스하는 동작 ― 맵 정보는 특징적 포인트들의 실세계 위치들 및 연관된 디스크립터들을 포함함 ―; 및 현재 이미지의 특징적 포인트들에 대한 디스크립터들을 실세계 위치들에서의 특징적 포인트들에 대한 디스크립터들과 매칭시키는 동작을 포함할 수 있다. 동작들은: 맵 정보에서 제공된 특징적 포인트들을 현재 이미지 상에 투영하는 동작을 더 포함할 수 있으며, 투영은, 관성 측정 유닛, 확장 칼만 필터(extended kalman filter), 또는 시각적-관성 오도메트리(visual-inertial odometry) 중 하나 이상에 기반한다. 시스템은 적어도 하나 이상의 이미징 디바이스들을 사용하여 맵을 생성하도록 구성될 수 있다. 포즈를 결정하는 동작은 특징적 포인트들의 실세계 위치들 및 현재 이미지에서 캡처된 뷰에서의 특징적 포인트들의 상대적 포지션들에 기반할 수 있다. 동작들은: 현재 이미지에 대한 후속 이미지에 대해, 현재 이미지로부터 추출된 개개의 특징적 포인트들과 연관된 패치들이 후속 이미지 상에 투영될 수 있는 특징적 포인트들을 포함할 수 있도록, 패치들을 생성하는 동작을 더 포함할 수 있다. 디스크립터들을 제공하는 동작은 특징적 포인트들 각각에 대한 디스크립터들을 생성하는 동작을 포함할 수 있다.
[0009]
다른 실시예들에서, 증강 현실 디스플레이 시스템이 제공된다. 증강 현실 디스플레이 디바이스는 하나 이상의 이미징 디바이스들 및 하나 이상의 프로세서들을 포함한다. 프로세서들은, 실세계 환경의 현재 이미지를 획득하고; 이전 이미지에 포함된 패치-기반 특징적 포인트들이 현재 이미지 상에 투영되도록, 현재 이미지에 대해 프레임-투-프레임 추적(frame-to-frame tracking)을 수행하고; 맵 데이터베이스에 포함된 디스크립터-기반 특징적 포인트들이 현재 이미지의 특징적 포인트들과 매칭되도록, 현재 이미지에 대해 맵-투-프레임 추적(map-to-frame tracking)을 수행하고; 그리고 디스플레이 디바이스와 연관된 포즈를 결정하도록 구성된다.
[0010]
위의 실시예들에서, 프레임-투-프레임 추적은 광도측정 에러 최적화(photometric error optimization)를 사용하여, 투영된 패치들의 위치들을 정교화(refining)하는 것을 더 포함할 수 있다. 맵-투-프레임 추적은 패치-기반 특징적 포인트들에 대한 디스크립터들을 결정하는 것, 및 특징적 포인트들에 대한 디스크립터들을 맵 데이터베이스 내의 디스크립터-기반 특징적 포인트들과 매칭시키는 것을 더 포함할 수 있다. 하나 이상의 프로세서들은 추가로, 적어도 하나 이상의 이미징 디바이스들을 사용하여 맵 데이터베이스를 생성하도록 구성될 수 있다. 증강 현실 디스플레이 시스템은, 상이한 깊이 평면들에 대응하는 상이한 파면 발산을 갖는 광을 출력하도록 구성된 복수의 도파관들을 더 포함할 수 있고, 출력 광은 디스플레이 디바이스와 연관된 포즈에 적어도 부분적으로 기반하여 로케이팅된다.
[0011]
다른 실시예들에서, 방법이 제공된다. 방법은, 하나 이상의 이미징 디바이스들을 통해, 실세계 환경의 현재 이미지를 획득하는 단계 ― 현재 이미지는 포즈를 결정하기 위한 복수의 포인트들을 포함함 ―; 이전 이미지로부터의 패치-기반 제1 특징적 포인트를 현재 이미지 내의 복수의 포인트들 중 대응하는 포인트 상에 투영하는 단계; 현재 이미지로부터 제2 특징적 포인트를 추출하는 단계; 특징적 포인트들에 대한 개개의 디스크립터들을 제공하는 단계; 현재 이미지와 연관된 특징적 포인트들을 실세계 환경의 디스크립터-기반 맵에서 특정된 실세계 위치들과 매칭시키는 단계; 및 매칭에 기반하여, 디스플레이 디바이스와 연관된 포즈를 결정하는 단계를 포함하며, 포즈는 실세계 환경에서의 하나 이상의 이미징 디바이스들의 배향을 적어도 표시한다.
[0012]
이러한 실시예들에서, 방법은 현재 이미지 상의 패치-기반 제1 특징적 포인트의 포지션을 조정하는 단계를 더 포함할 수 있고, 포지션을 조정하는 단계는: 제1 특징적 포인트와 연관된 제1 패치를 획득하는 단계 ― 제1 패치는 제1 특징적 포인트를 포함하는 이전 이미지의 부분 및 제1 특징적 포인트 주위의 이전 이미지의 영역을 포함함 ―; 및 현재 이미지 내에, 제1 패치와 유사한 제2 패치를 로케이팅하는 단계를 포함하며, 제1 특징적 포인트는 제2 패치 내에서 제1 패치에서와 유사한 위치에 포지셔닝된다. 제2 패치를 로케이팅하는 단계는 제1 패치와의 차이들이 최소인, 현재 이미지 내의 패치를 결정하는 단계를 포함할 수 있다. 패치-기반 제1 특징적 포인트를 현재 이미지 상에 투영하는 단계는, 디스플레이 디바이스의 관성 측정 유닛으로부터의 정보에 적어도 부분적으로 기반할 수 있다. 제2 특징적 포인트를 추출하는 단계는: 현재 이미지의 이미지 영역이, 이전 이미지로부터 투영된 임계 개수 미만의 특징적 포인트들을 갖는다고 결정하는 단계; 및 이미지 영역으로부터 하나 이상의 디스크립터-기반 특징적 포인트들을 추출하는 단계를 포함할 수 있고, 추출된 특징적 포인트들은 제2 특징적 포인트를 포함한다. 이미지 영역은 현재 이미지 전체를 포함할 수 있거나, 또는 이미지는 현재 이미지의 서브세트를 포함할 수 있다. 이미지 영역은 현재 이미지의 서브세트를 포함할 수 있고, 프로세서들은 하나 이상의 이전에 결정된 포즈들 사이의 차이들 또는 프로세싱 제약들 중 하나 이상에 기반하여 서브세트와 연관된 크기를 조정하도록 구성될 수 있다. 현재 이미지와 연관된 특징적 포인트들을 실세계 환경의 맵에서 특정된 실세계 위치들과 매칭시키는 단계는: 맵 정보에 액세스하는 단계 ― 맵 정보는 특징적 포인트들의 실세계 위치들 및 연관된 디스크립터들을 포함함 ―; 및 현재 이미지의 특징적 포인트들에 대한 디스크립터들을 실세계 위치들에서의 특징적 포인트들에 대한 디스크립터들과 매칭시키는 단계를 포함할 수 있다. 방법은 맵 정보에서 제공된 특징적 포인트들을 현재 이미지 상에 투영하는 단계를 더 포함할 수 있고, 투영은, 관성 측정 유닛, 확장 칼만 필터, 또는 시각적-관성 오도메트리 중 하나 이상에 기반한다. 포즈를 결정하는 단계는 특징적 포인트들의 실세계 위치들 및 현재 이미지에서 캡처된 뷰에서의 특징적 포인트들의 상대적 포지션들에 기반할 수 있다. 방법은, 현재 이미지에 대한 후속 이미지에 대해, 현재 이미지로부터 추출된 개개의 특징적 포인트들과 연관된 패치들이 후속 이미지 상에 투영될 수 있는 특징적 포인트들을 포함하도록, 패치들을 생성하는 단계를 더 포함할 수 있다. 디스크립터들을 제공하는 단계는 특징적 포인트들 각각에 대한 디스크립터들을 생성하는 단계를 포함할 수 있다. 방법은 적어도 하나 이상의 이미징 디바이스들을 사용하여 맵을 생성하는 단계를 더 포함할 수 있다.
[0013]
도 1은 AR(augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0014] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0015] 도 3a-도 3c는 곡률 반경과 초점 반경 사이의 관계들을 예시한다.
[0016] 도 4a는 인간의 시각 시스템의 원근조절-이접운동 응답의 표현을 예시한다.
[0017] 도 4b는 사용자의 한 쌍의 눈들의 상이한 원근조절 상태들 및 이접운동 상태들의 예들을 예시한다.
[0018] 도 4c는 디스플레이 시스템을 통해 콘텐츠를 보는 사용자의 하향식 뷰의 표현의 예를 예시한다.
[0019] 도 4d는 디스플레이 시스템을 통해 콘텐츠를 보는 사용자의 하향식 뷰의 표현의 다른 예를 예시한다.
[0020] 도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근 방식의 양상들을 예시한다.
[0021] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0022] 도 7은 도파관에 의해 출력된 출사 빔들의 예를 예시한다.
[0023] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택형 도파관 어셈블리의 예를 예시한다.
[0024] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 스택형 도파관들의 세트의 예의 측단면도를 예시한다.
[0025] 도 9b는 도 9a의 복수의 스택형 도파관들의 예의 사시도를 예시한다.
[0026] 도 9c는 도 9a 및 도 9b의 복수의 스택형 도파관들의 예의 하향식 평면도를 예시한다.
[0027] 도 9d는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0028] 도 10a는 디스플레이 시스템의 포즈 및 사용자의 머리의 포즈를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0029] 도 10b는 현재 이미지의 예시적인 이미지 영역들을 예시한다.
[0030] 도 11은 프레임-투-프레임 추적을 위한 예시적인 프로세스의 흐름도를 예시한다.
[0031] 도 12a는 이전 이미지 및 현재 이미지의 예들을 예시한다.
[0032] 도 12b는 도 12a의 현재 이미지 상에 투영된 패치의 예를 예시한다.
[0033] 도 13은 맵-투-프레임 추적을 위한 예시적인 프로세스의 흐름도를 예시한다.
[0034] 도 14a는 이전 이미지 및 현재 이미지의 예들을 예시한다.
[0035] 도 14b는 맵-투-프레임 추적 이후의 프레임-투-프레임 추적의 예를 예시한다.
[0036] 도 15는 머리 포즈를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0014] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0015] 도 3a-도 3c는 곡률 반경과 초점 반경 사이의 관계들을 예시한다.
[0016] 도 4a는 인간의 시각 시스템의 원근조절-이접운동 응답의 표현을 예시한다.
[0017] 도 4b는 사용자의 한 쌍의 눈들의 상이한 원근조절 상태들 및 이접운동 상태들의 예들을 예시한다.
[0018] 도 4c는 디스플레이 시스템을 통해 콘텐츠를 보는 사용자의 하향식 뷰의 표현의 예를 예시한다.
[0019] 도 4d는 디스플레이 시스템을 통해 콘텐츠를 보는 사용자의 하향식 뷰의 표현의 다른 예를 예시한다.
[0020] 도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근 방식의 양상들을 예시한다.
[0021] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0022] 도 7은 도파관에 의해 출력된 출사 빔들의 예를 예시한다.
[0023] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택형 도파관 어셈블리의 예를 예시한다.
[0024] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 스택형 도파관들의 세트의 예의 측단면도를 예시한다.
[0025] 도 9b는 도 9a의 복수의 스택형 도파관들의 예의 사시도를 예시한다.
[0026] 도 9c는 도 9a 및 도 9b의 복수의 스택형 도파관들의 예의 하향식 평면도를 예시한다.
[0027] 도 9d는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0028] 도 10a는 디스플레이 시스템의 포즈 및 사용자의 머리의 포즈를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0029] 도 10b는 현재 이미지의 예시적인 이미지 영역들을 예시한다.
[0030] 도 11은 프레임-투-프레임 추적을 위한 예시적인 프로세스의 흐름도를 예시한다.
[0031] 도 12a는 이전 이미지 및 현재 이미지의 예들을 예시한다.
[0032] 도 12b는 도 12a의 현재 이미지 상에 투영된 패치의 예를 예시한다.
[0033] 도 13은 맵-투-프레임 추적을 위한 예시적인 프로세스의 흐름도를 예시한다.
[0034] 도 14a는 이전 이미지 및 현재 이미지의 예들을 예시한다.
[0035] 도 14b는 맵-투-프레임 추적 이후의 프레임-투-프레임 추적의 예를 예시한다.
[0036] 도 15는 머리 포즈를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0037]
디스플레이 시스템들, 이를테면, AR(augmented reality) 또는 VR(virtual reality) 디스플레이 시스템들은 사용자의 시야의 상이한 영역들에서 사용자(또는 뷰어)에게 콘텐츠를 제시할 수 있다. 예컨대, 증강 현실 디스플레이 시스템은 가상 콘텐츠를 사용자에게 제시할 수 있으며, 그 가상 콘텐츠는 실세계 환경에 배치되는 것처럼 사용자에게 보일 수 있다. 다른 예로서, 가상 현실 디스플레이 시스템은, 콘텐츠가 사용자에게 3차원으로 보이고 3차원 환경 내에 배치될 수 있도록, 디스플레이들을 통해 콘텐츠를 제시할 수 있다. 예컨대, 사용자에 관한 이 콘텐츠의 배치는 제시된 콘텐츠와 연관된 현실감 및 디스플레이 시스템을 착용하고 있는 사용자의 안락함에 긍정적으로 또는 부정적으로 영향을 미칠 수 있다. 아래에서 설명될 바와 같이, 콘텐츠의 배치는 디스플레이 시스템들의 사용자들의 머리 포즈에 의존할 수 있기 때문에, 이러한 디스플레이 시스템들은 머리 포즈를 결정하기 위한 정확한 방식들의 활용을 통해 향상될 수 있다.
[0038]
사용자의 머리의 포즈는, 실세계 환경에 대한, 예컨대 실세계 환경과 연관된 좌표계에 대한 사용자의 머리의 배향(예컨대, 머리의 피치(pitch), 요(yaw), 및/또는 롤(roll))인 것으로 이해될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 또한, 실세계 환경에 대한, 예컨대 실세계 환경과 연관된 좌표계에 대한 디스플레이 시스템(예컨대, AR 또는 VR 디스플레이 디바이스) 또는 디스플레이 시스템의 부분들의 특정 배향에 대응하는 포즈를 가질 수 있다. 포즈는 선택적으로, 좌표계에 대한 실세계 환경에서의 배향을 일반적으로(generically) 나타낼 수 있다. 예컨대, 사용자가 (예컨대, 자신의 머리를 회전시킴으로써) 자신의 머리 상에 장착된 디스플레이 시스템을 회전시키면, 사용자의 머리 및 디스플레이 시스템 둘 모두의 포즈는 회전에 따라 조정될 수 있다. 따라서, 사용자에게 제시되는 콘텐츠는 사용자의 머리의 포즈에 기반하여 조정될 수 있으며, 이는 또한 사용자의 머리 상에 장착된 디스플레이 시스템의 디스플레이의 포즈를 변경할 수 있다. 일부 실시예들에서, 디스플레이 시스템의 포즈가 결정될 수 있고, 이 디스플레이 시스템 포즈로부터 사용자의 머리 포즈가 추론될 수 있다. 머리 포즈를 결정함으로써, 사용자가 실세계 환경에 대하여 이동함에 따라, 콘텐츠는 사용자의 머리의 결정된 포즈들에 기반하여 위치 및 배향에서 현실적으로 조정될 수 있다. 일부 예들이 아래에서 설명된다.
[0039]
AR(augmented reality) 및 VR(virtual reality) 디스플레이 시스템들과 관련하여, 사용자가 제시된 가상 콘텐츠 주위를 이동할 수 있으면 현실감이 향상될 수 있고, 제시된 가상 콘텐츠는 실질적으로 고정된 실세계 위치에 유지되는 것처럼 보일 수 있다. 예컨대, 도 1에 예시된 로봇(40) 동상은 사용자에게 제시된 가상 콘텐츠일 수 있다. 사용자가 로봇(40)을 향해 또는 로봇(40) 주위를 걸을 때, 로봇(40)이 공원에서 동일한 위치에 유지되는 것처럼 보일 경우 증강 현실 장면(10)은 사용자에게 더욱 현실적으로 보일 것이다. 따라서, 사용자는 로봇(40)의 상이한 관점들, 로봇(40)의 상이한 부분들 등을 볼 수 있다. 로봇(40)이 고정된 현실적인 동상으로 보이는 것을 보장하기 위해, 디스플레이 시스템은 가상 콘텐츠를 렌더링할 때, 결정된 포즈들을 활용할 수 있다. 예컨대, 디스플레이 시스템은 사용자가 자신의 머리를 특정 각도로 회전시켰음을 표시하는 정보를 획득할 수 있다. 이 회전은 가상 콘텐츠의 배치를 알려서, 로봇(40)은 동상으로서 계속 똑바로 서있는 것처럼 보일 것이다.
[0040]
다른 예로서, 사용자는 디스플레이 시스템을 착용한 채로 1인칭 비디오 게임을 플레이할 수 있다. 이 예에서, 디스플레이 시스템을 통해 사용자에게 제시되는 바와 같이, 사용자는 자신의 머리를 빠르게 낮추거나 또는 자신의 머리를 회전시켜서, 가상의 적 오브젝트가 사용자에게 던져지는 길로부터 이동할 수 있다. 이 움직임(예컨대, 머리의 하강 또는 회전)이 추적될 수 있고, 사용자의 머리 포즈들이 결정될 수 있다. 이 방식으로, 디스플레이 시스템은 사용자가 적 오브젝트를 성공적으로 회피했는지 여부를 결정할 수 있다.
[0041]
포즈를 결정하기 위한 시스템들은 복잡할 수 있다. 머리 포즈를 결정하기 위한 예시적인 방식은 센서들 및 광 방출기들을 활용할 수 있다. 예컨대, 적외선 방출기들은 실세계 환경에서 고정된 위치들로부터 적외선 광의 펄스들을 방출할 수 있다(예컨대, 방출기들은 룸 내에서 디바이스를 둘러싸고 있을 수 있음). 사용자가 착용한 디스플레이 디바이스는 이러한 펄스들을 검출하기 위한 센서들을 포함할 수 있다. 따라서, 디스플레이 디바이스는 고정된 방출기들에 대한 자신의 배향을 결정할 수 있다. 유사하게, 디스플레이 디바이스는 고정된 방출기들에 기반하여 실세계 환경에서의 자신의 위치를 결정할 수 있다. 다른 예로서, 디스플레이 디바이스는 고정된 광 방출기들(예컨대, 가시광 또는 적외선)을 포함할 수 있고, 광 방출을 추적하는 하나 이상의 카메라들이 실세계 환경에 포지셔닝될 수 있다. 이 예에서, 디스플레이 디바이스가 회전함에 따라, 카메라들은 광 방출이 초기 포지션으로부터 회전하고 있음을 검출할 수 있다. 따라서, 이러한 예시적인 방식들은 디스플레이 디바이스의 포즈들을 결정하기 위해 복잡한 하드웨어를 필요로 할 수 있다.
[0042]
본원에서 설명된 디스플레이 시스템(예컨대, 도 9d에 예시된 디스플레이 시스템(60))은 고정된 광 방출기들의 복잡성 및 경직(rigidity) 없이 정확한 포즈 추정치들을 결정할 수 있다. 일부 실시예들에서, 사용자가 착용한 디스플레이 시스템(예컨대, 도 9d에 예시된 바와 같이 프레임(80)에 커플링된 디스플레이(70))의 포즈가 결정될 수 있다. 디스플레이 시스템 포즈로부터, 사용자의 머리 포즈가 결정될 수 있다. 디스플레이 시스템은, 사용자가 룸에 복잡한 하드웨어를 셋업할 필요 없이 그리고 사용자가 그 룸 내에 머무를 필요 없이, 자신의 포즈를 결정할 수 있다. 설명될 바와 같이, 디스플레이 시스템은 디스플레이 시스템 상의 이미징 디바이스(예컨대, 광학 이미징 디바이스, 이를테면, 카메라)를 사용하여 자신의 포즈를 결정할 수 있다. 이미징 디바이스는 실세계 환경의 이미지들을 획득할 수 있고, 이러한 이미지들에 기반하여 디스플레이 시스템은 자신의 포즈를 결정할 수 있다. 본원에서 설명된 기법들을 통해, 디스플레이 시스템은 유리하게, 프로세싱 및 메모리 요건들을 제한하면서 포즈를 결정할 수 있다. 이 방식으로, 제한된 메모리 및 컴퓨팅 예산들을 가진 디스플레이 시스템들, 이를테면, AR 및 MR 디스플레이 시스템들은 포즈 추정치들을 효율적으로 결정하고 사용자들을 위한 현실감을 높일 수 있다.
[0043]
포즈를 결정하기 위해, 디스플레이 시스템은, (1) 디스플레이 시스템에 의해 캡처된 환경의 연속적인 이미지들 사이의 구별가능한 포인트들(예컨대, 이미지의 독특한(distinctive) 분리된 부분들)의 패치-기반 추적(본원에서 '프레임-투-프레임 추적'으로 지칭됨), 및 (2) 현재 이미지의 관심 포인트들을 대응하는 관심 포인트들의 알려진 실세계 위치들의 디스크립터-기반 맵과 매칭시키는 것(예컨대, 본원에서 "맵-투-프레임 추적"으로 지칭됨) 둘 모두를 레버리징(leverage)할 수 있다. 프레임-투-프레임 추적에서, 디스플레이 시스템은 실세계 환경의 캡처된 이미지들 사이에서 특정 관심 포인트들(본원에서 '특징적 포인트들'로 지칭됨), 이를테면, 코너들을 추적할 수 있다. 예컨대, 디스플레이 시스템은 이전 이미지 내에 포함되었던(예컨대, 로케이팅되었던) 시각적 관심 포인트들의 위치들을 현재 이미지에서 식별할 수 있다. 이 식별은, 예컨대 광도측정 에러 최소화 프로세스들을 사용하여 달성될 수 있다. 맵-투-프레임 추적에서, 디스플레이 시스템은 관심 포인트들의 실세계 위치들(예컨대, 3차원 좌표들)을 표시하는 맵 정보에 액세스할 수 있고, 현재 이미지에 포함된 관심 포인트들을 맵 정보에 표시된 관심 포인트들에 매칭시킬 수 있다. 관심 포인트들에 관한 정보는, 예컨대 맵 데이터베이스에 디스크립터들로서 저장될 수 있다. 그런 다음, 디스플레이 시스템은 매칭된 시각적 피처들에 기반하여 자신의 포즈를 계산할 수 있다. 맵 정보를 생성하는 것은 도 10a와 관련하여 아래에서 더 상세하게 설명될 것이다. 본원에서 사용된 바와 같이, 일부 실시예들에서, 포인트는 이미지의 영역에 대응하는 픽셀들의 세트 또는 이미지의 개별 픽셀을 지칭할 수 있다.
[0044]
위에서 설명된 바와 같이, 포즈를 결정하기 위해, 디스플레이 시스템은, 본원에서 "특징적 포인트들"로 지칭되는 구별가능한 시각적 피처들을 활용할 수 있다. 본 명세서에서, 특징적 포인트는 추적될 수 있는 실세계 환경의 임의의 고유한 부분에 대응한다. 예컨대, 특징적 포인트는 코너일 수 있다. 코너는 2개의 라인들의 실질적으로 직교하는 교차점을 나타낼 수 있으며, 책상 위의 스크래치들, 벽 위의 마크들, 키보드 번호 '7' 등을 포함할 수 있다. 설명될 바와 같이, 코너 검출 방식들에 따라 이미징 디바이스에 의해 획득된 이미지들로부터 코너들이 검출될 수 있다. 예시적인 코너 검출 방식들은 해리스 코너 검출(Harris corner detection), FAST(features from accelerated segment test) 코너 검출 등을 포함할 수 있다.
[0045]
프레임-투-프레임 추적과 관련하여, 디스플레이 시스템은 이전 이미지로부터의 각각의 추적된 특징적 포인트를 현재 이미지 상으로 투사함으로써 이전 이미지로부터 현재 이미지까지 특징적 포인트들을 추적할 수 있다. 예컨대, 디스플레이 시스템은, 현재 이미지와 이전 이미지 사이의 광학적 흐름을 결정하기 위해, 궤적 예측을 활용하거나, 선택적으로는 관성 측정 유닛으로부터의 정보를 활용할 수 있다. 광학적 흐름은, 이전 이미지가 획득된 시간으로부터 현재 이미지가 획득된 시간까지의 사용자의 움직임을 나타낼 수 있다. 궤적 예측은 이전 이미지에 포함된 특징적 포인트들이 대응하는, 현재 이미지 내의 위치들을 알려줄 수 있다. 그런 다음, 디스플레이 시스템은 본원에서 "패치(patch)"로 알려진, 이전 이미지에서 각각의 특징적 포인트를 둘러싸는 이미지 부분을 획득하고, 현재 이미지에서 매칭되는 이미지 부분을 결정할 수 있다. 패치는, 예컨대 이전 이미지에서 각각의 특징적 포인트를 둘러싸는 M x N 픽셀 영역일 수 있으며, 여기서 M 및 N은 양의 정수들이다. 이전 이미지로부터 현재 이미지로 패치를 매칭시키기 위해, 디스플레이 시스템은 현재 이미지 내의 패치와 이전 이미지 패치 사이에서 감소된 (예컨대, 최소화된) 광도측정 에러를 갖는, 현재 이미지 내의 패치를 식별할 수 있다. 특징적 포인트는 패치 내의 특정한 일관된 2차원 이미지 포지션에 로케이팅되는 것으로 이해될 수 있다. 예컨대, 현재 이미지 내의 매칭되는 패치의 중심(centroid)은 추적된 특징적 포인트에 대응할 수 있다. 따라서, 이전 이미지로부터 현재 이미지 상으로의 투영은 현재 이미지 내에 특징적 포인트 및 연관된 패치를 개략적으로 포지셔닝하며, 그 포지션은, 예컨대 패치와 현재 이미지의 특정 영역 사이의 픽셀 강도 차이들을 최소화하는 포지션을 결정하기 위해 광도측정 에러 최소화를 사용하여 정교화될 수 있다.
[0046]
맵-투-프레임 추적과 관련하여, 디스플레이 시스템은 현재 이미지로부터 특징적 포인트들을 추출할 수 있다(예컨대, 새로운 특징적 포인트들에 대응하는 현재 이미지의 위치들을 식별함). 예컨대, 디스플레이는 (예컨대, 프레임-투-프레임 추적으로부터 결정된) 임계 개수 미만의 추적된 특징적 포인트들을 갖는 현재 이미지의 이미지 영역들로부터 특징적 포인트들을 추출할 수 있다. 그런 다음, 디스플레이 시스템은 현재 이미지 내의 특징적 포인트들(예컨대, 새로 추출된 특징적 포인트들, 추적된 특징적 포인트들)을 디스크립터-기반 맵 정보에 기반하여 개개의 실세계 위치들에 매칭시킬 수 있다. 본원에서 설명된 바와 같이, 디스플레이 시스템은 특징적 포인트의 속성들(예컨대, 시각적)을 고유하게 설명하는, 각각의 특징적 포인트에 대한 디스크립터를 생성할 수 있다. 맵 정보는 실세계 특징적 포인트들에 대한 디스크립터들을 유사하게 저장할 수 있다. 디스크립터들을 매칭시키는 것에 기반하여, 디스플레이 시스템은 현재 이미지에 포함된 특징적 포인트들의 실세계 위치들을 결정할 수 있다. 따라서, 디스플레이 시스템은 실세계 위치들에 대한 자신의 배향을 결정하고, 자신의 포즈를 결정할 수 있고, 그런 다음, 이는 머리 포즈를 결정하는 데 사용될 수 있다.
[0047]
광도측정 에러 최소화 방식들의 사용은, 예컨대 위에서 설명된 바와 같은 패치들의 비교를 통해 이미지들 사이에서 특징적 포인트들을 매우 정확하게 추적하는 것을 가능하게 할 수 있다는 것이 인식될 것이다. 실제로, 이전 이미지와 현재 이미지 사이에서 특징적 포인트들을 추적하는 것의 서브-픽셀 정확도가 달성될 수 있다. 대조적으로, 디스크립터들은 이미지들 사이에서 특징적 포인트들을 추적하는 데 있어서 덜 정확할 수 있지만, 광도측정 에러 최소화에 대해 패치들보다 더 적은 메모리를 활용할 것이다. 디스크립터들이 이미지들 사이에서 특징적 포인트들을 추적하는 데 있어서 덜 정확할 수 있기 때문에, 결정된 포즈 추정치들은 광도측정 에러 최소화가 사용된 경우보다 더 다양할 수 있다. 정확하지만, 패치들의 사용은 각각의 특징적 포인트에 대한 패치를 저장하는 것을 필요로 할 수 있다. 디스크립터가, 특징적 포인트의 시각적 특징들을 설명하는 영숫자 값, 및/또는 특징적 포인트 주위의 이미지 영역, 이를테면, 히스토그램일 수 있기 때문에, 디스크립터는 패치보다 열배 이상 더 작을 수 있다.
[0048]
따라서, 본원에서 설명된 바와 같이, 디스플레이 디바이스는 패치-기반 광도측정 에러 최소화 및 디스크립터들의 이익들을 활용하여, 강력하고 메모리 효율적인 포즈 결정 프로세스를 가능하게 할 수 있다. 예컨대, 프레임-투-프레임 추적은 패치-기반 광도측정 에러 최소화를 활용하여 이미지들 사이에서 특징적 포인트들을 정확하게 추적할 수 있다. 이 방식으로, 특징적 포인트들은 예컨대 서브-픽셀 정확도로 추적될 수 있다. 그러나, 시간이 경과함에 따라(예컨대, 다수의 프레임들 또는 이미지들에 걸쳐) 작은 에러들이 도입되어, 임계 개수의 이미지들에 걸쳐, 특징적 포인트들을 추적하는 데 있어서의 누적 에러들에 의해 야기되는 드리프트가 뚜렷해질 수 있다. 이 드리프트는 포즈 결정들의 정확도를 감소시킬 수 있다. 따라서, 일부 실시예들에서, 맵-투-프레임 추적은 각각의 특징적 포인트를 실세계 위치에 링크하는 데 활용될 수 있다. 예컨대, 맵-투-프레임 추적에서 특징적 포인트들은 맵 정보에 저장된 특징적 포인트들에 매칭된다. 따라서, 각각의 특징적 포인트의 실세계 좌표들이 식별될 수 있다.
[0049]
광도측정 에러 최소화가 맵-투-프레임 추적에 활용된 경우, 맵 정보는 실세계 환경에서 식별된 각각의 특징적 포인트에 대한 패치를 저장할 것이다. 맵 정보에 표시되는 수천 개, 수십만 개 등의 특징적 포인트들이 있을 수 있기 때문에, 메모리 요건들은 클 것이다. 유리하게, 디스크립터들을 사용하는 것은 맵-투-프레임 추적과 연관된 메모리 요건들을 감소시킬 수 있다. 예컨대, 맵 정보는 각각의 특징적 포인트의 실세계 좌표들을 특징적 포인트에 대한 디스크립터와 함께 저장할 수 있다. 일부 실시예들에서, 디스크립터는 적어도 패치보다 크기가 10배 더 작을 수 있기 때문에, 맵 정보는 크게 감소될 수 있다.
[0050]
따라서, 아래에서 설명될 바와 같이, 디스플레이 시스템은 패치-기반 프레임-투-프레임 추적 및 디스크립터-기반 맵-투-프레임 추적 둘 모두를 레버리징할 수 있다. 예컨대, 디스플레이 시스템은 실세계 환경의 획득된 연속적인 이미지들 사이에서 특징적 포인트들을 추적할 수 있다. 위에서 설명된 바와 같이, 특징적 포인트를 추적하는 것은 이전 이미지로부터의 특징적 포인트를 현재 이미지 상에 투영하는 것을 포함할 수 있다. 패치-기반 광도측정 에러 최소화의 사용을 통해, 추적된 특징적 포인트의 위치가 현재 이미지에서 큰 정확도로 결정될 수 있다. 그런 다음, 디스플레이 시스템은 임계 척도 미만의 추적된 특징적 포인트들을 포함하는, 현재 이미지의 이미지 영역들을 식별할 수 있다. 예컨대, 현재 이미지는 상이한 이미지 영역들로 분리될 수 있으며, 각각의 이미지 영역은 현재 이미지의 1/4, 1/8, 1/16, 1/32, 사용자-선택가능 크기 등이다. 다른 예로서, 디스플레이 시스템은 추적된 특징적 포인트들에 대한 현재 이미지의 희박함(sparseness)을 분석할 수 있다. 이 예에서, 디스플레이 시스템은 이미지의 임의의 영역(예컨대, 임계 크기 영역)이 임계 개수 미만의 특징적 포인트들 또는 임계 밀도 미만의 특징적 포인트들을 포함하는지 여부를 결정할 수 있다. 선택적으로, 이미지 영역은 전체적인 현재 이미지일 수 있으며, 그에 따라, 디스플레이 시스템은 현재 이미지 전체가 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 식별할 수 있다. 그런 다음, 디스플레이 시스템은 식별된 이미지 영역(들)으로부터 새로운 특징적 포인트들을 추출하고, 현재 이미지의 각각의 특징적 포인트(예컨대, 추적된 특징적 포인트들 및 새로 추출된 특징적 포인트들)에 대한 디스크립터를 생성할 수 있다. 각각의 생성된 디스크립터를 맵 정보에서 표시된 특징적 포인트의 디스크립터에 매칭시킴으로써, 현재 이미지 내의 각각의 특징적 포인트의 실세계 위치가 식별될 수 있다. 따라서, 디스플레이 시스템의 포즈가 결정될 수 있다. 후속적으로, 현재 이미지 내에 포함된 특징적 포인트들은, 예컨대 본원에서 설명된 바와 같이, 후속 이미지에서 추적될 수 있다.
[0051]
새로운 특징적 포인트들은 임계 척도 미만의 추적된 특징적 포인트들을 갖는 이미지 영역들에서만 추출될 수 있기 때문에, 특징적 포인트 추적은 연속적인 이미지 프레임들 사이에서 잠재적으로 많은 양의 동일한 추적된 특징적 포인트들을 활용할 수 있다. 위에서 설명된 바와 같이, 추적은 광도측정 에러 최소화를 통해 수행되어, 이미지들 사이에서의 특징적 포인트들의 매우 정확한 로컬리제이션(localization)을 보장할 수 있다. 게다가, 동일한 추적된 특징적 포인트들이 연속적인 이미지 프레임들의 맵 정보에 매칭될 것이기 때문에, 포즈 결정들에 있어서 지터(jitter)가 감소될 수 있다. 더욱이, 디스플레이 시스템이 특정 이미지 영역들에서 새로운 특징적 포인트들을 추출하는 데에만 요구될 수 있기 때문에, 프로세싱 요건들이 감소될 수 있다. 추가적으로, 현재 이미지 내의 특징적 포인트들이 맵 정보에 매칭되기 때문에, 포즈 결정들에서의 드리프트가 감소될 수 있다. 선택적으로, 일부 현재 이미지들에 대해 맵-투-프레임 추적이 필요하지 않을 수 있다. 예컨대, 사용자가 실질적으로 유사한 실세계 영역을 보고 있을 수 있어서, 디스플레이 시스템은 유사한 포즈를 유지할 수 있다. 이 예에서, 현재 이미지는 임계 척도 미만의 추적된 특징적 포인트들을 갖는 이미지 영역을 포함하지 않을 수 있다. 따라서, 프레임-투-프레임 추적은 디스플레이 시스템의 포즈를 결정하기 위해서만 활용될 수 있다. 선택적으로, 어떤 이미지 영역도 임계 개수 미만의 추적된 특징적 포인트들을 포함하지 않는 경우에도 맵-투-프레임 추적이 활용될 수 있다. 예컨대, 추적된 특징적 포인트들에 대한 디스크립터들이 생성되고, 새로운 특징적 포인트들을 추출함이 없이, 맵 정보와 비교될 수 있다. 이 방식으로, 디스플레이 시스템은 더 적은 프로세싱을 수행할 수 있고, 그에 따라 프로세싱 자원들을 보존하고 에너지 소비를 감소시킨다.
[0052]
이제, 전체에 걸쳐 유사한 참조 번호들이 유사한 부분들을 나타내는 도면들이 참조될 것이다. 달리 구체적으로 표시되지 않는 한, 도면들은 개략적이며, 반드시 실척대로 그려지는 것은 아니다.
[0053]
도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 사용자의 눈들이 이격되어 있고, 공간에서 실제 오브젝트를 볼 때, 각각의 눈은 오브젝트의 약간 상이한 뷰를 가질 것이고 각각의 눈의 망막 상의 상이한 위치들에서 오브젝트의 이미지를 형성할 수 있다는 것이 인식될 것이다. 이는 양안 시차(binocular disparity)로 지칭될 수 있고 인간의 시각 시스템에 의해 깊이의 지각을 제공하는 데 활용될 수 있다. 종래의 디스플레이 시스템들은, 가상 오브젝트가 원하는 깊이의 실제 오브젝트라면, 각각의 눈이 보게 될 가상 오브젝트의 뷰들에 대응하는 동일한 가상 오브젝트의 약간 상이한 뷰들을 갖는 2개의 별개의 이미지들(190, 200)을 ― 각각의 눈(210, 220)에 대해 하나씩 ― 제시함으로써 양안 시차를 시뮬레이팅한다. 이러한 이미지들은 깊이의 지각을 유도하기 위해 사용자의 시각 시스템이 해석할 수 있는 양안 큐(binocular cue)들을 제공한다.
[0054]
도 2를 계속 참조하면, 이미지들(190, 200)은 z-축 상에서 거리(230)만큼 눈들(210, 220)로부터 이격된다. z-축은, 뷰어의 눈들이 뷰어의 바로 앞에서 광학 무한대에 있는 오브젝트에 응시된 상태에서, 뷰어의 광학 축과 평행하다. 이미지들(190, 200)은 편평하고 눈들(210, 220)로부터 고정된 거리에 있다. 눈들(210, 220)에 각각 제시되는 이미지들에서 가상 오브젝트의 약간 상이한 뷰들에 기반하여, 눈들은 단일 양안시(binocular vision)를 유지하기 위해 오브젝트의 이미지가 눈들 각각의 망막들 상의 대응하는 포인트들에 들어오도록 자연스럽게 회전할 수 있다. 이 회전은 눈들(210, 220) 각각의 시선들이, 가상 오브젝트가 존재하는 것으로 지각되는 공간 내의 포인트 상으로 수렴되게 할 수 있다. 결과적으로, 3차원 이미저리를 제공하는 것은 종래에는, 사용자의 눈들(210, 220)의 이접운동을 조작할 수 있고 그리고 깊이의 지각을 제공하기 위해 인간의 시각 시스템이 해석하는 양안 큐들을 제공하는 것을 수반한다.
[0055]
그러나, 현실적이고 편안한 깊이 지각을 생성하는 것은 난제이다. 눈들로부터 상이한 거리들에 있는 오브젝트들로부터의 광은 상이한 양들의 발산을 갖는 파면들을 갖는다는 것이 인식될 것이다. 도 3a-도 3c는 거리와 광선들의 발산 사이의 관계들을 예시한다. 오브젝트와 눈(210) 사이의 거리는 거리가 감소하는 순서로 R1, R2 및 R3으로 표현된다. 도 3a-도 3c에 도시된 바와 같이, 광선들은 오브젝트까지의 거리가 감소함에 따라 더 많이 발산하게 된다. 반대로, 거리가 증가함에 따라, 광선들은 더욱 시준된다. 다른 말로 하면, 포인트(오브젝트 또는 오브젝트의 부분)에 의해 생성된 광 필드는 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수인 구형 파면 곡률을 갖는다고 할 수 있다. 곡률은 오브젝트와 눈(210) 사이의 거리가 감소함에 따라 증가한다. 도 3a-도 3c 및 본원의 다른 도면들에서는 예시의 명확성을 위해 단 하나의 눈(210)만이 예시되지만, 눈(210)에 관한 논의들은 뷰어의 양쪽 눈들(210, 220)에 적용될 수 있다.
[0056]
도 3a-도 3c를 계속 참조하면, 뷰어의 눈들이 응시되는 오브젝트로부터의 광은 상이한 정도의 파면 발산을 가질 수 있다. 상이한 양들의 파면 발산으로 인해, 광은 눈의 렌즈에 의해 상이하게 초점이 맞춰질 수 있으며, 이는 결국, 눈의 망막 상에 초점이 맞춰진 이미지를 형성하기 위해 렌즈가 상이한 형상들을 취할 것을 요구할 수 있다. 초점이 맞춰진 이미지가 망막 상에 형성되지 않는 경우, 결과적인 망막 블러(retinal blur)가, 초점이 맞춰진 이미지가 망막 상에 형성될 때까지, 눈의 렌즈의 형상의 변화를 야기하는 원근조절에 대한 큐로서 작용한다. 예컨대, 원근조절에 대한 큐는 눈의 렌즈를 둘러싸는 모양체근들이 이완 또는 수축되도록 트리거함으로써, 렌즈를 유지하는 현수 인대들에 적용되는 힘을 변조하여, 응시 오브젝트의 망막 블러가 제거되거나 최소화될 때까지 눈의 렌즈의 형상이 변경되게 하고, 이로써 눈의 망막(예컨대, 중심와) 상에 응시 오브젝트의 초점이 맞춰진 이미지를 형성할 수 있다. 눈의 렌즈가 형상을 변경하게 하는 프로세스는 원근조절로 지칭될 수 있고, 눈의 망막(예컨대, 중심와) 상에 응시 오브젝트의 초점이 맞춰진 이미지를 형성하는 데 필요한 눈의 렌즈의 형상은 원근조절 상태로 지칭될 수 있다.
[0057]
이제 도 4a를 참조하면, 인간의 시각 시스템의 원근조절-이접운동 응답의 표현이 예시된다. 오브젝트를 응시하기 위한 눈들의 움직임은 눈들이 오브젝트로부터 광을 수신하게 하며, 광은 눈들의 망막들 각각에 이미지를 형성한다. 망막 상에 형성된 이미지에서 망막 블러의 존재는 원근조절에 대한 큐를 제공할 수 있고, 망막들 상의 이미지의 상대 위치들은 이접운동에 대한 큐를 제공할 수 있다. 원근조절에 대한 큐는 원근조절이 일어나게 하여, 눈들의 렌즈들이 각각 눈의 망막(예컨대, 중심와) 상에 오브젝트의 초점이 맞춰진 이미지를 형성하는 특정 원근조절 상태를 취하게 된다. 다른 한편으로, 이접운동에 대한 큐는 각각의 눈의 각각의 망막 상에 형성된 이미지들이 단일 양안시를 유지하는 대응하는 망막 포인트들에 있도록 이접운동 움직임들(눈들의 회전)이 발생하게 한다. 이러한 포지션들에서, 눈들은 특정 이접운동 상태를 취했다고 할 수 있다. 도 4a를 계속 참조하면, 원근조절은 눈이 특정 원근조절 상태를 달성하게 하는 프로세스인 것으로 이해될 수 있고, 이접운동은 눈이 특정 이접운동 상태를 달성하게 하는 프로세스인 것으로 이해될 수 있다. 도 4a에 표시된 바와 같이, 사용자가 다른 오브젝트를 응시한다면, 눈들의 원근조절 및 이접운동 상태들이 변할 수 있다. 예컨대, 사용자가 z-축 상에서 상이한 깊이에 있는 새로운 오브젝트를 응시한다면, 원근조절된 상태가 변할 수 있다.
[0058]
이론에 의해 제한됨이 없이, 오브젝트의 뷰어들은 이접운동과 원근조절의 조합으로 인해 오브젝트를 "3차원"인 것으로 지각할 수 있다고 여겨진다. 위에서 언급된 바와 같이, 서로에 대한 2개의 눈들의 이접운동 움직임들(예컨대, 오브젝트를 응시하도록 눈들의 시선들을 수렴시키기 위해 동공들이 서로를 향해 또는 서로 멀어지게 이동하도록 하는 눈들의 회전)은 눈들의 렌즈들의 원근조절과 밀접하게 연관된다. 정상 조건들 하에서, 하나의 오브젝트로부터 상이한 거리에서의 다른 오브젝트로 초점을 변경하기 위해 눈들의 렌즈들의 형상들을 변경하는 것은 "원근조절-이접운동 반사작용(accommodation-vergence reflex)"으로 알려진 관계 하에서, 동일한 거리에 대한 이접운동의 매칭 변화를 자동으로 야기할 것이다. 마찬가지로, 이접운동의 변화는 정상 조건들 하에서 렌즈 형상의 매칭 변화를 트리거할 것이다.
[0059]
이제 도 4b를 참조하면, 눈들의 상이한 원근조절 및 이접운동 상태들의 예들이 예시된다. 한 쌍의 눈들(222a)은 광학 무한대에 있는 오브젝트에 응시되는 한편, 한 쌍의 눈들(222b)은 광학 무한대 미만에 있는 오브젝트(221)에 응시된다. 특히, 각각의 쌍의 눈들의 이접운동 상태들이 상이한데, 한 쌍의 눈들(222a)은 앞으로 직선으로 지향되는 한편, 한 쌍의 눈들(222)은 오브젝트(221) 상에 수렴된다. 각각의 쌍의 눈들(222a 및 222b)을 형성하는 눈들의 원근조절 상태들은 또한, 렌즈들(210a, 220a)의 상이한 형상들로 표현된 바와 같이 상이하다.
[0060]
바람직하지 않게, 종래의 "3D" 디스플레이 시스템들의 많은 사용자들은 그러한 종래의 시스템들이 불편하다는 것을 발견하거나, 이러한 디스플레이들에서의 원근조절 상태와 이접운동 상태 사이의 미스매치로 인해 깊이감을 전혀 지각하지 못할 수 있다. 위에서 언급된 바와 같이, 많은 입체 또는 "3-D" 디스플레이 시스템들은 약간 상이한 이미지들을 각각의 눈에 제공함으로써 장면을 디스플레이한다. 그러한 시스템들은 특히, 단순히 장면의 상이한 프리젠테이션들을 제공하고 눈들의 이접운동 상태들에서의 변화들을 (그러나 그러한 눈들의 원근조절 상태들에서의 대응하는 변화가 없이) 야기하기 때문에, 그러한 시스템들은 많은 뷰어들에게 불편하다. 오히려, 이미지들은 눈들로부터 고정된 거리에서 디스플레이에 의해 보여져, 눈들은 단일 원근조절 상태에서 모든 이미지 정보를 본다. 그러한 어레인지먼트는 원근조절 상태에서의 매칭 변화 없이, 이접운동 상태에서의 변화들을 야기함으로써 "원근조절-이접운동 반사작용"에 대해 작용한다. 이 미스매치는 뷰어에게 불편함을 야기하는 것으로 여겨진다. 원근조절과 이접운동 사이의 더 양호한 매치를 제공하는 디스플레이 시스템들은 3차원 이미저리의 보다 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0061]
이론에 의해 제한됨이 없이, 인간의 눈이 전형적으로 깊이 지각을 제공하기 위해 유한한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 실감나는 시뮬레이션은 이러한 제한된 수들의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 눈에 제공함으로써 달성될 수 있다. 일부 실시예들에서, 상이한 프리젠테이션들은 이접운동에 대한 큐들과 원근조절에 대한 매칭 큐들 둘 모두를 제공함으로써, 생리학적으로 정확한 원근조절-이접운동 매칭을 제공할 수 있다.
[0062]
도 4b를 계속 참조하면, 공간 내에서 눈들(210, 220)로부터의 상이한 거리들에 대응하는 2개의 깊이 평면들(240)이 예시된다. 주어진 깊이 평면(240)에 대해, 각각의 눈(210, 220)에 대한 적절하게 상이한 관점들의 이미지들의 디스플레이에 의해 이접운동 큐들이 제공될 수 있다. 게다가, 주어진 깊이 평면(240)에 대해, 각각의 눈(210, 220)에 제공되는 이미지들을 형성하는 광은 그 깊이 평면(240)의 거리에 있는 포인트에 의해 생성된 광 필드에 대응하는 파면 발산을 가질 수 있다.
[0063]
예시된 실시예에서, 포인트(221)를 포함하는 깊이 평면(240)의 z-축을 따르는 거리는 1 m이다. 본원에서 사용된 바와 같이, z-축을 따르는 거리들 또는 깊이들은 사용자의 눈들의 출사 동공들에 로케이팅된 제로-포인트로 측정될 수 있다. 따라서, 1 m의 깊이에 로케이팅된 깊이 평면(240)은 사용자의 눈들의 광학 축 상에서 그러한 눈들의 출사 동공들로부터 1 m 떨어진 거리에 대응하며, 눈들은 광학 무한대를 향해 지향된다. 근사로서, z-축을 따르는 깊이 또는 거리는 사용자의 눈들의 출사 동공들과 디바이스 사이의 거리에 대한 값에 더하여, 사용자의 눈들 앞의 디스플레이로부터(예컨대, 도파관의 표면으로부터) 측정될 수 있다. 그 값은 눈동자 거리(eye relief)로 불릴 수 있고, 사용자 눈의 출사 동공과 눈 앞에 있는, 사용자가 착용한 디스플레이 사이의 거리에 대응한다. 실제로, 눈동자 거리에 대한 값은 모든 뷰어들에 대해 일반적으로 사용되는 정규화된 값일 수 있다. 예컨대, 눈동자 거리는 20 ㎜인 것으로 가정될 수 있고, 1 m의 깊이에 있는 깊이 평면은 디스플레이 앞의 980 ㎜의 거리에 있을 수 있다.
[0064]
이제 도 4c 및 도 4d를 참조하면, 매칭된 원근조절-이접운동 거리들 및 미스매칭된 원근조절-이접운동 거리들의 예들이 각각 예시된다. 도 4c에 예시된 바와 같이, 디스플레이 시스템은 각각의 눈(210, 220)에 가상 오브젝트의 이미지들을 제공할 수 있다. 이미지들은 눈들(210, 220)로 하여금, 눈들이 깊이 평면(240) 상의 포인트(15)에 수렴하는 이접운동 상태를 취하게 할 수 있다. 게다가, 이미지들은 그 깊이 평면(240)에서의 실제 오브젝트들에 대응하는 파면 곡률을 갖는 광에 의해 형성될 수 있다. 결과적으로, 눈들(210, 220)은 이미지들이 그러한 눈들의 망막들 상에서 초점이 맞는 원근조절 상태를 취한다. 따라서, 사용자는 가상 오브젝트가 깊이 평면(240) 상의 포인트(15)에 있는 것으로 지각할 수 있다.
[0065]
눈들(210, 220)의 원근조절 및 이접운동 상태들 각각은 z-축 상의 특정 거리와 연관된다는 것이 인식될 것이다. 예컨대, 눈들(210, 220)로부터 특정 거리에 있는 오브젝트는 그러한 눈들로 하여금, 오브젝트의 거리들에 기반하여 특정 원근조절 상태들을 취하게 한다. 특정 원근조절 상태와 연관된 거리는 원근조절 거리(Ad)로 지칭될 수 있다. 유사하게, 서로에 대한 포지션들 또는 특정 이접운동 상태들의 눈들과 연관된 특정 이접운동 거리들(Vd)이 존재한다. 원근조절 거리와 이접운동 거리가 매칭되는 경우, 원근조절과 이접운동 사이의 관계는 생리학적으로 정확하다고 할 수 있다. 이는 뷰어에 대한 가장 편안한 시나리오인 것으로 간주된다.
[0066]
그러나, 입체 디스플레이들에서는, 원근조절 거리와 이접운동 거리가 항상 매칭되지는 않을 수 있다. 예컨대, 도 4d에 예시된 바와 같이, 눈들(210, 220)에 디스플레이된 이미지들은 깊이 평면(240)에 대응하는 파면 발산으로 디스플레이될 수 있고, 눈들(210, 220)은 그 깊이 평면 상의 포인트들(15a, 15b)이 초점이 맞는 특정 원근조절 상태를 취할 수 있다. 그러나, 눈들(210, 220)에 디스플레이된 이미지들은 깊이 평면(240) 상에 로케이팅되지 않은 포인트(15) 상에 눈들(210, 220)이 수렴하게 하는 이접운동에 대한 큐들을 제공할 수 있다. 결과적으로, 일부 실시예에서, 원근조절 거리는 눈들(210, 220)의 출사 동공들로부터 깊이 평면(240)까지의 거리에 대응하는 한편, 이접운동 거리는 눈들(210, 220)의 출사 동공들로부터 포인트(15)까지의 더 먼 거리에 대응한다. 원근조절 거리는 이접운동 거리와 상이하다. 결과적으로, 원근조절-이접운동 미스매치가 존재한다. 그러한 미스매치는 바람직하지 않은 것으로 간주되고 사용자에게 불편함을 야기할 수 있다. 미스매치는 거리(예컨대, Vd - Ad)에 대응하고, 디옵터를 사용하여 특성화될 수 있다는 것이 인식될 것이다.
[0067]
일부 실시예들에서, 원근조절 거리 및 이접운동 거리에 대해 동일한 기준 포인트가 활용되는 한, 눈들(210, 220)의 출사 동공들 이외의 기준 포인트가 원근조절-이접운동 미스매치를 결정하기 위한 거리를 결정하는 데 활용될 수 있다는 것이 인식될 것이다. 예컨대, 각막으로부터 깊이 평면까지, 망막으로부터 깊이 평면까지, 접안렌즈(예컨대, 디스플레이 디바이스의 도파관)로부터 깊이 평면까지 등의 거리들이 측정될 수 있다.
[0068]
이론에 의해 제한됨이 없이, 미스매치 자체가 상당한 불편함을 야기하지 않으면서, 사용자들이 최대 대략 0.25 디옵터, 최대 대략 0.33 디옵터, 및 최대 대략 0.5 디옵터의 원근조절-이접운동 미스매치들을 생리학적으로 정확한 것으로 여전히 지각할 수 있다고 여겨진다. 일부 실시예들에서, 본원에 개시된 디스플레이 시스템들(예컨대, 디스플레이 시스템(250), 도 6)은 대략 0.5 디옵터 이하의 원근조절-이접운동 미스매치를 갖는 이미지들을 뷰어에게 제시한다. 일부 다른 실시예들에서, 디스플레이 시스템에 의해 제공되는 이미지들의 원근조절-이접운동 미스매치는 대략 0.33 디옵터 이하이다. 또 다른 실시예들에서, 디스플레이 시스템에 의해 제공되는 이미지들의 원근조절-이접운동 미스매치는 대략 0.1 디옵터 이하를 포함하여 대략 0.25 디옵터 이하이다.
[0069]
도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근 방식의 양상들을 예시한다. 디스플레이 시스템은, 이미지 정보로 인코딩된 광(770)을 수신하도록 그리고 그 광을 사용자의 눈(210)에 출력하도록 구성되는 도파관(270)을 포함한다. 도파관(270)은 원하는 깊이 평면(240) 상의 포인트에 의해 생성된 광 필드의 파면 발산에 대응하는 정의된 양의 파면 발산으로 광(650)을 출력할 수 있다. 일부 실시예들에서, 동일한 양의 파면 발산이 그 깊이 평면 상에 제시된 모든 오브젝트들에 대해 제공된다. 게다가, 사용자의 다른 쪽 눈에는 유사한 도파관으로부터의 이미지 정보가 제공될 수 있다고 예시될 것이다.
[0070]
일부 실시예들에서, 단일 도파관은 단일 또는 제한된 수의 깊이 평면들에 대응하는 세팅된 양의 파면 발산으로 광을 출력하도록 구성될 수 있고 그리고/또는 도파관은 제한된 범위의 파장들의 광을 출력하도록 구성될 수 있다. 결과적으로, 일부 실시예들에서, 상이한 깊이 평면들에 대해 상이한 양들의 파면 발산을 제공하기 위해 그리고/또는 상이한 범위들의 파장들의 광을 출력하기 위해 복수의 도파관들 또는 도파관들의 스택이 활용될 수 있다. 본원에서 사용된 바와 같이, 깊이 평면은 편평한 또는 만곡된 표면의 윤곽들을 따를 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 유리하게는 간략함을 위해, 깊이 평면들이 편평한 표면들의 윤곽들을 따를 수 있다.
[0071]
도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(250)은, 복수의 도파관들(270, 280, 290, 300, 310)을 사용하여 눈/뇌에 3차원 지각을 제공하는 데 활용될 수 있는, 도파관들의 스택 또는 스택형 도파관 어셈블리(260)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(250)은 광 필드 디스플레이로 간주될 수 있다는 것이 인식될 것이다. 게다가, 도파관 어셈블리(260)는 또한 접안렌즈로 지칭될 수 있다.
[0072]
일부 실시예들에서, 디스플레이 시스템(250)은 이접운동에 대한 실질적으로 연속 큐들 및 원근조절에 대한 다수의 개별 큐들을 제공하도록 구성될 수 있다. 사용자의 눈들 각각에 상이한 이미지들을 디스플레이함으로써 이접운동에 대한 큐들이 제공될 수 있고, 이미지들을 형성하는 광을 선택가능한 개별 양들의 파면 발산으로 출력함으로써 원근조절에 대한 큐들이 제공될 수 있다. 다른 말로 하면, 디스플레이 시스템(250)은 가변 레벨들의 파면 발산으로 광을 출력하도록 구성될 수 있다. 일부 실시예들에서, 각각의 개별 파면 발산 레벨은 특정 깊이 평면에 대응하고, 도파관들(270, 280, 290, 300, 310) 중 특정 도파관에 의해 제공될 수 있다.
[0073]
도 6을 계속 참조하면, 도파관 어셈블리(260)는 또한 도파관들 사이에 복수의 피처들(320, 330, 340, 350)을 포함할 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 하나 이상의 렌즈들일 수 있다. 도파관들(270, 280, 290, 300, 310) 및/또는 복수의 렌즈들(320, 330, 340, 350)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 도파관들에 대한 광원으로서 기능할 수 있고, 이미지 정보를 도파관들(270, 280, 290, 300, 310)에 주입하는 데 활용될 수 있으며, 도파관들 각각은 본원에서 설명된 바와 같이, 눈(210)을 향해 출력하기 위해 각각의 개개의 도파관에 걸쳐 인입 광을 분산시키도록 구성될 수 있다. 광은 이미지 주입 디바이스들(360, 370, 380, 390, 400)의 출력 표면(410, 420, 430, 440, 450)에서 출사하여 도파관들(270, 280, 290, 300, 310)의 대응하는 입력 표면(460, 470, 480, 490, 500)에 주입된다. 일부 실시예들에서, 입력 표면들(460, 470, 480, 490, 500) 각각은 대응하는 도파관의 에지일 수 있거나, 대응하는 도파관의 주 표면(즉, 세계(510) 또는 뷰어의 눈(210)을 직접 향하는 도파관 표면들 중 하나)의 부분일 수 있다. 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)이 각각의 도파관으로 주입되어, 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산량들)로 눈(210)을 향해 지향되는 복제된 시준된 빔(cloned collimated beam)들의 전체 필드를 출력할 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 단일 이미지 주입 디바이스가 복수(예컨대, 3개)의 도파관들(270, 280, 290, 300, 310)과 연관되고 그에 광을 주입할 수 있다.
[0074]
일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 대응하는 도파관(270, 280, 290, 300, 310)에 각각 주입하기 위한 이미지 정보를 각각 생성하는 개별 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은, 예컨대 이미지 정보를 하나 이상의 광학 도관들(이를테면, 광섬유 케이블들)을 통해 이미지 주입 디바이스들(360, 370, 380, 390, 400) 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)에 의해 제공되는 이미지 정보는 상이한 파장들 또는 컬러들(예컨대, 본원에서 논의된 바와 같은 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인식될 것이다.
[0075]
일부 실시예들에서, 도파관들(270, 280, 290, 300, 310)로 주입된 광은 LED(light emitting diode)와 같은 광 방출기를 포함할 수 있는 광 모듈(530)을 포함하는 광 투사기 시스템(520)에 의해 제공된다. 광 모듈(530)로부터의 광은 빔 분할기(550)를 통해 광 변조기(540), 예컨대 공간 광 변조기에 지향되고 그에 의해 수정될 수 있다. 광 변조기(540)는 광을 이미지 정보로 인코딩하기 위해 도파관들(270, 280, 290, 300, 310)로 주입되는 광의 지각된 강도를 변화시키도록 구성될 수 있다. 공간 광 변조기들의 예들은 LCOS(liquid crystal on silicon) 디스플레이들을 포함하는 LCD(liquid crystal display)들을 포함한다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)이 개략적으로 예시되고, 일부 실시예들에서, 이러한 이미지 주입 디바이스들은 도파관들(270, 280, 290, 300, 310) 중 연관된 도파관들로 광을 출력하도록 구성된 공통 투사 시스템에서 상이한 광 경로들 및 위치들을 표현할 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 도파관 어셈블리(260)의 도파관들은 도파관들 내로 주입된 광을 사용자의 눈들로 중계하는 동안 이상적인 렌즈로서 기능할 수 있다. 이러한 개념에서, 오브젝트는 공간 광 변조기(540)일 수 있고, 이미지는 깊이 평면 상의 이미지일 수 있다.
[0076]
일부 실시예들에서, 디스플레이 시스템(250)은 광을 다양한 패턴들(예컨대, 래스터 스캔, 나선형 스캔, 리사주(Lissajous) 패턴들 등)로 하나 이상의 도파관들(270, 280, 290, 300, 310)로 그리고 궁극적으로는 뷰어의 눈(210)으로 투사하도록 구성된 하나 이상의 스캐닝 섬유들을 포함하는 스캐닝 섬유 디스플레이일 수 있다. 일부 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 하나의 또는 복수의 도파관들(270, 280, 290, 300, 310)로 광을 주입하도록 구성된 단일 스캐닝 섬유 또는 스캐닝 섬유들의 번들(bundle)을 개략적으로 표현할 수 있다. 일부 다른 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 복수의 스캐닝 섬유들 또는 스캐닝 섬유들의 복수의 번들들을 개략적으로 표현할 수 있으며, 이들 각각은 도파관들(270, 280, 290, 300, 310) 중 연관된 도파관으로 광을 주입하도록 구성된다. 하나 이상의 광섬유들이 광 모듈(530)로부터 하나 이상의 도파관들(270, 280, 290, 300, 310)로 광을 송신하도록 구성될 수 있다는 것이 인식될 것이다. 예컨대, 스캐닝 섬유에서 출사되는 광을 하나 이상의 도파관들(270, 280, 290, 300, 310)로 재지향시키도록, 스캐닝 섬유 또는 섬유들과 하나 이상의 도파관들(270, 280, 290, 300, 310) 사이에 하나 이상의 중간 광학 구조들이 제공될 수 있다는 것이 인식될 것이다.
[0077]
제어기(560)는 이미지 주입 디바이스들(360, 370, 380, 390, 400), 광원(530), 및 광 변조기(540)의 동작을 포함하여, 스택형 도파관 어셈블리(260) 중 하나 이상의 것의 동작을 제어한다. 일부 실시예들에서, 제어기(560)는 로컬 데이터 프로세싱 모듈(140)의 부분이다. 제어기(560)는, 예컨대 본원에 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(270, 280, 290, 300, 310)로의 이미지 정보의 타이밍 및 제공을 조절하는 프로그래밍(예컨대, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 일부 실시예들에서, 제어기(560)는 프로세싱 모듈들(140 또는 150)(도 9d)의 부분일 수 있다.
[0078]
도 6을 계속 참조하면, 도파관들(270, 280, 290, 300, 310)은 TIR(total internal reflection)에 의해 각각의 개개의 도파관 내에서 광을 전파하도록 구성될 수 있다. 도파관들(270, 280, 290, 300, 310)은 각각 평면형이거나, 주 최상부 표면 및 최하부 표면 그리고 그러한 주 최상부 표면과 최하부 표면 사이에서 연장되는 에지들을 갖는 다른 형상(예컨대, 만곡형)을 가질 수 있다. 예시된 구성에서, 도파관들(270, 280, 290, 300, 310)은, 이미지 정보를 눈(210)으로 출력하기 위해 각각의 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관으로부터 광을 추출하도록 구성되는 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 각각 포함할 수 있다. 추출된 광은 또한, 아웃-커플링된 광으로 지칭될 수 있고, 아웃-커플링 광학 엘리먼트들은 또한, 광 추출 광학 엘리먼트들로 지칭될 수 있다. 추출된 광 빔은 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력될 수 있다. 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은, 예컨대, 본원에서 추가로 논의된 바와 같이, 회절 광학 피처들을 포함하는 격자들일 수 있다. 설명의 편의성 및 도면 명확성을 위해 도파관들(270, 280, 290, 300, 310)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 본원에서 추가로 논의된 바와 같이, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(270, 280, 290, 300, 310)의 볼륨 내에 직접 배치될 수 있다. 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은, 투명 기판에 부착되어 도파관들(270, 280, 290, 300, 310)을 형성하는 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(270, 280, 290, 300, 310)은 재료의 모놀리식 피스(monolithic piece)일 수 있고, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 그 재료 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0079]
도 6을 계속 참조하면, 본원에서 논의된 바와 같이, 각각의 도파관(270, 280, 290, 300, 310)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(270)은 (그러한 도파관(270)에 주입된) 시준된 광을 눈(210)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위로 그 다음 도파관(280)은 시준된 광을 전송하도록 구성될 수 있으며, 시준된 광은 눈(210)에 도달할 수 있기 전에 제1 렌즈(350)(예컨대, 오목 렌즈)를 통과하고; 그러한 제1 렌즈(350)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 그 위로 그 다음 도파관(280)으로부터 오는 광을, 광학적 무한대로부터 눈(210)을 향해 안쪽으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 위로 세 번째 도파관(290)은 자신의 출력 광을 눈(210)에 도달하기 전에 제1 렌즈(350) 및 제2 렌즈(340) 둘 모두를 통과시키고; 제1 렌즈(350)와 제2 렌즈(340)의 조합된 광학 파워(optical power)는 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌가 세 번째 도파관(290)으로부터 오는 광을, 위로 그 다음 도파관(280)으로부터의 광보다는 광학적 무한대로부터 사람을 향해 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0080]
다른 도파관 층들(300, 310) 및 렌즈들(330, 320)은 유사하게 구성되는데, 스택에서 가장 높은 도파관(310)은 자신의 출력을, 사람에 가장 가까운 초점 평면을 나타내는 집합 초점 파워(aggregate focal power)에 대해 자신과 눈 사이의 모든 렌즈들을 통해 전송한다. 스택형 도파관 어셈블리(260)의 다른 측에서 세계(510)로부터 오는 광을 볼 때/해석할 때 렌즈들(320, 330, 340, 350)의 스택을 보상하기 위해, 보상 렌즈 층(620)이 스택의 최상부에 배치되어, 아래의 렌즈 스택(320, 330, 340, 350)의 집합 파워를 보상할 수 있다. 그러한 구성은 이용가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 아웃-커플링 광학 엘리먼트들과 렌즈들의 초점 양상들 모두가 정적일(즉, 동적이지 않거나 전기-활성이 아닐) 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전기-활성 피처들을 사용하여 동적일 수 있다.
[0081]
일부 실시예들에서, 도파관들(270, 280, 290, 300, 310) 중 2개 이상은 동일한 연관된 깊이 평면을 가질 수 있다. 예컨대, 다수의 도파관들(270, 280, 290, 300, 310)은 동일한 깊이 평면으로 세팅된 이미지들을 출력하도록 구성될 수 있거나, 도파관들(270, 280, 290, 300, 310)의 다수의 서브세트들은 각각의 깊이 평면에 대해 하나씩 세팅하여 동일한 복수의 깊이 평면들로 세팅된 이미지들을 출력하도록 구성될 수 있다. 이는 그러한 깊이 평면들에서 확장된 시야를 제공하도록 타일 이미지(tiled image)를 형성하는 장점들을 제공할 수 있다.
[0082]
도 6을 계속 참조하면, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은, 그들의 개개의 도파관들 밖으로 광을 재지향시킬뿐만 아니라 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과적으로, 상이한 연관된 깊이 평면들을 갖는 도파관들은 상이한 구성들의 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 가질 수 있고, 그 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 렌즈들이 아닐 수 있고; 오히려, 그들은 단순히 스페이서들(예컨대, 공극들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0083]
일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 회절 패턴을 형성하는 회절 피처들, 또는 (본원에서는 "DOE"로 또한 지칭되는) "회절 광학 엘리먼트(diffractive optical element)"이다. 바람직하게, DOE들은 충분히 낮은 회절 효율성을 가져서, DOE의 각각의 교차로 인해 빔의 광의 일부만이 눈(210)을 향해 편향되는 한편, 나머지는 TIR을 통해 도파관을 거쳐 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은, 다수의 위치들에서 도파관을 출사하는 다수의 관련된 출사 빔들로 분할되고, 그 결과는 도파관 내에서 이리저리 바운싱하는 이러한 특정 시준된 빔에 대해 눈(210)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0084]
일부 실시예들에서, 하나 이상의 DOE들은, 그들이 활발히 회절시키는 "온" 상태들과 그들이 상당히 회절시키지 않는 "오프" 상태들 사이에서 스위칭가능할 수 있다. 예컨대, 스위칭가능 DOE는 중합체 분산형 액정 층을 포함할 수 있는데, 여기서 미세액적(microdroplet)들이 호스트 매질에서 회절 패턴을 포함하고, 미세액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭되도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 미세액적은 호스트 매질의 인덱스에 매칭되지 않는 인덱스로 스위칭될 수 있다(이 경우에 패턴은 입사 광을 활발히 회절시킴).
[0085]
일부 실시예들에서, 눈(210) 및/또는 눈(210) 주위 조직의 이미지들을 캡처하여, 예컨대 사용자 입력들을 검출하고 그리고/또는 사용자의 생리학적 상태를 모니터링하기 위해, 카메라 어셈블리(630)(예컨대, 가시 광 및 적외선 광 카메라들을 포함하는 디지털 카메라)가 제공될 수 있다. 본원에서 사용된 바와 같이, 카메라는 임의의 이미지 캡처 디바이스일 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 이미지 캡처 디바이스 및 눈에 광(예컨대, 적외선)을 투사하기 위한 광원을 포함할 수 있으며, 그런 다음, 이 광은 눈에 의해 반사되고 이미지 캡처 디바이스에 의해 검출될 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 프레임(80)(도 9d)에 부착될 수 있고, 카메라 어셈블리(630)로부터의 이미지 정보를 프로세싱할 수 있는 프로세싱 모듈들(140 및/또는 150)과 전기 통신할 수 있다. 일부 실시예들에서, 하나의 카메라 어셈블리(630)가 각각의 눈을 개별적으로 모니터링하도록 각각의 눈에 대해 활용될 수 있다.
[0086]
이제 도 7을 참조하면, 도파관에 의해 출력된 출사 빔들의 예가 도시된다. 하나의 도파관이 예시되지만, 도파관 어셈블리(260)(도 6) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인식될 것이며, 여기서 도파관 어셈블리(260)는 다수의 도파관들을 포함한다. 광(640)은 도파관(270)의 입력 표면(460)에서 도파관(270)에 주입되고 TIR에 의해 도파관(270) 내에서 전파된다. 광(640)이 DOE(570)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(650)로서 도파관에서 출사된다. 출사 빔들(650)은 실질적으로 평행한 것으로 예시되지만, 본원에서 논의된 바와 같이, 그 출사 빔들(650)은 또한, 도파관(270)과 연관된 깊이 평면에 따라, (예컨대, 발산하는 출사 빔들을 형성하는) 일정 각도로 눈(210)으로 전파되도록 재지향될 수 있다. 실질적으로 평행한 출사 빔들은 눈(210)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것처럼 보이는 이미지들을 형성하도록 광을 아웃-커플링하는 아웃-커플링 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인식될 것이다. 다른 도파관들 또는 아웃-커플링 광학 엘리먼트들의 다른 세트들은 더 많이 발산하는 출사 빔 패턴을 출력할 수 있고, 이는 눈(210)이 망막 상에 초점을 맞추게 하기 위해 더 가까운 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(210)에 더 가까운 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0087]
일부 실시예들에서, 풀(full) 컬러 이미지는 컴포넌트 컬러들, 예컨대 3개 이상의 컴포넌트 컬러들 각각에 이미지들을 오버레이함으로써 각각의 깊이 평면에 형성될 수 있다. 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택형 도파관 어셈블리의 예를 예시한다. 예시된 실시예는 깊이 평면들(240a-240f)을 도시하지만, 더 많은 또는 더 적은 깊이들이 또한 고려된다. 각각의 깊이 평면은: 제1 컬러(G)의 제1 이미지; 제2 컬러(R)의 제2 이미지; 및 제3 컬러(B)의 제3 이미지를 포함하여, 각각의 깊이 평면과 연관된 3개 이상의 컴포넌트 컬러 이미지들을 가질 수 있다. 상이한 깊이 평면들은 G, R, 및 B 문자들 다음에 오는 dpt(diopters)에 대한 상이한 숫자들로 도면에 표시된다. 단지 예들로서, 이러한 문자들 각각 다음에 오는 숫자들은 디옵터(1/m), 또는 뷰어로부터의 깊이 평면의 역 거리(inverse distance)를 표시하며, 도면들 내의 각각의 박스는 개별 컴포넌트 컬러 이미지를 나타낸다. 일부 실시예들에서, 상이한 파장들의 광의 눈의 초점을 맞추는 데 있어서의 차이들을 고려하기 위해, 상이한 컴포넌트 컬러들에 대한 깊이 평면들의 정확한 배치는 달라질 수 있다. 예컨대, 주어진 깊이 평면에 대한 상이한 컴포넌트 컬러 이미지들이 사용자로부터의 상이한 거리들에 대응하는 깊이 평면들 상에 배치될 수 있다. 그러한 어레인지먼트는 시력 및 사용자의 편안함을 향상시킬 수 있고 그리고/또는 색수차들을 감소시킬 수 있다.
[0088]
일부 실시예들에서, 각각의 컴포넌트 컬러의 광은 단일 전용 도파관에 의해 출력될 수 있고, 결과적으로 각각의 깊이 평면은 그와 연관된 다수의 도파관들을 가질 수 있다. 그러한 실시예들에서, G, R, 또는 B 문자들을 포함하는 도면들 내의 각각의 박스는 개별 도파관을 나타내는 것으로 이해될 수 있고, 깊이 평면마다 3개의 도파관들이 제공될 수 있으며, 여기서 깊이 평면마다 3개의 컴포넌트 컬러 이미지들이 제공된다. 각각의 깊이 평면과 연관된 도파관들은 설명의 편의를 위해 이 도면에서 서로 인접한 것으로 도시되지만, 물리적 디바이스에서 도파관들은 모두 레벨마다 하나의 도파관을 갖는 스택으로 배열될 수 있다는 것이 인식될 것이다. 일부 다른 실시예들에서, 다수의 컴포넌트 컬러들이 동일한 도파관에 의해 출력될 수 있어서, 예컨대 깊이 평면마다 단지 단일 도파관만이 제공될 수 있다.
[0089]
도 8을 계속 참조하면, 일부 실시예들에서, G는 녹색 컬러이고, R은 적색 컬러이고, B는 청색 컬러이다. 일부 다른 실시예들에서, 마젠타 및 시안을 포함하는, 다른 파장들의 광과 연관된 다른 컬러들이 적색, 녹색, 또는 청색 중 하나 이상을 대체할 수 있거나, 또는 이에 추가로 사용될 수 있다.
[0090]
본 개시내용 전반에 걸쳐 주어진 컬러의 광에 대한 참조들은 그 주어진 컬러인 것으로서 뷰어에 의해 지각되는 광의 파장들의 범위 내의 하나 이상의 파장들의 광을 포함하는 것으로 이해될 것이라는 것이 인식될 것이다. 예컨대, 적색 광은 대략 620-780 ㎚ 범위의 하나 이상의 파장들의 광을 포함할 수 있고, 녹색 광은 대략 492-577 ㎚ 범위의 하나 이상의 파장들의 광을 포함할 수 있으며, 청색 광은 대략 435-493 ㎚ 범위의 하나 이상의 파장들의 광을 포함할 수 있다.
[0091]
일부 실시예들에서, 광원(530)(도 6)은 뷰어의 시각적 지각 범위 밖의 하나 이상의 파장들, 예컨대 적외선 및/또는 자외선 파장들의 광을 방출하도록 구성될 수 있다. 게다가, 디스플레이(250)의 도파관들의 인-커플링, 아웃-커플링, 및 다른 광 재지향 구조들은, 예컨대 이미징 및/또는 사용자 자극 애플리케이션들을 위해 사용자의 눈(210)을 향하여 디스플레이 밖으로 이 광을 지향 및 방출하도록 구성될 수 있다.
[0092]
이제 도 9a를 참조하면, 일부 실시예들에서, 도파관에 충돌하는 광은 그 광을 도파관으로 인-커플링하기 위해 재지향될 필요가 있을 수 있다. 인-커플링 광학 엘리먼트는 광을 그의 대응하는 도파관으로 재지향시키고 인-커플링하는 데 사용될 수 있다. 도 9a는 인-커플링 광학 엘리먼트를 각각 포함하는 복수의 스택형 도파관들 또는 스택형 도파관들의 세트(660)의 예의 측단면도를 예시한다. 도파관들은 각각 하나 이상의 상이한 파장들, 또는 하나 이상의 상이한 파장 범위들의 광을 출력하도록 구성될 수 있다. 스택(660)은 스택(260)(도 6)에 대응할 수 있고, 스택(660)의 예시된 도파관들은, 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 하나 이상으로부터의 광이, 인-커플링을 위해 광이 재지향되도록 요구하는 포지션으로부터 도파관들로 주입되는 것을 제외하면, 복수의 도파관들(270, 280, 290, 300, 310)의 부분에 대응할 수 있다는 것이 인식될 것이다.
[0093]
스택형 도파관들의 예시된 세트(660)는 도파관들(670, 680, 690)을 포함한다. 각각의 도파관은 (도파관 상의 광 입력 영역으로 또한 지칭될 수 있는) 연관된 인-커플링 광학 엘리먼트를 포함하며, 예컨대 인-커플링 광학 엘리먼트(700)는 도파관(670)의 주 표면(예컨대, 상부 주 표면) 상에 배치되고, 인-커플링 광학 엘리먼트(710)는 도파관(680)의 주 표면(예컨대, 상부 주 표면) 상에 배치되며, 인-커플링 광학 엘리먼트(720)는 도파관(690)의 주 표면(예컨대, 상부 주 표면) 상에 배치된다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720) 중 하나 이상은 (특히, 하나 이상의 인-커플링 광학 엘리먼트들이 반사성 편향 광학 엘리먼트들인 경우) 개개의 도파관(670, 680, 690)의 최하부 주 표면 상에 배치될 수 있다. 예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 특히, 그러한 인-커플링 광학 엘리먼트들이 투과성 편향 광학 엘리먼트들인 경우, 그들의 개개의 도파관(670, 680, 690)의 상부 주 표면(또는 다음 하위 도파관의 최상부) 상에 배치될 수 있다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 개개의 도파관(670, 680, 690)의 바디에 배치될 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 파장 선택적이어서, 그들은 하나 이상의 광 파장들을 선택적으로 재지향시키는 한편, 다른 광 파장들을 투과시킨다. 그들의 개개의 도파관(670, 680, 690)의 한 면 또는 코너 상에 예시되지만, 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 그들의 개개의 도파관(670, 680, 690)의 다른 영역들에 배치될 수 있다는 것이 인식될 것이다.
[0094]
예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 서로 측방향으로 오프셋될 수 있다. 일부 실시예들에서, 각각의 인-커플링 광학 엘리먼트는, 광이 다른 인-커플링 광학 엘리먼트를 통과하지 않고 각각의 인-커플링 광학 엘리먼트가 그 광을 수신하도록 오프셋될 수 있다. 예컨대, 각각의 인-커플링 광학 엘리먼트(700, 710, 720)는, 도 6에 도시된 바와 같이 상이한 이미지 주입 디바이스(360, 370, 380, 390, 및 400)로부터 광을 수신하도록 구성될 수 있고, 그리고 각각의 인-커플링 광학 엘리먼트(700, 710, 720)가 인-커플링 광학 엘리먼트들(700, 710, 720) 중 다른 인-커플링 광학 엘리먼트들로부터의 광을 실질적으로 수신하지 않도록 다른 인-커플링 광학 엘리먼트들(700, 710, 720)로부터 분리될(예컨대, 측방향으로 이격될) 수 있다.
[0095]
각각의 도파관은 또한 연관된 광 분배 엘리먼트들을 포함하며, 예컨대 광 분배 엘리먼트들(730)은 도파관(670)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되고, 광 분배 엘리먼트들(740)은 도파관(680)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되며, 광 분배 엘리먼트들(750)은 도파관(690)의 주 표면(예컨대, 최상부 주 표면) 상에 배치된다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최하부 주 표면 상에 각각 배치될 수 있다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면 둘 모두 상에 각각 배치될 수 있거나; 또는 광 분배 엘리먼트들(730, 740, 750)은 상이한 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면들 중 상이한 주 표면들 상에 각각 배치될 수 있다.
[0096]
도파관들(670, 680, 690)은, 예컨대 기체, 액체 및/또는 고체 재료 층들에 의해 이격되고 분리될 수 있다. 예컨대, 예시된 바와 같이, 층(760a)은 도파관들(670 및 680)을 분리할 수 있고; 층(760b)은 도파관들(680 및 690)을 분리할 수 있다. 일부 실시예들에서, 층들(760a 및 760b)은 저 굴절률 재료들(즉, 도파관들(670, 680, 690) 중 바로 인접한 도파관을 형성하는 재료보다 더 낮은 굴절률을 갖는 재료들)로 형성된다. 바람직하게는, 층들(760a, 760b)을 형성하는 재료의 굴절률은 도파관들(670, 680, 690)을 형성하는 재료의 굴절률보다 0.05 이상 또는 0.10 이하 만큼 작다. 유리하게는, 더 낮은 굴절률 층들(760a, 760b)은 도파관들(670, 680, 690)을 통한 광의 TIR(total internal reflection)(예컨대, 각각의 도파관의 최상부 주 표면과 최하부 주 표면 사이의 TIR)을 가능하게 하는 클래딩 층들로서 기능할 수 있다. 일부 실시예들에서, 층들(760a, 760b)은 공기로 형성된다. 예시되지는 않았지만, 예시된 도파관들의 세트(660)의 최상부 및 최하부는 바로 이웃하는 클래딩 층들을 포함할 수 있다는 것이 인식될 것이다.
[0097]
바람직하게는, 제조의 편의성을 위해 그리고 다른 고려사항들을 위해, 도파관들(670, 680, 690)을 형성하는 재료는 유사하거나 동일하며, 층들(760a, 760b)을 형성하는 재료는 유사하거나 동일하다. 일부 실시예들에서, 도파관들(670, 680, 690)을 형성하는 재료는 하나 이상의 도파관들 사이에서 상이할 수 있고, 그리고/또는 층들(760a, 760b)을 형성하는 재료는 상이할 수 있지만, 여전히 위에서 언급된 다양한 굴절률 관계들을 유지할 수 있다.
[0098]
도 9a를 계속 참조하면, 광선들(770, 780, 790)이 도파관들의 세트(660) 상에 입사된다. 광선들(770, 780, 790)은 하나 이상의 이미지 주입 디바이스들(360, 370, 380, 390, 400)(도 6)에 의해 도파관들(670, 680, 690)로 주입될 수 있다는 것이 인식될 것이다.
[0099]
일부 실시예들에서, 광선들(770, 780, 790)은 상이한 특성들, 예컨대 상이한 컬러들에 대응할 수 있는 상이한 파장들 또는 상이한 범위들의 파장들을 갖는다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 각각, 입사 광이 TIR에 의해 도파관들(670, 680, 690) 중 개개의 도파관을 통해 전파되도록 광을 편향시킨다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(700, 710, 720)은 각각, 하나 이상의 특정 파장들의 광을 선택적으로 편향시키는 한편, 다른 파장들을 하부 도파관 및 연관된 인커플링 광학 엘리먼트로 투과시킨다.
[0100]
예컨대, 인-커플링 광학 엘리먼트(700)는, 제1 파장 또는 파장들의 범위를 갖는 광선(770)을 편향시키는 한편, 상이한 제2 및 제3 파장들 또는 범위들의 파장들을 각각 갖는 광선들(780 및 790)을 투과시키도록 구성될 수 있다. 투과된 광선(780)은 제2 파장 또는 범위의 파장들의 광을 편향시키도록 구성되는 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 광선(790)은 제3 파장 또는 범위의 파장들의 광을 선택적으로 편향시키도록 구성되는 인-커플링 광학 엘리먼트(720)에 의해 편향된다.
[0101]
도 9a를 계속 참조하면, 편향된 광선들(770, 780, 790)은, 그들이 대응하는 도파관(670, 680, 690)을 통해 전파되도록 편향되는데; 즉, 각각의 도파관의 인-커플링 광학 엘리먼트들(700, 710, 720)은 그 대응하는 도파관(670, 680, 690)으로 광을 편향시켜 그 대응하는 도파관으로 광을 인-커플링한다. 광선들(770, 780, 790)은, 광이 TIR에 의해 개개의 도파관(670, 680, 690)을 통해 전파되게 하는 각도들로 편향된다. 광선들(770, 780, 790)은, 도파관의 대응하는 광 분배 엘리먼트들(730, 740, 750)에 충돌할 때까지 TIR에 의해 개개의 도파관(670, 680, 690)을 통해 전파된다.
[0102]
이제 도 9b를 참조하면, 도 9a의 복수의 스택형 도파관들의 예의 사시도가 예시된다. 위에서 언급된 바와 같이, 인-커플링된 광선들(770, 780, 790)은 인-커플링 광학 엘리먼트들(700, 710, 720)에 의해 각각 편향되고, 그런 다음 도파관들(670, 680, 690) 내에서 TIR에 의해 각각 전파된다. 그런 다음, 광선들(770, 780, 790)은 광 분배 엘리먼트들(730, 740, 750)에 각각 충돌한다. 광 분배 엘리먼트들(730, 740, 750)은, 광선들(770, 780, 790)이 아웃-커플링 광학 엘리먼트들(800, 810, 820)을 향해 각각 전파되도록 그 광선들을 편향시킨다.
[0103]
일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 OPE(orthogonal pupil expander)들이다. 일부 실시예들에서, OPE들은 아웃-커플링 광학 엘리먼트들(800, 810, 820)로 광을 편향시키거나 분배하고, 일부 실시예들에서는 광이 아웃-커플링 광학 엘리먼트들로 전파될 때 이 광의 빔 또는 스폿 크기를 또한 증가시킬 수 있다. 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 생략될 수 있고, 인-커플링 광학 엘리먼트들(700, 710, 720)은 아웃-커플링 광학 엘리먼트들(800, 810, 820)에 광을 직접 편향시키도록 구성될 수 있다. 예컨대, 도 9a를 참조하면, 광 분배 엘리먼트들(730, 740, 750)은 아웃-커플링 광학 엘리먼트들(800, 810, 820)로 각각 대체될 수 있다. 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(800, 810, 820)은 뷰어의 눈(210)(도 7)에 광을 지향시키는 EP(exit pupil)들 또는 EPE(exit pupil expander)들이다. OPE들은 적어도 하나의 축에서 아이 박스(eye box)의 치수들을 증가시키도록 구성될 수 있고, EPE들은 OPE들의 축을 가로지르는, 예컨대 OPE들의 축과 직교하는 축에서 아이 박스를 증가시키기 위한 것일 수 있다는 것이 인식될 것이다. 예컨대, 각각의 OPE는, OPE에 부딪치는 광의 일부를 동일한 도파관의 EPE로 재지향시키는 한편, 광의 나머지 부분이 도파관 아래로 계속 전파되는 것을 가능하게 하도록 구성될 수 있다. OPE에 다시 충돌할 때, 나머지 광의 다른 부분은 EPE로 재지향되고, 그 부분의 나머지 부분은 도파관 아래로 추가로 계속 전파되는 식이다. 유사하게, EPE에 부딪치면, 충돌하는 광의 일부는 도파관 밖으로 사용자를 향해 지향되고, 그 광의 나머지 부분은 그 부분이 EP에 다시 부딪칠 때까지 도파관을 통해 계속 전파되며, 이때 충돌하는 광의 다른 부분은 도파관 밖으로 지향되는 식이다. 결과적으로, 인커플링된 광의 단일 빔은 그 광의 일부가 OPE 또는 EPE에 의해 재지향될 때마다 "복제될(replicated)" 수 있으며, 이로써 도 6에 도시된 바와 같이 복제된 광 빔들의 필드를 형성한다. 일부 실시예들에서, OPE 및/또는 EPE는 광 빔들의 크기를 수정하도록 구성될 수 있다.
[0104]
따라서, 도 9a 및 도 9b를 참조하면, 일부 실시예들에서, 도파관들의 세트(660)는, 각각의 컴포넌트 컬러에 대해 도파관들(670, 680, 690); 인-커플링 광학 엘리먼트들(700, 710, 720); 광 분배 엘리먼트들(예컨대, OPE들)(730, 740, 750); 및 아웃-커플링 광학 엘리먼트들(예컨대, EP들)(800, 810, 820)을 포함한다. 도파관들(670, 680, 690)은 각각의 도파관 사이의 공극/클래딩 층과 함께 스택될 수 있다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 (상이한 인-커플링 광학 엘리먼트들이 상이한 파장들의 광을 수신하여) 입사 광을 자신의 도파관으로 재지향 또는 편향시킨다. 그런 다음, 광은 개개의 도파관(670, 680, 690) 내에서 TIR을 유발할 각도로 전파된다. 도시된 예에서, 광선(770)(예컨대, 청색 광)은 제1 인-커플링 광학 엘리먼트(700)에 의해 편향되고, 그런 다음 도파관 아래로 계속 바운싱(bounce)하여, 앞서 설명된 방식으로, 광 분배 엘리먼트(예컨대, OPE들)(730) 및 그런 다음 아웃-커플링 광학 엘리먼트(예컨대, EP들)(800)와 상호작용한다. 광선들(780 및 790)(예컨대, 각각 녹색 및 적색 광)은 도파관(670)을 통과할 것이고, 광선(780)은 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 그런 다음, 광선(780)은 TIR을 통해 도파관(680) 아래로 바운싱하여, 도파관(680)의 광 분배 엘리먼트(예컨대, OPE들)(740)로 그리고 그런 다음 아웃-커플링 광학 엘리먼트(예컨대, EP들)(810)로 진행한다. 마지막으로, 광선(790)(예컨대, 적색 광)은 도파관(690)을 통과하여 도파관(690)의 광 인-커플링 광학 엘리먼트들(720)에 충돌한다. 광 인-커플링 광학 엘리먼트들(720)은, 광선(790)이 TIR에 의해 광 분배 엘리먼트(예컨대, OPE들)(750)로, 그리고 그런 다음 TIR에 의해 아웃-커플링 광학 엘리먼트(예컨대, EP들)(820)로 전파되도록 그 광선(790)을 편향시킨다. 그런 다음, 아웃-커플링 광학 엘리먼트(820)는 마지막으로 광선(790)을 뷰어에 아웃-커플링하며, 이 뷰어는 또한 다른 도파관들(670, 680)로부터 아웃-커플링된 광을 수신한다.
[0105]
도 9c는 도 9a 및 도 9b의 복수의 스택형 도파관들의 예의 하향식 평면도를 예시한다. 예시된 바와 같이, 도파관들(670, 680, 690)은, 각각의 도파관의 연관된 광 분배 엘리먼트(730, 740, 750) 및 연관된 아웃-커플링 광학 엘리먼트(800, 810, 820)와 함께 수직으로 정렬될 수 있다. 그러나, 본원에서 논의된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 수직으로 정렬되지 않고; 오히려, 인-커플링 광학 엘리먼트들은 바람직하게는, 중첩되지 않는다(예컨대, 하향식 도면에 도시된 바와 같이 측방향으로 이격됨). 본원에서 추가로 논의된 바와 같이, 이러한 중첩되지 않는 공간 어레인지먼트는 일대일 단위로 상이한 자원들로부터 상이한 도파관들로의 광의 주입을 가능하게 하고, 이로써 특정 광원이 특정 도파관에 고유하게 커플링될 수 있게 한다. 일부 실시예들에서, 중첩되지 않는 공간적으로-분리된 인-커플링 광학 엘리먼트들을 포함하는 어레인지먼트들은 시프트된 동공 시스템으로 지칭될 수 있고, 이러한 어레인지먼트들 내의 인-커플링 광학 엘리먼트들은 서브 동공들에 대응할 수 있다.
[0106]
도 9d는 본원에 개시된 다양한 도파관들 및 관련 시스템들이 통합될 수 있는 웨어러블 디스플레이 시스템(60)의 예를 예시한다. 일부 실시예들에서, 디스플레이 시스템(60)은 도 6의 시스템(250)이고, 도 6은 그 시스템(60)의 일부 부분들을 더 상세히 개략적으로 도시한다. 예컨대, 도 6의 도파관 어셈블리(260)는 디스플레이(70)의 부분일 수 있다.
[0107]
도 9d를 계속 참조하면, 디스플레이 시스템(60)은 디스플레이(70), 및 그 디스플레이(70)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(70)는 프레임(80)에 커플링될 수 있으며, 프레임(80)은 디스플레이 시스템 사용자 또는 뷰어(90)에 의해 착용가능하고 그리고 사용자(90)의 눈들 앞에 디스플레이(70)를 포지셔닝하도록 구성된다. 일부 실시예들에서, 디스플레이(70)는 안경류로 간주될 수 있다. 일부 실시예들에서, 스피커(100)는 프레임(80)에 커플링되고, 사용자(90)의 외이도에 인접하게 포지셔닝되도록 구성된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 입체/성형가능 사운드 제어를 제공하기 위해 사용자의 다른 외이도에 인접하게 선택적으로 포지셔닝될 수 있음). 디스플레이 시스템(60)은 또한, 사운드를 검출하기 위한 하나 이상의 마이크로폰들(110) 또는 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(60)에 입력들 또는 커맨드들(예컨대, 음성 메뉴 커맨드들의 선택, 자연어 질문들 등)을 제공하는 것을 가능하게 하도록 구성되고, 그리고/또는 다른 사람들과의(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들과의) 오디오 통신을 가능하게 할 수 있다. 마이크로폰은 추가로, 오디오 데이터(예컨대, 사용자 및/또는 환경으로부터의 사운드들)를 수집하기 위한 주변 센서로서 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템(60)은, 오브젝트들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위 세계의 다른 양상들을 검출하도록 구성된 하나 이상의 외향 환경 센서(outwardly-directed environmental sensor)들(112)을 더 포함할 수 있다. 예컨대, 환경 센서들(112)은, 예컨대 사용자(90)의 일반 시야의 적어도 일부와 유사한 이미지들을 캡처하도록 외향하여 로케이팅될 수 있는 하나 이상의 카메라들을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 또한, 프레임(80)과 별개이고 그리고 사용자(90)의 신체에(예컨대, 사용자(90)의 머리, 몸통, 사지(extremity) 등에) 부착될 수 있는 주변 센서(120a)를 포함할 수 있다. 일부 실시예들에서, 주변 센서(120a)는 사용자(90)의 생리학적 상태를 특징화하는 데이터를 포착하도록 구성될 수 있다. 예컨대, 센서(120a)는 전극일 수 있다.
[0108]
도 9d를 계속 참조하면, 디스플레이(70)는, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(80)에 고정적으로 부착되거나, 사용자에 의해 착용되는 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 또는 다르게는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 사용자(90)에게 제거가능하게 부착될 수 있는 로컬 데이터 프로세싱 모듈(140)에 통신 링크(130)에 의해, 이를테면, 유선 리드 또는 무선 연결에 의해 동작가능하게 커플링된다. 유사하게, 센서(120a)는 통신 링크(120b), 예컨대 유선 리드 또는 무선 연결에 의해 로컬 프로세서 및 데이터 모듈(140)에 동작가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 하드웨어 프로세서뿐만 아니라, 디지털 메모리, 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있는데, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching), 및 저장을 보조하는 데 활용될 수 있다. 선택적으로, 로컬 프로세서 및 데이터 모듈(140)은 하나 이상의 CPU(central processing unit)들, GPU(graphics processing unit)들, 전용 프로세싱 하드웨어 등을 포함할 수 있다. 데이터는, a) (예컨대, 프레임(80)에 동작가능하게 커플링되거나 다르게는 사용자(90)에게 부착될 수 있는) 센서들, 이를테면, 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스(compass)들, GPS 유닛들, 라디오 디바이스들, 자이로(gyro)들 및/또는 본원에 개시된 다른 센서들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(150) 및/또는 원격 데이터 저장소(160)(가상 콘텐츠와 관련된 데이터를 포함함)를 사용하여 포착 및/또는 프로세싱되어, 가능한 경우 그러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(70)에 전달되는 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 통신 링크들(170, 180)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160)에 동작가능하게 커플링될 수 있어서, 이러한 원격 모듈들(150, 160)은 서로 동작가능하게 커플링되고, 로컬 프로세싱 및 데이터 모듈(140)에 대한 자원들로서 이용가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(140)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 이상을 포함할 수 있다. 일부 다른 실시예들에서, 이러한 센서들 중 하나 이상은 프레임(80)에 부착될 수 있거나, 유선 또는 무선 통신 경로들에 의해 로컬 프로세싱 및 데이터 모듈(140)과 통신하는 독립형 구조들일 수 있다.
[0109]
도 9d를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(150)은, 예컨대 하나 이상의 CPU(central processing unit)들, GPU(graphics processing unit)들, 전용 프로세싱 하드웨어 등을 포함하여, 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 "클라우드" 자원 구성으로 인터넷 또는 다른 네트워킹 구성을 통해 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 정보, 예컨대 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(140) 및/또는 원격 프로세싱 모듈(150)에 제공하는 하나 이상의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈에서 모든 데이터가 저장되고 모든 계산들이 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 가능하게 한다. 선택적으로, CPU들, GPU들 등을 포함하는 외부 시스템(예컨대, 하나 이상의 컴퓨터들, 하나 이상의 프로세서들의 시스템)은 프로세싱의 적어도 일부(예컨대, 이미지 정보의 생성, 데이터의 프로세싱)를 수행할 수 있고, 예컨대 무선 또는 유선 연결들을 통해 모듈들(140, 150, 160)에 정보를 제공하고 이들로부터 정보를 수신할 수 있다.
포즈 결정
[0110]
본원에서 설명된 바와 같이, 디스플레이 디바이스(예컨대, 도 9d에서 설명된 디스플레이 시스템(60))는 가상 콘텐츠를 사용자(예컨대, 디스플레이 디바이스를 착용한, 이를테면, 프레임(80)에 커플링된 디스플레이(70)를 착용한 사용자)에게 제시할 수 있다. 가상 콘텐츠의 프리젠테이션 동안, 디스플레이 디바이스는 디스플레이 디바이스 및 사용자의 머리의 포즈들을 결정할 수 있다. 위에서 설명된 바와 같이, 포즈는 디스플레이 디바이스 및/또는 사용자의 머리의 배향, 및 선택적으로는 디스플레이 디바이스 및/또는 사용자의 머리의 포지션을 식별할 수 있다. 예컨대, 디스플레이 디바이스는 가상 문서를 포함하는 가상 콘텐츠를 실세계 책상 위에 제시할 수 있다. 사용자가 문서에 대해 자신의 머리를 회전시키거나 또는 문서에 더 가까이 또는 문서로부터 더 멀리 이동함에 따라, 디스플레이 디바이스는 사용자의 머리 포즈를 결정할 수 있다. 이 방식으로, 디스플레이 디바이스는, 가상 문서가 실세계 책상 위에 현실적인 문서로서 보이도록, 제시된 가상 콘텐츠를 조정할 수 있다. 설명이 가상 콘텐츠, 증강 현실 등을 참조하지만, 디스플레이 디바이스는 가상 현실 디스플레이 시스템일 수 있고, 본원에서 설명된 기법들을 활용할 수 있다.
[0111]
디스플레이 디바이스는, 포즈를 결정하기 위해 이미징 디바이스들, 이를테면, 위의 도 9d에서 설명된 환경 센서들(112)을 활용할 수 있다. 이미징 디바이스는, 예컨대 디스플레이 디바이스 상에 고정된 외향 카메라일 수 있다. 따라서, 이미징 디바이스는 실세계 환경의 이미지들을 획득할 수 있고, 디스플레이 디바이스는 포즈를 결정하기 위해 이러한 이미지들을 사용할 수 있다. 이미징 디바이스는 시간의 경과(예컨대, 1/10, 1/15, 1/30, 1/60초 마다)에 대한 응답으로, 또는 디스플레이 디바이스가 임계치보다 더 많은 양을 움직인 것을 검출하는 것에 대한 응답으로 이미지를 획득할 수 있다. 예컨대, 이미징 디바이스는 실세계 환경의 라이브 이미지들을 획득할 수 있다(예컨대, 카메라의 센서는 항상 이미지 정보를 캡처하도록 구성될 수 있음). 이 예에서, 디스플레이 디바이스는, 인입 이미지 정보가 임계량보다 더 많이 변화되었거나 또는 임계 레이트보다 더 크게 변화한다고 결정할 수 있다. 다른 예로서, 디스플레이 디바이스는, 이를테면, 관성 측정 유닛에 센서들(예컨대, 자력계들, 자이로스코프들 등)을 포함할 수 있고, 디스플레이 디바이스는 이러한 센서들을 사용하여, 디스플레이 디바이스가 임계량보다 더 많이 이동하였는지 여부를 식별할 수 있다. 이 예에서, 디스플레이 디바이스는 관성 측정 유닛에 의해 검출된 정보에 기반하여 이미지를 획득할 수 있다. 따라서, 현재 이미지는 이미징 디바이스를 통해 획득될 수 있고, 사용자의 움직임에 기반하여 이전 이미지와 상이할 수 있다. 예컨대, 사용자가 룸을 둘러볼 때, 디스플레이 디바이스는 연속적인 이미지들을 획득할 수 있다.
[0112]
본원에서 설명된 바와 같이, 디스플레이 디바이스는 이미징 디바이스에 의해 획득된 연속적인 이미지들 사이에서 특징적 포인트들을 추적할 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 패치-기반 프레임-투-프레임 추적 프로세스를 수행하도록 구성될 수 있다. 위에서 설명된 바와 같은 특징적 포인트는 구별가능한 시각적 포인트, 이를테면, 코너를 나타낼 수 있다. 이전 이미지로부터 현재 이미지까지 특징적 포인트를 추적하기 위해, 디스플레이 디바이스는 이전 이미지에서 특징적 포인트를 둘러싸는 패치를 현재 이미지 상에 투영할 수 있다. 본원에서 설명된 바와 같이, 패치는 특징적 포인트를 둘러싸는 M x N 이미지 영역일 수 있다. 예컨대, 특징적 포인트는 현재 이미지에서의 2차원 위치에 대응할 수 있고, 패치는 그 2차원 위치를 둘러싸는 M x N 이미지 영역일 수 있다. 그런 다음, 디스플레이 디바이스는, 투영된 패치와 현재 이미지에서의 대응하는 이미지 영역 사이의 에러, 또는 픽셀 강도들의 집합적 차이(aggregate difference)를 최소화하기 위해, 그 투영된 패치의 위치를 조정할 수 있다. 예시적인 에러 최소화 프로세스들은 리븐버그-마크워트(Levenberg-Marquardt), 켤레 기울기(Conjugate Gradient) 등을 포함할 수 있다. 패치 내의 일관되고 선택된 위치, 예컨대 투영된 패치의 중심은 현재 이미지에서 추적된 특징적 포인트의 위치인 것으로 이해될 수 있다. 이 방식으로, 디스플레이 디바이스는 이전 프레임으로부터 현재 프레임까지 특정 시각적 관심 포인트들(예컨대, 특징적 포인트들, 이를테면, 코너들)의 움직임을 식별할 수 있다.
[0113]
디스플레이 디바이스는 또한, 디스크립터-기반 맵-투-프레임 추적을 활용하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 맵-투-프레임 추적은, 특징적 포인트들의 실세계 위치들(예컨대, 3차원 위치들) 및 연관된 디스크립터들을 표시하는 맵 정보를 활용한다. 예컨대, 맵 정보는 실세계 환경 내의 특정 코너에 대한 3차원 좌표들을 표시할 수 있다. 특정 코너가 디스플레이 디바이스에 의해 이미징되고, 그에 따라 현재 이미지에서 표현되는 경우, 디스플레이 디바이스는 현재 이미지 내의 표현을 그것의 대응하는 실세계 위치에 매칭시킬 수 있다. 맵 정보를 생성하는 것은 도 10a와 관련하여 아래에서 더 상세하게 설명될 것이다. 맵-투-프레임 추적에서, 임계 척도 미만(예컨대, 임계 개수 미만 또는 임계 밀도 미만)의 추적된 특징적 포인트들을 갖는, 현재 이미지의 이미지 영역들로부터 새로운 특징적 포인트들이 추출될 수 있다. 각각의 특징적 포인트에 대해 디스크립터들이 생성될 수 있고, 디스크립터들은 맵 정보에서 표시된 특징적 포인트들의 디스크립터들에 매칭된다. 본원에서 사용된 바와 같이, 디스크립터는 특징적 포인트와 연관된 시각적인 하나 이상의 엘리먼트들을 설명할 수 있다. 예컨대, 디스크립터는, 특징적 포인트의 형상, 컬러, 텍스처 등을 표시할 수 있다. 추가적으로, 디스크립터는 각각의 특징적 포인트를 둘러싸는 영역(예컨대, 특징적 포인트를 둘러싸는 M x N 픽셀 영역)을 설명할 수 있다. 디스크립터는, 예컨대 특징적 포인트를 둘러싸는 영역의 히스토그램(예컨대, 히스토그램과 연관된 영숫자 값), 영역의 해시(예컨대, M x N 픽셀 영역 내의 각각의 픽셀의 값들로부터 컴퓨팅된 암호화 해시) 등을 나타낼 수 있다.
[0114]
따라서, 생성된 디스크립터들에 기반하여, 디스플레이 디바이스는 각각의 특징적 포인트에 대해 생성된 디스크립터들을 맵 정보에 표시된 특징적 포인트들의 디스크립터들과 매칭시킬 수 있다. 이 방식으로, 디스플레이 디바이스는, 현재 이미지 내의 각각의 특징적 포인트에 대응하는 실세계 위치(예컨대, 3D 좌표들)를 식별할 수 있다. 따라서, 현재 이미지 내의 특징적 포인트들은, 2D 이미지 상으로의 대응하는 3D 실세계 좌표들의 투영들을 나타낼 수 있다.
[0115]
디스플레이 디바이스는 이러한 매칭들에 따라 자신의 포즈를 결정할 수 있다. 예컨대, 디스플레이 디바이스는 예시적인 포즈 추정 프로세스, 이를테면, pnp(perspective-n-point), 효율적 pnp, 랜덤 샘플 컨센서스(random sample consensus)를 이용한 pnp 등을 수행할 수 있다. 후속적으로, 디스플레이 디바이스는 후속 이미지 내의 특징적 포인트들을 추적할 수 있다. 예컨대, 디스플레이 디바이스는 위에서 설명된 바와 같이 현재 이미지 내의 특징적 포인트들을 후속 이미지 상에 투영할 수 있는 식이다.
[0116]
도 10a는 디스플레이 시스템의 포즈 및 사용자의 머리의 포즈를 결정하기 위한 예시적인 프로세스(1000)의 흐름도를 예시한다. 일부 실시예들에서, 프로세스(1000)는 디스플레이 디바이스(예컨대, 증강 현실 디스플레이 시스템(60), 증강 현실 디스플레이 시스템(60)은 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있고, 선택적으로 프로세싱을 위해, 예컨대 프로세싱을 외부 시스템에 오프로딩하고 그리고 외부 시스템으로부터 정보를 수신하기 위해, 하나 이상의 컴퓨터들의 외부 시스템에 정보를 제공할 수 있음)에 의해 수행되는 것으로 설명될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 하나 이상의 프로세서들을 포함하는 가상 현실 디스플레이 디바이스일 수 있다.
[0117]
디스플레이 디바이스는 실세계 환경의 현재 이미지를 획득한다(블록(1002)). 디스플레이 디바이스는, 이미징 디바이스, 이를테면, 디스플레이 디바이스 상에 고정된 외향 카메라로부터 현재 이미지를 획득할 수 있다. 예컨대, 외향 카메라는 사용자가 보는 뷰(예컨대, 전방향 뷰)와 유사한 뷰를 획득하기 위해 디스플레이 디바이스의 전방에 포지셔닝될 수 있다. 도 9d와 관련하여 위에서 설명된 바와 같이, 디스플레이 디바이스는 사용자에 의해 착용될 수 있다. 디스플레이 디바이스는 선택적으로 2개 이상의 이미징 디바이스들을 활용하고 그리고 그 각각으로부터 동시에(예컨대, 실질적으로 동시에) 이미지들을 획득할 수 있다. 따라서, 이미징 디바이스들은 이미지들 내의 위치들의 깊이를 결정하는 데 활용될 수 있는 실세계 환경의 입체 이미지들을 획득하도록 구성될 수 있다.
[0118]
디스플레이 디바이스는, 이전에 획득된 이미지 이후에 경과한 임계 시간량에 기반하여 이미징 디바이스가 현재 이미지를 획득하도록 트리거하거나 또는 다르게는 야기할 수 있다. 따라서, 이미징 디바이스는 특정 빈도로, 이를테면, 초당 10회, 초당 15회, 초당 30회 등으로 이미지들을 획득할 수 있다. 선택적으로, 그 특정 빈도는 디스플레이 디바이스의 프로세싱 작업부하에 기반하여 조정될 수 있다. 예컨대, 디스플레이 디바이스의 프로세서들이 하나 이상의 임계 퍼센티지들보다 더 많이 활용되는 경우, 그 특정 빈도는 적응적으로 감소될 수 있다. 추가적으로 또는 대안적으로, 디스플레이 디바이스는 디스플레이 디바이스의 움직임에 기반하여 빈도를 조정할 수 있다. 예컨대, 디스플레이 디바이스는 이전에 결정된 포즈들의 임계 개수를 표시하는 정보를 획득하고, 포즈들 사이의 가변도를 결정할 수 있다. 가변도에 기반하여, 디스플레이 디바이스는, 예컨대 중심 경향(central tendency)의 측정치가 특정 임계치 미만일 때까지, 디스플레이 디바이스가 이미지들을 획득하는 빈도를 증가시킬 수 있다. 일부 실시예들에서, 디스플레이 디바이스는, 이를테면, 관성 측정 유닛에 포함된 센서들을 활용할 수 있고, 사용자의 추정된 움직임들에 따라 빈도를 증가시키거나 감소시킬 수 있다. 일부 실시예들에서, 경과한 임계 시간량에 기반하여 현재 이미지를 획득하는 것에 추가하여, 디스플레이 디바이스는, 사용자가 임계량(예컨대, 하나 이상의 3차원 축들을 중심으로 한 임계 거리)보다 더 많이 이동했다고 추정하는 것에 기반하여 현재 이미지를 획득할 수 있다. 예컨대, 디스플레이 디바이스는 사용자의 움직임을 추정하기 위해 관성 측정 유닛을 활용할 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 하나 이상의 다른 센서들, 이를테면, 광, 컬러 가변도 등을 검출하는 센서를 활용하여, 센서들에 의해 검출된 정보가 (예컨대, 움직임을 표시하는) 임계 시간량의 임계치보다 더 크게 변화하였음을 결정할 수 있다.
[0119]
따라서, 현재 이미지는 사용자의 현재 뷰와 연관될 수 있다. 디스플레이 디바이스는, 프로세싱을 위해 현재 이미지를, 예컨대 휘발성 또는 비-휘발성 메모리에 저장할 수 있다. 추가적으로, 디스플레이 디바이스는 현재 이미지 이전에 획득된, 저장된 이미지를 가질 수 있다. 설명될 바와 같이, 현재 이미지는 이전 이미지와 비교될 수 있고, 특징적 포인트들은 이전 이미지로부터 현재 이미지까지 추적될 수 있다. 따라서, 디스플레이 디바이스는 이전 이미지 내의 각각의 특징적 포인트와 연관된 정보를 저장할 수 있다. 예컨대, 그 정보는 각각의 특징적 포인트에 대한 패치, 및 선택적으로는 패치가 나타난 이전 이미지에서의 위치(예컨대, 특징적 포인트의 픽셀 좌표들)를 포함할 수 있다. 일부 실시예들에서, 전체 이전 이미지를 저장하는 대신에, 디스플레이 디바이스는 이전 이미지에 포함된 각각의 특징적 포인트에 대한 패치들을 저장할 수 있다.
[0120]
위에서 설명된 바와 같이, 패치는 특징적 포인트(예컨대, 이미징된 바와 같은 특징적 포인트)를 둘러싸는 M x N 크기의 이미지 영역을 나타낼 수 있다. 예컨대, 특징적 포인트는 패치의 중심일 수 있다. 특징적 포인트가 시각적 관심 포인트, 이를테면, 코너일 수 있기 때문에, 일부 실시예들에서 코너는 단일 픽셀보다 더 클 수 있다. 따라서, 패치는, 예컨대 2개의 라인들이 교차하는 시각적 관심 포인트의 위치를 둘러쌀 수 있다(예컨대, 키보드 '7' 상에서, 패치는 수평 라인과 기울어진 수직 라인의 교차점을 둘러쌀 수 있음). 예컨대, 디스플레이 디바이스는 특정 픽셀을 특징적 포인트인 것으로 선택할 수 있으며, 패치는 이 특정 픽셀을 둘러쌀 수 있다. 추가적으로, 2개의 이상의 픽셀들이 선택될 수 있고, 패치는 이러한 2개 이상의 픽셀들을 둘러쌀 수 있다. 아래에서 설명될 바와 같이, 이전 이미지의 패치들은 현재 이미지 내의 연관된 특징적 포인트들을 추적하는 데 활용될 수 있다.
[0121]
디스플레이 디바이스는 이전 이미지로부터 추적된 특징적 포인트들을 현재 이미지에 투영한다(블록(1004)). 위에서 설명된 바와 같이, 디스플레이 디바이스는 이전 이미지 내에 포함된 특징적 포인트들과 연관된 정보를 저장할 수 있다. 예시적인 정보는, 이전 이미지 내에서의 패치의 위치를 식별하는 정보와 함께, 특징적 포인트를 둘러싸는 패치를 포함할 수 있다. 디스플레이 디바이스는 이전 이미지로부터의 각각의 특징적 포인트를 현재 이미지 상으로 투영할 수 있다. 예로서, 이전 이미지와 연관된 포즈는 현재 이미지 상에 각각의 특징적 포인트를 투영하는 데 활용될 수 있다. 아래에서 설명될 바와 같이, 포즈 추정치, 이를테면, 광학 흐름이 디스플레이 디바이스에 의해 결정될 수 있다. 이 포즈 추정치는 이전 이미지에 대해 결정된 포즈를 조정할 수 있으며, 따라서, 현재 이미지 상에서의 추적된 특징적 포인트들의 초기 투영이 획득될 수 있다. 설명될 바와 같이, 이 초기 투영은 정교화될 수 있다.
[0122]
디스플레이 디바이스는, (예컨대, 이전에 결정된 포즈들에 기반하는) 궤적 예측에 기반하여, 그리고/또는 관성 측정 유닛, 확장 칼만 필터, 시각적 관성 오도메트리 등에 기반하여 포즈 추정치를 결정할 수 있으며, 그 포즈 추정치는 때때로 프라이어(prior)로 지칭된다. 궤적 예측과 관련하여, 디스플레이 디바이스는 사용자가 이동할 가능성이 있는 방향을 결정할 수 있다. 예컨대, 이전 임계 개수의 포즈 결정들이, 사용자가 특정 방식으로 자신의 머리를 아래쪽으로 회전하고 있다고 표시하는 경우, 궤적 예측은 이 회전을 확장시킬 수 있다. 관성 측정 유닛과 관련하여, 디스플레이 디바이스는 관성 측정 유닛의 센서들에 의해 측정된 배향 및/또는 포지션에 대한 조정을 표시하는 정보를 획득할 수 있다. 따라서, 포즈 추정치는 현재 이미지 내의 각각의 추적된 특징적 포인트에 대응하는 초기 추정된 위치의 결정을 가능하게 할 수 있다. 포즈 추정치에 추가하여, 디스플레이 디바이스는 특징적 포인트들을 투영하기 위해 맵 정보에 표시된 바와 같이 각각의 특징적 포인트의 실세계 위치들을 활용할 수 있다. 예컨대, 포즈 추정치는 이전 이미지 내의 2D 위치로부터 현재 이미지 내의 2D 위치로, 각각의 특징적 포인트의 추정된 움직임을 알릴 수 있다. 이 새로운 2D 위치는 맵 정보와 비교될 수 있고, 특징적 포인트의 추정된 위치가 결정될 수 있다.
[0123]
이전 이미지 내의 각각의 특징적 포인트에 대한 패치는 현재 이미지의 동일한 크기의 M x N 픽셀 영역과 비교될 수 있다. 예컨대, 디스플레이 디바이스는, 패치와, 패치가 투영되는 현재 이미지의 동일한 크기의 M x N 픽셀 영역 사이의 광도측정 에러가 최소화될 때까지(예컨대, 로컬 또는 글로벌 최소치, 또는 사용자-선택가능 임계치 미만의 에러와 같이, 실질적으로 최소화될 때까지) 현재 이미지 상에 투영된 패치의 위치를 조정할 수 있다. 일부 실시예들에서, 현재 이미지의 M x N 픽셀 영역의 중심은 추적된 특징적 포인트에 대응하는 것으로 표시될 수 있다. 추적된 특징적 포인트들을 투영하는 것은 도 11-도 12b와 관련하여 아래에서 더 상세하게 설명된다.
[0124]
선택적으로, 포즈 추정치를 결정하기 위해, 디스플레이 디바이스는 현재 이미지의 포즈를 변화시킴으로써 모든 투영된 패치들의 결합된 광도측정 비용 함수를 최소화할 수 있다. 예컨대, 디스플레이 디바이스는 (예컨대, 위에서 설명된 바와 같은 초기 포즈 추정치에 기반하여) 이전 이미지 내의 각각의 특징적 포인트와 연관된 패치들을 현재 이미지 상에 투영할 수 있다. 그런 다음, 디스플레이 디바이스는, 광도측정 비용 함수가 최소화될 때까지, 예컨대 이 초기 포즈 추정치를 수정함으로써, 패치들을 글로벌하게 조정할 수 있다. 이 방식으로, 더 정확한 정교화된 포즈 추정치가 획득될 수 있다. 아래에서 설명될 바와 같이, 이 정교화된 포즈 추정치는, 디스플레이 디바이스의 포즈를 결정할 때, 프라이어로서 또는 규칙화(regularization)로서 사용될 수 있다. 예컨대, 정교화된 포즈 추정치는 비용 함수와 연관될 수 있어서, 정교화된 포즈 추정치로부터의 편차들은 연관된 비용을 갖는다.
[0125]
따라서, 현재 이미지는 이전 이미지로부터 추적된 특징적 포인트들을 포함할 수 있다. 아래에서 설명될 바와 같이, 디스플레이 디바이스는 임계 척도 미만의 추적된 특징적 포인트들을 갖는, 현재 이미지의 이미지 영역들을 식별할 수 있다. 이는, 예컨대 사용자가 자신의 머리를 실세계 환경의 새로운 위치로 이동시키는 것을 나타낼 수 있다. 이 방식으로, 새로운 위치를 이미징하는 현재 이미지의 새로운 이미지 영역들은 이전 이미지들로부터 추적된 특징적 포인트들을 포함하지 않을 수 있다.
[0126]
디스플레이 디바이스는, 현재 이미지의 이미지 영역이 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 결정한다(블록(1006)). 위에서 설명된 바와 같이, 디스플레이 디바이스는, 예컨대 연속적인 이미지들 상으로의 추적된 특징적 포인트들의 투영을 통해, 그리고 선택적으로는 맵-투-프레임 추적과 조합하여, 패치-기반 프레임-투-프레임 추적에 따라 자신의 포즈를 결정할 수 있다. 현재 이미지의 하나 이상의 이미지 영역들이 임계 척도 미만의 추적된 특징적 포인트들, 예컨대 이미지 영역에서 임계 개수 미만의 특징적 포인트들 또는 임계 밀도 미만의 특징적 포인트들을 포함하는 경우, 맵-투-프레임 추적이 활용될 수 있다.
[0127]
도 10b는 예시적인 현재 이미지들의 예시적인 이미지 영역들을 예시한다. 도 10b의 예에서, 현재 이미지들(1020A, 1020B, 1020C, 및 1020D)이 예시된다. 이러한 현재 이미지들은, 예컨대 블록(1002)과 관련하여 위에서 설명된 바와 같이 디스플레이 디바이스를 통해 획득될 수 있다. 예시적인 이미지 영역(1022)을 갖는 현재 이미지(1020A)가 예시된다. 위에서 설명된 바와 같이, 이미지 영역은 현재 이미지 전체를 포함할 수 있다. 따라서, 디스플레이 디바이스는, 전체로서 현재 이미지(1020A)가 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 결정할 수 있다.
[0128]
일부 다른 실시예들에서, 현재 이미지는 개별 부분들로 세분될 수 있다. 예컨대, 도 10b의 예의 현재 이미지(1020B)는 5x5 그리드로 분리되며, 그리드의 각각의 영역은 개별 부분을 형성한다. 따라서, 예시적인 이미지 영역(1024)은 이러한 부분들 중 하나이다. 디스플레이 디바이스는, 이러한 부분들 중 임의의 부분이 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 결정할 수 있다. 이 방식으로, 실세계 환경의 새로운 위치들이 현재 이미지(1020B)에 포함됨에 따라, 부분들 중 하나 이상은 임계 척도 미만의 추적된 특징적 포인트들을 포함할 수 있다. 그리드의 크기는 사용자에 의해 그리고/또는 디스플레이 시스템에 의해 조정가능할 수 있다. 예컨대, 그리드는 3x3, 7x7, 2x4 등이 되도록 선택될 수 있다. 선택적으로, 그리드는, 예컨대 사용자가 디스플레이 시스템을 활용할 때 변화하는 이미지의 다양한 부분들의 크기들에 따라 디스플레이 시스템의 동작 동안 (예컨대, 프로세싱 제약들, 정확도 임계치들, 이미지들 사이의 포즈 추정치들의 차이들 등에 따라, 실질적으로 실시간으로) 조정될 수 있다.
[0129]
예시적인 추적된 특징적 포인트들을 갖는 현재 이미지(1020C)가 예시된다. 이 예에서, 이미지 영역은 추적된 특징적 포인트들의 희박함(sparseness)에 따라 결정될 수 있다. 예컨대, 이미지 영역(1026A 및 1026B)은 단일의 추적된 특징적 포인트를 둘러싸는 것으로 예시된다. 이미지 영역의 크기는 사용자-선택가능하거나 또는 고정된 시스템-결정 크기(예컨대, M x N 픽셀 영역)일 수 있다. 디스플레이 디바이스는 추적된 특징적 포인트들을 분석하고, 임계 척도 미만을 갖는 이미지 영역이 현재 이미지(1020C)에 로케이팅될 수 있는지 여부를 결정할 수 있다. 예컨대, 이미지 영역들(1026A 및 1026B)은 임계 척도 미만을 포함하는 것으로 디스플레이 디바이스에 의해 식별되었다. 선택적으로, 디스플레이 디바이스는, 임계 척도 초과를 포함하는 이미지 영역들을 식별하고, 나머지 이미지 영역들은 임계 척도 미만을 포함하는 것으로 식별할 수 있다. 예컨대, 이미지 영역들(1028 및 1030)은 임계 척도 초과의 추적된 특징적 포인트들을 포함하는 것으로 식별되었다. 따라서, 이 예에서, 디스플레이 디바이스는, 이미지들(1028 및 1030) 외부의 어디든 임계 척도 미만의 추적된 특징적 포인트들을 갖는 것으로 식별할 수 있다. 그런 다음, 디스플레이 디바이스는 이러한 외측 이미지 영역들에서 새로운 특징적 포인트들을 추출할 수 있다. 선택적으로, 디스플레이 디바이스는 현재 이미지 내의 위치들에 대해 클러스터링 측정(clustering measure)을 결정할 수 있다. 예컨대, 클러스터링 측정은, 추적된 특징적 포인트들로부터 위치가 떨어져 있는 평균 거리를 표시할 수 있다. 추가적으로, 클러스터링 측정은, 위치의 임계 거리 내에 있는 추적된 특징적 포인트들의 평균 개수를 표시할 수 있다. 클러스터링 측정(들)이 하나 이상의 임계치들 미만인 경우, 디스플레이 디바이스는 이러한 위치들에서 새로운 특징적 포인트들을 추출할 수 있다. 선택적으로, 디스플레이 디바이스는 각각의 위치를 둘러싸는 M x N 영역에서 새로운 특징적 포인트들을 추출할 수 있다.
[0130]
예시적인 이미지 영역(1032)을 갖는 현재 이미지(1020D)가 예시된다. 이 예에서, 이미지 영역(1032)은 현재 이미지(1020D)의 특정 위치, 이를테면, 현재 이미지(1020D)의 중심에 배치될 수 있다. 일부 실시예들에서, 예시적인 이미지 영역(1032)은 사용자의 특정 시야를 나타낼 수 있다. 이미지 영역(1032)은 특정 형상 또는 다각형, 이를테면, 원형, 타원형, 직사각형 등일 수 있다. 일부 실시예들에서, 이미지 영역(1032)은 이미징 디바이스의 렌즈와 연관된 정확도에 기반할 수 있다. 예컨대, 이미지 영역(1032)은, 렌즈의 에지들에 도입되는 왜곡이 실질적으로 없는 렌즈의 중심을 나타낼 수 있다. 따라서, 디스플레이 디바이스는, 이미지 영역(1032)이 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 식별할 수 있다.
[0131]
도 10a를 다시 참조하면, 디스플레이 디바이스는 맵-투-프레임 추적을 수행한다(블록(1008)). 디스플레이 디바이스는, 현재 이미지의 임의의 이미지 영역이 임계 척도 미만의 추적된 특징적 포인트들을 포함하는지 여부를 식별할 수 있다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 식별된 이미지 영역들에서 새로운 특징적 포인트들을 추출할 수 있다. 예컨대, 디스플레이 디바이스는 이미지 영역들에서 새로운 특징적 포인트들의 2D 위치들을 식별할 수 있다. 그런 다음, 디스플레이 디바이스는 기존의 추적된 특징적 포인트들 및 새로 추출된 특징적 포인트들에 대한 디스크립터들을 수신할 수 있다. 예컨대, 디스플레이 디바이스는, 예컨대 새로 추출되고 추적된 특징적 포인트들에 대한 디스크립터들을 생성함으로써, 이러한 디스크립터들을 제공할 수 있다. 선택적으로, 디스플레이 디바이스는, 새로 추출된 특징적 포인트들에 대한 디스크립터들을 생성하고, 추적된 특징적 포인트들에 대한 디스크립터들을 수신(예컨대, 메모리로부터 획득)함으로써 디스크립터들을 제공할 수 있다. 예로서, 디스플레이 디바이스는 이전에 생성된, 추적된 특징적 포인트들에 대한 디스크립터들을 활용할 수 있다. 예컨대, 디스크립터들은, 각각의 추적된 특징적 포인트가 이미지로부터 새로 추출되었을 때 생성되었을 수 있다. 이러한 디스크립터들은, 디스플레이 디바이스에 의해, 맵 정보에 저장된 디스크립터들과 매칭될 수 있다. 맵 정보가 특징적 포인트들의 실세계 좌표들을 저장하기 때문에, 디스플레이 디바이스는 현재 이미지에서 추적된 각각의 특징적 포인트의 실세계 좌표들을 식별할 수 있다. 맵-투-프레임 추적을 수행하는 것은 도 13과 관련하여 아래에서 더 상세하게 설명될 것이다.
[0132]
본원에서 활용되는 맵 정보는 디스플레이 디바이스에 의해 생성될 수 있다. 예컨대, 디스플레이 디바이스는 실세계 환경에서의 위치들과 연관된 깊이 정보를 결정하기 위해 입체 이미징 디바이스들, 깊이 센서들, 라이다 등을 활용할 수 있다. 디스플레이 디바이스는 맵 정보를 주기적으로, 예컨대 임계 수의 초 또는 분마다 업데이트할 수 있다. 추가적으로, 맵 정보는, 예컨대 입체 이미징 디바이스들로부터 획득된 현재 이미지들이 키-프레임(key-frame)들이라고 식별하는 것에 기반하여 업데이트될 수 있다. 이는 위에서 설명된 바와 같이 시간에 따라, 그리고 선택적으로는 현재 이미지들과 이전(예컨대, 가장 최근의) 키-프레임 사이의 차이들에 따라 식별될 수 있다. 예컨대, 현재 이미지들이 임계치보다 더 많이 변경된 경우, 현재 이미지들은 키-프레임으로서 식별될 수 있다. 그런 다음, 이러한 키-프레임들은 맵 정보를 업데이트하기 위해 분석될 수 있다.
[0133]
입체 이미징 디바이스들과 관련하여, 디스플레이 디바이스는 각각의 입체 이미지에서 특징적 포인트들에 대한 디스크립터들을 생성할 수 있다. 알려진 외부 교정 정보, 예컨대 2개의 이미징 디바이스들 사이의 상대적 포즈를 사용하여 깊이 정보가 식별될 수 있다. 입체 이미지들과 깊이 정보 사이의 특징적 포인트들의 디스크립터 매칭에 기반하여, (예컨대, 좌표 기준 프레임에 대한) 실세계 좌표들이 각각의 특징적 포인트에 대해 결정될 수 있다. 그런 다음, 각각의 매칭된 특징적 포인트에 대해 생성된 디스크립터들 중 하나 이상이 저장될 수 있다. 따라서, 맵-투-프레임 추적 동안, 실세계 특징적 포인트들에 대한 이러한 저장된 디스크립터들은 캡처된 이미지들(예컨대, 현재 이미지들)에 포함된 특징적 포인트들의 디스크립터들에 매칭될 수 있다. 예로서, 입체 이미징 디바이스들 중 하나는 (예컨대, 블록(1002)에서 설명된 바와 같이) 현재 이미지를 획득할 수 있다. 디스플레이 디바이스는 맵 정보에 액세스하고, 일부 실시예들에서는, 이 동일한 이미징 디바이스에 대해 생성된 디스크립터들을 현재 이미지에 포함된 특징적 포인트들의 디스크립터들과 매칭시킬 수 있다. 선택적으로, 패치-기반 광도측정 에러 최소화는, 입체 이미지들 사이의 특징적 포인트들을 매칭시키고, 그에 따라, 맵 정보에 저장될 실세계 좌표들을 결정하는 데 활용될 수 있다. 그런 다음, 디스플레이 디바이스는 특징적 포인트들에 대한 개개의 디스크립터들을 (예컨대, 입체 이미지들 중 하나 이상으로부터) 생성할 수 있고, 이러한 디스크립터들은 맵-투-프레임 추적을 수행하는 데 활용될 수 있다. 맵 정보를 생성하는 것의 추가의 설명은 적어도 도 16, 및 미국 특허 공보 제2014/0306866호의 관련된 설명에 포함되어 있으며, 이 미국 특허는 인용에 의해 그 전체가 본원에 포함된다.
[0134]
도 10a를 계속 참조하면, 디스플레이 디바이스는 디스크립터 매칭에 기반하여 포즈를 결정한다(블록(1012)). 위에서 설명된 바와 같이, 디스플레이 디바이스는 현재 이미지에 포함된 각각의 특징적 포인트에 대한 실세계 좌표들(예컨대, 특정 좌표 기준 프레임에 대한, 예컨대 3차원 좌표들)을 식별할 수 있다. 그런 다음, 디스플레이 디바이스는, 예컨대 pnp(perspective-n-point) 알고리즘을 활용하여 자신의 포즈를 결정할 수 있다. 이미징 디바이스와 연관된 정보, 이를테면, 고유 카메라 파라미터(intrinsic camera parameter)들은 포즈를 결정하는 데 활용될 수 있다. 따라서, 디스플레이 디바이스에 의해 결정된 포즈는 카메라 포즈를 나타낼 수 있다. 디스플레이 디바이스는, 이 카메라 포즈를 조정하여 사용자의 포즈(예컨대, 블록(1016)), 디스플레이 디바이스의 전면(예컨대, 중간)과 연관된 포즈 등을 결정할 수 있다. 예컨대, 디스플레이 디바이스는 사용자로부터 카메라의 알려진 병진 또는 회전 오프셋에 따라 카메라 포즈를 선형적으로 변환할 수 있다.
[0135]
일부 실시예들에서, 디스플레이 디바이스는 포즈를 결정하기 위해 IMU로부터 획득된 정보를 활용할 수 있다. 예컨대, 정보는 포즈를 결정하기 위해 프라이어 또는 규칙화로서 활용될 수 있다. 따라서, 디스플레이 디바이스는 관성 측정 유닛 정보를 그 결정과 연관된 비용 함수로서 사용할 수 있다. 예로서, 관성 측정 유닛 정보로부터의 발산은 비용과 연관될 수 있다. 이 방식으로, 관성 측정 정보가 고려될 수 있고, 결과적인 포즈 결정의 정확도를 개선할 수 있다. 유사하게, 디스플레이 디바이스는 확장 칼만 필터 및/또는 시각적-관성 오도메트리와 연관된 정보를 활용할 수 있다.
[0136]
유사하게, 디스플레이 디바이스는 프레임-투-프레임 추적 동안 획득된 정보를 유사한 프라이어 또는 규칙화로서 활용할 수 있다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 현재 이미지의 포즈를 변화시킴으로써 모든 패치들의 결합된 광도측정 비용 함수를 최소화할 수 있다. 이 방식으로, 정교화된 포즈 추정치가 식별될 수 있다. 이 정교화된 포즈 추정치는, 선택적으로는 IMU, 확장 칼만 필터, 및/또는 시각적-관성 오도메트리와 조합되어 프라이어로서 활용될 수 있다.
[0137]
포즈를 결정하는 것에 후속하여, 디스플레이 디바이스는 현재 이미지 내에 포함된 특징적 포인트들 각각에 대한 패치를 생성할 수 있다. 예컨대, 디스플레이 디바이스는 현재 이미지로부터 새로 추출된 특징적 포인트에 대한 패치, 및 또한, 이전 이미지로부터 추적된 특징적 포인트에 대한 패치를 생성할 수 있다. 패치를 생성하는 것은 현재 이미지에서 각각의 특징적 포인트를 둘러싸는 M x N 픽셀 영역을 획득하는 것을 포함할 수 있다. 선택적으로, 이전 이미지로부터 추적된 특징적 포인트에 대해, 디스플레이 디바이스는 이전 이미지와 연관된 패치를 활용할 수 있다. 즉, 특징적 포인트를 후속 이미지까지 추적할 때, (예컨대, 현재 이미지가 아닌) 이전 이미지로부터의 패치가 프레임-투-프레임 추적에 활용될 수 있다. 그런 다음, 디스플레이 디바이스는 후속 이미지를 획득할 수 있고, 블록들(1002-1016)은 이 후속 이미지에 대해 반복될 수 있다.
[0138]
도 10a를 계속 참조하면, 디스플레이 디바이스는 추적된 특징적 포인트들로부터 포즈를 결정한다(블록(1014)). 현재 이미지의 어떤 이미지 영역도 임계 척도 미만의 추적된 특징적 포인트들을 포함하지 않는 경우, 디스플레이 디바이스는 선택적으로, 추적된 특징적 포인트들에 기반하여 자신의 포즈를 결정할 수 있다. 예컨대, 디스플레이 디바이스는, 예컨대 pnp(perspective-n-point) 알고리즘을 활용하여 자신의 포즈를 결정할 수 있다. 선택적으로, 디스플레이 디바이스는 프라이어 또는 규칙화로서 IMU, 확장 칼만 필터, 시각적-관성 오도메트리 정보를 활용할 수 있다. 선택적으로, 디스플레이 디바이스는, 어떤 이미지 영역들도 임계 척도 미만의 추적된 특징적 포인트들을 포함하지 않는 경우, 블록(1012)을 수행할 수 있고, 블록(1014)을 수행하지 않을 수 있다.
[0139]
디스플레이 디바이스는 디스플레이 디바이스 사용자의 포즈를 결정한다(블록(1016)). 디스플레이 디바이스의 포즈는 카메라 포즈, 예컨대 이미징 디바이스와 연관된 포즈를 나타낼 수 있다. 디스플레이 디바이스는 카메라로부터의 사용자의 알려진 오프셋에 기반하여 이 포즈를 조정할 수 있다. 선택적으로, 디스플레이 디바이스는, 사용자가 디스플레이 디바이스를 착용할 때, 예컨대 적절한 오프셋을 결정하기 위해 초기 트레이닝을 수행할 수 있다. 이 트레이닝은 이미징 디바이스에 대한 사용자의 관점을 알려줄 수 있고, 디스플레이 디바이스 사용자의 포즈를 결정하는 데 활용될 수 있다. 초기 트레이닝을 수행하기 위한 방법들의 일부 예들은 2017년 9월 27일자로 출원된 미국 출원 제15/717747호에서 찾을 수 있으며, 이 미국 출원은 이로써 인용에 의해 그 전체가 포함된다.
[0140]
도 11은 위해 프레임-투-프레임 추적을 위한 예시적인 프로세스(1100)의 흐름도를 예시한다. 일부 실시예들에서, 프로세스(1100)는 디스플레이 디바이스(예컨대, 디스플레이 시스템(60), 디스플레이 시스템(60)은 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있고, 선택적으로 프로세스를 위해, 예컨대 프로세싱을 외부 시스템에 오프로딩하고 그리고 외부 시스템으로부터 정보를 수신하기 위해, 하나 이상의 컴퓨터들의 외부 시스템에 정보를 제공할 수 있음)에 의해 수행되는 것으로 설명될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 하나 이상의 프로세서들을 포함하는 가상 현실 디스플레이 디바이스일 수 있다.
[0141]
디스플레이 디바이스는 이전 이미지로부터 각각의 특징적 포인트와 연관된 패치를 획득한다(블록(1102)). 위에서 설명된 바와 같이, 도 10a와 관련하여, 디스플레이 디바이스는 추적되는 각각의 특징적 포인트에 대한 패치들을 저장할 수 있다. 따라서, 현재 이미지가 획득될 때, 디스플레이 디바이스는 이전 이미지에 포함된 특징적 포인트들과 연관된 패치 정보를 (예컨대, 저장된 메모리로부터) 획득할 수 있다.
[0142]
디스플레이 디바이스는 각각의 획득된 패치를 현재 이미지 상에 투영한다(블록(1104)). 이제 도 12a가 참조될 것이다. 도 12a는 이전 이미지(예컨대, 이미지 A(1202)) 및 현재 이미지(예컨대, 이미지 B(1204))의 예들을 예시한다. 각각의 이미지는 추적되는 특징적 포인트들을 포함하는 것으로 예시된다.
[0143]
위에서 설명된 바와 같이, 도 10a와 관련하여, 디스플레이 디바이스는 현재 이미지 B(1204)와 연관된 포즈 추정치를 결정할 수 있다. 추가적으로, 이전 이미지 A(1202)에 포함된 각각의 특징적 포인트는 (예컨대, 이 이미지에 대해 이전에 수행된 맵-투-프레임 추적에 기반하여) 실세계 위치들 또는 좌표들을 알고 있다. 따라서, 이러한 실세계 위치들, 이전 이미지 A(1202)의 포즈, 및 포즈 추정치에 기반하여, 이미지 B(1204) 상으로의 특징적 포인트들의 투영들이 결정될 수 있다. 예컨대, 이전 이미지 A(1202)의 포즈는 포즈 추정치에 따라 그리고 이미지 A(1202) 내의 특징적 포인트들의 실세계 위치들에 기반하여 조정될 수 있고, 특징적 포인트들은 이미지(1204)의 2D 위치들에서 이미지 B(1204) 상에 투영될 수 있다. 예시된 바와 같이, 추적된 특징적 포인트(1208)는 실세계 위치(1206)와 연관된다. 이 실세계 위치(1206)에 기반하여, 디스플레이 디바이스는, 특징적 포인트(1208)가 이미지 B(1204) 내에서 초기 추정된 2D 위치에 로케이팅된다고 결정하였다. 위에서 설명된 바와 같이, 선택적으로, 포즈 추정치는 관성 측정 유닛, 확장 칼만 필터, 시각적-관성 오도메트리 등의 정보를 통해 정교화될 수 있다.
[0144]
도 12b는 특징적 포인트(1208)와 연관된 패치(1212)가 이미지 B(1204) 상에 투영되는 것을 예시한다. 아래에서 설명될 바와 같이, 투영된 패치(1212)는 이미지 B(1204) 상에서 위치가 조정될 수 있다. 그 조정은, 이미지 B(1204)의 대응하는 이미지 영역 및 투영된 패치(1212)와 연관된 에러를 감소시키는 것에 기반할 수 있다. 에러는, 예컨대 투영된 패치(1212)의 픽셀들과 이미지 B(1204)의 대응하는 이미지 영역의 픽셀들 사이의 픽셀 값들(예컨대, 강도 값들)의 차이일 수 있으며, 패치(1208)의 포지션은 값들의 차이를 최소화하도록 조정된다.
[0145]
도 11 및 도 12a를 다시 참조하면, 디스플레이 디바이스는 투영된 패치와 매칭되는, 현재 이미지 내의 이미지 영역을 결정한다(블록(1106)). 도 12b에 예시된 바와 같이, 패치(1212)는 이미지 B(1204) 상에 투영되었다. 투영은, 예컨대 초기 추정 위치를 나타낼 수 있다. 그런 다음, 디스플레이 디바이스는 추정치를 정교화하기 위해 이미지 B(1204) 상의 투영된 패치(1212)의 위치를 조정할 수 있다. 예컨대, 투영된 패치(1212)의 위치는 초기 추정된 위치로부터 하나 이상의 픽셀들만큼 수평으로 또는 수직으로 이동될 수 있다. 각각의 조정된 위치에 대해, 디스플레이 디바이스는 투영된 패치(1212)와, 이 패치(1212)가 로케이팅된, 이미지 B(1204)의 동일한 M x N 이미지 영역 사이의 차이를 결정할 수 있다. 예컨대, 개개의 픽셀 값들(예컨대, 강도 값들)의 차이가 컴퓨팅될 수 있다. 디스플레이 디바이스는 광도측정 에러 최적화에 기반하여 패치(1212)를 조정할 수 있다. 예컨대, 리븐버그-마크워트, 켤레 기울기 등은 로컬 에러 최소치, 글로벌 에러 최소치, 임계치 미만의 에러 등에 도달하는 데 활용될 수 있다.
[0146]
디스플레이 디바이스는 현재 이미지 내에서의 추적된 특징적 포인트들을 식별한다(블록(1108)). 예컨대, 추적된 특징적 포인트(1208)는 이미지 B(1204) 상의 조정된 패치(1212)의 중심에 대응하는 2D 위치를 갖는 것으로 식별될 수 있다. 따라서, 예시된 바와 같이, 특징적 포인트(1208)는 이미지 A(1202)로부터 이미지 B(1204)까지 추적되었다.
[0147]
도 13은 맵-투-프레임 추적을 위한 예시적인 프로세스(1300)의 흐름도를 예시한다. 일부 실시예들에서, 프로세스(1300)는 디스플레이 디바이스(예컨대, 증강 현실 디스플레이 시스템(60), 증강 현실 디스플레이 시스템(60)은 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있고, 선택적으로 프로세스를 위해, 예컨대 프로세싱을 외부 시스템에 오프로딩하고 그리고 외부 시스템으로부터 정보를 수신하기 위해, 하나 이상의 컴퓨터들의 외부 시스템에 정보를 제공할 수 있음)에 의해 수행되는 것으로 설명될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 하나 이상의 프로세서들을 포함하는 가상 현실 디스플레이 디바이스일 수 있다.
[0148]
디스플레이 디바이스는 현재 이미지로부터 새로운 특징적 포인트들을 추출한다(블록(1302)). 위에서 설명된 바와 같이, 도 10a와 관련하여, 디스플레이 디바이스는 임계 척도 미만의 추적된 특징적 포인트들을 갖는, 현재 이미지의 이미지 영역들을 식별할 수 있다. 예시적인 이미지 영역들이 도 10b에 예시된다. 이러한 식별된 이미지 영역들에 대해, 디스플레이 디바이스는 새로운 특징적 포인트들을 추출할 수 있다(예컨대, 특징적 포인트들을 예시하는 현재 이미지의 위치들을 식별함). 예컨대, 특징적 포인트들이 코너들인 것과 관련하여, 디스플레이 디바이스는 식별된 이미지 영역들에 대해 해리스 코너 검출(Harris corner detection), FAST(features from accelerated segment test) 코너 검출 등을 수행할 수 있다.
[0149]
디스플레이 디바이스는 각각의 특징적 포인트에 대한 디스크립터들을 생성한다(블록(1304)). 디스플레이 디바이스는, (1) 추적된 특징적 포인트들(예컨대, 이전 이미지로부터 추적된 특징적 포인트들) 및 (2) 새로 추출된 특징적 포인트들에 대한 디스크립터를 생성할 수 있다. 위에서 설명된 바와 같이, 특징적 포인트를 둘러싸는 M x N 이미지 영역 또는 특징적 포인트의 시각적 관심 포인트들(예컨대, 현재 이미지에서 이미징된 바와 같음)을 설명하는 디스크립터가 생성될 수 있다. 예컨대, 디스크립터는 특징적 포인트와 연관된 형상, 컬러, 텍스처 등을 표시할 수 있다. 다른 예로서, 디스크립터는 특징적 포인트와 연관된 히스토그램 정보를 표시할 수 있다.
[0150]
디스플레이 디바이스는 특징적 포인트들의 실세계 위치들을 현재 이미지 상에 투영한다(블록(1306)). 이제 도 14a가 참조될 것이다. 도 14a는 새로 추출된 특징적 포인트들(예컨대, 특징적 포인트(1402))이 있는 현재 이미지 B(1204)를 예시한다. 예컨대, 디스플레이 디바이스는, 이미지 B(1204)의 하부 부분이 임계 척도 미만의 추적된 특징적 포인트들을 포함한다고 결정하고, 이 하부 부분으로부터 특징적 포인트들을 추출하였다. 따라서, 도 14a의 예에서, 이미지 B(1204)는 7개의 특징적 포인트들, 즉, 4개의 추적된 특징적 포인트들 및 3개의 새로 추출된 특징적 포인트들을 포함한다.
[0151]
디스플레이 디바이스는 이미지 B(1204)에 포함된 특징적 포인트들에 대응하는 실세계 위치들을 식별한다. 이 식별은 이미지 B(1204)에 포함된 특징적 포인트들에 대한 실세계 위치의 초기 추정치일 수 있다. 설명될 바와 같이, 이 추정치는 디스크립터 매칭에 기반하여 정교화될 수 있어서, 이미지 B(1204)에서 특징적 포인트의 각각의 실세계 위치가 정확하게 결정될 수 있다.
[0152]
추적된 특징적 포인트(1208)와 관련하여, 디스플레이 디바이스는, 추적된 특징적 포인트(1208)가 실세계 위치(1206)의 임계 실세계 거리 내에 있을 가능성을 식별할 수 있다. 특징적 포인트(1208)가 이전 이미지 A(1202)(예컨대, 도 12a-도 12b에 예시됨)로부터 추적되었기 때문에, 디스플레이 디바이스는 특징적 포인트(1208)의 실세계 위치에 액세스할 수 있다. 즉, 이전 이미지 A(1202)에 대해 맵-투-프레임 추적이 이미 수행되었으며, 그에 따라, 실세계 위치(1206)가 식별된다. 도 11-도 12b에서 설명된 바와 같이, 특징적 포인트들이 이전 이미지 A(1202)로부터 현재 이미지 B(1204)까지 정확하게 추적되었다. 따라서, 디스플레이 디바이스는, 추적된 특징적 포인트(1208)가 이전 이미지 A(1202)에서의 그것의 매칭되는 특징적 포인트(예컨대, 도 12a에 예시된 특징적 포인트(1208))와 동일한 실세계 위치(1206)에 대응한다는 것을 식별할 수 있다. 따라서, 디스플레이 디바이스는 위치(1206)의 임계 거리 내의 실세계 특징적 포인트들의 디스크립터들을 추적된 특징적 포인트(1208)에 대해 생성된 디스크립터에 비교할 수 있다. 이 방식으로, 실세계 특징적 포인트는 추적된 특징적 포인트(1208)에 매칭될 수 있다.
[0153]
새로 추출된 특징적 포인트(1402)와 관련하여, 디스플레이 디바이스는, 특징적 포인트(1402)가 실세계 위치(1404)의 임계 실세계 거리 내에 있을 가능성을 식별할 수 있다. 예컨대, 디스플레이 디바이스는, 특징적 포인트(1402)의 실세계 위치에 대한 초기 추정치를 식별하기 위해, 선택적으로는 이미지 B(1204)에 대한 포즈 추정치와 함께 맵 정보를 활용할 수 있다. 즉, 디스플레이 디바이스는 이전 이미지 A(1202)의 포즈를 표시하는 정보에 액세스하고 포즈 추정치에 따라 포즈를 조정할 수 있다. 선택적으로, 포즈 추정치는 도 10a에서 설명된 기법들에 따라 정교화될 수 있다. 그런 다음, 디스플레이 디바이스는 조정된 포즈에 기반하여 특징적 포인트(1402)의 2D 위치에 대응하는 실세계 위치에 대한 초기 추정치를 결정할 수 있다. 아래에서 설명될 바와 같이, 디스크립터 매칭을 통해, 특징적 포인트(1402)에 대한 실세계 위치가 결정될 수 있다. 따라서, 초기 추정치(예컨대, 실세계 위치(1404))는 특징적 포인트(1402)에 대한 디스크립터와 맵 정보에 표시된 특징적 포인트들의 디스크립터들 사이의 비교들의 수의 감소를 가능하게 할 수 있다.
[0154]
도 14a를 다시 참조하면, 디스플레이 디바이스는 특징적 포인트들의 디스크립터들을 매칭시킨다(블록(1308)). 디스플레이 디바이스는 맵 정보에 표시된 특징적 포인트들의 디스크립터들을 현재 이미지 내의 각각의 특징적 포인트에 대해 생성된 디스크립터들(예컨대, 블록(1304)에서 설명된 바와 같음)과 비교하여 적절한 매칭을 찾을 수 있다.
[0155]
위에서 설명된 바와 같이, 현재 이미지 상으로의, 맵 정보에 표시된 특징적 포인트들의 초기 투영들이 식별될 수 있다. 예로서, 다수의 실세계 특징적 포인트들은 실세계 위치(1404)에 근접할 수 있다. 디스플레이 디바이스는 이러한 다수의 특징적 포인트들에 대한 디스크립터들을 추적된 특징적 포인트(1402)에 대해 생성된 디스크립터와 비교할 수 있다. 따라서, 초기 투영이, 디스플레이 디바이스가 특징적 포인트(1402)의 가능성이 있는 실세계 위치를 식별하는 것을 가능하게 하기 때문에, 초기 투영은 수행될 필요가 있는 비교들의 감소를 가능하게 할 수 있다. 디스플레이 디바이스는, 예컨대 하나 이상의 유사성 측정치들(예컨대, 히스토그램, 형상, 컬러, 텍스처 등에서의 차이)에 기반하여 가장 유사한 디스크립터들을 매칭시킬 수 있다. 이 방식으로, 디스플레이 디바이스는 현재 이미지 B(1204) 내에 포함된 각각의 특징적 포인트에 대응하는 실세계 위치들을 결정할 수 있다.
[0156]
그런 다음, 디스플레이 디바이스는, 도 10a에 설명된 바와 같이 자신의 포즈를 결정할 수 있다. 후속적으로, 디스플레이 디바이스는 현재 이미지 B(1204) 내에 포함된 각각의 특징적 포인트에 대한 패치를 생성할 수 있다. 이러한 특징적 포인트들이 후속 이미지에서 추적될 것이기 때문에, 패치는 위에서 설명된 바와 같이 프레임-투-프레임 추적을 수행하는 데 활용될 것이다.
[0157]
예컨대, 도 14b는 맵-투-프레임 추적 이후의 프레임-투-프레임 추적을 예시한다. 예시적인 예시에서, 이미지 B(1204)(예컨대, 도 12A-B 및 도 14A-B에서의 현재 이미지)는 이제 이전 이미지를 나타내고, 이미지 C(1410)는 현재 이미지를 나타낸다. 이 예에서, 특징적 포인트(1412)는 현재 이미지 C(1410) 상에 투영된다. 즉, 예컨대, 위에서 설명된 바와 같이 디스플레이 디바이스가 자신의 포즈를 결정하는 것에 후속하여 생성된 특징적 포인트(1412)와 연관된 패치가 현재 이미지 C(1410) 상에 투영될 수 있다. 선택적으로, 그리고 도 10a에서 설명된 바와 같이, 특징적 포인트(1412)와 연관된 패치는 이전 이미지 A(1202)에서 획득된 것과 동일한 패치일 수 있다.
[0158]
따라서, 프레임-투-프레임 추적은 디스플레이 디바이스에 의해 수행될 수 있다. 그런 다음, 위의 설명과 유사하게, 현재 이미지 C(1410)가 분석될 수 있고, 임계 척도 미만의 추적된 특징적 포인트들을 갖는, 현재 이미지 C(1410)의 임의의 이미지 영역들이 식별될 수 있다. 그런 다음, 맵-투-프레임 추적이 수행될 수 있고, 새로운 포즈가 결정될 수 있다.
[0159]
도 15는 머리 포즈를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다. 편의상, 프로세스(1500)는 디스플레이 디바이스(예컨대, 디스플레이 시스템(60))에 의해 수행되는 것으로 설명될 수 있으며, 디스플레이 디바이스(예컨대, 디스플레이 시스템(60))는 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있고, 선택적으로는 프로세싱을 위해, 예컨대 프로세싱을 외부 시스템에 오프로딩하고 그리고 외부 시스템으로부터 정보를 수신하기 위해, 하나 이상의 컴퓨터들의 외부 시스템에 정보를 제공할 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 하나 이상의 프로세서들을 포함하는 가상 현실 디스플레이 디바이스일 수 있다.
[0160]
블록(1502)에서, 디스플레이 디바이스는 추적된 특징적 포인트들을 현재 이미지 상에 투영한다. 위에서 설명된 바와 같이, 도 10a와 관련하여, 디스플레이 디바이스는 하나 이상의 이미징 디바이스들을 통해 획득된 이미지들 사이에서 특징적 포인트들의 2차원 이미지 위치들을 추적할 수 있다. 예컨대, 특정 코너는 제1 이미지의 특정 2D(two-dimensional) 위치(예컨대, 제1 이미지의 하나 이상의 픽셀들)에서 제1 이미지에 포함될(예컨대, 예시될) 수 있다. 유사하게, 특정 코너는 제2 이미지의 상이한 2D 위치에서 제2 이미지에 포함될 수 있다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 제1 이미지의 특정 2D 위치가 제2 이미지의 상이한 2D 위치에 대응한다고 결정할 수 있다. 예컨대, 이러한 상이한 2D 위치들은 각각 특정 코너를 예시하고, 따라서 특정 코너는 제1 이미지와 제2 이미지 사이에서 추적되었다. 이러한 추적된 특징적 포인트들에 따라 제1 이미지와 제2 이미지 사이의 대응(correspondence)이 결정될 수 있다.
[0161]
도 15에 예시된 바와 같이, 이전 이미지에 대해 머리 포즈가 컴퓨팅되는 블록(1514)의 출력은 블록(1502)에서의 활용을 위해 디스플레이 디바이스에 의해 획득된다. 추가적으로, 블록(1502)에서의 활용을 위해, 매칭된 특징적 포인트들이 디스플레이 디바이스에 의해 획득된다. 따라서, 이 예에서, 디스플레이 디바이스는 사용자의 이전의 컴퓨팅된 머리 포즈 및 이전 이미지로부터 현재 이미지까지 추적될 특징적 포인트들과 연관된 정보에 액세스한다. 위에서 설명된 바와 같이, 정보는 특징적 포인트들의 실세계 위치들 및 특징적 포인트들과 연관된 개개의 패치들(예컨대, 특징적 포인트를 둘러싸는 이전 이미지의 M x N 이미지 영역)을 포함할 수 있다. 설명될 바와 같이, 정보는 특징적 포인트들을 추적하는 데 활용될 수 있다.
[0162]
블록(1502)에서, 디스플레이 디바이스는 (예컨대, 위에서 도 10a에서 설명된 바와 같이) 현재 이미지를 획득하고, 이전 이미지에 포함된(예컨대, 예시된) 특징적 포인트들을 현재 이미지 상에 투영하거나, 또는 대안적으로는 특징적 포인트들을 맵으로부터 현재 이미지로 투영한다. 디스플레이 디바이스는 각각의 특징적 포인트가 대응하는 현재 이미지 내의 초기 추정된 위치를 식별할 수 있다. 예컨대, 도 14b는 이전 이미지 B(1204)의 2D 위치에서 표현되는 예시적인 특징적 포인트(1412)를 예시한다. 그런 다음, 이 예시적인 특징적 포인트(1412)는 현재 이미지 C(1410) 상에 투영된다. 예컨대, 디스플레이 디바이스는, 이전 이미지에 대해 컴퓨팅된 포즈(예컨대, 블록(1514)), 현재 이미지에 대한 포즈 추정치, 및 이전 이미지에 포함된(예컨대, 예시된) 특징적 포인트들의 실세계 위치들을 활용할 수 있다. 위에서 설명된 바와 같이, 포즈 추정치는 궤적 예측 및/또는 IMU(inertial measurement unit) 정보에 기반할 수 있다. IMU 정보는 선택적이지만, 일부 실시예들에서는, 궤적 예측 또는 궤적 예측 단독에 비해 포즈 추정치를 개선할 수 있다. 일부 실시예들에서, 포즈 추정치는 이전 이미지로부터 도출된 것과 동일한 포즈일 수 있다. 디스플레이 디바이스는 포즈 추정치를 활용하여, 이전 이미지에 대해 컴퓨팅된 포즈를 조정할 수 있다. 디스플레이 디바이스는 특징적 포인트들의 실세계 위치들에 액세스하기 때문에, 디스플레이 디바이스는 조정된 포즈에 기반하여 이러한 실세계 위치들을 2차원 현재 이미지 상에 투영할 수 있다.
[0163]
따라서, 디스플레이 디바이스는 개개의 특징적 포인트들에 대응하는, 현재 이미지의 2D 위치들을 추정할 수 있다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 추적되는 각각의 특징적 포인트에 대한 패치를 저장할 수 있다. 패치는 특징적 포인트를 예시하는, 이미지의 2D 위치를 둘러싸는 M x N 이미지 영역일 수 있다. 예컨대, 패치는 특징적 포인트의 2D 위치로부터 이미지의 수평 방향을 따라 세팅된 수의 픽셀들로 연장될 수 있다. 유사하게, 패치는 특징적 포인트의 2D 위치로부터 이미지의 수직 방향을 따라 세팅된 수의 픽셀들로 연장될 수 있다. 디스플레이 디바이스는 각각의 특징적 포인트와 연관된 패치, 예컨대 각각의 패치를 둘러싸는 이전 이미지의 M x N 이미지 영역을 획득할 수 있다. 그런 다음, 각각의 획득된 패치가 현재 이미지 상에 투영될 수 있다. 예로서, 특정 특징적 포인트와 연관된 패치가 획득될 수 있다. 패치는 특정 특징적 포인트의 추정된 2D 위치를 둘러싸는 것으로 현재 이미지 상에 투영될 수 있다. 위에서 설명된 바와 같이, 투영된 패치들의 2D 위치는 광도측정 에러 최소화에 기반하여 조정될 수 있다. 특정 특징적 포인트의 예와 관련하여, 디스플레이 디바이스는 패치와, 패치가 투영된 현재 이미지의 M x N 영역 사이의 에러를 결정할 수 있다. 그런 다음, 디스플레이 디바이스는 본원에 개시된 바와 같이 에러가 감소(예컨대, 최소화)될 때까지 패치의 위치를 (예컨대, 수직 및/또는 수평 방향을 따라) 조정할 수 있다.
[0164]
블록(1504)에서, 디스플레이 디바이스는 선택적으로 포즈 추정치를 정교화할 수 있다. 초기 포즈 추정치가 결정될 수 있지만, 위에서 설명된 바와 같이, 선택적으로, 디스플레이 디바이스는 포즈 추정치를 정교화할 수 있다. 디스플레이 디바이스는 머리 포즈를 컴퓨팅할 때, 정교화된 포즈 추정치를 프라이어로서 활용할 수 있다(예컨대, 정교화된 포즈 추정치는 비용 함수와 연관될 수 있음).
[0165]
도 10a에서 설명된 바와 같이, 디스플레이 디바이스는 현재 이미지의 포즈 추정치를 변화시킴으로써 모든 투영된 패치들의 결합된 광도측정 비용 함수를 최소화할 수 있다. 변화하는 포즈 추정치로 인해, 개개의 특징적 포인트들에 대응하는 현재 이미지의 추정된 2D 위치들이 조정될 것이다. 따라서, 현재 이미지 상에 투영된 패치들은 변화하는 포즈 추정치들에 따라 글로벌하게 조정될 수 있다. 디스플레이 디바이스는 투영된 패치들과 현재 이미지의 대응하는 이미지 영역들 사이의 최소 결합 에러(예컨대, 글로벌 또는 로컬 최소치, 임계치 미만의 최소치 등)가 식별될 때까지 포즈 추정치를 변화시킨다. 프로세스(1500)에서 예시된 바와 같이, 관성 측정 유닛 정보, EKF(extended kalman information), VIO(visual-inertial odometry) 정보 등은 포즈 추정치를 정교화할 때 예측으로서 활용될 수 있다.
[0166]
블록(1506)에서, 디스플레이 디바이스는 투영된 특징적 포인트들의 2D 위치들을 정교화한다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 패치(예컨대, 특징적 포인트를 둘러싸는 이전 이미지의 이미지 영역)를 현재 이미지 상에 투영할 수 있다. 그런 다음, 디스플레이 디바이스는 (1) 패치와 (2) 패치가 투영되는 현재 이미지의 M x N 이미지 영역을 비교할 수 있다. 초기에, 디스플레이 디바이스는 특징적 포인트와 연관된 패치와 특징적 포인트를 둘러싸는 현재 이미지의 M x N 이미지 영역을 비교할 수 있다. 후속적으로, 디스플레이 디바이스는 수직 방향(예컨대, 현재 이미지에서 상향으로 또는 하향으로) 및/또는 수평 방향(예컨대, 현재 이미지에서 좌측으로 또는 우측으로)을 따라 M x N 이미지 영역을 조정할 수 있다. 각각의 조정에 대해, 패치는 새로운 M x N 이미지 영역과 비교되고 에러가 결정될 수 있다. 예컨대, 에러는 패치 내의 대응하는 픽셀들과 M x N 이미지 영역 사이의 픽셀 강도 차이들의 합을 나타낼 수 있다(예컨대, 패치의 좌측 최상부 픽셀과 이미지 영역의 좌측 최상부 픽셀 사이의 차이가 컴퓨팅될 수 있는 식임). 에러 최소화 방식, 이를테면, 위에서 설명된 바와 같은 리븐버그-마크워트에 따르면, 디스플레이 디바이스는 패치를 이용하여 에러를 최소화하는 현재 이미지의 M x N 이미지 영역을 식별할 수 있다. 식별된 M x N 이미지 영역에 의해 둘러싸인 현재 이미지의 2D 위치는 패치와 연관된 특징적 포인트로서 식별될 수 있다. 따라서, 디스플레이 디바이스는 이전 이미지와 현재 이미지 사이의 특징적 포인트의 2D 위치들을 추적할 수 있다.
[0167]
블록(1508)에서, 디스플레이 디바이스는 임계 척도 미만의 추적된 특징적 포인트들을 갖는 이미지 영역(들)에서 특징적 포인트들을 추출한다. 위에서 설명된 바와 같이, 도 10a-도 10b와 관련하여, 디스플레이 디바이스는 새로운 특징적 포인트들이 식별될 현재 이미지의 이미지 영역들을 식별할 수 있다. 추출 프로세스, 이를테면, 해리스 코너 검출이 현재 이미지에 적용될 수 있고, 새로운 특징적 포인트들에 대응하는 현재 이미지의 2D 위치들이 식별될 수 있다.
[0168]
후속적으로, 블록(1510)에서, 디스플레이 디바이스는 현재 이미지에 포함된 특징적 포인트들에 대한 디스크립터들을 생성한다. 디스플레이 디바이스는 특징적 포인트들에 대응하는 현재 이미지의 2D 위치들에 기반하여 디스크립터들을 생성할 수 있다. 특징적 포인트들은 이전 이미지로부터 현재 이미지까지 추적된 특징적 포인트들, 및 현재 이미지에서 새로 식별된 특징적 포인트들을 포함한다. 예로서, 특정 특징적 포인트에 대한 디스크립터는 특정 특징적 포인트의 2D 위치와 연관된 픽셀(들)에 기반하여 또는 2D 위치를 둘러싸는 이미지 영역에 기반하여 생성될 수 있다.
[0169]
블록(1512)에서, 디스플레이 디바이스는 맵 정보에 포함된 디스크립터들을 생성된 디스크립터들에 매칭시킨다. 위에서 도 13에서 설명된 바와 같이, 디스플레이 디바이스는 맵 정보에 액세스하고 맵 정보에 포함된 디스크립터들을 생성된 디스크립터들에 매칭시킬 수 있다. 맵 정보는, 특징적 포인트들의 실세계 좌표들(예컨대, 3D 좌표들)을, 이러한 실세계 좌표들과 연관된 디스크립터들과 함께 포함할 수 있다. 따라서, 맵 정보 디스크립터와 생성된 디스크립터 사이의 매칭은 생성된 디스크립터와 연관된 특징적 포인트의 실세계 좌표들을 표시한다.
[0170]
디스크립터들을 매칭시키기 위해, 디스플레이 디바이스는 맵 정보에 포함된 디스크립터(들)를 현재 이미지에 포함된 특징적 포인트에 대해 생성된 각각의 디스크립터에 비교할 수 있다. 수행되는 비교들의 수를 제한하기 위해, 디스플레이 디바이스는 현재 이미지에 포함된 특징적 포인트들의 실세계 위치들을 추정할 수 있다. 예컨대, 이전 이미지로부터 현재 이미지까지 추적된 특징적 포인트들은 실세계 좌표들을 알고 있다. 다른 예로서, 현재 이미지에서 새로 식별된 특징적 포인트들의 실세계 좌표들은 디스플레이 디바이스의 포즈 추정치에 따라 추정될 수 있다. 따라서, 디스플레이 디바이스는 이러한 추정된 실세계 좌표들을 사용하여 각각의 특징적 포인트가 포함되는 것으로 추정되는 실세계 환경의 부분들을 식별할 수 있다. 예컨대, 현재 이미지에 포함된 특정 특징적 포인트는 추정된 실세계 좌표들을 갖는 것으로 결정될 수 있다. 디스플레이 디바이스는 이 특정 특징적 포인트에 대해 생성된 디스크립터를, 추정된 실세계 좌표들의 임계 거리 내의 실세계 좌표들과 연관된 맵 정보에 포함된 디스크립터들에 비교할 수 있다. 따라서, 맵 정보에 포함된 디스크립터들과 생성된 디스크립터들 사이의 비교들의 수가 감소될 수 있는데, 왜냐하면, 디스플레이 디바이스가 비교들에 초점을 맞출 수 있기 때문이다.
[0171]
블록(1514)에서, 디스플레이 디바이스는 머리 포즈를 컴퓨팅한다. 위에서 설명된 바와 같이, 디스플레이 디바이스는 현재 이미지에 포함된 특징적 포인트들의 실세계 좌표들 및 현재 이미지 내의 그들의 대응하는 2D 위치들에 기반하여 머리 포즈를 컴퓨팅할 수 있다. 예컨대, 디스플레이 디바이스는 이미징 디바이스의 카메라 정보(예컨대, 고유 카메라 파라미터들)를 사용하여 pnp(perspective-n-point) 알고리즘을 수행할 수 있다. 이 방식으로, 디스플레이 디바이스는 이미징 디바이스의 카메라 포즈를 결정할 수 있다. 그런 다음, 디스플레이는 이 카메라 포즈를 선형적으로 변환하여 사용자의 머리 포즈를 결정할 수 있다. 예컨대, 카메라 포즈에 대한 사용자의 머리의 병진 및/또는 회전이 컴퓨팅될 수 있다. 그런 다음, 사용자의 머리 포즈는 디스플레이 디바이스에 의해 후속 이미지에 대해 활용될 수 있으며, 예컨대 머리 포즈는 블록(1502)에서 활용될 수 있다.
[0172]
선택적으로, 디스플레이 디바이스는, 머리 포즈를 컴퓨팅할 때, 블록(1504)에서 설명된 바와 같이, 정교화된 포즈 추정치를 프라이어로서 활용할 수 있다. 추가적으로, 디스플레이 디바이스는 관성 측정 유닛 정보, 확장 칼만 필터 정보, 관성 시각적-오도메트리 정보 등을 프라이어들로서 활용할 수 있다.
주변 환경 내의 오브젝트들을 검출하기 위한 컴퓨터 비전
[0173]
위에서 논의된 바와 같이, 디스플레이 시스템은 사용자 주위의 환경 내의 오브젝트들 또는 그 환경의 특성들을 검출하도록 구성될 수 있다. 검출은 본원에서 논의된 바와 같이 다양한 환경 센서들(예컨대, 카메라들, 오디오 센서들, 온도 센서들 등)을 포함하는 다양한 기법들을 사용하여 달성될 수 있다. 예컨대, 오브젝트는 특징적 포인트(예컨대, 코너)를 나타낼 수 있다.
[0174]
일부 실시예들에서, 환경 내에 존재하는 오브젝트들은 컴퓨터 비전 기법들을 사용하여 검출될 수 있다. 예컨대, 본원에 개시된 바와 같이, 디스플레이 시스템의 전방-지향 카메라는 주변 환경을 이미징하도록 구성될 수 있고 디스플레이 시스템은 주변 환경 내의 오브젝트들의 존재를 결정하기 위해 이미지들에 대해 이미지 분석을 수행하도록 구성될 수 있다. 디스플레이 시스템은 외향 이미징 시스템에 의해 포착된 이미지들을 분석하여 장면 재구성, 이벤트 검출, 비디오 추적, 오브젝트 인식, 오브젝트 포즈 추정, 학습, 인덱싱, 모션 추정, 또는 이미지 복원 등을 수행할 수 있다. 다른 예들로서, 디스플레이 시스템은 사용자의 시야 내의 안면들 및/또는 인간의 눈들의 존재 및 위치를 결정하기 위해 안면 및/또는 눈 인식을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 비전 알고리즘들이 이러한 작업들을 수행하기 위해 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은: SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(콘볼루셔널 또는 딥 뉴럴 네트워크들을 포함함) 또는 다른 지도/비지도 모델(supervised/unsupervised model)들 등) 등을 포함한다.
[0175]
이러한 컴퓨터 비전 기법들 중 하나 이상은 또한, 센서들에 의해 검출된 오브젝트들의 다양한 특성들을 검출 및 결정하기 위해 다른 환경 센서들(이를테면, 예컨대, 마이크로폰)로부터 포착된 데이터와 함께 사용될 수 있다.
[0176]
본원에서 논의된 바와 같이, 주변 환경 내의 오브젝트들은 하나 이상의 기준들에 기반하여 검출될 수 있다. 디스플레이 시스템이 컴퓨터 비전 알고리즘을 사용하여 또는 하나 이상의 센서 어셈블리들(그 하나 이상의 센서 어셈블리들은 디스플레이 시스템의 부분일 수 있거나 또는 부분이 아닐 수 있음)로부터 수신된 데이터를 사용하여 주변 환경 내에서의 기준들의 존재 또는 부재를 검출할 때, 디스플레이 시스템은 오브젝트의 존재를 시그널링할 수 있다.
머신 학습
[0177]
다양한 머신 학습 알고리즘들은 주변 환경 내의 오브젝트들의 존재를 식별하는 것을 학습하는 데 사용될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘들은 디스플레이 시스템에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, 회귀 알고리즘들(이를테면, 예컨대, 보통 최소 제곱 회귀(Ordinary Least Squares Regression)), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화), 결정 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이즈), 클러스터링 알고리즘들(이를테면, 예컨대, k-평균 클러스터링), 연관성 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 뉴럴 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론), 딥 러닝 알고리즘들(이를테면, 예컨대, 딥 볼츠만 머신, 또는 딥 뉴럴 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주 컴포넌트 분석(Principal Component Analysis)), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화) 및/또는 다른 머신 학습 알고리즘들을 포함하는, 지도 또는 비-지도 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별적인 모델들은 개별적인 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 베이스 모델을 생성하거나 저장할 수 있다. 베이스 모델은 데이터 타입(예컨대, 특정 사용자), 데이터 세트(예컨대, 획득된 추가적인 이미지들의 세트), 조건부 상황들, 또는 다른 변동들에 특정적인 추가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 복수의 기법들을 활용하여, 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하도록 구성될 수 있다. 다른 기법들은 미리-정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0178]
오브젝트를 검출하기 위한 기준들은 하나 이상의 임계 조건들을 포함할 수 있다. 환경 센서에 의해 포착된 데이터의 분석이, 임계 조건이 통과된 것을 표시하면, 디스플레이 시스템은 주변 환경 내의 오브젝트의 존재의 검출을 표시하는 신호를 제공할 수 있다. 임계 조건은 양적 및/또는 질적 측정을 수반할 수 있다. 예컨대, 임계 조건은 환경 내에 오브젝트가 존재할 가능성과 연관된 스코어 또는 퍼센티지를 포함할 수 있다. 디스플레이 시스템은 환경 센서의 데이터로부터 계산된 스코어를 임계 스코어와 비교할 수 있다. 스코어가 임계 레벨보다 더 높으면, 디스플레이 시스템은 반사 및/또는 오브젝트의 존재를 검출할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은, 스코어가 임계치보다 더 낮으면 환경 내의 오브젝트의 존재를 시그널링할 수 있다. 일부 실시예들에서, 임계 조건은 사용자의 감정 상태 및/또는 주변 환경과의 사용자의 상호작용들에 기반하여 결정될 수 있다.
[0179]
본원에서 설명된 그리고/또는 도면들에 도시된 프로세스들, 방법들, 및 알고리즘들 각각은 지정 및 특정 컴퓨터 명령들을 실행하도록 구성된 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로, 및/또는 전자 하드웨어에 의해 실행되는 코드 모듈들에 구현되고, 그 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 인식될 것이다. 예컨대, 컴퓨팅 시스템들은 지정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들), 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 컴파일되어 실행가능 프로그램으로 링크될 수 있거나, 동적 링크 라이브러리에 설치될 수 있거나, 해석된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0180]
또한, 본 개시내용의 기능의 특정 실시예들은, 예컨대 수반되는 계산들의 양 또는 복잡성으로 인해 기능을 수행하기 위해 또는 실질적으로 실시간으로 결과들을 제공하기 위해(적절하고 특수한 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들이 필요할 수 있을 정도로 충분히 수학적으로, 계산적으로, 또는 기술적으로 복잡하다. 예컨대, 비디오는 많은 프레임들을 포함할 수 있으며, 각각의 프레임은 수백만 개의 픽셀들을 갖고, 비디오 데이터를 프로세싱하여 상업적으로 적정한 양의 시간 내에 원하는 이미지 프로세싱 작업 또는 애플리케이션을 제공하기 위해 특별히 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0181]
코드 모듈들 또는 임의의 타입의 데이터가 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광 디스크, 휘발성 또는 비휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소와 같은 임의의 타입의 비-일시적 컴퓨터-판독가능 매체 상에 저장될 수 있다. 일부 실시예들에서, 비-일시적 컴퓨터-판독가능 매체는 로컬 프로세싱 및 데이터 모듈(140), 원격 프로세싱 모듈(150), 및 원격 데이터 저장소(160) 중 하나 이상의 것의 부분일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서 또는 다수의 개별 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적인 유형적(tangible) 컴퓨터 저장소에 영구적으로 또는 다른 방식으로 저장될 수 있거나, 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0182]
본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능들은, 프로세스에서 특정 기능들(예컨대, 논리 또는 산술) 또는 단계들을 구현하기 위한 하나 이상의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들, 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들, 또는 기능들은 조합되거나, 재배열되거나, 본원에서 제공된 예시적인 예들에 추가되거나, 그로부터 삭제되거나, 수정되거나, 또는 다른 방식으로 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들이 본원에서 설명된 기능들 중 일부 또는 전부를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한, 임의의 특정 시퀀스로 제한되지 않으며, 그와 관련된 블록들, 단계들, 또는 상태들은 적절한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 다른 어떤 방식으로 수행될 수 있다. 작업들 또는 이벤트들이 개시된 예시적인 실시예들에 추가되거나 그로부터 제거될 수 있다. 더욱이, 본원에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되지는 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들, 및 시스템들은 일반적으로, 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키지화될 수 있다는 것이 이해되어야 한다.
[0183]
전술한 명세서는 전술한 명세서의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 개시내용의 더 넓은 사상 및 범위를 벗어나지 않으면서 이에 대해 다양한 수정들 및 변경들이 이루어질 수 있음이 명백할 것이다. 따라서, 본 명세서 및 도면들은, 제한적인 의미보다는 예시적인 의미로 간주되어야 한다.
[0184]
실제로, 본 개시내용의 시스템들 및 방법들은 각각 여러 혁신적인 양상들을 가지며, 그 양상들 중 어떤 단일 양상도 본원에 개시된 바람직한 속성들을 단독으로 담당하거나 그에 요구되지는 않는다는 것이 인식될 것이다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 하위 조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다.
[0185]
개별 실시예들과 관련하여 본 명세서에 설명된 특정 특징들은 또한, 단일 실시예로 조합되어 구현될 수 있다. 반대로, 단일 실시예와 관련하여 설명된 다양한 특징들은 또한, 다수의 실시예들로 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서 청구된 조합으로부터의 하나 이상의 특징들이 그 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다. 어떤 단일 특징 또는 특징들의 그룹도 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0186]
구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않는 한, 본원에서 사용된 조건어, 이를테면, 특히, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는 것을 전달하기 위해 의도된다는 것이 인식될 것이다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이 저자 입력 또는 프롬프팅(prompting)을 이용하거나 이를 이용하지 않고, 이러한 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하는 것으로 의도되진 않는다. "포함하는", "구비하는", "갖는" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 추가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어가, 예컨대 엘리먼트들의 리스트를 연결하기 위해 사용될 때, 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미하도록 "또는"이라는 용어는 (이 용어의 배타적인 의미가 아니라) 이 용어의 포괄적인 의미로 사용된다. 게다가, 본 출원 및 첨부된 청구항들에서 사용되는 단수 표현들은 달리 명시되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석되어야 한다. 유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행될 필요는 없다는 것이 또는 예시된 모든 동작들이 수행될 필요는 없다는 것이 인식되어야 한다. 또한, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 예시된 동작들 중 임의의 동작 전, 후, 그와 동시에 또는 그 사이에서 하나 이상의 추가적인 동작들이 수행될 수 있다. 추가적으로, 동작들은 다른 실시예들에서 재배열되거나 재정렬될 수 있다. 특정 상황들에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 위에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 필요로 하는 것으로 이해되지 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키지화될 수 있다는 것이 이해되어야 한다. 추가적으로, 다른 실시예들이 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 언급되는 동작들은 상이한 순서로 수행되며 여전히 바람직한 결과들을 달성할 수 있다.
[0187]
따라서, 청구항들은 본원에 도시된 실시예들로 제한되는 것으로 의도되는 것이 아니라, 본원에 개시된 이러한 개시내용, 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.
Claims (27)
- 시스템으로서,
하나 이상의 이미징 디바이스들;
하나 이상의 프로세서들; 및
하나 이상의 컴퓨터 저장 매체들을 포함하며,
상기 하나 이상의 컴퓨터 저장 매체들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 명령들을 저장하고,
상기 동작들은,
상기 하나 이상의 이미징 디바이스들을 통해, 실세계 환경의 현재 이미지를 획득하는 동작 ― 상기 현재 이미지는 포즈를 결정하기 위한 복수의 포인트들을 포함함 ―;
이전 이미지로부터의 패치-기반 제1 특징적 포인트(patch-based first salient point)를 상기 현재 이미지 내의 복수의 포인트들 중 대응하는 포인트 상에 투영하는 동작;
상기 현재 이미지로부터 제2 특징적 포인트를 추출하는 동작;
상기 특징적 포인트들에 대한 개개의 디스크립터들을 제공하는 동작;
상기 현재 이미지와 연관된 특징적 포인트들을 상기 실세계 환경의 디스크립터-기반 맵에서 특정된 실세계 위치들과 매칭시키는 동작; 및
상기 매칭에 기반하여, 상기 시스템과 연관된 포즈를 결정하는 동작을 포함하며,
상기 포즈는 상기 실세계 환경에서의 상기 하나 이상의 이미징 디바이스들의 배향을 적어도 표시하는,
시스템. - 제1 항에 있어서,
상기 동작들은 상기 현재 이미지 상의 패치-기반 제1 특징적 포인트의 포지션을 조정하는 동작을 더 포함하며,
상기 포지션을 조정하는 동작은,
상기 제1 특징적 포인트와 연관된 제1 패치를 획득하는 동작 ― 상기 제1 패치는 상기 제1 특징적 포인트를 포함하는(encompassing) 이전 이미지의 부분 및 상기 제1 특징적 포인트 주위의 상기 이전 이미지의 영역을 포함함 ―; 및
상기 현재 이미지 내에, 상기 제1 패치와 유사한 제2 패치를 로케이팅하는 동작을 포함하며,
상기 제1 특징적 포인트는 상기 제2 패치 내에서 상기 제1 패치에서와 유사한 위치에 포지셔닝되는,
시스템. - 제2 항에 있어서,
상기 제2 패치를 로케이팅하는 동작은 상기 이전 이미지 내의 제1 패치와 상기 현재 이미지 내의 제2 패치 사이의 차이를 최소화하는 동작을 포함하는,
시스템. - 제2 항에 있어서,
상기 패치-기반 제1 특징적 포인트를 상기 현재 이미지 상에 투영하는 동작은, 상기 시스템의 관성 측정 유닛으로부터의 정보에 적어도 부분적으로 기반하는,
시스템. - 제1 항에 있어서,
상기 제2 특징적 포인트를 추출하는 동작은,
상기 현재 이미지의 이미지 영역이, 상기 이전 이미지로부터 투영된 임계 개수 미만의 특징적 포인트들을 갖는다고 결정하는 동작; 및
상기 이미지 영역으로부터 하나 이상의 디스크립터-기반 특징적 포인트들을 추출하는 동작을 포함하고,
상기 추출된 특징적 포인트들은 상기 제2 특징적 포인트를 포함하는,
시스템. - 제5 항에 있어서,
상기 이미지 영역은 상기 현재 이미지 전체를 포함하거나, 또는 상기 이미지는 상기 현재 이미지의 서브세트를 포함하는,
시스템. - 제5 항에 있어서,
상기 이미지 영역은 상기 현재 이미지의 서브세트를 포함하고, 그리고
상기 시스템은 하나 이상의 이전에 결정된 포즈들 사이의 차이들 또는 프로세싱 제약들 중 하나 이상에 기반하여 상기 서브세트와 연관된 크기를 조정하도록 구성되는,
시스템. - 제1 항에 있어서,
상기 현재 이미지와 연관된 특징적 포인트들을 상기 실세계 환경의 맵에서 특정된 실세계 위치들과 매칭시키는 동작은,
맵 정보에 액세스하는 동작 ― 상기 맵 정보는 특징적 포인트들의 실세계 위치들 및 연관된 디스크립터들을 포함함 ―; 및
상기 현재 이미지의 특징적 포인트들에 대한 디스크립터들을 실세계 위치들에서의 특징적 포인트들에 대한 디스크립터들과 매칭시키는 동작을 포함하는,
시스템. - 제7 항에 있어서,
상기 동작들은,
맵 정보에서 제공된 특징적 포인트들을 상기 현재 이미지 상에 투영하는 동작을 더 포함하며,
상기 투영은, 관성 측정 유닛, 확장 칼만 필터(extended kalman filter), 또는 시각적-관성 오도메트리(visual-inertial odometry) 중 하나 이상에 기반하는,
시스템. - 제1 항에 있어서,
상기 시스템은 적어도 상기 하나 이상의 이미징 디바이스들을 사용하여 상기 맵을 생성하도록 구성되는,
시스템. - 제1 항에 있어서,
상기 포즈를 결정하는 동작은 상기 특징적 포인트들의 실세계 위치들 및 상기 현재 이미지에서 캡처된 뷰에서의 상기 특징적 포인트들의 상대적 포지션들에 기반하는,
시스템. - 제1 항에 있어서,
상기 동작들은,
상기 현재 이미지에 대한 후속 이미지에 대해, 상기 현재 이미지로부터 추출된 개개의 특징적 포인트들과 연관된 패치들이 상기 후속 이미지 상에 투영될 수 있는 특징적 포인트들을 포함하도록, 상기 패치들을 생성하는 동작을 더 포함하는,
시스템. - 제1 항에 있어서,
상기 디스크립터들을 제공하는 동작은 상기 특징적 포인트들 각각에 대한 디스크립터들을 생성하는 동작을 포함하는,
시스템. - 하나 이상의 이미징 디바이스들; 및
하나 이상의 프로세서들을 포함하며,
상기 프로세서들은,
실세계 환경의 현재 이미지를 획득하고,
이전 이미지에 포함된 패치-기반 특징적 포인트들이 상기 현재 이미지 상에 투영되도록, 상기 현재 이미지에 대해 프레임-투-프레임 추적(frame-to-frame tracking)을 수행하고,
맵 데이터베이스에 포함된 디스크립터-기반 특징적 포인트들이 상기 현재 이미지의 특징적 포인트들과 매칭되도록, 상기 현재 이미지에 대해 맵-투-프레임 추적(map-to-frame tracking)을 수행하고, 그리고
디스플레이 디바이스와 연관된 포즈를 결정하도록 구성되는,
증강 현실 디스플레이 시스템. - 하나 이상의 이미징 디바이스들을 통해, 실세계 환경의 현재 이미지를 획득하는 단계 ― 상기 현재 이미지는 포즈를 결정하기 위한 복수의 포인트들을 포함함 ―;
이전 이미지로부터의 패치-기반 제1 특징적 포인트를 상기 현재 이미지 내의 복수의 포인트들 중 대응하는 포인트 상에 투영하는 단계;
상기 현재 이미지로부터 제2 특징적 포인트를 추출하는 단계;
상기 특징적 포인트들에 대한 개개의 디스크립터들을 제공하는 단계;
상기 현재 이미지와 연관된 특징적 포인트들을 상기 실세계 환경의 디스크립터-기반 맵에서 특정된 실세계 위치들과 매칭시키는 단계; 및
상기 매칭에 기반하여, 디스플레이 디바이스와 연관된 포즈를 결정하는 단계를 포함하며,
상기 포즈는 상기 실세계 환경에서의 상기 하나 이상의 이미징 디바이스들의 배향을 적어도 표시하는,
방법. - 제15 항에 있어서,
상기 현재 이미지 상의 패치-기반 제1 특징적 포인트의 포지션을 조정하는 단계를 더 포함하며,
상기 포지션을 조정하는 단계는,
상기 제1 특징적 포인트와 연관된 제1 패치를 획득하는 단계 ― 상기 제1 패치는 상기 제1 특징적 포인트를 포함하는 이전 이미지의 부분 및 상기 제1 특징적 포인트 주위의 상기 이전 이미지의 영역을 포함함 ―; 및
상기 현재 이미지 내에, 상기 제1 패치와 유사한 제2 패치를 로케이팅하는 단계를 포함하며,
상기 제1 특징적 포인트는 상기 제2 패치 내에서 상기 제1 패치에서와 유사한 위치에 포지셔닝되는,
방법. - 제16 항에 있어서,
상기 제2 패치를 로케이팅하는 단계는 상기 제1 패치와의 차이들이 최소인, 상기 현재 이미지 내의 패치를 결정하는 단계를 포함하는,
방법. - 제16 항에 있어서,
상기 패치-기반 제1 특징적 포인트를 상기 현재 이미지 상에 투영하는 단계는 상기 디스플레이 디바이스의 관성 측정 유닛으로부터의 정보에 적어도 부분적으로 기반하는,
방법. - 제15 항에 있어서,
상기 제2 특징적 포인트를 추출하는 단계는,
상기 현재 이미지의 이미지 영역이, 상기 이전 이미지로부터 투영된 임계 개수 미만의 특징적 포인트들을 갖는다고 결정하는 단계; 및
상기 이미지 영역으로부터 하나 이상의 디스크립터-기반 특징적 포인트들을 추출하는 단계를 포함하고,
상기 추출된 특징적 포인트들은 상기 제2 특징적 포인트를 포함하는,
방법. - 제19 항에 있어서,
상기 이미지 영역은 상기 현재 이미지 전체를 포함하거나, 또는 상기 이미지는 상기 현재 이미지의 서브세트를 포함하는,
방법. - 제19 항에 있어서,
상기 이미지 영역은 상기 현재 이미지의 서브세트를 포함하고, 그리고
프로세서들은 하나 이상의 이전에 결정된 포즈들 사이의 차이들 또는 프로세싱 제약들 중 하나 이상에 기반하여 상기 서브세트와 연관된 크기를 조정하도록 구성되는,
방법. - 제15 항에 있어서,
상기 현재 이미지와 연관된 특징적 포인트들을 상기 실세계 환경의 맵에서 특정된 실세계 위치들과 매칭시키는 단계는,
맵 정보에 액세스하는 단계 ― 상기 맵 정보는 특징적 포인트들의 실세계 위치들 및 연관된 디스크립터들을 포함함 ―; 및
상기 현재 이미지의 특징적 포인트들에 대한 디스크립터들을 실세계 위치들에서의 특징적 포인트들에 대한 디스크립터들과 매칭시키는 단계를 포함하는,
방법. - 제22 항에 있어서,
상기 맵 정보에서 제공된 특징적 포인트들을 상기 현재 이미지 상에 투영하는 단계를 더 포함하며,
상기 투영은, 관성 측정 유닛, 확장 칼만 필터, 또는 시각적-관성 오도메트리 중 하나 이상에 기반하는,
방법. - 제15 항에 있어서,
상기 포즈를 결정하는 단계는 상기 특징적 포인트들의 실세계 위치들 및 상기 현재 이미지에서 캡처된 뷰에서의 상기 특징적 포인트들의 상대적 포지션들에 기반하는,
방법. - 제15 항에 있어서,
상기 현재 이미지에 대한 후속 이미지에 대해, 상기 현재 이미지로부터 추출된 개개의 특징적 포인트들과 연관된 패치들이 상기 후속 이미지 상에 투영될 수 있는 특징적 포인트들을 포함하도록, 상기 패치들을 생성하는 단계를 더 포함하는,
방법. - 제15 항에 있어서,
상기 디스크립터들을 제공하는 단계는 상기 특징적 포인트들 각각에 대한 디스크립터들을 생성하는 단계를 포함하는,
방법. - 제15 항에 있어서,
적어도 상기 하나 이상의 이미징 디바이스들을 사용하여 상기 맵을 생성하는 단계를 더 포함하는,
방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762599620P | 2017-12-15 | 2017-12-15 | |
| US62/599,620 | 2017-12-15 | ||
| US201862623606P | 2018-01-30 | 2018-01-30 | |
| US62/623,606 | 2018-01-30 | ||
| PCT/US2018/065771 WO2019118886A1 (en) | 2017-12-15 | 2018-12-14 | Enhanced pose determination for display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200097292A true KR20200097292A (ko) | 2020-08-18 |
Family
ID=66814528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207019367A KR20200097292A (ko) | 2017-12-15 | 2018-12-14 | 디스플레이 디바이스에 대한 향상된 포즈 결정 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US10943120B2 (ko) |
| EP (1) | EP3724713A4 (ko) |
| JP (2) | JP7431157B2 (ko) |
| KR (1) | KR20200097292A (ko) |
| CN (1) | CN111630435A (ko) |
| AU (1) | AU2018385695B2 (ko) |
| CA (1) | CA3084057A1 (ko) |
| IL (2) | IL274976B2 (ko) |
| WO (1) | WO2019118886A1 (ko) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200097292A (ko) | 2017-12-15 | 2020-08-18 | 매직 립, 인코포레이티드 | 디스플레이 디바이스에 대한 향상된 포즈 결정 |
| CN112805750A (zh) | 2018-08-13 | 2021-05-14 | 奇跃公司 | 跨现实*** |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| US11232635B2 (en) | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| US11463443B2 (en) * | 2019-09-19 | 2022-10-04 | Bank Of America Corporation | Real-time management of access controls |
| CN110751691B (zh) * | 2019-09-24 | 2022-09-20 | 同济大学 | 一种基于双目视觉的管件自动抓取方法 |
| JP2022551734A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | 複数のデバイスタイプをサポートするクロスリアリティシステム |
| US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
| WO2021076748A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
| US11443455B2 (en) * | 2019-10-24 | 2022-09-13 | Microsoft Technology Licensing, Llc | Prior informed pose and scale estimation |
| EP4059007A4 (en) | 2019-11-12 | 2023-11-01 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH LOCATION SERVICE AND SHARED LOCATION-BASED CONTENT |
| CN114762008A (zh) | 2019-12-09 | 2022-07-15 | 奇跃公司 | 简化的虚拟内容编程的交叉现实*** |
| US11756509B2 (en) | 2020-01-27 | 2023-09-12 | Magic Leap, Inc. | Enhanced state control for anchor-based cross reality applications |
| EP4104145A4 (en) | 2020-02-13 | 2024-01-24 | Magic Leap, Inc. | CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION |
| EP4104001A4 (en) | 2020-02-13 | 2024-03-13 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS |
| CN115427758A (zh) | 2020-02-13 | 2022-12-02 | 奇跃公司 | 具有精确共享地图的交叉现实*** |
| CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实*** |
| CN115349140A (zh) | 2020-03-03 | 2022-11-15 | 奇跃公司 | 基于多种特征类型的有效定位 |
| US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
| US11508085B2 (en) * | 2020-05-08 | 2022-11-22 | Varjo Technologies Oy | Display systems and methods for aligning different tracking means |
| US11789266B1 (en) * | 2020-06-29 | 2023-10-17 | Snap Inc. | Dynamic sensor selection for visual inertial odometry systems |
| KR20220099210A (ko) * | 2021-01-05 | 2022-07-13 | 삼성디스플레이 주식회사 | 표시 장치, 이를 포함하는 가상 현실 표시 시스템 및 이를 이용한 입력 영상 기반 사용자 움직임 추정 방법 |
| US11644890B2 (en) * | 2021-02-11 | 2023-05-09 | Qualcomm Incorporated | Image capturing in extended reality environments |
| KR20220151420A (ko) * | 2021-05-06 | 2022-11-15 | 삼성전자주식회사 | 웨어러블 전자 장치 및 3d 이미지 출력 방법 |
| US12003697B2 (en) | 2021-05-06 | 2024-06-04 | Samsung Electronics Co., Ltd. | Wearable electronic device and method of outputting three-dimensional image |
| CN115291729A (zh) * | 2022-08-10 | 2022-11-04 | 立讯精密科技(南京)有限公司 | 头戴式设备的提醒方法及头戴式设备 |
| CN115326656B (zh) * | 2022-10-14 | 2022-12-23 | 西南交通大学 | 交通土建用颗粒材料松铺层颗粒粒径及级配无损测量方法 |
| CN117635506B (zh) * | 2024-01-24 | 2024-04-05 | 成都航天凯特机电科技有限公司 | 一种基于AI赋能Mean Shift算法的图像增强方法及装置 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| KR100780057B1 (ko) * | 2006-04-25 | 2007-11-29 | 삼성전자주식회사 | 동영상 그레쥬얼 샷 변환 장치 및 그 방법 |
| US8781162B2 (en) * | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| KR101890328B1 (ko) | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| EP3462286A1 (en) | 2011-05-06 | 2019-04-03 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| CA3111134A1 (en) | 2012-04-05 | 2013-10-10 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
| US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9111135B2 (en) * | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
| US8798357B2 (en) | 2012-07-09 | 2014-08-05 | Microsoft Corporation | Image-based localization |
| WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
| IL293789B2 (en) | 2013-01-15 | 2023-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
| IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
| CA3160567A1 (en) | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9406137B2 (en) * | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
| CA2927818C (en) | 2013-10-16 | 2021-11-30 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| IL305162A (en) * | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| US20150286873A1 (en) * | 2014-04-03 | 2015-10-08 | Bruce L. Davis | Smartphone-based methods and systems |
| KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
| KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
| KR20200097292A (ko) | 2017-12-15 | 2020-08-18 | 매직 립, 인코포레이티드 | 디스플레이 디바이스에 대한 향상된 포즈 결정 |
-
2018
- 2018-12-14 KR KR1020207019367A patent/KR20200097292A/ko active IP Right Grant
- 2018-12-14 EP EP18889714.4A patent/EP3724713A4/en active Pending
- 2018-12-14 CN CN201880086666.XA patent/CN111630435A/zh active Pending
- 2018-12-14 IL IL274976A patent/IL274976B2/en unknown
- 2018-12-14 JP JP2020529704A patent/JP7431157B2/ja active Active
- 2018-12-14 AU AU2018385695A patent/AU2018385695B2/en active Active
- 2018-12-14 WO PCT/US2018/065771 patent/WO2019118886A1/en unknown
- 2018-12-14 IL IL308780A patent/IL308780A/en unknown
- 2018-12-14 US US16/221,065 patent/US10943120B2/en active Active
- 2018-12-14 CA CA3084057A patent/CA3084057A1/en active Pending
-
2021
- 2021-03-05 US US17/193,568 patent/US11501529B2/en active Active
-
2022
- 2022-10-14 US US17/966,585 patent/US11823450B2/en active Active
-
2023
- 2023-10-09 US US18/378,086 patent/US20240233372A9/en active Pending
- 2023-12-07 JP JP2023206824A patent/JP2024025804A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11501529B2 (en) | 2022-11-15 |
| EP3724713A4 (en) | 2021-08-25 |
| US20240233372A9 (en) | 2024-07-11 |
| US10943120B2 (en) | 2021-03-09 |
| IL274976A (en) | 2020-07-30 |
| JP2024025804A (ja) | 2024-02-26 |
| US20190188474A1 (en) | 2019-06-20 |
| US20230034363A1 (en) | 2023-02-02 |
| CA3084057A1 (en) | 2019-06-20 |
| IL308780A (en) | 2024-01-01 |
| EP3724713A1 (en) | 2020-10-21 |
| US20240135707A1 (en) | 2024-04-25 |
| JP7431157B2 (ja) | 2024-02-14 |
| CN111630435A (zh) | 2020-09-04 |
| US20210334537A1 (en) | 2021-10-28 |
| AU2018385695B2 (en) | 2023-11-02 |
| AU2018385695A1 (en) | 2020-06-18 |
| WO2019118886A1 (en) | 2019-06-20 |
| IL274976B2 (en) | 2024-05-01 |
| US11823450B2 (en) | 2023-11-21 |
| JP2021509495A (ja) | 2021-03-25 |
| IL274976B1 (en) | 2024-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501529B2 (en) | Enhanced pose determination for display device | |
| US10977820B2 (en) | Personalized neural network for eye tracking | |
| JP7378431B2 (ja) | フレーム変調機能性を伴う拡張現実ディスプレイ | |
| JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
| JP7090601B2 (ja) | 複合現実較正のための眼球周囲試験 | |
| CN114356098A (zh) | 由可穿戴设备进行面部模型捕获 | |
| US11860359B2 (en) | Display system with low-latency pupil tracker | |
| US20240027794A1 (en) | Virtual object movement speed curve for virtual and augmented reality display systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |