KR101912958B1 - 증강 현실 디스플레이를 위한 자동 가변 가상 초점 - Google Patents

증강 현실 디스플레이를 위한 자동 가변 가상 초점 Download PDF

Info

Publication number
KR101912958B1
KR101912958B1 KR1020137011956A KR20137011956A KR101912958B1 KR 101912958 B1 KR101912958 B1 KR 101912958B1 KR 1020137011956 A KR1020137011956 A KR 1020137011956A KR 20137011956 A KR20137011956 A KR 20137011956A KR 101912958 B1 KR101912958 B1 KR 101912958B1
Authority
KR
South Korea
Prior art keywords
focus
user
virtual
microdisplay
virtual object
Prior art date
Application number
KR1020137011956A
Other languages
English (en)
Other versions
KR20130139280A (ko
Inventor
아비 바-지브
존 루이스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20130139280A publication Critical patent/KR20130139280A/ko
Application granted granted Critical
Publication of KR101912958B1 publication Critical patent/KR101912958B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 기술은 사용자가 보는 때에 초점이 맞는 것으로 가상 객체를 표시하기 위한 증강 현실 디스플레이 시스템을 제공한다. 일 실시형태에서, 사용자의 초점 영역이 추적되고, 사용자 초점 영역 내의 가상 객체가 초점 영역에 있는 것으로 보이도록 표시된다. 사용자가 가상 객체들 사이에서 초점을 변경하면서, 이들은 물리적 환경의 실제 객체가 그렇듯이 초점의 안팎으로 자연스럽게 움직이는 것으로 보인다. 증강 현실 디스플레이 시스템의 마이크로디스플레이 조립체의 광 경로에서 광 처리 요소의 초점 영역을 변경함으로써 가상 객체 이미지에 대한 초점의 변화가 유발된다. 일부 실시형태에서, 마이크로디스플레이 조립체의 광 경로에서 요소를 조정함으로써 초점 영역의 범위가 스윕 레이트에 걸쳐 스윕된다.

Description

증강 현실 디스플레이를 위한 자동 가변 가상 초점{AUTOMATIC VARIABLE VIRTUAL FOCUS FOR AUGMENTED REALITY DISPLAYS}
증강 현실(augmented reality)은 가상 이미지가 현실 세계의 물리적 환경과 혼합될 수 있도록 하는 기술이다. 통상, 시스루(see through) 근안 디스플레이가 사용자에 의해 착용되어 가상 및 실제 객체의 혼합 이미지를 본다. 근안(near-eye) 디스플레이는 보통 고정 거리에서 가상 이미지에 초점을 맞추기 위해 광학과 입체시(stereopsis)의 조합을 이용한다. 그러나, 가상 물체가 고정 거리에 있고 사용자의 위치가 변하면, 사용자가 가상 물체를 자연적인 시야로 보는 경우와 같이 가상 물체가 사용자에게 초점 안팎으로 움직이지 않는다.
본 기술은 혼합 현실 또는 증강 현실 디스플레이를 위해 가변 초점을 달성하기 위한 실시형태를 제공한다. 사용자는 시스루 디스플레이 장치를 통해 장면을 본다. 장면은, 사용자가 디스플레이 장치의 투명 또는 시스루 렌즈를 통해 자신의 눈으로 직접 보는 물리적 환경 내의 하나 이상의 실제 객체를 포함한다. 하나 이상의 가상 객체는 디스플레이 장치에 의해 사용자의 눈 위치 중 적어도 하나로 투사된다. 그러므로, 실제 장면의 디스플레이가 가상 객체로 증강된다.
일 실시형태에서, 본 기술은 디스플레이 장치에 의해 투사되는 가상 객체의 초점 거리를 변경하도록 한다. 3차원 시야가 사용자에 대해 결정되고, 사용자의 시야 내의 하나 이상의 가상 객체의 3차원 위치도 결정된다. 사용자의 현재의 3차원 초점 영역이 시야 내에서 결정된다. 사용자의 현재 초점 영역 내의 하나 이상의 가상 객체가 그들의 위치에 기초하여 식별된다.
디스플레이에서 사용자의 현재 초점 영역에 가상 객체를 표시하기 위해, 가상 객체는 현재 초점 영역에서 이미지의 영역으로 이동된다. 일 실시형태에서, 이는 시스루 디스플레이 장치의 마이크로디스플레이 조립체의 초점 영역을 변경함으로써 이루어진다. 마이크로디스플레이 조립체는 광 경로를 따라 정렬된 마이크로디스플레이 유닛, 반사 요소 및 적어도 하나의 광학 요소뿐만 아니라 가변 가상 초점 조정기와 같은 요소를 포함할 수 있다. 마이크로디스플레이 유닛은 디스플레이를 위한 이미지를 생성하고, 이미지의 광은, 적어도 하나의 광 요소, 예를 들어 시준 렌즈(collimating lens)를 통해 반사 요소까지 광 경로를 따라 이동한다.
일 실시형태에서, 조정기는 마이크로디스플레이 조립체 중 적어도 2개의 요소 사이의 광 경로를 따라 변위를 변경하여 이미지 내 가상 객체의 초점 영역을 변경한다. 다른 실시형태에서, 희망 초점 영역을 획득하기 위해 광 요소의 초점 거리가 조정될 수 있다. 예를 들어, 적어도 하나의 복굴절 렌즈(birefringent lens)의 편광이 변경될 수 있거나, 또는 유체 또는 액체 렌즈의 곡률 반경이 조정될 수 있다.
일 실시형태에서, 사용자 초점 영역 밖이지만 사용자 시야 내의 가상 객체에, 사용자 초점 영역으로부터의 거리의 함수로 인공 시야 깊이 기술이 적용될 수 있다.
본 기술은 가변 가상 초점 조정기를 포함하는 마이크로디스플레이 조립체를 포함하는 시스루 디스플레이 유닛을 포함하는 가상 객체의 가변 초점을 제공하기 위한 증강 현실 시스템을 또한 제공한다. 제어 회로는 가변 가상 초점 조정기를 제어하기 위한 드라이버를 포함한다. 일 실시형태에서, 시스템은 가변 가상 초점 조정기가 상이한 초점 영역을 통해 마이크로디스플레이 조립체를 스윕(sweep)하는 타이밍을 제어하기 위한 제어 회로 내 타이밍 발생기를 더 포함한다. 대부분의 실시형태에서, 스윕의 레이트(rate)는, 사람의 시간적 이미지 융합(temporal image fusion)이 상이한 초점 영역에서 생성된 이미지가 동시에 존재하는 것으로 나타나게 하기에 충분히 빠르게 설정된다. 상이한 초점 영역에서 생성된 이미지의 디스플레이를 보는 사용자는, 가상 물체가 물리적 환경 내의 실제 객체인 것처럼 자연스럽게 가상 물체가 초점이 맞거나 맞지 않는 것으로 볼 것이다.
본 기술은 증강 현실 디스플레이에서 상이한 초점 영역에서 가상 객체를 생성하기 위한 방법을 또한 제공한다. 시스루 디스플레이 장치를 이용하여 실제 및 가상 객체를 포함하는 장면을 보는 사용자에 대해 3차원 시야가 결정된다. 사용자의 시야 내 하나 이상의 가상 객체에 대해 3차원 초점 영역이 식별된다. 마이크로디스플레이 조립체는 다수의 초점 영역을 통해 스윕하도록 조정된다. 사용자가 현재 보고 있는 초점 영역과 가상 객체를 포함하는 영역을 포함시키기 위해 초점 영역이 선택될 수 있다. 각각의 초점 영역에 대해 이미지가 생성된다.
일 예에서, 이들 이미지 각각은, 사람의 시간적 이미지 융합이 이미지가 사람의 눈에 동시에 존재하는 것으로 나타나게 하기에 충분히 빠른 레이트로 사용자에게 표시될 수 있다. 다른 예에서, 상이한 초점 영역에서 생성된 가상 이미지의 인-포커스(in-focus) 부분들의 혼합 이미지가 표시된다.
본 개요는 아래의 상세한 설명에서 더 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요한 특징을 식별하려는 것이 아니고, 청구된 주제의 범위를 결정하는 수단으로 이용되려는 것도 아니다.
도 1은 가상 객체의 가변 초점을 제공하기 위한 시스템의 일 실시형태의 예시적인 컴포넌트를 도시하는 블록도이다.
도 2a는 헤드 마운티드(head mounted) 디스플레이 유닛의 일 실시형태의 일부의 상면도이다.
도 2b는 헤드 마운티드 디스플레이 유닛의 다른 실시형태의 일부의 상면도이다.
도 3a는 근안 디스플레이의 마이크로디스플레이 조립체의 부분으로 사용하기 위한 회전가능 렌즈 시스템의 예이다.
도 3b1과 3b2는 상이한 곡률 반경을 나타내고, 디스플레이 조립체의 부분으로 사용하기 위한 유체 렌즈의 예이다.
도 3c는 근안 디스플레이의 마이크로디스플레이 조립체의 부분으로 사용하기 위한 복굴절 렌즈 시스템의 예이다.
도 3d는 마이크로디스플레이 조립체의 부분으로 사용하기 위한 삽입가능 렌즈 시스템의 예이다.
도 4는 헤드 마운티드 디스플레이 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 5는 헤드 마운티드 디스플레이 유닛과 연관된 처리 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 6은 헤드 마운티드 디스플레이 유닛과 함께 사용되는 허브 컴퓨팅 시스템의 컴포넌트의 일 실시형태의 블록도이다.
도 7은 여기 설명되는 허브 컴퓨팅 시스템을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 일 실시형태의 블록도이다.
도 8은 사용자에 대해 초점이 맞도록 가상 내용의 초점을 변경시킬 수 있는 다수 사용자 시스템을 도시하는 블록도이다.
도 9는 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시하기 위한 프로세스의 일 실시형태를 도시하는 흐름도이다.
도 10은 공간의 모델을 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 11은 모델을 객체로 분할(segmenting)하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 12는 객체를 식별하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 13은 시스루 디스플레이를 보는 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 14는 사용자 및/또는 헤드 마운티드 디스플레이 유닛의 위치와 방향을 추적하는 허브에 대한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 15는 눈의 위치를 추적하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 16은 사용자의 시야를 결정하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17a는 조립체의 적어도 하나의 렌즈를 변위함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17b는 조립체의 적어도 하나의 렌즈의 편광을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 17c는 조립체의 적어도 하나의 유체 렌즈의 곡률 반경을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 18a는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다.
도 18b는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하기 위한 프로세스의 다른 실시형태를 설명하는 흐름도이다.
도 19a와 19b는 증강 현실 디스플레이에 다초점 가상 객체를 표시하는 상이한 방법들의 예를 개략적으로 도시한다.
본 기술은 증강 현실 디스플레이의 혼합 현실에 대해 가변 초점을 달성하기 위한 실시형태를 제공한다. 일 실시형태에서, 시스템은 증강 현실에 대한 근안(near-eye) 디스플레이로서 시스루 디스플레이 장치 및 시스루 디스플레이 장치와 통신하는 처리 유닛을 포함한다. 후술하는 실시형태에서, 시스루 디스플레이는 안경 세트 내에 있으나, 다른 HMD 형태 및 근안 디스플레이 홀더도 사용될 수 있다.
시스루 디스플레이로 보이는 장면 내의 실제 객체를 실제로 직접 보기 위해 사용자의 자연시(natural sight)가 사용된다. 소프트웨어, 예를 들어, 게임 애플리케이션을 실행하는 맥락에 기초하여, 시스템은 시스루 디스플레이 장치를 착용하고 있는 사람이 디스플레이를 통해 실제 세계를 보고 있는 동안, 그 사람이 볼 수 있는 디스플레이 상에 가상 이미지를 투사할 수 있다.
사용자가 보는 물리적 환경을 스캔하여, 스캔된 환경의 3차원 모델이 구축될 수 있는 데이터를 제공하기 위해 하나 이상의 센서가 사용된다. 모델은 실제 객체들로 분할(segment)되고, 후술하는 바와 같이, 가상 객체 이미지의 위치로 증강된다.
또한, 가상 이미지를 어디에 투사할지를 결정하기 위해 사용자의 두부의 위치와 방향 및 눈 위치를 검출하도록 다양한 센서가 사용된다. 시스템은 자동으로 사용자가 어디를 보고 있는지를 추적하여 시스템은 시스루 디스플레이 장치의 디스플레이를 통해 사용자의 시야를 알 수 있다. 사용자는 깊이 카메라, 및 깊이 센서, 이미지 센서, 관성 센서, 눈 위치 센서 등을 포함하는 다양한 센서 중 여하한 것을 이용하여 추적될 수 있다. 사용자의 시야 외에, 시스템은 또한 사용자가 시야 내 어떤 위치에 초점을 맞추고 있는지 또는 어떤 위치를 보고 있는지를 결정하는데, 이는 사용자 초점 영역이라고 종종 지칭된다.
일부 실시형태에서, 사용자 초점 영역은 패넘 융합 영역(Panum's fusional area)이라고 알려진 부피인데, 이 부피 내에서 사람의 눈이 물체를 단일 비전으로 본다. 사람은 양안시(binocular vision) 또는 입체시(stereoptic vision)를 갖는다. 각각의 눈은 상이한 시점으로부터의 이미지를 산출한다. 패넘 융합 영역이라는 작은 부피 내에서만, 사람이 물체를 단일한 시야로 본다. 이것이 객체가 초점이 맞았다고 말할 때 보통 의미하는 바이다. 이 영역 밖에서, 객체는 흐리게 보이거나 심지어 이중 이미지로 보일 수 있다. 패넘 융합 영역의 중심 내에 사용자 눈의 초점을 포함하는 호롭터(Horopter)가 있다. 사용자가 공간 내의 지점(이하, 초점)에 초점을 맞추는 때에, 그 초점은 곡선 상에 위치된다. 공간 내의 이 곡선 상의 객체는 중심와(fovea) 내 눈의 망막(retinas) 위에 떨어진다. 곡선은 가끔 수평 호롭터라고 지칭된다. 초점 위에서 눈으로부터 먼 쪽으로, 그리고 곡선 상의 초점 아래에서 눈을 향하여 구부러지는 곡선을 통과하는 선인 수직 호롭터도 존재한다. 이하 사용되는 호롭터라는 용어는 그 수직 및 수평 성분 모두를 지칭한다.
시스템이 사용자의 시야와 사용자 초점 영역을 알게 되면, 시스템은 시스루 디스플레이 장치의 디스플레이에 의해 하나 이상의 가상 객체 이미지가 어디에 투사되어야 하는지 알아낼 수 있다. 투사된 디스플레이 내 선택된 초점 영역 위치에서 가상 객체의 디스플레이를 생성하는 것은, 시스루 디스플레이 장치의 마이크로디스플레이 조립체 내의 광 경로 길이를 조정함으로써 수행될 수 있다.
왼쪽과 오른쪽 마이크로디스플레이 상에 배치된 이미지를 시프트(shift)함으로써 패럴랙스가 생성된다. 가상 객체에 대한 패럴랙스의 양을 설정함으로써, 왼쪽 눈 디스플레이에 의해 생성된 가상 객체로의 시선이 오른쪽 눈 디스플레이에 대한 대응 시선과 교차하는 거리에 의해 그 가상 거리가 암시된다(imply). 종래의 디스플레이는 이 패럴랙스가 암시하는 거리를 설정할 수 있다. 패럴랙스와 독립적으로, 디스플레이를 빠져나가는 파면(wave front)의 곡률에 의해 암시되는 거리도 존재한다. 곡률 반경은 단순히 객체 상의 지점까지의 거리이다. 근처의 객체는 강하게 구부러진 파면을 갖는데, 그에 의한 곡률 반경이 작기 때문이다. 먼 객체는 훨씬 편평한 파면을 갖는데, 곡률 반경이 그에 맞추어 크기 때문이다. 아주 먼 객체들의 극한에서 파면은 편평하게 된다. 종래의 헤드 마운티드 디스플레이는 고정된 파면 곡률을 갖는데, 이들은 장면 내용에 기초하여 변할 수 있는 광 요소를 갖지 않기 때문이다.
사용자의 위치가 가상 객체의 현재 위치로부터 더 먼 위치로 변하는 경우에, 왼쪽과 오른쪽 마이크로디스플레이 상에 적당한 이미지를 배치함으로써 가상 객체에 대한 패럴랙스와 스케일이 변할 수 있다. 사용자의 새로운 위치에 대한 패넘 융합 영역과 호롭터가 정의될 수 있다. 종래의 디스플레이는 가상 객체를 패넘 융합 영역으로 가져오기 위해 파형 곡률 반경을 조정할 수 없다. 후술하는 기술은 파면 곡률을, 스케일과 패럴랙스에 의해 설정된 다른 단서(cue)와도 일치하고 가상 객체를 패넘 융합 영역으로 가져오는 거리로 설정할 수 있다. 이러한 방식으로 이미지가 자연스럽고 현실적으로 나타난다. 사용자가 위치가 고정되고 가상 객체가 장면 내의 자연 객체에 대해 가까이 또는 멀리 이동하는 경우에 동일한 논의가 적용된다.
마이크로디스플레이 조립체는 광 처리 요소와 가변 초점 조정기를 포함한다. 일부 광 처리 요소의 예는 마이크로디스플레이 유닛, 하나 이상의 광 요소, 예를 들어 렌즈 시스템의 렌즈, 및 반사 요소, 예를 들어 반사 표면이나 부분적 반사 표면이다. 마이크로디스플레이 유닛은 광원을 포함하고 가상 객체의 이미지를 생성한다. 마이크로디스플레이 유닛은 하나 이상의 광 요소 및 반사 요소와 광학적으로 정렬된다. 광 정렬은 하나 이상의 광축을 포함하는 광 경로 또는 광축을 따를 수 있다. 이미지 광은 시준될 수 있고 하나 이상의 광 요소에 의해 반사 요소로 지향될 수 있다. 부분적 반사 요소로부터 반사된 광은 일 실시형태에서 사용자의 눈 위치로 지향될 수 있다. 표면이 부분적으로 반사하기 때문에, 자연 장면으로부터의 광이 그 표면을 통과하여 보일 수 있도록 할 수도 있다. 다른 실시형태에서, 반사 요소에 의해 반사된 마이크로디스플레이 유닛으로부터의 광은 사용자가 보기 위한 이미지를 투사하는 다른 광 요소로 이동하고, 또한 자연 광이 보일 수 있도록 한다. 가변 초점 조정기는 마이크로디스플레이 조립체의 광 경로 내 하나 이상의 광 처리 요소 사이의 변위 또는 마이크로디스플레이 조립체 내 요소의 광 전력을 변경한다. 렌즈의 광 전력은 그 초점 길이에 반비례, 예를 들어, 1/초점 길이로 정의되어 하나의 변화가 다른 쪽에 영향을 준다. 변경은, 변경된 변위 또는 광 전력으로 마이크로디스플레이 조립체에 의해 생성된 이미지에 대해 초점이 맞는 시야 내 영역의 변화를 초래한다. 아래의 실시형태에 대해 논의되는 바와 같이, 각 눈에 대해 마이크로디스플레이 조립체가 있을 수 있다. 마이크로디스플레이 조립체는 그 각각의 눈의 시점을 위한 처리를 수행한다.
일 예에서, 인공 블러와 같은 인공 시야 깊이(aritificial depth of field) 기술이 시야 내 초점 영역 밖의 여하한 가상 물체에 초점 영역으로부터의 거리에 비례하여 적용된다. 다른 실시형태에서, 조정기는, 각 초점 영역 내의 가상 객체를 표시하는 동안 레이트 또는 빈도로 초점 영역의 범위에 대응하는 초점 길이 범위에 걸쳐 스윕(sweep)한다. 이 레이트 또는 빈도는 디스플레이 장치에 대한 프레임 레이트와 같거나 빠를 수 있다. 일 실시형태에서, 상이한 초점 영역에서 생성되는 가상 객체 이미지는 레이어링 된 이미지로 표시되고, 디스플레이의 레이트는 이미지가 동시에 존재하는 것으로 보이기에 충분할 정도로 빠르거나 신속하다. 다른 실시형태에서, 상이한 초점 영역에서 생성된 이미지의 인-포커스(in-focus) 부분의 혼합(composite) 이미지가 표시된다. 사용자가 그 또는 그녀의 현재 초점을 다른 초점 영역으로 변경함에 따라, 상이한 초점 영역 내의 가상 객체가 자연 시야에서 볼 때와 같이 초첨이 맞거나 맞지 않게 된다.
그러면, 가상 이미지를 사이징(sizing) 및 지향(orienting)하고 사이징/지향된 이미지를 시스루 디스플레이 상에 렌더링함으로써 이미지가 렌더링된다.
도 1은 가상 객체의 가변 초점을 제공하기 위한 시스템(10)의 일 실시형태의 예시적인 컴포넌트를 도시하는 블록도이다. 시스템(10)은 선(6)을 통해 처리 유닛(4)과 통신하는 헤드 마운티드 디스플레이 장치(2)로서 시스루 디스플레이 장치를 포함한다. 다른 실시형태에서, 헤드 마운티드 디스플레이 장치(2)는 유선 통신을 통해 처리 유닛(4)과 통신한다. 일 실시형태에서 프레임(115)이 시스템의 요소를 제자리에 유지하기 위한 지지와 전기 접속을 위한 통로를 제공하는 안경의 형태인 헤드 마운티드 디스플레이(2)는 사용자의 두부에 착용되어 사용자가 디스플레이를 통해 볼 수 있고 그에 의해 사용자의 전면에 공간의 실제 직접 뷰를 가질 수 있다. "실제 및 직접 뷰"라는 용어의 사용은 객체의 생성된 이미지 표시를 보는 것이 아니라 사람의 눈으로 직접 실제 세계 객체를 보는 기능을 지칭한다. 예를 들어, 방에서 유리를 통해 보는 것은 사용자가 방의 실제 직접 뷰를 가질 수 있게 하는 반면, 방의 비디오를 텔레비전 상에서 보는 것은 방의 실제 직접 뷰가 아니다. 헤드 마운티드 디스플레이 장치(2)의 더 상세한 사항은 아래에 제공된다.
일 실시형태에서, 처리 유닛(4)은 사용자의 손목에 착용되고 헤드 마운티드 디스플레이 장치(2)를 동작시키는데 사용되는 처리 능력의 대부분을 포함한다. 처리 유닛(4)은 하나 이상의 허브 컴퓨팅 시스템(12)에 무선으로 (예를 들어, 와이파이(WiFi), 블루투스(Bluetooth), 적외선 또는 기타 무선 통신 수단) 통신한다.
허브 컴퓨팅 시스템(12)은 컴퓨터, 게임 시스템 또는 콘솔 등일 수 있다. 예시적인 실시형태에 따르면, 허브 컴퓨팅 시스템(12)은, 허브 컴퓨팅 시스템(12)이 게임 애플리케이션, 비-게임 애플리케이션 등과 같은 애플리케이션을 실행하는데 사용될 수 있도록, 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 포함할 수 있다. 일 실시형태에서, 허브 컴퓨팅 시스템(12)은 여기 설명된 프로세스를 수행하기 위한 프로세서 판독가능 저장 장치 상에 저장된 명령을 실행할 수 있는 표준화된 프로세서, 특화된 프로세서, 마이크로프로세서 등과 같은 프로세서를 포함할 수 있다.
허브 컴퓨팅 시스템(12)은 캡처 장치(20A와 20B)와 같은 하나 이상의 캡처 장치를 더 포함한다. 다른 실시형태에서, 2개 이상 또는 그 미만의 캡처 장치가 사용될 수 있다. 일 예시적 실시형태에서, 캡처 장치(20A와 20B)는 서로 다른 방향을 지향하여 방의 다른 부분을 캡처한다. 2개 캡처 장치의 시야는 약간 중첩되어서 허브 컴퓨팅 시스템(12)이 캡처 장치의 시야가 서로 어떻게 관련되는지 이해할 수 있는 것이 바람직할 수 있다. 이러한 방식으로, 다수의 캡처 장치가 전체 방(또는 기타 공간)을 보는데 사용될 수 있다. 다르게는, 시간에 걸쳐 캡처 장치에 의해 전체 관련 공간이 보이도록 캡처 장치가 동작 중에 패닝(pan) 될 수 있는 경우 하나의 캡처 장치가 사용될 수 있다.
캡처 장치(20A와 20B)는 예를 들어 하나 이상의 사용자와 주변 공간을 시각적으로 모니터링하는 카메라일 수 있어서, 애플리케이션 내에서 하나 이상의 제어 또는 동작을 수행하거나 및/또는 아바타나 스크린 상의 캐릭터를 동작시키기(animate) 위해 하나 이상의 사용자에 의해 수행되는 제츠처 및/또는 움직임뿐만 아니라 주변 공간의 구조가 캡처, 분석 및 추적될 수 있다.
허브 컴퓨팅 시스템(12)은 게임 또는 애플리케이션 비주얼을 제공할 수 있는 텔레비전, 모니터, 고화질(high-definition) 텔레비전(HDTV) 등과 같은 시청각 장치(16)에 접속될 수 있다. 예를 들어, 허브 컴퓨팅 시스템(12)은 게임 애플리케이션, 비-게임 애플리케인 등과 연관된 시청각 신호를 제공할 수 있는 그래픽 카드와 같은 비디오 어댑터 및/또는 사운드 카드와 같은 오디오 어댑터를 포함할 수 있다. 시청각 장치(16)는 허브 컴퓨팅 시스템(12)으로부터 시청각 신호를 수신할 수 있고, 그 후, 시청각 신호와 연관된 게임 또는 애플리케이션 비주얼 및/또는 오디오를 출력할 수 있다. 일 실시형태에 따르면, 시청각 장치(16)는, 예를 들어, S-Video 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블(component video cable), RCA 케이블 등을 통해 허브 컴퓨팅 시스템(12)에 접속될 수 있다. 일 예에서, 시청각 장치(16)는 내부 스피커를 포함한다. 다른 실시형태에서, 오디오 장치(16), 별개 스테레오 또는 허브 컴퓨팅 시스템(12)이 외부 스피커(22)에 접속된다.
캡처 장치(20A와 20B)와 함께 허브 컴퓨팅 장치(10)는 사람 (및 기타 유형의) 타겟을 인식, 분석 및/또는 추적하는데 사용될 수 있다. 예를 들어, 헤드 마운티드 디스플레이 장치(2)를 착용하고 있는 사용자는 캡처 장치(20A와 20B)를 이용하여 추적될 수 있어서, 아바타나 스크린 상의 캐릭터를 동작시키기 위해 사용자의 제스처 및/또는 움직임이 포착될 수 있거나 및/또는 허브 컴퓨팅 시스템(12)에 의해 실행되고 있는 애플리케이션에 영향을 주기 위해 사용될 수 있는 제어로 해석될 수 있다.
도 2a는, 템플(temple, 102)과 노즈 브릿지(nose bridge, 104)를 포함하는 프레임의 부분을 포함하는, 헤드 마운티드 디스플레이 장치(2)의 일부의 상면도를 도시한다. 헤드 마운티드 디스플레이 장치(2)의 우측면만이 도시된다. 후술하는 바와 같이, 노즈 브릿지(104)에 소리를 녹음하고 그 오디오 데이터를 처리 유닛(4)에 전송하기 위한 마이크로폰(110)이 내장된다. 헤드 마운티드 디스플레이 장치(2)의 전면에는 비디오 및 정지 이미지를 캡처할 수 있는 물리적 환경을 바라보는 비디오 카메라(113)가 있다. 이들 이미지는 후술하는 바와 같이 처리 유닛(4)에 전송된다.
헤드 마운티드 디스플레이 장치(2)의 프레임(115)의 일부는 디스플레이(하나 이상의 광 요소를 포함)를 둘러쌀 것이다. 헤드 마운티드 디스플레이 장치(2)의 컴포넌트를 보이기 위해, 디스플레이를 둘러싸는 프레임(115)의 부분은 도시되지 않는다. 디스플레이는 광 가이드 광 요소(112), 불투명 필터(114), 시스루 렌즈(116) 및 시스루 렌즈(118)를 포함한다. 일 실시형태에서, 불투명 필터(114)는 시스루 렌즈(116) 뒤에서 이와 정렬되고, 광 가이드 광 요소(112)는 불투명 필터(114) 뒤에서 이와 정렬되며, 시스루 렌즈(118)는 광 가이드 광 요소(112) 뒤에서 이와 정렬된다. 시스루 렌즈(116 및 118)는 안경에서 사용되는 표준 렌즈이고, 여하한 처방 (처방 없음을 포함)에 따라 만들어질 수 있다. 일 실시형태에서, 시스루 렌즈(116 및 118)는 가변 처방 렌즈로 대체될 수 있다. 일부 실시형태에, 헤드 마운티드 디스플레이 장치(2)는 하나의 시스루 렌즈만을 포함하거나 시스루 렌즈를 포함하지 않을 것이다. 다른 대안에서, 처방 렌즈가 광가이드 광 요소(112)안으로 갈 수 있다. 불투명 필터(114)는 가상 이미지의 대비를 강화하기 위해 자연 광을 (픽셀단위로 또는 균일하게) 걸러낸다(filter out). 광가이드 광 요소(112)는 눈으로 인공 광을 체널링(channel)한다. 불투명 필터(114)와 광가이드 광 요소(112)의 더 자세한 사항은 아래에 제공된다.
템플(102)의 안에 또는 템플(102)에 설치되는 것은, 하나 이상의 광 요소 예를 들어 렌즈 시스템(122)을 통해 이미지를, 본 실시형태에서 광가이드 광 요소(112)로 이미지를 안내하는 반사 표면(124)인 반사 요소로 투사하는 마이크로디스플레이(120)를 하나 이상의 실시형태에서 포함하는 이미지 소스이다. 마이크로디스플레이(120)를 구현하기 위해 사용될 수 있는 상이한 이미지 생성 기술이 존재한다. 예를 들어, 마이크로디스플레이(120)는 광원이 백색광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 구현될 수 있다. 이들 기술은 보통 강력한 백라이트와 높은 광학 에너지 밀도를 갖는 LCD 유형 디스플레이를 이용하여 구현된다. 마이크로디스플레이(120)는 또한, 외부 광이 광학적으로 활성인 물질에 의해 반사되고 변조되는 반사 기술을 이용하여 구현될 수 있다. 조명은 기술에 따라 백색 소스 또는 RGB 소스에 의해 전면 조명(forward lit)된다. DLP(digital light processing), LCOS(liquid crystal on silicon) 및 퀄컴(Qualcomm, Inc.)의 미라졸(Mirasol®) 디스플레이 기술이, 모든 에너지가 변조된 구조로부터 반사되어 나가므로 효율적이고 여기에 설명된 시스템에서 사용될 수 있는 반사 기술의 모든 예이다. 또한, 마이크로디스플레이(120)는 광이 디스플레이에 의해 생성되는 방사 기술을 이용하여 구현될 수 있다. 예를 들어, 마이크로비전(Microvision, Inc.)의 피코프(PicoP™) 엔진은 마이크로 미러 스티어링(steering)으로 레이저 시그널을 투과성 요소로 동작하는 작은 스크린에 발산하거나 눈으로 직접 쏘아진다(예를 들어, 레이저).
도시된 실시형태에서, 마이크로디스플레이(120)는 시스루 디스플레이로 이미지를 전달하기 위한 광 처리 요소를 포함하는 마이크로디스플레이 조립체(173)의 일부이다. 본 예의 마이크로디스플레이 조립체는 마이크로디스플레이(120), 렌즈 시스템(122)에 포함된 하나 이상의 광 요소 및 반사 표면(124)을 포함한다. 렌즈 시스템(122)은 단일 렌즈 또는 복수의 렌즈를 포함할 수 있다. 렌즈 시스템(122), 마이크로디스플레이 유닛(120)과 반사 표면(124)(예를 들어, 거울 또는 기타 표면)은 광 경로를 따라 정렬되는데, 이 예에서는 광 축(133)을 따라 정렬된다. 이미지 광은 시준되고 렌즈 시스템(122)에 의해 반사 표면(124)으로 지향될 수 있다.
마이크로디스플레이 조립체(173)는 광 경로(133)를 따라 렌즈 시스템(122)과 마이크로디스플레이 유닛(120) 사이의 변위(displacement) 또는 렌즈 시스템(122)과 반사 표면(124) 사이의 변위 또는 양자 모두를 제어하는 가변 가상 초점 조정기(135)를 더 포함한다. 마이크로디스플레이 조립체의 광 처리 요소들 사이의 상이한 변위는, 가상 객체가 투사될 수 있는 사용자의 3차원 시야 내의 상이한 초점 영역에 대응한다. 이 예에서, 변위 변화는 이 예에서 렌즈 시스템(122)과 마이크로디스플레이(120)과 같은 적어도 하나의 광 처리 요소를 지지하는 외관(armature)(137) 내에서 안내된다. 외관(137)은 선택된 변위 또는 선택된 광 전력을 달성하기 위해 요소의 물리적 움직임 동안 광 경로(133)를 따르는 정렬을 안정화하는 것을 돕는다. 변위 범위는 통상 수 밀리미터(mm) 정도이다. 일 예에서, 범위는 1-2mm이다.
일 예에서, 조정기(135)는 압전(piezoelectric) 모터와 같은 액추에이터일 수 있다. 액추에이터를 위한 다른 기술이 사용될 수도 있고 그러한 기술의 일부 예는 코일과 영구 자석으로 형성된 음성 코일, 자기변형(magnetostriction) 요소 및 전기 변형(electrostriction) 요소이다.
광가이드 광 요소(112)는 헤드 마운티드 디스플레이 장치(2)를 착용하고 있는 사용자의 눈(140)으로 마이크로디스플레이(120)로부터 광을 전송한다. 광가이드 광 요소(112)는 또한, 화살표(142)로 도시된 바와 같이, 헤드 마운티드 디스플레이 장치(2)의 앞으로부터의 광이 광가이드 광 요소(112)를 통해 눈(140)으로 전송될 수 있도록 하고, 그에 의해 사용자가 마이크로디스플레이(120)로부터 가상 이미지를 수신하는 것에 더해 헤드 마운티드 디스플레이 장치(2) 앞의 공간의 실제 직접 뷰를 가질 수 있도록 한다. 그러므로, 광가이드 광 요소(112)의 벽은 시스루이다. 광가이드 광 요소(112)는 제1 반사 표면(124)을 포함한다. 마이크로디스플레이(120)로부터의 광은 렌즈 시스템(122)을 통과하고 반사 표면(124)에 입사하게 된다. 반사 표면(124)은 마이크로디스플레이(120)로부터의 입사 광을 반사하여, 광이 내면 반사(internal reflection)에 의해 광가이드 광 요소(112)를 포함하는 기판인 플래이너(plnaer) 내에 갇힌다. 기판의 표면에서의 수회 반사 후에, 갇힌 광 파는 선택적 반사 표면(126)의 어레이에 도달한다. 도면이 혼잡해지지 않도록 5개 표면 중 하나 만이 126으로 라벨링된다. 반사 표면(126)은 기판 밖의 이들 반사 표면으로의 광파 입사를 사용자의 눈(140)으로 결합한다. 상이한 광선이 이동하여 상이한 각도로 기판의 내부에서 반사되면서, 상이한 광선은 상이한 각도로 다양한 반사 표면(126)에 부딪힐 것이다. 그러므로, 상이한 광선이 반사 표면 중 상이한 반사 표면에 의해 기판으로부터 반사될 것이다. 어떤 표면(126)에 의해 기판으로부터 어떤 광선이 반사될지의 선택은 기판(126)의 적당한 각도를 선택함으로써 이루어진다. 광가이드 광 요소의 더 상세한 사항은, 그 전체가 여기에 참조로 포함되는 미국 특허 출원 공보 2008/0285140, 시리얼 번호 12/214,366인 2008.11.20. 공개된 "Substrate-Guided Optical Devices"에서 찾아볼 수 있다. 일 실시형태에서, 각각의 눈은 그 자신의 광가이드 광 요소(112)를 가질 것이다. 헤드 마운티드 디스플레이 장치가 2개의 광 가이드 광 요소를 갖는 때에, 각각의 눈은 양 눈에 동일한 이미지를 표시하거나 2개의 눈에 상이한 이미지를 표시할 수 있는 그 자신의 마이크로디스플레이(120)를 가질 수 있다. 다른 실시형태에서, 양 눈으로 광을 반사하는 하나의 광가이드 광 요소가 있을 수 있다.
광 가이드 광 요소(112)와 정렬되는 불투명 필터(114)는, 균일하게 또는 픽셀 단위로, 선택적으로 자연 광을 광가이드 광 요소(112)를 통과하지 못하게 차단한다. 일 실시형태에서, 불투명 필터는 시스루 LCD 패널, 전자크롬(electrochromic) 필름 또는 불투명 필터로 기능할 수 있는 유사한 장치일 수 있다. 이러한 시스루 LCD 패널은 종래의 LCD로부터 다양한 기판 층, 백라이트 및 디퓨저(diffuser)를 제거함으로써 얻어질 수 있다. LCD 패널은 광이 액정을 통과할 수 있도록 하는 하나 이상의 광 투과 LCD 칩을 포함할 수 있다. 이러한 칩은 예를 들어 LCD 프로젝터에서 사용된다.
불투명 필터(114)는 조밀한 픽셀의 격자(grid)를 포함할 수 있는데, 여기서 각각의 픽셀의 광 투과율(transmissivity)이 최소와 최대 투과율 사이에서 개별적으로 제어가능하다. 0-100%의 투과율 범위가 이상적이지만, 더 제한된 범위도 수용가능하다. 예로서, 2개 이하의 편광(polarizing) 필터를 갖는 흑백 LCD 패널이 LCD의 해상도까지 픽셀 당 약 50% 내지 90%의 불투명 범위를 제공하기에 충분하다. 50%의 최소에서, 렌즈는 약간 엷은 외양을 가질 것인데, 이는 견딜 수 있다. 100% 투과율은 완전히 투명한 렌즈를 나타낸다. "알파" 스케일은 0-100%로 정의될 수 있는데, 여기서 0%는 광이 통과하지 못하게 하고 100%는 모든 광이 통과할 수 있게 한다. 알파의 값은 후술하는 불투명 필터 제어 회로(224)에 의해 각 픽셀에 대해 설정될 수 있다.
불투명 필터의 더 상세한 사항은, 발명자가 Jason Flaks, Avi Bar-Zev, Jeffrey Margolis, Chris Miles, Alex Kipman, Andrew Fuller 및 Bob Crocco인, 2010.9.21. 출원된 미국 특허 출원 12/887.426, "Opacity Filter For See-Through Mounted Display," 및 2010.10.15. 출원된 미국 특허 출원 12/905,952 "Fusing Virtual Content Into Real Content"에서 제공되는데, 두 출원은 모두 그 전체가 여기에 참조로 포함된다.
헤드 마운티드 디스플레이 장치(2)는 사용자의 눈의 위치를 추적하기 위한 시스템도 포함한다. 후술하는 바와 같이, 시스템은 사용자의 위치와 방향을 추적하여 시스템이 사용자의 시야를 결정할 수 있다. 그러나, 사람은 그 앞에 있는 모든 것을 인식하지는 않는다. 대신, 사람의 눈은 환경의 부분집합을 향한다. 그러므로, 일 실시형태에서, 시스템은 사용자의 시야의 측정을 교정하기 위해 사용자의 눈의 위치를 추적하는 기술을 포함할 것이다. 예를 들어, 헤드 마운티드 디스플레이 장치(2)는 눈 추적 조립체(134)(도 2a 참조)를 포함하는데, 이는 눈 추적 조명 장치(134A)와 눈 추적 카메라(134B)(도 4 참조)를 포함할 것이다. 일 실시형태에서, 눈 추적 조명 소스(134A)는 하나 이상의 적외선(IR) 에미터를 포함하는데, 이는 눈을 향해 적외선 광을 발산한다. 눈 추적 카메라(134B)는 반사된 IR 광을 감지하는 하나 이상의 카메라를 포함한다.
안구의 위치는 각막의 반사를 검출하는 알려진 이미징 기술에 의해 식별될 수 있다. 예를 들어, 여기에 참조로 포함되는 Ophir 등의 2008.7.22. 발행된 미국 특허 7,401 ,920, "Head Mounted Eye Tracking and Display System"을 참조하라. 이러한 기술은 추적 카메라에 대한 눈 중심의 위치를 위치결정할 수 있다. 일반적으로, 눈 추적은 안와(eye socket) 내 안구의 위치를 결정하기 위해 눈의 이미지를 획득하고 컴퓨터 비전 기술을 이용하는 것을 포함한다. 일 실시형태에서, 눈은 일반적으로 같이 움직이므로 하나의 눈 위치만을 추적하는 것으로 충분하다. 그러나 각 눈을 별도로 추적하는 것도 가능하다.
일 실시형태에서, 시스템은 4개의 적외선(IR) LED와 4개의 광 검출기를 정사각형 배열로 사용하여 헤드 마운티드 디스플레이 장치(20)의 렌즈의 각 코더에 하나의 IR LED와 IR 광 검출기가 존재한다. LED로부터의 광은 눈에서 반사된다. 4개의 IR 광 검출기 각각에서 검출된 적외선 광의 양은 안구 방향을 결정한다. 즉, 눈의 검은 부분에 대한 흰 부분의 양이 그 특정 광 검출기에 대해 눈에서 반사되는 광의 양을 결정할 것이다. 그러므로 광 검출기는 눈의 흰부분 또는 검은부분의 양의 측정을 가질 것이다. 4개의 샘플로부터, 시스템은 눈의 방향을 결정할 수 있다.
다른 대안은 상술한 바와 같이 4개의 적외선 LED를 사용하지만 헤드 마운티드 디스플레이 장치(2)의 렌즈 측에 하나의 적외선 이미징 장치만을 사용하는 것이다. 이미징 장치가 안경 프레임으로부터 보이는 눈의 75%까지 이미징할 수 있도록 이미지 장치는 작은 거울 및/또는 렌즈(어안)을 사용할 것이다. 이미징 장치는 그 후 상술한 것과 유사하게 이미지를 감지하고 컴퓨터 비전을 이용하여 이미지를 찾을 것이다. 그러므로, 도 2a가 하나의 IR 에미터를 갖는 하나의 조립체를 도시하지만, 도 2a의 구조는 4개의 IR 트랜스미터 및/또는 4개의 IR 센서를 갖도록 조정될 수 있다. 4개 트랜스미터 및/또는 4개의 IR 센서보다 많거나 적은 것이 사용될 수도 있다.
눈의 방향을 추적하기 위한 다른 실시형태는 전하 추적에 기반한다. 이 개념은 망막(retina)이 측정가능한 양의 전하를 운반하고 각막이 음의 전하를 갖는다는 관찰에 기초한다. 사용자의 귀(이어폰(130) 근처)에 의해 센서가 설치되어 눈이 움직이는 동안 전위를 검출하고 실시간으로 눈이 무엇을 하는지를 효과적으로 읽어낸다. 눈을 추적하기 위한 다른 실시형태도 사용될 수 있다.
제어 회로(136)는 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트를 지지하는 다양한 전자부품을 제공한다. 제어 회로(136)의 더 상세한 사항은 도 4에 대해 아래에서 제공된다. 이어폰(130), 관성 센서(132) 및 온도 센서(138)가 내부에 있거나 템플(102)에 설치된다. 일 실시형태에서 관성 센서(132)는 3축 자기미터(magnetometer)(132A), 3축 자이로(132B) 및 3축 가속도계(132C)를 포함한다(도 4 참조). 관성 센서는 헤드 마운티드 디스플레이 장치(2)의 위치, 방향, 갑작스런 가속을 감지하기 위한 것이다.
도 2a는 헤드 마운티드 디스플레이(2)의 절반만을 도시한다. 전체 헤드 마운티드 디스플레이 장치는 다른 세트의 시스루 렌즈, 다른 불투명 필터, 다른 광가이드 광 요소, 다른 마이크로디스플레이(120), 다른 렌즈 시스템(132), 방 대면 카메라(113), 눈 추적 조립체(134), 이어폰(130) 및 온도 센서(138)를 포함할 것이다.
도 2b는 헤드 마운티드 디스플레이 유닛의 다른 실시형태의 부분의 상면도이다. 프레임(115)는 그 안에서 지지되는 광 요소의 배열을 노출하기 위해 점선으로 도시된다. 이 실시형태에서, 반사 요소(124a)로부터의 광은 광 경로(133)를 따라 이동하는 가상 이미지 뷰를 자연 또는 실제 직접 뷰(142)와 결합하는 부분적 반사 요소(124b)로 지향시킨다. 자연 뷰(142)는 불투명 필터(114)에 의해 영향받을 수 있다. 뷰의 결합은 광가이드 광 요소(112)와 같은 다른 광 요소가 아니라 사용자의 눈(140)으로 지향된다. 이 실시형태에서, 프레임(115)은, 그 광 처리 요소(122와 120), 가변 초점 조정기(135) 및 외관(137)을 포함하는 마이크로디스플레이 조립체(173)와 같은 시스템의 요소에 대한 지지로서 편리한 안경 프레임을 제공한다. 이 예에서, 각 눈에 대한 눈 추적 카메라(134r, 134l)는 브릿지(104) 상에 위치된다. 다른 실시형태에서, 안경 프레임 외의 다른 지지 구조가 사용될 수 있다. 이러한 구조의 예는 바이저(visor)이다.
전술한 바와 같이, 마이크로디스플레이 조립체(173)의 광 처리 요소의 구성은 이미지에서 가상 객체가 나타나는 초점 거리 또는 초점 영역을 생성한다. 구성을 변경하는 것은 가상 객체 이미지에 대한 초점 영역을 변경한다. 광 처리 요소에 의해 결정된 초점 영역은 수식 1/S1 + 1/S2 = 1/f에 기초하여 결정되고 변경될 수 있다. 심볼 f는 마이크로디스플레이 조립체(173) 내 렌즈 시스템(122)과 같은 렌즈의 초점 거리를 나타낸다. 렌즈 시스템(122)은 전면 절점(front nodal point)과 후면 절점(rear nodal point)을 갖는다. 광선이 광축에 대해 주어진 각으로 둘 중 하나의 절점으로 지향되면, 광선은 광 축에 대해 동일한 각으로 다른 절점에서 나타날 것이다. 일 예에서, 렌즈 시스템(122)의 후면 절점은 렌즈 시스템(122)과 도 2a의 반사 요소(124) 또는 도 2b의 반사 요소(124a) 사이에 있을 것이다. 후면 절점으로부터 반사 요소(124, 124a)까지의 거리는 S2라고 표시될 수 있다. 전면 절점은 사용자의 물리적 공간의 3차원 모델에서 마이크로디스플레이(120)에 의해 생성되는 가상 이미지의 타겟 위치와 렌즈 시스템(122) 사이에 있을 것이다. (모델 생성에 대한 세부사항에 대해서는 아래의 도 10-12의 논의를 참조하라.) 전면 절점으로부터 가상 이미지의 타겟 위치까지의 거리는 S1으로 표시될 수 있다.
렌즈의 초점 거리가 고정되면, S1과 S2는 상이한 깊이에서 가상 객체에 초점을 맞추기 위해 변화된다. 예를 들어, 초기 위치는 무한대로 설정된 S1과 렌즈 시스템(122)의 초점 거리와 동일한 S2를 가질 수 있다. 렌즈 시스템(122)이 10mm의 초점 거리를 갖는다고 가정하고, 가상 객체가 사용자의 시야로 약 1피트 또는 30cm에 배치되어야 하는 예를 고려하자. S1은 이제 30cm 또는 300mm이고, f는 10mm이고, S2는 초점 거리의 초기 위치, 10mm로 현재 설정되는데, 이는 렌즈 시스템(122)의 후면 절점이 반사 요소(124, 124a)로부터 10mm임을 의미한다. 렌즈(122)와 반사 요소(124, 124a) 사이의 새로운 거리 또는 새로운 변위가 1/300 + 1/S2 = 1/10 (모든 단위는 mm)에 기초하여 결정된다. 결과는 S2에 대해 약 10.3mm이다.
일 예에서, 처리 유닛(4)은 초점 거리 f를 고정시키고 S1과 S2에 대한 변위 값을 계산할 수 있고, 가변 가상 초점 조정기(135)가 예를 들어 광 경로(133)를 따라 렌즈 시스템(122)을 움직이도록 제어 회로(136)가 가변 조정기 드라이버(237)가 구동 신호를 전송하게 하도록 할 수 있다. 일부 예에서, 조정기(135)는 외관(137) 내의 하나 이상의 광 요소(122)를 움직일 수 있다. 다른 예에서, 외관은 광 처리 요소 주위의 영역에 그루브 또는 공간을 가질 수 있어서 광 처리 요소를 움직이지 않고, 요소, 예를 들어 마이크로디스플레이(120) 위에서 슬라이드한다. 하나 이상의 광 요소(122)와 같은 외관 내의 다른 요소가 부착되어 움직이는 외관(137)과 같이 슬라이드하거나 움직인다. 다른 실시형태에서, 마이크로디스플레이 유닛(120) 또는 반사 요소(124, 124a) 또는 양자 모두는 렌즈 시스템(122)을 움직이는 대신에, 또는 그에 추가하여 이동될 수 있다.
다른 실시형태에서, 렌즈 시스템(122) 내의 적어도 하나의 렌즈의 초점 거리는 광 경로(133)를 따르는 변위의 변화화 함께 또는 그 대신에 변화될 수 있다. 마이크로디스플레이 조립체의 일부 실시형태는 도 3a 내지 3d에 도시된다. 도시된 렌즈의 구체적인 개수는 예에 불과하다. 동일한 원리로 동작하는 다른 수 및 구성의 렌즈가 사용될 수 있다.
도 3a는 근안 디스플레이의 마이크로디스플레이 조립체의 일부로서 사용되는 회전가능 렌즈 시스템의 예이다. 렌즈(122a 내지 122d)의 각각은 상이한 초점 거리를 갖고 가변 가상 초점 조정기(135)에 의해 회전가능한 디스크 지지부(160) 내에서 지지된다. 처리 유닛(4)은 초점 영역을 결정하고 그 초점 영역을 획득하기 위해 초점 거리 렌즈 중 하나를 선택한다. 도 3에 대해 도시된 바와 같이, 제어 회로(136)의 가변 조정기 드라이버(237)는 디스크를 회전하기 위해 가변 가상 초점 조정기(135)로 적어도 하나의 제어 신호를 보내고, 그래서 선택된 렌즈가 조립체의 광 경로(133)에서 정렬된다.
도 3b1과 도 3b2는 Hongwen 등의 Tunable-focus liquid lens controlled using a servo motor (OPTICS EXPRESS, 4 2006.9., Vol. 14, No. 18, pp. 8031 -8036)에 나타난 바와 같은 상이한 곡률 반경을 나타내는 유체 렌즈의 예이다. 유체 렌즈는 마이크로디스플레이 어셈블리의 일부로서 사용될 수 있다. 렌즈의 초점 거리는 곡률 반경을 변경시킴으로써 변화될 수 있다. 곡률 반경 R과 초점 거리 f의 관계는 f = R/ nliquid - 1로 주어진다. 렌즈의 액체 또는 유체의 반사계수는 nliquid이다.
이 실시형태는, 그 일부로 또는 그에 접속된 가요성 외부막(152), 일 예에서 고무막을 갖는 고리형 밀봉링과 같은 지지부(137)를 포함한다. 외부막(153)은 액체(156)의 저장소와 접촉한다. 렌즈막(150)은, 저장소(156)로부터 액체를 수용하고 저장소(156)로 액체를 방출할 수 있는 액체 렌즈 셀(158)의 가요성 측을 형성하거나 그 위에 놓인다. 언급된 예에서, 가요성 렌즈막은 폴리메틸실로세인(PDMS) 탄성중합체(elestomeric) 막과 같은 탄성막이다. 액체 셀 뒤의 유리 플레이트(154)는 지지를 제공한다. 가변 가상 초점 조정기(135)는 도 3b2에 도시된 바와 같이 가요성 외부 막(152)을 밀고 도 3b1에서와 같이 막(152)을 릴리즈하도록 제어되어 저장소(156) 내의 물의 부피가 액체 렌즈(158) 안 또는 밖으로 가게 하고, 그에 의해 액체 부피의 변화에 기인하여 탄성막(150)을 볼록하게 하거나 탄성막(150)을 릴리즈한다. 액체의 부피의 변화는 렌즈막(150)의 곡률 반경의 변화를 유발하고 그에 의해 액체 렌즈(158)의 초점 거리의 변화를 유발한다. 곡률 반경과 부피 변화 △V 사이의 관계는 다음과 같이 표현될 수 있다:
Figure 112013040750239-pct00001
여기서, ro은 렌즈 개구의 반경이다.
도 3c는 근안 디스플레이의 마이크로디스플레이 조립체의 일부로서 사용되는 복굴절 렌즈 시스템의 예이다. 복굴절 물질은 이방성이거나 방향적으로 의존적이다. 광을 예시적인 구조로서의 광선으로 설명하면, 복굴절 렌즈는 광을 보통의 광선과 특이한(extraordinary) 광선으로 분리한다(decompose). 이방성의 단일 축 또는 광축에 대해, 상이한 반사 계수, 및 그에 따라 상이한 초점 거리가, 축에 평행한 것과 수직인 것 2개의 편광에 대해 존재할 수 있다. 도 3c의 예에서, 렌즈(122a와 122b)는 화살표에 의해 표시된 바와 같이 상이한 편광으로 복굴절 물질로 만들어진 렌즈이다. 이 2개의 렌즈의 예에서, 4개의 상이한 반사 계수 또는 초점 거리가 선택을 위해 사전결정될 수 있다. 각각의 상이한 초점 거리가 처리 유닛(4)에 의한 선택을 위해 상이한 초점 영역과 연관될 수 있다. 편광 조합은, 도 3c에 도시되는 바와 같이 렌즈(122a와 122b)에 대한 수직 편광, 도 3c에 도시된 것에 반대로 수직인 편광일 수 있는데, 2개의 렌즈는 같은 방향으로 동일한 편광을 갖고, 2개의 렌즈는 편광의 다른 방향으로 동일한 편광을 갖는다. 가변 가상 초점 조정기는 일 실시형태에서 선택된 편광을 가져오도록 각각의 렌즈에 전압을 인가할 수 있다. 다른 실시형태에서, 렌즈의 편광을 변화시키기 위해 물리적 스트레스가 인가될 수 있다.
도 3d는 마이크로디스플레이 조립체의 일부로서 사용하기 위한 삽입가능 렌즈 시스템의 일예이다. 이 실시형태에서, 다수의 렌즈(122) 각각은 외관(137)에 부착된 개별 암(arm)(123)에 부착된다. 각각의 암(123)은 가변 가상 초점 조정기(135)의 제어 하에서 마이크로디스플레이 조립체의 광 경로(133)에서의 변위 위치에서 그의 하나 이상의 광 요소(122), 예를 들어 렌즈 또는 렌즈 시스템(122)을 움직인다. 예를 들어, 프리셋(preset) 초점 영역에 대해 사전결정된 변위가 사용되는 경우, 각각의 렌즈(122)는 그 이웃으로부터 특정 거리, 예를 들어 0.1 밀리미터(mm) 떨어지도록 설정될 수 있다. 비균일적 이격(spacing) 및 조정가능 변위도 사용될 수 있다.
렌즈의 초점 거리를 조정하는 상기 예의 각각에서, 광 경로(133)를 따르는 변위도 수행될 수 있다.
다시 위에서 언급한 바와 같이, 마이크로디스플레이 조립체의 각각은 그의 각각의 눈의 시점에 대해 처리를 수행하므로 가상 이미지는 사용자 초점 영역, 예를 들어, 사람에 있어 단일 비전 영역인 패넘 융합 영역에서 나타난다.
도 4는 헤드 마운티드 디스플레이 장치(2)의 다양한 컴포넌트를 도시하는 블록도이다. 도 5는 처리 유닛(4)의 다양한 컴포넌트를 설명하는 블록도이다. 그 컴포넌트가 도 4에 도시된 헤드 마운티드 디스플레이 장치(2)는 실제 세계의 사용자 뷰와 초점이 맞는 가상 이미지를 제공하는데 사용된다. 또한, 도 4의 헤드 마운티드 디스플레이 장치 컴포넌트는 다양한 조건을 추적하는 많은 센서를 포함한다. 헤드 마운티드 디스플레이 장치는 처리 유닛(4)으로부터 가상 이미지에 대한 명령을 수신할 것이고, 처리 유닛(4)에 다시 센서 정보를 제공할 것이다. 그 컴포넌트가 도 5에 도시된 처리 유닛(4)은 헤드 마운티드 디스플레이 장치(2) 및 허브 컴퓨팅 장치(12)(도 1 참조)로부터 센서 정보를 수신할 것이다. 그 정보에 기초하여, 처리 유닛(4)은 어디에 그리고 언제 사용자에게 초점이 맞은 가상 이미지를 제공하고 도 4의 헤드 마운티드 디스플레이 장치로 그에 따라 명령을 전송할지를 결정할 것이다.
도 4의 컴포넌트 중 일부(예를 들어, 물리적 환경 대면 카메라(113), 눈 추적 카메라(134B), 가변 가상 초점 조정기(135), 마이크로디스플레이(120), 불투명 필터(114), 눈 추적 조명(134A), 이어폰(130) 및 온도 센서(138))는, 각각의 그들 장치가 하나는 헤드 마운티드 디스플레이 장치(2)의 왼쪽과 오른쪽에 2개 존재함을 나타내기 위해, 음영으로 도시됨을 유의하라. 도 4는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예를 들어, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플래이 포매터(formatter)(222), 타이밍 발생기(226), 디스플레이 출력 인터페이스(228), 및 디스플레이 입력 인터페이스(230)를 포함한다. 일 실시형태에서, 제어 회로(200)의 모든 컴포넌트가 전용 라인 또는 하나 이상의 버스를 통해 서로 통신한다. 다른 실시형태에서, 제어 회로(200)의 프로세서 각각은 프로세서(210)와 통신한다. 카메라 인터페이스(216)는 2개의 물리적 환경 대면 카메라(113)에 인터페이스를 제공하고 물리적 환경 대면 카메라로부터 수신된 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포매터(222)는 마이크로디스플레이(120) 상에 표시되고 있는 가상 이미지에 대한 정보를 불투명 제어 회로(224)에 제공하는데, 이는 불투명 필터(114)를 제어한다. 타이밍 발생기(226)는 시스템을 위한 타이밍 데이터를 제공하는데 사용된다. 디스플레이 출력(228)은 물리적 환경 대면 카메라(113)로부터 처리 유닛(4)으로 이미지를 제공하기 위한 버퍼이다. 디스플레이 입력(230)은 마이크로디스플레이(120) 상에 표시될 가상 이미지와 같은 이미지를 수신하는 버퍼이다. 디스플레이 출력(228)과 디스플레이 입력(230)은 처리 유닛(4)으로의 인터페이스인 대역(band) 인터페이스(232)와 통신한다.
전력 관리 회로(202)는 전압 조정기(regulator)(234), 눈 추적 조명 드라이버(236), 가변 조정기 드라이버(237), 오디오 DAC 및 앰프(238), 마이크로폰 프리앰프 및 오디오 ADC(240), 온도 센서 인터페이스(242) 및 클록 발생기를 포함한다. 전압 조정기(234)는 대역 인터페이스(232)를 통해 처리 유닛(4)으로부터 전력을 수신하고 그 전력을 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트에 제공한다. 눈 추적 조명 드라이버(236)는 상술한 바와 같이 눈 추적 조명(134A)에 대한 IR 광원을 제공한다. 가변 조정기 드라이버(237)는 제어 신호, 예를 들어, 구동 전류 또는 구동 전압을 조정기(135)에 제공하여 처리 유닛(4) 또는 허브 컴퓨터(12) 또는 앙자 모두에서 실행되는 소프트웨어에 의해 계산되는 초점 영역에 대한 변위를 달성하기 위해 마이크로디스플레이 조립체의 하나 이상의 요소를 움직인다. 변위의 범위를 스윕하고 그에 따라 초점 영역의 범위를 스윕하는 실시형태에서, 가변 조정기 드라이버(237)는 타이밍 발생기(226)로부터, 또는 다르게는, 클록 발생기(244)로부터 타이밍 신호를 수신하여 프로그램된 레이트 또는 빈도로 동작한다. 오디오 DAC와 앰프(238)는 이어폰(130)으로부터 오디오 정보를 수신한다. 마이크로폰 프리앰프와 오디오 ADC(240)는 마이크로폰을 위한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)를 위한 인터페이스이다. 전력 관리 유닛(202)은 또한 전력을 제공하고 3축 자기미터(132A), 3축 자이로(132B) 및 3축 가속도계(132C)로부터 다시 데이터를 받는다.
도 5는 처리 유닛(4)의 다양한 컴포넌트를 설명하는 블록도이다. 도 5는 전력 관리 회로(306)과 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 유닛(320), 그래픽 처리 유닛(322), 캐시(324), RAM(326), 메모리(330)(예를 들어, D-RAM)와 통신하는 메모리 제어(328), 플래시 메모리(334) (또는 기타 비휘발성 저장소)와 통신하는 플래시 메모리 제어기(332), 헤드 마운티드 디스플레이 장치(2)와 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 통신하는 디스플레이 출력 버퍼(336), 헤드 마운티드 디스플레이 장치(2)와 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 통신하는 디스플레이 입력 버퍼(338), 마이크로폰에 접속하기 위한 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 장치(346)로 접속하기 위한 PCI 고속(express) 인터페이스 및 USB 포트(들)(348)을 포함한다. 일 실시형태에서, 무선 통신 컴포넌트(346)는 Wi-Fi 가능한 통신 장치, 블루투스 통신 장치, 적외선 통신 장치 등을 포함할 수 있다. USB 포트는 처리 유닛(4)을 충전할 뿐만 아니라 처리 유닛(4)에 데이터나 소프트웨어를 로딩하기 위해 허브 컴퓨팅 장치(12)로 처리 유닛(4)을 도킹하기 위해 사용될 수 있다. 일 실시형태에서, CPU(320)와 GPU(322)는 사용자의 뷰에 가상 이미지를 어디에, 언제 그리고 어떻게 삽입할지를 결정하기 위한 주요 일꾼(workhorse)이다. 상세사항은 아래에 제공된다.
전력 관리 회로(306)는 클록 발생기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 헤드 마운티드 디스플레이 전원(376) 및 (처리 유닛(4)의 손목 밴드에 위치된) 온도 센서(374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류 전류-직류 전류 변환기(362)가 AC 전원을 수신하고 시스템을 위한 DC 전원을 생성하기 위해 충전 잭(370)에 접속된다. 전압 조정기(366)는 시스템에 전원을 공급하기 위해 배터리(368)와 통신한다. 배터리 충전(364)는 충전 잭(370)으로부터 전력을 수신하면 (전압 조정기(366))를 통해 배터리(368)를 충전하는데 사용된다. HMD 전력 인터페이스(376)는 헤드 마운티드 디스플레이 장치(2)에 전력을 제공한다.
상술한 시스템은 사용자의 시야에 가상 이미지를 삽입하도록 구성될 것이어서 가상 이미지가 사용자에게 자연스럽게 초점이 맞거나 안 맞는 것으로 나타난다. 다양한 실시형태에서, 가상 이미지는 이미지가 삽입되는 환경에 기초하여 적당한 방향, 크기 및 모양에 맞도록 조정될 것이다. 일 실시형태에서, 헤드 마운티드 디스플레이 장치(2), 처리 유닛(4) 및 허브 컴퓨팅 장치(12)는 함께 동작하는데 이는 각각의 장치가 가상 이미지를 어디에, 언제, 어떻게 삽입할지를 결정하기 위한 데이터를 획득하는데 사용되는 센서의 부분집합을 포함하기 때문이다. 일 실시형태에서, 가상 이미지를 어디에, 어떻게 언제 삽입할지를 결정하는 계산은 허브 컴퓨팅 장치(12)에 의해 수행된다. 다른 실시형태에서, 이들 계산은 처리 유닛(4)에 의해 수행된다. 다른 실시형태에서 계산의 일부는 허브 컴퓨팅 장치(12)에 의해 수행되는 반면 다른 계산은 처리 유닛(4)에 의해 수행된다. 다른 실시형태에서, 계산은 헤드 마운티드 디스플레이 장치(2)에 의해 수행될 수 있다.
일 예시적 실시형태에서, 허브 컴퓨팅 장치(12)는 사용자가 있는 환경의 모델을 생성하고 그 환경 내의 다양한 움직이는 객체를 추적할 것이다. 또한, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)의 위치와 방향을 추적함으로써 헤드 마운티드 디스플레이 장치(2)의 시야를 추적한다. 모델 및 추적 정보는 허브 컴퓨팅 장치(12)로부터 처리 유닛(4)에 제공된다. 헤드 마운티드 디스플레이 장치(2)에 의해 획득된 센서 정보는 처리 유닛(4)으로 전송된다. 처리 유닛(4)은 그 후 헤드 마운티드 디스플레이 장치(2)로부터 수신하는 추가의 센서 정보를 이용하여 사용자의 시야를 교정하고 가상 이미지를 어떻게, 어디에 그리고 언제 삽입할지에 대한 명령을 헤드 마운티드 디스플레이 장치(2)에 제공한다.
도 6은 캡처 장치와 함께 허브 컴퓨팅 시스템(12)의 예시적인 실시형태를 도시한다. 일 실시형태에서, 캡처 장치(20A와 20B)는 동일한 구조이고, 따라서, 도 6은 캡처 장치(20A)만 도시한다.
예시적인 실시형태에 따르면, 캡처 장치(20A)는, 예를 들어 비행시간(time-of-flight), 구조화된 광, 스테레오 이미지 등을 포함하는 여하한 적당한 기술을 통해 깊이 값을 포함할 수 있는 깊이 이미지를 포함하는 깊이 정보로 비디오를 캡처하도록 구성될 수 있다. 일 실시형태에 따르면, 캡처 장치(20A)는 깊이 정보를, 깊이 카메라의 시선을 따라 깊이 카메라로부터 연장하는 Z 축에 수직일 수 있는 "Z 레이어" 또는 레이어들로 조직할 수 있다.
도 6에 도시된 바와 같이, 캡처 장치(20A)는 카메라 컴포넌트(423)를 포함할 수 있다. 예시적인 실시형태에 따르면, 카메라 컴포넌트(423)는 장면의 깊이 이미지를 캡처할 수 있는 깊이 카메라이거나 이를 포함할 수 있다. 깊이 이미지는, 캡처된 장면의 2차원(2-D) 픽셀 영역을 포함할 수 있는데, 여기서 2-D 픽셀 영역 내 각 픽셀이, 예를 들어, 센티미터, 밀리미터 등으로 카메라로부터 캡처된 장면 내 객체의 거리와 같은 깊이 값을 나타낼 수 있다.
카메라 컴포넌트(23)는 장면의 깊이 이미지를 포착하는데 사용될 수 있는 RGB(시각 이미지) 카메라(428), 적외선(IR) 광 컴포넌트(425) 및 3차원(3-D) 카메라(426)를 포함할 수 있다. 예를 들어, 비행시간 분석에서, 캡처 장치(20A)의 IR 광 컴포넌트(425)는 장면으로 적외선 광을 발산할 수 있고 그 후 예를 들어 3-D 카메라(426) 및/또는 RGB 카메라(428)를 이용하여 장면 내 하나 이상의 타겟과 객체의 표면으로부터 후면산란된(backscattered) 광을 검출하기 위해 센서(일부 실시형태에서, 미도시된 센서를 포함)를 사용할 수 있다. 일부 실시형태에서, 인출 광 펄스와 대응하는 인입 광 펄스 사이의 시간이 측정되고 장면 내 타겟이나 객체 상의 특정 위치까지의 캡처 장치(20A)로부터의 물리적 거리를 결정하기 위해 사용될 수 있도록 펄스 적외선 광이 사용될 수 있다. 또한, 다른 예시적 실시형태에서, 위상 이동(phase shift)를 결정하기 위해 인출 광파의 위상이 인입 광파의 위상과 비교될 수 있다. 그러면 위상 이동은 캡처 장치로부터 타겟이나 객체 상의 특정 위치까지의 물리적 거리를 결정하기 위해 사용될 수 있다.
다른 예시적인 실시형태에 따르면, 예를 들어, 셔터 광 펄스 이미징(shutteredd light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 걸쳐 반사 광 빔의 강도를 분석함으로써 캡처 장치(20A)로부터 타겟이나 객체 상의 특정위치까지의 물리적 거리를 간접적으로 결정하기 위해 비행시간 분석이 사용될 수 있다.
다른 예시적인 실시형태에서, 캡처 장치(20A)는 깊이 정보를 캡처하기 위해 구조화된 광을 사용할 수 있다. 이러한 분석에서, 패터닝된 광(즉, 격자 패턴, 띠 패턴 또는 다른 패턴과 같은 알려진 패턴으로 표시된 광)이, 예를 들어, IR 광 컴포넌트(424)를 통해 장면에 투사될 수 있다. 장면 내의 하나 이상의 타겟이나 객체의 표면에 부딪히면, 패턴은 응답으로 변형(deformed)될 수 있다. 이러한 패턴의 변형은, 예를 들어, 3-D 카메라(426) 및/또는 RGB 카메라(428) (및/또는 다른 센서)에 의해 캡처될 수 있고, 그 후 캡처 장치로부터 타겟이나 객체의 특정 위치까지의 물리적 거리를 결정하기 위해 분석될 수 있다. 일부 구현에서, IR 광 컴포넌트(425)는 카메라(425와 426)로부터 변위되어서 카메라(425와 426)으로부터의 거리를 결정하기 위해 삼각법이 이용될 수 있다. 일부 구현에서, 캡처 장치(20A)는 IR 광을 감지하기 위한 전용 IR 센서나 IR 필터를 갖는 센서를 포함할 것이다.
다른 실시형태에 따르면, 캡처 장치(20A)는, 깊이 정보를 생성하기 위해 분석될 수 있는 시각 스테레오 데이터를 얻기 위해 상이한 각도에서 장면을 바라볼 수 있는 2 이상의 물리적으로 분리된 카메라를 포함할 수 있다. 다른 유형의 깊이 이미지 센서도 깊이 이미지를 생성하기 위해 사용될 수 있다.
캡처 장치(20A)는 마이크로폰(430)을 더 포함할 수 있는데, 이는 소리를 수신하고 이를 전기 신호를 변환할 수 있는 트랜스듀서나 센서를 포함한다. 마이크로폰(430)은 허브 컴퓨팅 시스템(12)에 의해 제공될 수도 있는 오디오 신호를 수신하는데 사용될 수 있다.
예시적 실시형태에서, 캡처 장치(20A)는 이미지 카메라 컴포넌트(423)와 통신할 수 있는 프로세서(432)를 더 포함할 수 있다. 프로세서(432)는, 예를 들어, 깊이 이미지를 수신하고, 적당한 데이터 포맷(예를 들어, 프레임)을 생성하고 허브 컴퓨팅 시스템(12)으로 데이터를 전송하기 위한 명령을 포함하는 명령을 실행할 수 있는 표준화된 프로세서, 특화된 프로세서, 마이크로프로세서 등을 포함할 수 있다.
캡처 장치(20A)는 프로세서(432)에 의해 실행되는 명령, 3-D 카메라 및/또는 RGB 카메라에 의해 캡처된 이미지 또는 이미지의 프레임, 또는 여하한 기타 적당한 정보, 이미지 등을 저장할 수 있는 메모리(434)를 더 포함할 수 있다. 예시적인 실시형태에 따르면, 메모리(434)는 RAM(random access memory), ROM(read only memeory), 캐시, 플래시 메모리, 하드 디스크 또는 기타 적당한 저장 컴포넌트를 포함할 수 있다. 도 6에 도시된 바와 같이, 일 실시형태에서, 메모리(434)는 이미지 캡처 컴포넌트(423) 및 프로세서(432)와 통신하는 별도의 컴포넌트일 수 있다. 다른 실시형태에 따르면, 메모리(434)는 프로세서(432) 및/또는 이미지 캡처 컴포넌트(423)로 통합될 수 있다.
캡처 장치(20A와 20B)는 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)과 통신한다. 통신 링크(436)는, 예를 들어, USB 접속, 파이어와이어(Firewire) 접속, 이더넷 케이블 접속 등을 포함하는 유선 접속 및/또는 무선 802.1 1 b, g, a, 또는 n 접속과 같은 무선 접속일 수 있다. 일 실시형태에 따르면, 허브 컴퓨팅 시스템(12)은 통신 링크(436)를 통해 예를 들어 장면을 언제 캡처할지를 결정하는데 사용될 수 있는 캡처 장치(20A)에 클록을 제공할 수 있다. 또한, 캡처 장치(20A)는 예를 들어 3-D 카메라(426) 및/또는 RGB 카메라(428)에 의해 캡처된 시각(예를 들어, RGB) 이미지와 깊이 정보를 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)으로 제공한다. 일 실시형태에서, 깊이 이미지와 시각 이미지는 초당 30프레임으로 전송된다; 그러나, 다른 프레임 레이트가 사용될 수 있다. 허브 컴퓨팅 시스템(12)은 그 후, 예를 들어, 게임 또는 워드 프로세서와 같은 애플리케이션을 제어하거나 및/또는 아바타나 스크린상의 캐릭터를 동작시키기 위해 모델, 깊이 정보 및 캡처된 이미지를 생성 및 사용할 수 있다.
허브 컴퓨팅 시스템(12)은 깊이 이미지 처리 및 골격(skeletal) 추적 모듈(450)을 포함하는데, 이는 캡처 장치(20A)의 깊이 카메라 기능에 의해 검출가능한 하나 이상의 사람을 추적하기 위해 깊이 이미지를 이용한다. 깊이 이미지 처리 및 골격 추적 모듈(450)은 애플리케이션(452)에 추적 정보를 제공하는데, 애플리케이션은 비디오 게임, 생산성 애플리케이션, 통신 애플리케이션 또는 기타 소프트웨어 애플리케이션 등일 수 있다. 오디오 데이터 및 시각 이미지 데이터도 애플리케이션(452)과 깊이 이미지 처리 및 골격 추적 모듈(450)로 제공된다. 애플리케이션(452)은 추적 정보, 오디오 데이터 및 시각 이미지 데이터를 인식기(recognizer) 엔진(454)에 제공한다. 다른 실시형태에서, 인식기 엔진(454)은 깊이 이미지 처리 및 골격 추적 모듈(450)로부터 직접 추적 정보를 수신하고 캡처 장치(20A와 20B)로부터 직접 오디오 데이터와 시각 이미지 데이터를 수신한다.
인식기 엔진(454)은 캡처 장치(20A와 20B)에 의해 검출가능한 여하한 사람이나 객체에 의해 수행될 수 있는 제스처, 동작 또는 조건에 관한 정보를 각각 포함하는 필터(460, 462, 464, 466)의 집합과 연관된다. 예를 들어, 캡처 장치(20A)로부터의 데이터는 필터(460, 462, 464, 466)에 의해 처리되어 사용자 또는 사용자 그룹이 하나 이상의 제스처나 기타 동작을 수행한 때를 식별할 수 있다. 그들 제스처는 애플리케이션의 다양한 제어, 객체 또는 조건과 연관될 수 있다. 그러므로, 객체(사람 포함)의 움직임을 해석 및 추적하기 위해 허브 컴퓨팅 시스템(12)은 필터와 함께 인식기 엔진(454)을 이용할 수 있다.
캡처 장치(20A와 20B)는 RGB 이미지(또는 다른 포맷이나 색 공간의 시각 이미지)와 깊이 이미지를 허브 컴퓨팅 시스템(12)에 제공한다. 깊이 이미지는 복수의 관찰된 픽셀일 수 있는데, 여기서 각각의 관찰된 픽셀이 관찰된 깊이 값을 갖는다. 예를 들어, 깊이 이미지는 캡처된 장면의 2차원(2-D) 픽셀 영역을 포함할 수 있는데, 여기서 2-D 픽셀 영역 내 각각의 픽셀은 캡처 장치로부터 캡처된 장면 내 객체의 거리와 같은 깊이 값을 가질 수 있다. 허브 컴퓨팅 시스템(12)은 사용자나 객체의 움직임을 추적하기 위해 RGB 이미지와 깊이 이미지를 사용할 것이다. 예를 들어, 시스템은 깊이 이미지를 이용하여 사람의 골격을 추적할 것이다. 깊이 이미지를 이용하여 사람의 골격을 추적하는데 사용될 수 있는 많은 방법이 있다. 깊이 이미지를 이용하여 골격을 추적하는 한 가지 적당한 예는, 그 전체가 여기에 참조로 포함되는, Craig 등의 2009.10.21. 출원된 미국 특허 출원 12/603,437 "Pose Tracking Pipeline"(이하, '437 출원)에 제공된다. '437 출원의 프로세스는 깊이 이미지를 획득하는 것, 데이터를 다운 샘플링 하는 것, 고분산 잡음 있는(noisy) 데이터를 제거 및/또는 평활화(smmothing)하는 것, 배경을 식별 및 제거하는 것, 그리고 전경(foreground) 픽셀의 각각을 몸의 상이한 부분에 할당하는 것을 포함한다. 이들 단계에 기초하여, 시스템은 모델을 데이터에 맞추고 골격을 생성할 것이다. 골격은 관절의 세트와 관절 사이의 접속을 포함할 것이다. 다른 추적 방법도 사용될 수 있다. 적당한 추적 기술은 다음의 4개의 미국 특허 출원에도 개시되는데, 이들 모두는 그 전체가 여기에 참조로 포함된다:
2009.5.29. 출원 미국 특허 출원 12/475,308 "Device for Identifying and Tracking Multiple Humans Over Time,"; 2010.1.29. 출원 미국 특허 출원 12/696,282 "Visual Based Identity Tracking,"; 2009.12.18. 출원 미국 특허 출원 12/641,788 "Motion Detection Using Depth Images,"; 및 2009.10.7. 출원 미국 특허 출원 12/575,388 "Human Tracking System."
인식기 엔진(454)은 제스처나 동작을 결정하기 위해 다수의 필터(460, 462, 464, 466)를 포함한다. 필터는 제스처, 동작 또는 조건을 정의하는 정보와 함께 그 제스처, 동작 또는 조건에 대한 파라미터나 메타데이터를 포함한다. 예를 들어, 한 손이 몸의 뒤쪽에서 몸의 앞으로 지나가는 동작을 포함하는 던지기는, 그 움직임이 깊이 카메라에 의해 캡처되는 바와 같이, 사용자의 한 손이 몸의 뒤쪽에서 몸의 앞으로 지나가는 움직임을 나타내는 정보를 포함하는 제스처로 구현될 수 있다. 그러면, 그 제스처에 대해 파라미터가 설정될 수 있다. 제스처가 던지기이면, 파라미터는 손이 도달하여야 하는 문턱 속도, 손이 이동하는 거리(절대 거리 또는 전체로서 사용자의 크기에 대한 것) 및 제스처가 발생하였다는 인식기 엔진에 의한 신뢰도 레이팅일 수 있다. 제스처에 대한 이들 파라미터는 애플리케이션 사이에서, 단일 애플리케이션의 맥락 사이에서, 또는 하나의 애플리케이션의 하나의 맥락에서 시간에 걸쳐 변할 수 있다.
필더는 모듈러(modular) 또는 상호교체가능한(interchangeable) 것일 수 있다. 일 실시형태에서, 필터는 다수의 입력(이들 입력 각각은 유형을 가짐) 및 다수의 출력(이들 출력 각각은 유형을 가짐)을 갖는다. 제1 필터는, 인식기 엔진 아키텍처의 여하한 다른 측면을 변경함이 없이 제1 필터와 동일한 개수와 유형의 입력과 출력을 갖는 제2 필터로 대체될 수 있다. 예를 들어, 입력으로서 골격 데이터를 취하고 필터와 연관된 제스처가 일어나고 있다는 신뢰도와 스티어링 각도를 출력하는, 구동을 위한 제1 필터가 있을 수 있다. 이 제1 구동 필터를 제2 구동 필터로 대체하고 싶은 경우- 아마 제2 구동 필터가 더 효율적이고 더 적은 처리 자원을 요구하기 때문일 것이다-, 제2 필터가 그들 동일한 입력과 출력-골격 데이터 유형의 하나의 입력과, 신뢰도 유형과 각도 유형의 2개의 출력-을 갖는 이상 제2 필터로 제1 필터를 단순히 대체하여 그렇게 할 수 있다.
필터는 파라미터를 가질 필요는 없다. 예를 들어, 사용자의 키를 반환하는 "사용자 키" 필터는 조정될 수 있는 여하한 파리미터도 허용하지 않을 수 있다. 다른 "사용자 키" 필터는 조정 가능한 파라미터-사용자의 키를 결정하는데 사용자의 신발, 머리모양, 머리 의상 및 자세를 고려할지 여부에 관한 것 등-를 가질 수 있다.
필터로의 입력은 사용자의 관절 위치에 관한 관절 데이터, 관절에서 만나는 뼈에 의해 형성된 각도, 장면으로부터의 RGB 색 데이터, 및 사용자의 방향의 변화율과 같은 것을 포함할 수 있다. 필터로부터의 출력은 주어진 제스처가 이루어지고 있다는 신뢰도, 제스저 움직임이 이루어지는 속도, 및 제스처 움직임이 이루어지는 시간과 같은 것을 포함할 수 있다.
인식기 엔진(454)은 필터에 기능성을 제공하는 기본 인식기 엔진을 가질 수 있다. 일 실시형태에서, 인식기 엔진(454)이 구현하는 기능성은 인식된 제스처와 기타 입력을 추적하는 인풋-오버-타임(input-over-time) 아카이브, 히든 마르코프 모델(Hidden Markov Model) 구현(여기서 모델링된 시스템은 미지의 파라미터를 갖는 마르코프 프로세스-현재 상태가 미래 상태를 결정하기 위해 필요한 여하한 과거 상태 정보를 포함(encapsulate)하여, 이 목적을 위해서는 다른 과거 상태 정보가 유지될 필요가 없는 것-라고 가정되고 숨겨진 파라미터들은 관측가능한 데이터로부터 결정됨) 뿐만 아니라 기타 제스처 인식의 특정 인스턴스를 해결하기 위한 다른 기능성을 포함한다.
필터(460, 462, 464, 466)는 인식기 엔진(454)의 위에서 로딩되고 구현되며, 모든 필터(460, 462, 464, 466)로 인식기 엔진(454)에 의해 제공되는 서비스를 이용할 수 있다. 일 실시형태에서, 인식기 엔진(454)은 여하한 필터(460, 462, 464, 466)의 요건을 만족하는지 여부를 판단하기 위해 데이터를 수신한다. 입력을 파싱하는 것과 같은 이들 제공된 서비스는 각각의 필터(460, 462, 464, 466)가 아니라 인식기 엔진(454)에 의해 한번 제공되므로, 이러한 서비스는 소정 시간 기간에 대해 필터당 한번이 아니라 그 기간 내에 한번의 처리만이 필요하고, 그래서 제스처를 결정하는데 사용되는 처리가 감소된다.
애플리케이션(452)은 인식기 엔진(454)에게 제공된 필터(460, 462, 464, 466)를 사용할 수 있거나, 인식기 엔진(454)으로 연결되는 그 자신의 필터를 제공할 수 있다. 일 실시형태에서, 모든 필터는 이 플러그인 특성을 가능하게 하기 위한 공통 인터페이스를 갖는다. 또한, 모든 필터는 파라미터를 이용할 수 있어서, 전체 필터 시스템을 디버깅하고 조정하는데 아래의 단일한 제스처 도구가 이용될 수 있다.
인식기 엔진(454)에 대한 추가의 정보는 그 전체가 여기에 참조로 포함되는 2009.4.13 출원된 미국 특허 출원 12/422,661 "Gesture Recognizer System Architecture"에서 찾을 수 있다. 제스처 인식에 대한 추가의 정보는 2009.2.23. 출원 미국 특허 출원 12/391,150 "Standard Gestures," 및 2009.5.29. 출원 미국 특허 출원 12/474,655 "Gesture Tool"에서 찾아볼 수 있는데, 이들 모두는 그 전체가 여기에 참조로 포함된다.
도 7은 허브 컴퓨팅 시스템(12)을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 예시적인 실시형태를 도시한다. 도 7에 도시된 바와 같이, 멀티미디어 콘솔(500)은 레벨 1 캐시(502), 레벨 2 캐시(504) 및 플래시 ROM(Read Only Memory)(506)을 갖는 중앙 처리 유닛(CPU)(501)를 갖는다. 레벨 1 캐시(502)와 레벨 2 캐시(504)는 일시적으로 데이터를 저장하고 그에 따라 메모리 액세스 사이클의 수를 감소시켜, 그에 의해 처리 속도와 스루풋을 개선한다. 하나 보다 많은 코어를 갖는, 따라서, 추가의 레벨 1 및 레벨 2 캐시(502와 504)를 갖는 CPU(501)가 제공될 수 있다. 플래시 ROM(506)은 멀티미디어 콘솔(500)의 전원이 켜질 때 부팅 프로세스의 초기 페이즈 동안 로딩되는 실행가능 코드를 저장할 수 있다.
그래픽 처리 유닛(GPU)(508) 및 비디오 인코더/비디오 코덱(코더/디코더)(514)는 고속 및 고 해상도 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 버스를 통해 그래픽 처리 유닛(508)으로부터 비디오 인코더/비디오 코덱(514)으로 운반된다. 비디오 처리 파이프라인은 텔레비전이나 다른 디스플레이로의 송신을 위해 데이터를 A/V(오디오/비디오) 포트(540)로 출력한다. 메모리 제어기(510)는 RAM(Random Access Memory)과 같은, 그러나 이에 제한되지 않는 다양한 유형의 메모리(512)로의 프로세서 액세스를 용이하게 하기 위해 GPU(508)에 접속된다.
멀티미디어 콘솔(500)은, 바람직하게는 모듈(518) 상에서 구현되는, I/O 제어기(520), 시스템 관리 제어기(522), 오디오 처리 유닛(523), 네트워크 인터페이스 제어기(524), 제1 USB 호스트 제어기(526), 제2 USB 제어기(528) 및 전면 패널 I/O 서브어셈블리(530)를 포함한다. USB 제어기(526과 528)는 주변 제어기((542(1)-542(2))), 무선 어댑터(548) 및 외부 메모리 장치(546)(예를 들어, 플래시 메모리, 외부 CD/DVD ROM 드라이버, 제거가능(removable) 매체 등)을 위한 호스트로서 기능한다. 네트워크 인터페이스(524) 및/또는 무선 어댑터(548)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)로의 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 다양한 유선이나 무선 어댑터 컴포넌트의 광범위한 것 중 여하한 것일 수 있다.
시스템 메모리(543)는 부팅 프로세스 동안 로딩되는 애플리케이션 데이터를 저장하기 위해 제공된다. 미디어 드라이브(544)가 제공되고, DVD/CD 드라이브, 블루-레이 드라이브, 하드 디스크 드라이브 또는 기타 제거가능 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(144)는 멀티미디어 콘솔(500)의 내부 또는 외부에 있을 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(500)에 의한 실행, 재생 등을 위해 미디어 드라이브(544)를 통해 액세스될 수 있다. 미디어 드라이브(544)는 직렬 ATA 버스 또는 기타 고속 접속(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(520)에 접속된다.
시스템 관리 제어기(522)는 멀티미디어 콘솔(500)의 가용성을 확보하는 것과 관련된 다양한 서비스 기능을 제공한다. 오디오 처리 유닛(523)과 오디오 코덱(532)은 고충실도(high fidelity) 및 스테레오 처리를 갖는 대응하는 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 오디오 처리 유닛(523)과 오디오 코덱(532) 사이에서 통신 링크를 통해 운반된다. 오디오 처리 파이프라인은 오디오 기능을 갖는 외부 오디오 사용자나 장치에 의한 재생을 위해 A/V 포트(540)로 데이터를 출력한다.
전면 패널 I/O 서브어셈블리(530)는 전원 버튼(550)과 꺼냄 버튼(552) 뿐만 아니라 여하한 LED(발광 다이오드)나 기타 멀티미디어 콘솔(500)의 외면에 노출된 표시자의 기능을 지원한다. 시스템 전원 모듈(536)은 멀티미디어 콘솔(500)의 컴포넌트에 전원을 제공한다. 팬(538)은 멀티미디어 콘솔(500) 내의 회로를 냉각한다.
CPU(501), GPU(508), 메모리 제어기(510) 및 다양한 기타 멀티미디어 콘솔(500) 내의 컴포넌트는, 다양한 버스 아키텍처 중 여하한 것을 이용하는 직렬 및 병렬 버스, 메모리 버스, 주변 버스, 및 프로세서나 로컬 버스를 포함하는 하나 이상의 버스를 통해 상호접속된다. 예로서, 이러한 아키텍처는 PCI(Peripheral Component Interconnects) 버스, PCI-Express 버스 등을 포함할 수 있다.
멀티미디어 콘솔(500)의 전원이 켜지는 때에, 애플리케이션 데이터는 시스템 메모리(543)로부터 메모리(512) 및/또는 캐시(502, 504)로 로딩되고 CPI(501) 상에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(500) 상에서 사용가능한 상이한 미디어 유형을 탐색하는 때에 일관적인 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 동작에 있어, 애플리케이션 및/또는 미디어 드라이브(544)에 포함된 미디어는 멀티미디어 콘솔(500)에 추가의 기능성을 제공하기 위해 미디어 드라이브(544)로부터 론칭 또는 재생될 수 있다.
멀티미디어 콘솔(500)은 단순히 시스템을 텔레비전이나 기타 디스플레이에 접속함으로써 독립 시스템으로 동작될 수 있다. 이 독립 모드에서, 멀티미디어 콘솔(500)은 하나 이상의 사용자가 시스템과 상호작용하거나, 영화를 보거나, 음악을 들을 수 있게 한다. 그러나, 네트워크 인터페이스(524)나 무선 어댑터(548)을 통해 사용가능하게 된 브로드밴드 접속의 통합으로, 멀티미디어 콘솔(500)은 더 큰 네트워크 커뮤니티의 참가자로서 더 동작될 수 있다. 또한, 멀티미디어 콘솔(500)은 무선 어댑터(548)를 통해 처리 유닛과 통신할 수 있다.
멀티미디어 콘솔(500)의 전원이 켜지는 때에, 하드웨어 자원의 설정된 양은 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 유보된다. 이들 자원은 메모리, CPU 및 GPU 사이클, 네트워크 대역폭 등의 유보를 포함할 수 있다. 이들 자원이 시스템 부팅 시간에 유보되기 때문에, 유보된 자원은 애플리케이션의 관점에서는 존재하지 않는다. 특히, 메모리 유보는 바람직하게는 론치 커널, 동시 시스템 애플리케이션 및 드라이버를 포함하도록 충분히 크다. CPU 유보는 바람직하게는 일정하여, 유보된 CPU 사용이 시스템 애플리케이션에 의해 사용되지 않으면 유휴 스레드(thread)가 사용되지 않는 사이클을 소비할 것이다.
GPU 유보에 관련하여, 시스템 애플리케이션에 의해 생성된 가벼운 메시지(예를 들어, 팝업)은 팝업을 오버레이로 렌더링하기 위해 스케줄 코드로의 GPU 인터럽트를 이용하여 표시된다. 오버레이를 위해 필요한 메모리의 양은 오버레이 영역 크기에 의존하고, 오버레이는 바람직하게는 스크린 해상도에 스케일링된다. 완전한 사용자 인터페이스가 동시 시스템 애플리케이션에 의해 사용되는 경우, 애플리케이션 해상도와 독립적인 해상도를 사용하는 것이 바람직하다. 주파수를 변화시키고 TV 재동기화를 유발할 필요가 없도록 이 해상도를 설정하는데 스케일러가 사용될 수 있다.
멀티미디어 콘솔(500)이 부팅되고 시스템 자원이 유보된 후에, 동시 시스템 애플리케이션이 시스템 기능성을 제공하기 위해 실행된다. 시스템 기능성은 상술한 유보된 시스템 자원 내에서 실행되는 시스템 애플리케이션의 세트 내에 포함된다. 운영 체제 커널은 시스템 애플리케이션 스레드인 스레드를 게임 애플리케이션 스레드에 대해 식별한다. 애플리케이션에 일관적인 시스템 자원 뷰를 제공하기 위해 시스템 애플리케이션은 바람직하게는 사전결정된 시간과 인터벌로 CPU(501) 상에서 실행되도록 스케줄된다. 스케줄링은 콘솔에서 실행되는 게임 애플리케이션에 대한 캐시 붕괴(disruption)를 최소화하는 것이다.
동시 시스템 애플리케이션이 오디오를 필요로 하는 경우, 시간 민감성 때문에 오디오 처리가 게임 애플리케이션에 비동기적으로 스케줄된다. 멀티미디어 콘솔 애플리케이션 관리자(후술)는 시스템 애플리케이션이 활성인 때에 게임 애플리케이션 오디오 레벨(예를 들어, 묵음(mute), 약음(attenuate))을 제어한다.
선택적인 입력 장치(예를 들어, 제어기 542(1)) 및 542(2))는 게임 애플리케이션과 시스템 애플리케이션에 의해 공유된다. 입력 장치는 유보된 자원이 아니지고, 각각이 장치의 초점을 갖도록 시스템 애플리케이션과 게임 애플리케이션 사이에서 전환되는 것이다. 애플리케이션 관리자는 바람직하게는 게임 애플리케이션의 지식을 알지 못하고 입력 스트림의 전환을 제어하고 드라이버는 초점 전환에 대한 상태 정보를 유지한다. 캡처 장치(20A와 20B)는 USB 제어기(526)나 기타 인터페이스를 통해 콘솔(500)에 대한 추가의 입력 장치를 정의할 수 있다. 다른 실시형태에서, 허브 컴퓨팅 시스템(12)은 다른 하드웨어 아키텍처를 이용하여 구현될 수 있다. 하나의 하드웨어 아키텍처가 요구되지 않는다.
도 4, 5, 6 및 7에 도시된 예시적 컴퓨터 시스템은 컴퓨터 판독가능 저장 매체의 예를 포함한다. 이러한 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈이나 기타 데이터와 같은 정보의 저장을 위한 여하한 방법이나 기술로 구현되는 휘발성 및 비휘발성, 제거가능 및 비제거가능 매체를 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk)나 기타 광 디스크 저장소, 메모리 스틱이나 카드, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 기타 자기 저장 장치, 또는 희망 정보를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 여하한 기타 매체를 포함하지만 이에 제한되지 않는다. 도면 내 컴퓨터 판독가능 매체의 일부 예는 도 4의 메모리(214), 도 5의 플래시 메모리(334), 메모리(330), RAM(326) 및 캐시(324), 도 6의 메모리(434), ROM(506), 캐시(502, 504), 메모리(512), 시스템 메모리(543), 메모리 유닛(546) 및 미디어 드라이브(544)를 포함한다.
도 1은 하나의 허브 컴퓨팅 장치(12)(허브라고 지칭함)와 통신하는 하나의 헤드 마운티드 디스플레이 장치(2)와 처리 유닛(4)(전체적으로 이동 디스플레이 장치라고 지칭함)를 도시한다. 다른 실시형태에서, 다수의 이동 디스플레이 장치가 단일의 허브와 통신할 수 있다. 이동 디스플레이 장치 각각은 상술한 바와 같이 무선 통신을 이용하여 허브와 통신할 것이다. 이러한 실시형태에서, 모든 이동 디스플레이 장치에게 유용한 많은 정보가 허브에서 계산 및 저장되고 이동 디스플레이 장치 각각으로 전송되는 것이 고려된다. 예를 들어, 허브는 환경의 모델을 생성하고 허브와 통신하는 모든 이동 디스플레이에게 그 모델을 제공한다. 또한, 허브는 이동 디스플레이 장치와 방안의 움직이는 객체의 위치와 방향을 추적하고, 그 후 이동 디스플레이 장치 각각에 그 정보를 전달할 수 있다.
다른 실시형태에서, 사용자에 대해 초점이 맞는 가상 컨텐츠의 초점을 변화시킬 수 있는 다수-사용자 시스템은 다수의 허브를 가질 수 있는데, 각각의 허브는 하나 이상의 이동 디스플레이 장치를 포함한다. 허브는 인터넷(또는 기타 네트워크)를 통해 또는 직접 서로 통신할 수 있다. 예를 들어, 도 8은 허브(560, 562 및 564)를 도시한다. 허브(560)는 허브(562)와 직접 통신한다. 허브(560)는 인터넷을 통해 허브(564)와 통신한다. 허브(560)는 이동 디스플레이 장치(570, 572, ..., 574)와 통신하였다. 허브(562)는 이동 디스플레이 장치(578, 580,..., 582)와 통신한다. 허브(564)는 이동 디스플레이 장치(584, 586,..., 588)와 통신한다. 각각의 이동 디스플레이 장치는 상술한 바와 같이 무선 통신을 통해 그들 각각의 허브와 통신한다. 이들 허브가 공통 환경에 있는 경우, 허브 각각은 환경의 모델의 일부를 제공할 수 있거나, 하나의 허브가 다른 허브를 위한 모델을 생성할 수 있다. 각각의 허브는 움직이는 객체의 부분집합을 추적하고 그 정보를 다른 허브와 공유하는데, 이는 다시 적당한 이동 디스플레이 장치와 정보를 공유할 것이다. 이동 디스플레이 장치를 위한 센서 정보는 그들 각각의 허브에 제공되고 그 후 다른 이동 디스플레이 장치와의 최종 공유를 위해 다른 허브에 공유된다. 그러므로, 허브 사이에 공유되는 정보는 골격 추적, 모델에 대한 정보, 애플리케이션의 다양한 상태 및 기타 추적을 포함할 수 있다. 허브와 그들 각각의 이동 디스플레이 장치 사이에서 통신되는 정보는 움직이는 객체의 추적 정보, 세계 모델에 대한 상태 및 물리 갱신, 지오메트리 및 텍스처 정보, 비디오 및 오디오, 그리고 기타 여기 설명된 동작을 수행하기 위해 사용되는 정보를 포함한다.
도 9는 사용자가 볼 때 가상 객체를 초점이 맞게 표시하기 위한 상술한 컴포넌트에 의해 수행되는 프로세스의 일 실시형태를 설명하는 흐름도이다. 단계 602에서, 시스템이 구성된다. 예를 들어, 애플리케이션(예를 들어, 도 6의 애플리케이션(452))은 특정 가상 이미지(가상 객체를 나타냄)가 지정된 위치에서 장면의 3차원 모델로 삽입되어야 함을 나타내도록 시스템을 구성할 수 있다. 빈 방을 가상 현실로 바꾸기 위해 빈 방이 가상 객체로 채워지는 예를 고려하자. 다른 예에서, 허브 컴퓨팅 시스템(12) 상에서 실행되는 애플리케이션은 특정 가상 이미지(가상 객체를 나타냄)가 비디오 게임이나 기타 프로세스의 일부로서 장면에 삽입되어야 함을 나타낼 것이다.
단계 604에서, 시스템은 헤드 마운티드 디스플레이 장치(2)가 위치되는 공간의 부피(volumetric) 모델을 생성할 것이다. 일 실시형태에서, 예를 들어, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)가 위치되는 환경이나 공간의 3차원 모델을 생성하기 위해 하나 이상의 깊이 카메라로부터의 깊이 이미지를 사용할 것이다. 단계 606에서, 그 모델은 하나 이상의 객체로 분할된다. 예를 들어, 허브 컴퓨팅 장치(12)가 방의 3차원 모델을 생성하면, 그 방은 그 안에 다수의 객체를 가질 확률이 높다. 방에 있을 수 있는 객체의 예는, 사람, 의자, 테이블, 소파(couch) 등을 포함한다. 단계606는 서로 구별되는 객체를 결정하는 단계를 포함한다. 단계 608에서, 시스템은 객체를 식별할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 특정 객체가 테이블이고 다른 객체가 의자임을 식별할 수 있다. 단계 610에서, 시스템은 사용자가 보는 때에 초점이 맞도록 가상 객체를 표시할 것이다. 가상 객체는, 그것이 시스루 렌즈, 예를 들어 116, 118을 통해 실제로 직접 보이는 실제 객체인 것처럼 초점이 맞게 나타난다. 즉, 시스템은 사용자가 헤드 마운티드 디스플레이 장치(2)를 통해 보는 동안 사용자가 보고 있는 초점 깊이에서 사용자의 시야에 가상 이미지를 표시한다. 그러므로, 가상 이미지는 디스플레이를 통해 물리적 환경의 적어도 일부를 실제로 직접 볼 수 있도록 하는 디스플레이 장치 상에 그 실제 세계 위치에서 나타날 것이다. 가상 객체는 정지 객체 또는 움직이는 객체일 수 있다. 단계 612에서, 헤드 마운티드 디스플레이 장치(2)의 사용자는 헤드 마운티드 디스플레이 장치(2)에 표시되고 있는 가상 객체에 기초하여 허브 컴퓨팅 시스템(12) (또는 다른 컴퓨팅 장치)에서 실행되는 애플리케이션과 상호작용할 것이다. 각 단계 604-610는 아래에 더 상세하기 설명될 것이다.
도 10은 공간의 3차원 모델을 생성하기 위한 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 10의 프로세스는 도 9의 단계 604의 일 예시적 구현이다. 단계 640에서, 허브 컴퓨팅 시스템(12)은 헤드 마운티드 디스플레이 장치(2)가 있는 공간의 다수의 시점에 대한 하나 이상의 깊이 이미지를 수신한다. 예를 들어, 허브 컴퓨팅 장치(12)는 다수의 깊이 카메라로부터 깊이 이미지를 획득하거나, 모델이 구축될 공간의 전체 보기를 허용하는 렌즈를 갖는 깊이 카메라를 이용하거나 카메라를 상이한 방향으로 향하게 함으로써 동일한 카메라로부터 다수의 깊이 이미지를 획득할 수 있다. 단계 642에서, 다양한 깊이 이미지로부터의 깊이 데이터는 공통 좌표계에 기초하여 결합된다. 예를 들어, 이 시스템이 깊이 이미지를 다수의 카메라로부터 수신하면, 시스템은 공통 좌표계를 갖도록 2개의 이미지를 상관시킬 것이다(예를 들어, 이미지 정렬). 단계 644에서, 공간의 부피(volumetric) 설명이 깊이 데이터를 이용하여 생성된다. 단계 646에서, 시스템은 방에서 움직이는 사람과 같은 움직이는 객체를 검출 및 추적할 것이다. 사람 추적에 대한 세부사항은 앞에서 설명되었다. 단계 648에서, 공간의 부피 설명이 움직이는 객체의 추적에 기초하여 갱신된다. 단계 646와 648은 움직이는 객체를 고려하여 모델이 계속하여 갱신되도록 시스템의 동작 동안에 계속하여 수행될 수 있다. 다른 실시형태에서, 모델은 정지 객체에 대한 정보만을 포함할 것이고 움직이는 객체는 별도로 추적된다.
도 11은 공간의 모델을 객체로 분할하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 11의 프로세서는 도 9의 단계 606의 일 예시적인 구현이다. 도 11의 단계 680에서, 시스템은 상술한 바와 같이 하나 이상의 깊이 카메라로부터 하나 이상의 깊이 이미지를 수신할 것이다. 다르게는, 시스템은 이미 수신한 하나 이상의 깊이 이미지에 액세스할 수 있다. 단계 682에서, 시스템은 하나 이상의 시각 이미지를 상술한 카메라로부터 수신할 것이다. 다르게는, 시스템은 이미 수신한 하나 이상의 시각 이미지에 액세스할 것이다. 단계 684에서, 허브 컴퓨팅 시스템은 깊이 이미지 및/또는 시각 이미지에 기초하여 하나 이상의 사람을 검출할 것이다. 예를 들어, 시스템은 하나 이상의 골격을 인식할 것이다. 단계 686에서, 허브 컴퓨팅 장치는 깊이 이미지 및/또는 시각 이미지에 기초하여 모델 내의 에지를 검출할 것이다. 단계 688에서, 허브 컴퓨팅 장치는 서로 구별되는 객체를 식별하기 위해 검출된 에지를 이용할 것이다. 예를 들어, 에지는 객체 사이의 경계라고 가정한다. 단계 690에서, 도 10의 프로세스를 이용하여 생성된 모델은 모델의 어떤 부분이 상이한 객체와 연관되는지를 보여주기 위해 갱신될 것이다.
도 12는 객체를 식별하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 12의 프로세스는 도 9의 단계 608의 일 예시적 구현이다. 단계 710에서, 허브 컴퓨팅 장치(12)는 식별된 사람을 사용자 정체(identity)에 매칭할 것이다. 예를 들어, 시스템은 객체의 검출된 이미지에 매칭될 수 있는 시각적 이미지를 갖는 사용자 프로파일을 가질 수 있다. 다르게는, 사용자 프로파일은 깊이 이미지나 시각 이미지에 기초하여 매칭될 수 있는 사람의 특성을 설명할 수 있다. 다른 실시형태에서, 사용자는 시스템에 로그인할 수 있고 허브 컴퓨팅 장치(12)는 특정 사용자를 식별하고 여기에 설명된 상호작용 동안에 그 사용자를 추적하기 위해 로그인 프로세스를 이용할 수 있다. 단계 712에서, 허브 컴퓨팅 장치(12)는 모양의 데이터베이스에 액세스할 것이다. 단계 714에서, 허브 컴퓨팅 장치는 데이터베이스 내 모양에 가능한 많은 모델 내 객체를 매칭할 것이다. 단계 716에서, 매칭되지 않은 모양은 강조되고 (예를 들어, 모니터(16)를 사용하여) 사용자에게 표시될 것이다. 단계 718에서, 허브 컴퓨팅 장치(12)는 강조된 모양 각각 (또는 그 부분집합)을 식별하는 사용자 입력을 수신할 것이다. 예를 들어, 사용자는 식별되지 않은 각각의 모양이 무엇인지 나타내기 위해 키보드, 마우스, 음성(speech) 입력 또는 기타 유형의 입력을 이용할 수 있다. 단계 720에서, 모양의 데이터베이스는 단계 718의 사용자 입력에 기초하여 갱신된다. 단계 722에서, 단계 604에서 생성되고 단계 606에서 갱신된 환경의 모델은 객체 각각에 대한 메타데이터를 부가함으로써 더 갱신된다. 메타데이터는 객체를 식별한다. 예를 들어 메타데이터는 특정 객체가 둥글고 반짝이는 테이블, 사람(John Doe), 녹색 가죽 소파 등임을 나타낼 수 있다.
도 13은 사용자가 시스루 디스플레이를 통해 보는 때에 가상 객체를 초점이 맞는 것으로 표시하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 예를 들어, 도 13의 프로세스는 도 9의 단계 610의 일 예시적 구현이다. 도 13의 단계 950에서, 시스템은 사용자의 시야를 결정한다. 즉, 시스템은 사용자가 환경 또는 공간의 어떤 부분을 보고 있는지를 결정한다. 일 실시형태에서, 이는 허브 컴퓨팅 장치(12), 처리 유닛(4) 및 헤드 마운티드 디스플레이 장치(2)를 이용한 협업이다. 일 예시적 구현에서, 허브 컴퓨팅 장치(12)는 헤드 마운티드 디스플레이 장치(2)의 위치와 방향에 대한 사전 결정을 제공하기 위해 사용자와 헤드 마운티드 디스플레이 장치(2)를 추적한다. 헤드 마운티드 디스플레이 장치(2) 상의 센서가 결정된 방향을 교정하는데 사용될 것이다. 예를 들어, 상술한 관성 센서(34)가 헤드 마운티드 디스플레이 장치(2)의 방향을 교정하는데 사용될 수 있다. 또한, 사용자가 구체적으로 보고 있는 곳, 다르게는 시야 내 사용자 초점 영역 또는 깊이 초점으로 알려진 곳에 대응하는 초기에 결정된 시야의 부분집합을 식별하는데 상술한 눈 추적 프로세스가 사용될 수 있다. 세부 내용은 도 14, 15 및 16에 대해 후술할 것이다.
가상 객체의 유형 및 사용자 시야 내 그 위치는 디폴트 파라미터, 사용자 입력 또는 양자의 결합에 기초하여 애플리케이션(452)에 의해 결정된다. 예를 들어, 사용자는 그가 애플리케이션(452)을 실행하고 있는 방의 커피 테이블의 실제 세계 객체가 바위(boulder)처럼 보이도록 선택하였을 수 있다. 가상 바위의 타겟 위치는 3차원 모델 내 커피 테이블의 위치에 관련될 것이다. 다른 예에서, 가상 돌고래가 방을 헤엄치도록 사용자에 의해 선택될 수 있다. 가상적으로 방 주변의 돌고래의 움직임은 돌고래에 대한 타겟 위치가 각 디스플레이 프레임에서 갱신되는 돌고래 객체의 궤적에 의해 구현될 수 있다. 사용자가 바위를 바라보는 경우에도, 일반적으로 사용자의 초점 영역과 시야의 안팎으로 돌고래가 들어오가 나갈 수 있을 것이다. 사용자가 그 또는 그녀의 눈이나 머리를 움직임에 따라, 사용자 시야와 현재 초점 영역은 이들 움직임으로 또한 갱신되고 있다. 하나 이상의 가상 객체는 여하한 주어진 시간에 사용자 초점 영역과 사용자 시야에 위치될 수 있다.
위의 단계 950에서 시야를 결정한 후에, 시스템은 단계 952에서 사용자의 현재 시야에 가상 객체의 여하한 타겟 위치가 있는지 여부를 결정한다. 허브 컴퓨팅 장치(12)나 처리 유닛(4)과 같은 하나 이상의 컴퓨터 시스템에서 실행되는 소프트웨어는 시야 내 타겟 위치를 식별할 것이다. 일 실시형태에서, 허브 컴퓨팅 장치(12)는 처리 유닛(4)에 모델을 제공할 것이다. 단계 952의 일부로서, 처리 유닛(4)은 사용자의 시야 내에 여하한 가상 객체의 타겟 위치가 존재하는지 여부를 결정하기 위해 환경의 모델과 사용자의 위치 및 방향에 대한 지식을 이용할 것이다.
사용자의 현재 시야 내에 가상 객체가 없으면, 단계 966의 처리는 단계 950에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.
사용자의 시야 내에 타겟 위치를 갖는 적어도 하나의 가상 객체가 있으면, 단계 954에서, 처리 유닛(4)에서 실행되는 소프트웨어와 같은 시스템은 사용자의 시야 내에서 사용자의 현재 초점 영역을 결정한다. 도 15와 16에서 더 논의하는 바와 같이, 각 눈에 대한 눈 추적 카메라(134)에 의해 캡처되는 데이터에 기초한 눈 추적 처리는 사용자의 현재 초점 영역을 제공할 수 있다. 예를 들어, 안구 사이의 컨버전스(convergence)는 사용자의 얼굴 위치를 나타내는 데이터와 함께 초점 곡선, 호롭터 상의 초점으로 삼각측량(triangulate)하는데 사용될 수 있고, 그로부터 초점 영역, 패넘 융합 영역이 계산될 수 있다. 패넘 융합 영역은 사람의 눈에 의해 사용되는 양안 입체시(binocular stereopsis)에 대한 단일 비전의 영역이다.
단계 956에서, 허브 컴퓨팅 시스템(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어는 모델 내 가상 객체의 타겟 위치에 기초하여 사용자 시야 내의 어떤 가상 객체가 현재 사용자 초점 영역에 있는지를 식별한다.
단계 958에서, 처리 유닛(4)은 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일(scale) 및 지향(orient)할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.
단계 960에서, 처리 유닛(4), 제어 회로(136) 또는 양자 모두는 마이크로디스플레이 조립체의 초점 영역을 변경함으로써 현재 사용자 초점 영역에 각각의 식별된 가상 객체를 배치하기 위해 처리를 공유한다. 단계 962에서, 인공 시야 깊이 기술이 타겟 위치가 사용자의 시야 내에 있지만 사용자의 현재 초점 영역 밖에 있는 가상 객체에, 현재 초점 영역으로부터의 거리의 함수로서 적용된다. 인공 시야 깊이 기술의 일 예는 인공 블러 기술이다.
인공 블러는 초점 영역으로부터의 거리의 함수로서 초점이 맞지 않는 객체를 시뮬레이션하기 위해 시야 깊이 셰이더(shader)나 기타 가우스 블러 필터(Gaussian blur filteR)를 적용함으로서 달성될 수 있다. 이 기술은 전체적으로 또는 부분적으로 허브 컴퓨터(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어에 의해 수행될 수 있다. 설명의 편의를 위해, 처리 유닛(4)을 참조할 것이다. 가상 객체의 타겟 위치의 부분으로서의 깊이 값으로부터, 이미지 내 객체의 초점 거리가 처리 유닛(4)에 의해 결정되는데, 처리 유닛(4)은 광가이드 광 요소(112)를 감싸는 것과 같은 디스플레이 요소(112) 상의 어떤 픽셀이 이미지 내 가상 객체로 매핑될지를 또한 결정한다. 초점 거리에 기초하여, 하나 이상의 가중 가우스 블러 필터가 적용되어, 초점 또는 이미지의 고정점으로부터 더 먼 픽셀에 적용되는 변환이 더 많은 블러 효과를 받도록 가우스 함수로 이미지를 컨볼루션함으로써(convolve), 적어도 2차원을 커버한다. 일 실시형태에서, 가우스 블러 필터는 고주파 정보를 제거하는 로패스 필터로 동작한다.
단계 964에서, 사용자 시야 내 가상 객체를 포함하는 가상 이미지가 표시된다. 일 예에서, 처리 유닛(4)은 사용자 시야 내 가상 객체를 포함하는 가상 이미지의 마이크로디스플레이(120) 상의 표시를 위해 제어 회로(136)의 디스플레이 드라이버(220)에 명령을 전송한다. 그러면 렌즈 시스템(122)은 마이크로디스플레이(120)로부터 수신된 가상 이미지를 사용자가 보도록 반사 표면(124)으로, 그리고 사용자의 눈을 향해 또는 광가이드 광 요소(112)로 투사한다. 일 구현에서, 헤드 마운티드 디스플레이 장치에서 사용자가 보고 있는 디스플레이(예를 들어, 광가이드 광 요소(112))는 픽셀로 나누어진다. 단계 964는 어떤 픽셀이 타겟 위치에 대응하는지를 판정하는 단계를 포함할 수 있고, 그들 픽셀은 단계 964에서 가상 이미지를 표시할 것이다. 불투명 필터(114)는 비현실적인 시각 효과를 방지하기 위해 사용될 수 있다. 예를 들어, 불투명 필터(114)는 배경 가상 객체가 전경 가상 객체를 통해 보이지 않도록 광가이드 광 요소(112) 내 픽셀로의 광을 수정할 수 있다. 처리는 단계 950으로 돌아가고 이 현실 디스플레이 시스템에서 다시 사용자 시야를 결정한다. 도 13의 처리 단계들은, 사용자 시야와 사용자 초점 영역이 사용자가 그 또는 그녀의 머리를 움직임에 따라 갱신되고 그에 따라 가상 객체가 사람에 대해 초점 안팎으로 자연스럽게 움직이는 것으로 표시될 수 있도록 시스템의 동작 동안 계속하여 수행될 수 있다.
도 16은 사용자의 시야를 결정하는 프로세스의 일 실시형태를 설명하는 흐름도인데, 이는 도 13의 단계 950의 예시적 구현이다. 도 16의 프로세스는 허브 컴퓨팅 장치(12)와 상술한 눈 추적 기술로부터의 정보에 의존한다. 도 14는 도 16의 프로세스에서 사용되는 추적 정보를 제공하기 위해 허브 컴퓨팅 시스템에 의해 수행되는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 15는 도 16의 눈 추적을 위한 프로세스의 일 실시형태를 설명하는 흐름도인데, 그 결과가 도 16의 프로세스에 의해 사용된다.
도 14의 단계 810에서, 허브 컴퓨팅 장치(12)는 사용자의 위치를 추적할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 (예를 들어, 골격 추적을 이용하여) 사용자를 추적하기 위해 하나 이상의 깊이 이미지와 하나 이상의 시각 이미지를 사용할 것이다. 하나 이상의 깊이 이미지와 하나 이상의 시각 이미지는 단계 812에서 헤드 마운티드 디스플레이 장치(2)의 방향과 헤드 마운티드 디스플레이 장치(2)의 위치를 결정하는데 사용될 수 있다. 단계 814에서, 사용자와 헤드 마운티드 디스플레이 장치(2)의 위치와 방향은 허브 컴퓨팅 장치(12)로부터 처리 유닛(4)으로 전송된다. 단계 816에서, 위치와 방향 정보는 처리 유닛(4)에서 수신된다. 도 14의 처리 단계들은 사용자가 계속적으로 추적되도록 시스템의 동작 동안 계속적으로 수행될 수 있다.
도 15는 상술한 기술을 이용하여 눈을 추적하는 일 실시형태를 설명하는 흐름도이다. 단계 860에서, 눈이 조명된다. 예를 들어, 눈은 눈 추적 조명(144A)으로부터의 적외선 광을 이용하여 조명될 수 있다. 단계 862에서, 눈으로부터의 반사가 하나 이상의 눈 추적 카메라(134B)를 이용하여 검출된다. 단계 864에서, 반사 데이터가 헤드 마운티드 디스플레이 장치(2)로부터 처리 유닛(4)으로 전송된다. 단계 866에서, 처리 유닛(4)은 상술한 바와 같이 반사 데이터에 기초하여 눈의 위치를 결정할 것이다. 단계 878에서, 처리 유닛(4)은 반사 데이터에 기초하여 사용자의 눈이 보고 있는 초점 깊이 위치 또는 초점 영역을 또한 결정할 것이다. 단계 15의 처리 단계들은 사용자의 눈이 계속 추적되어 현재 사용자 초점 영역을 추적하기 위한 데이터를 제공하도록 시스템의 동작 동안 계속하여 수행될 수 있다.
도 16은 시야를 결정하는 프로세스(예를 들어, 도 13의 단계 950)의 일 실시형태를 설명하는 흐름도이다. 단계 902에서, 처리 유닛(4)은 허브로부터 수신된 최근 위치 및 방향 정보에 액세스할 것이다. 도 14의 프로세스는 단계 814로부터 단계 810으로의 화살표에 의해 도시된 바와 같이 연속적으로 수행될 수 있고, 따라서, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터 갱신된 위치 및 방향 정보를 주기적으로 수신할 것이다. 그러나, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터의 갱신된 정보를 수신하는 것보다 더 자주 가상 이미지를 그릴 필요가 있을 것이다. 그러므로, 처리 유닛(4)은 허브 컴퓨팅 장치(12)로부터의 샘플들 사이에서 방향에 대한 업데이트를 제공하기 위해 로컬로(예를 들어, 헤드 마운티드 장치(2)로부터) 감지된 정보에 의존할 필요가 있을 것이다. 단계 904에서, 처리 유닛(4)은 3축 자이로(132B)로부터의 데이터에 액세스할 것이다. 단계 906에서, 처리 유닛(4)은 3축 가속도계(132C)로부터의 데이터에 액세스할 것이다. 단계 908에서, 처리 유닛(4)은 3축 자기미터(132A)로부터의 데이터에 액세스할 것이다. 단계 910에서, 처리 유닛(4)은 자이로, 가속도계 및 자기미터로부터의 데이터로 허브 컴퓨팅 장치(12)로부터의 위치 및 방향 데이터를 교정(또는 달리 갱신)할 것이다. 단계 912에서, 처리 유닛(4)은 헤드 마운티드 디스플레이 장치로부터의 위치와 정보에 기초하여 잠재적 시야를 결정할 것이다.
단계 914에서, 처리 유닛(4)은 최근 눈 위치 정보에 액세스할 것이다. 단계 916에서, 처리 유닛(4)은 사용자가 보고 있는 모델의 부분을 눈 위치에 기초하여 잠재적 시야의 부분집합으로 결정할 것이다. 예를 들어, 사용자는 벽을 보고 있을 수 있고, 그러므로, 헤드 마운티드 디스플레이에 대한 시야는 벽을 따르는 여하한 위치를 포함할 수 있다. 그러나, 사용자의 눈이 오른쪽을 향하면, 단계 916은 사용자의 시야가 사용자가 벽의 오른쪽 부분만이라고 결정할 것이다. 단계 916의 결정에서, 처리 유닛(4)은 헤드 마운티드 디스플레이(2)를 통한 사용자의 시야를 결정하였다. 처리 유닛(4)은 시야 내 가상 객체의 타겟 위치를 식별할 수 있다. 단계 918에서, 처리 유닛(4)은 눈 위치에 기초하여 모델의 부분으로써 현재 사용자 초점 영역을 결정한다. 처리 유닛(4)은 현재 사용자 초점 영역 내에 있는 가상 객체의 모델에서 타겟 위치를 식별할 수 있다. 도 16의 처리 단계들은 사용자의 시야와 초점 영역이 사용자가 그 또는 그녀의 머리를 움직임에 따라 계속하여 갱신되고 그에 따라 가상 객체가 사람에 대해 초점 안팎으로 자연스럽게 움직이는 것으로 표시될 수 있도록 시스템의 동작 동안 계속하여 수행될 수 있다.
도 17a는 조립체의 적어도 하나의 렌즈를 변위함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960을 구현하는데 사용될 수 있다. 설명의 맥락에서, 도 2a와 2b에 관해 전술한 마이크로디스플레이 조립체가 참조된다. 마이크로디스플레이 조립체는 렌즈 시스템(122)과 광 경로(133)에서 정렬된 마이크로디스플레이 유닛(120)을 포함하는데, 렌즈 시스템(122)은 마이크로디스플레이 유닛(120)으로부터 반사 요소(124) 또는 반사 요소(124a, 124b)로, 그리고 사용자의 눈이나 다른 광 요소(112)로 이미지 광을 시준한다. 마이크로디스플레이 조립체는 또한 선택 또는 결정된 초점 영역을 획득하기 위해 광 처리 요소 중 하나를 물리적으로 움직이기 위한 가변 가상 초점 조정기(135)를 포함한다.
도 3a-3d의 논의 전에, 마이크로디스플레이 조립체 변위와 초점 거리가 식1/S1 + 1/S2 = 1/f에 의해 관련된다. 단계 980에서, 처리 유닛(4)은 렌즈 시스템(122)의 전면 절점과 가상 객체의 타겟 위치 사이의 변위 값 S1을 결정한다. 또한, 단계 982에서, 처리 유닛(4)은 위 식에 기초하여 렌즈 시스템의 초점 거리 f에 대한 반사 요소(124, 124a)와 렌즈 시스템의 후면 절점 사이의 변위 값 S2을 결정한다. 처리 유닛(4)은 단계 984에서 제어 회로(136)의 프로세서가, 결정된 변위 값 S1과 S2를 생성하기 위해 렌즈 시스템의 적어도 하나의 렌즈를 물리적으로 움직이도록 가변 조정기 드라이버(237)가 가변 가상 초점 조정기(135)에 적어도 하나의 구동 신호를 인가하게 하도록 한다. 도 2a와 2b에 도시된 마이크로디스플레이 조립체 외에, 다른 구현은 도 3d의 삽입가능 렌즈 시스템 예를 이용하는 마이크로디스플레이 조립체이다. 움직임은, 배치되는 경우 렌즈에 대한 암(123)을 해제하고 광 경로(133)에서 렌즈를 잠그도록 결정된 변위로 렌즈에 대한 암(123)을 움직이는 것이다.
도 17b는 조립체의 적어도 하나의 렌즈의 편광을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960을 구현하는데 사용될 수 있고, 도 3c에 도시된 것과 같은 마이크로디스플레이 조립체의 실시형태와 사용하기에 적당하다. 이 실시형태에서, 렌즈 시스템은 마이크로디스플레이(120)와 반사 요소(124(도 2a), 124a(도 2b)) 사이의 광 경로에 적어도 하나의 복굴절 렌즈를 포함한다. 단계 986에서, 처리 유닛(4)은 가상 객체의 타겟 위치와 식 1/S1 + 1 /S2 = 1/f에 기초하여 S1에 대한 변위 값을 선택한다. 단계 988에서, 가변 조정기 드라이버(237)는 적어도 하나의 구동 신호를 인가하여, 선택된 S1 값을 생성하도록 복룰절 렌즈의 초점 거리 f를 변경하기 위해 가변 초점 조정기(135)가 적어도 하나의 복굴절 렌즈의 편광을 변경하도록 한다. 각각의 복굴절 렌즈가 2개의 편광 축에 대응하는 2개의 별개의 초점 거리를 갖고, 2개의 이러한 렌즈의 조합은 4개의 별개의 초점 거리의 선택을 부여한다. 그러므로, 소프트웨어의 제어 하에서, 처리 유닛(4) 또는 제어 회로(136)의 프로세서(210)는 f의 값에 근사하기 위한 최근 가용 초점 거리를 선택한다. 각각의 복굴절 렌즈의 부가에 대해, 별개의 초점 거리의 수는 배가된다.
도 17c는 조립체의 적어도 하나의 유체 렌즈의 곡률 반경을 변경함으로써 마이크로디스플레이 조립체의 초점 영역을 변경하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 이 실시형태는 도 13의 단계 960를 구현하는데 사용될 수 있고 도 3b1과 3b2에 도시된 것과 같이 렌즈 시스템(122)에서 적어도 하나의 유체 렌즈를 사용하는 마이크로디스플레이 조립체의 실시형태와 사용하기에 적합하다. 단계 990에서, 처리 유닛(4)은 가상 객체의 타겟 위치와 식 1/S1 + 1/S2 = 1/f에 기초하여 S1에 대한 변위값을 선택한다. 단계 992에서, 가변 조정기 드라이버(237)는 적어도 하나의 구동 신호를 인가하여, 가변 초점 조정기(135)가 유체 렌즈의 유체의 부피 변경을 유발하도록 하여, 선택된 S1 값을 생성하기 위해 그 초점 값 f을 변경하도록 곡률 반경의 변경을 유발한다.
도 13의 실시형태에서 언급한 바와 같이, 사용자에 시야에 있지만 사용자의 초점 영역에 있지 않은 가상 객체에 대해, 인공 블러 기술이 적용될 수 있다. 다른 실시형태에서, 상이한 초점 영역에서 이미지의 시리즈가 생성될 수 있다. 초점 또는 초점 영역의 범위에 걸쳐 움직이고 각각의 초점 영역에서 이미지를 표시함으로써, 사용자는 상이한 초점 영역 이미지의 레이어로 구성된 이미지를 보게 될 수 있다. 사용자가 그 또는 그녀의 초점을 재조정하는 때에, 사용자는 그들 영역 중 하나에 머무를 것이고, 나머지 영역의 가상 객체는 자연스럽게 흐려질 것이다. 초점 영역의 범위에서 스윕하는 것은 사전결정된 레이트 또는 빈도로 이루어질 수 있다. 이는, 사람의 시간적 이미지 융합이 그들이 모두 동시에 존재하는 것으로 보이게 하기에 충분히 빠르게 이루어진다. 렌저링 부하가 현저히 증가될 수 있지만, 인공 블러와 같은 인공 시야 깊이 기술의 필요성이 감소될 것이다.
초점 영역의 범위에 걸친 이동은 일 실시형태에서 마이크로디스플레이 조립체의 광 처리 요소들 사이의 변위나 조립체 내의 광 처리 요소의 광 전력을 소정 속도 레이트로 변경함으로써 구현될 수 있다. 이 속도 레이트는 적어도 초당 30 프레임(fps)의 프레임 레이트 정도일 수 있지만, 일부 실시형태에서 60, 120 또는 180Hz와 같은 더 높은 속도 레이트일 수 있다. 상이한 초점 영역에서 이미지를 제공하는 높은 속도 레이트에서 광축을 따라 변위되는 렌즈는 가끔 진동 렌즈 또는 발진(oscillating) 렌즈라고 지칭된다. 일부 예에서, 렌즈 시스템(122)이나 이미지 소스(120)이 아니라 이미지 영역, 예를 들어 반사 표면(124, 124a)이 움직이지만, 원리는 동일하다.
도 18a는 도 9의 단계 910를 구현하는데 사용될 수 있는 증강 현실 디스플레이에서 상이한 초점 영역에서 가상 객체 이미지를 생성하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 18a의 단계 1002에서, 허브 컴퓨팅 장치(12) 또는 처리 유닛(4)이나 양자 모두는 소프트웨어의 제어 하에서 도 13의 단계 950에서와 같이 사용자의 시야를 결정하고, 단계 1004에서 단계 952에서와 같이 사용자의 현재 시야 내에 가상 객체의 타겟 위치가 있는지 여부를 결정한다. 단계 966과 유사하게, 사용자의 현재 시야 내에 가상 객체가 없으면, 단계 1006의 처리는 단계 1002에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.
단계 958과 유사하게, 처리 유닛(4)은 단계 1012에서 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일 및 지향할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.
단계 1016에서, 제어 회로의 타이밍 발생기(226)나 클록 발생기(244)에 의해 스윕 레이트 기간이 시작된다. 단계 1018에서, 스윕 기간 동안 범위 내 다수의 초점 영역을 통과하도록 카운터가 초기화된다. 일부 예에서, 초점 영역은 사전결정된다. 단계 1022에서, 스윕 기간의 각각의 시간스텝에서, 마이크로디스플레이 조립체의 요소의 초점 영역이 조정되고, 그 스윕시간 또는 시간단계에서 사용자에게 각각의 초점 영역에 대하여 이미지가 표시된다. 단계 1024에서 카운터를 증가시켜 다음 초점 영역이 선택되고, 단계 1020 내지 1024의 처리가 카운터가 범위 스윕이 종료되었음을 나타낼 때까지 반복된다. 단계 1028에서 스윕 기간이 종료된다. 다른 예에서, 디스플레이에 대한 프레임의 종료는 스윕 범위에 걸친 스윕을 인터럽트하고, 다음 프레임으로 다른 스윕이 시작한다.
일 실시형태에서, 초점 영역의 부분집합을 렌더링하고 어떤 초점 영역이 렌더링을 위해 선택되는지를 최적화하기 위해 사용자 초점 영역의 추적을 사용함으로써 렌더링 부하가 감소될 수 있다. 다른 예에서, 눈 추적 데이터는 사용자가 보고 있는 초점 위치의 깊이를 결정하는데 충분한 정확성을 제공하지 않는다. 추론 로직(inference logic)이 사용자가 초점을 맞추는 객체를 추론할 수 있다. 일단 객체가 초점 객체로 선택되면, 현재 장면의 3차원 모델 또는 매핑이 초점 객체까지의 거리를 결정하는데 사용될 수 있다.
도 18b는 도 9의 단계 910을 구현하는데 사용될 수 있는, 증강 현실 디스플레이를 보는 사용자가 보는 때에 가상 객체를 초점에 맞게 표시하는 프로세스의 다른 실시형태를 도시한다. 도 18b는 증강 현실 디스플레이에서 상이한 초점 영역에 가상 객체 이미지를 생성하는 프로세스의 일 실시형태를 설명하는 흐름도이다. 도 18b의 단계 1002에서, 허브 컴퓨팅 장치(12) 또는 처리 유닛(4) 또는 양자 모두는 소프트웨어의 제어 하에서 도 13의 단계 950에서와 같이 사용자의 시야를 결정하고, 단계 1004에서 단계 952에서와 같이 사용자의 현재 시야에 가상 객체의 타겟 위치가 존재하는지 여부를 결정한다. 단계 966과 유사하게, 사용자의 현재 시야 내에 가상 객체가 없으면, 단계 1006의 처리는 단계 1002에서 사용자의 시야를 결정 및 갱신하는 것으로 돌아간다.
사용자의 현재 시야 내에 타겟 위치를 갖는 적어도 하나의 가상 객체가 있으면, 단계 954에서와 유사하게, 단계 1008에서, 처리 유닛(4)에서 실행되는 소프트웨어와 같은 시스템이 사용자의 시야 내에서 사용자의 현재 초점 영역을 결정하고, 단계 956에서와 유사하게, 허브 컴퓨터 시스템(12), 처리 유닛(4) 또는 양자 모두에서 실행되는 소프트웨어가 단계 1010에서 모델 내 가상 객체의 타겟 위치에 기초하여 사용자 시야 내의 어떤 가상 객체가 현재 사용자 초점 영역에 있는지를 식별한다. 단계 958에서와 유사하게, 처리 유닛(4)은 단계 1012에서 사용자의 뷰로 삽입될 이미지에 대한 가상 객체를 스케일 및 지향할 것이다. 가상 이미지의 스케일과 지향은 시야 내 타겟의 위치와 모델에 기초한 가상 객체의 알려진 모양에 기초할 것이다.
단계 1014에서, 처리 유닛(4)은 현재 사용자 초점 영역을 포함하는 초점 영역의 범위를 선택한다. 처리 유닛(4)은 실행 애플리케이션 예를 들어 452의 맥락과 같은 기준에 기초하여 초점 영역의 범위를 선택할 수 있다. 애플리케이션은 사전결정된 움직인 궤적과 그들의 등장을 트리거하는 이벤트와 함께 가상 객체의 선택을 이용할 수 있다. 객체의 모델이 객체의 움직임으로 갱신되면서, 처리 유닛(4)은 도 10의 논의와 같이 이들 업데이트를 수신한다. 업데이트 사이에서, 처리 유닛(4)은 그 시점에 그 또는 그녀가 어떤 가상 객체에 초점을 맞추고 있을 것인지를 결정하기 위해 사용자의 두부의 위치와 방향에 대한 센서 데이터를 이용할 수 있다. 장면의 3차원 모델에 기초하여 처리 유닛(4)은 가상 객체의 궤적이 움직일 다수의 초점 영역을 선택할 수 있다. 그러므로, 하나의 예시적 기준은 가상 객체가 위치되는 각각의 초점 영역을 포함시키는 것이다. 또한, 사전결정된 시간 프레임에 움직이는 가상 객체의 궤적이 존재할 초점 영역도 선택될 수 있다. 사전결정된 시간 프레임은 일 예에서 가상 객체의 정확한 위치를 나타내는 모델 데이터의 다음 갱신까지 일 수 있다.
초점 영역의 범위에 걸쳐 스윕하기 위한 시작 초점 영역 지점은 사용자 시야에서 사용자의 눈으로부터 무한대에 가장 가까운 지점일 수 있다. 그러나 다른 시작 위치가 사용될 수 있지만, 무한대에서 시작하는 것은 불투명 필터(114)의 적용을 단순화할 수 있다. 단계 1016에서, 스윕 레이트 기간은 제어 회로의 타이밍 발생기(226)나 클록 발생기(244)에 의해 시작된다. 단계 1018에서, 스윕 기간 동안 범위 내 다수의 초점 영역을 통과하도록 카운터가 초기화된다. 일부 예에서, 초점 영역은 사전결정된다. 단계 1022에서, 스윕 기간의 각각의 시간스텝에서, 마이크로디스플레이 조립체의 요소의 초점 영역이 조정되고, 그 스윕시간 또는 시간단계에서 사용자에게 각각의 초점 영역에 대하여 이미지가 표시된다. 단계 1024에서 카운터를 증가시켜 다음 초점 영역이 선택되고, 단계 1020 내지 1024의 처리가 카운터가 범위 스윕이 종료되었음을 나타낼 때까지 반복된다. 단계 1028에서 스윕 기간이 종료된다. 다른 예에서, 디스플레이에 대한 프레임의 종료는 스윕 범위에 걸친 스윕을 인터럽트하고, 다음 프레임으로 다른 스윕이 시작한다.
도 19a와 19b는 증강 현실 디스플레이에서 다초점 가상 객체를 표시하는 다른 방법의 개략적인 예를 도시한다. 도 19a에서, 4개의 이미지(1050a 내지 1050d)의 예는 마이크로디스플레이 조립체의 광 경로(133)에서 상이한 변위로 생성되는 상이한 초점 영역에서 생성되고, 모든 이미지는 광가이드 광 요소(112) 상에서의 표시를 위해 전송된다. 도 19b에서, 처리 유닛(4)은 그 초점 또는 이미지 영역에서 초점이 맞는 각각의 이미지의 섹션 또는 부분이 디스플레이(112) 상에서의 표시를 위한 혼합 이미지(1055)에 포함되도록 한다. 일 예에서 초점이 맞는 각각의 이미지의 섹션과 부분은, 그것이 생성된 때에 이미지 내에 가상 객체가 위치된 부분일 수 있다.
구조적 특징 및/또는 방법적 동작에 특유한 언어로 주제가 설명되었지만, 첨부된 청구범위에 정의된 주제는 상술한 구체적 특성이나 동작에 반드시 제한되는 것은 아님을 이해하여야 한다. 오히려, 상술한 구체적 특징과 동작은 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (17)

  1. 증강 현실 시스템(augmented reality system)에 의해 가변 초점을 이용하여 가상 객체를 디스플레이하기 위한 방법에 있어서,
    하나 이상의 프로세서에 의해, 상기 증강 현실 시스템의 근안(near-eye) 디스플레이 장치의 사용자의 시야 내에서 하나 이상의 가상 객체의 3차원 위치를 식별하는 단계로서, 상기 근안 디스플레이 장치는 마이크로디스플레이 조립체 및 상기 마이크로디스플레이 조립체로부터 하나 이상의 이미지를 수신하도록 광학적으로 결합된 디스플레이 유닛을 포함하고, 상기 마이크로디스플레이 조립체는 적어도 하나의 광 요소 및 상기 적어도 하나의 광 요소와 함께 광 경로에 정렬되는 마이크로디스플레이 유닛을 포함하는 하나 이상의 광 처리 요소를 포함하는 것인, 하나 이상의 가상 객체의 3차원 위치를 식별하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 사용자 시야 내에서 상기 근안 디스플레이 장치를 착용하는 사용자의 3차원 현재 초점 영역을 결정하는 단계;
    상기 사용자 시야 내에서 상기 하나 이상의 가상 객체의 상기 3차원 위치에 기초하여 상기 하나 이상의 가상 객체 중 어떤 것이 상기 사용자의 상기 현재 초점 영역에 있는지를 식별하는 단계;
    상기 하나 이상의 프로세서의 제어 하에서, 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 하나 이상의 광 처리 요소의 위치를 움직임으로써 상기 현재 초점 영역에 이미지 데이터를 생성하기 위해 상기 마이크로디스플레이 조립체의 초점 영역을 조정하는 단계;
    상기 하나 이상의 가상 객체 각각에 대해, 상기 마이크로디스플레이 조립체에 의해, 상이한 초점 영역들에서 레이어링된(layered) 이미지 데이터의 시리즈를 생성하는 단계로서, 상기 조정된 초점 영역에서 상기 현재 초점 영역에 있는 것으로 식별된 상기 하나 이상의 가상 객체는 초점이 맞게 생성되고, 상기 현재 초점 영역 밖에 있는 상기 하나 이상의 가상 객체는 흐리게 생성되는 것인, 상이한 초점 영역들에서 레이어링된 이미지 데이터의 시리즈를 생성하는 단계; 및
    상기 하나 이상의 가상 객체의 상기 생성된 이미지 데이터를 상기 마이크로디스플레이 조립체로부터 수신하여, 상기 디스플레이 유닛에 의해 디스플레이하는 단계
    를 포함하는 가변 초점을 갖는 가상 객체를 디스플레이하는 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서에 의해, 상기 사용자 시야 내에서 상기 근안 디스플레이 장치를 착용하는 사용자의 3차원 현재 초점 영역을 결정하는 단계는,
    패넘 융합 영역(Panum's fusional area)에 기초하여 상기 사용자의 상기 3차원 현재 초점 영역을 결정하는 단계를 더 포함하는 것인, 가변 초점을 갖는 가상 객체를 디스플레이하는 방법.
  3. 제 1 항에 있어서,
    상기 현재 초점 영역으로부터의 거리의 함수로서, 상기 사용자의 시야 내에 있지만 상기 사용자의 상기 현재 초점 영역 밖에 있는 가상 객체에 적어도 하나의 인공 시야 깊이(artificial depth of field) 기술을 적용하는 단계
    를 더 포함하는 가변 초점을 갖는 가상 객체를 디스플레이하는 방법.
  4. 가상 객체의 가변 초점을 제공하는 증강 현실 시스템에 있어서,
    근안 지지 구조;
    하나 이상의 프로세서;
    사용자의 눈이 관통하여 볼 수 있도록 상기 근안 지지 구조 옆에 배치된 시스루(see-through) 디스플레이 유닛;
    상기 근안 지지 구조에 의해 지지되고, 상기 시스루 디스플레이 유닛에 현재 사용자 초점 영역에 대한 이미지 데이터를 출력하기 위해 상기 시스루 디스플레이 유닛에 광학적으로 결합되며, 하나 이상의 이미지를 생성하기 위한 마이크로디스플레이 조립체로서, 상기 마이크로디스플레이 조립체는 마이크로디스플레이, 적어도 하나의 광 요소, 및 가변 가상 초점 조정기(adjuster)를 포함하는 하나 이상의 광 처리 요소를 포함하고, 상기 적어도 하나의 광 요소와 상기 마이크로디스플레이는 광 경로에 정렬되고, 상기 가변 가상 초점 조정기는 상기 하나 이상의 프로세서의 제어 하에서, 상기 광 경로에서 상기 하나 이상의 광 처리 요소의 위치를 움직임으로써 사용자의 현재 초점 영역에 하나 이상의 가상 객체를 배치하기 위해 상기 마이크로디스플레이 조립체의 초점 영역을 변경시키는, 상기 마이크로디스플레이 조립체;
    상기 마이크로디스플레이 조립체의 적어도 하나의 광 처리 요소를 지지하고, 상기 광 경로를 따라 움직이는 상기 적어도 하나의 광 처리 요소의 움직임을 안정시키기 위한 외관(armature); 및
    3차원 가상 이미지를 디스플레이하기 위해 상기 광 경로를 통해 상기 마이크로디스플레이 조립체에 광학적으로 결합된 디스플레이를 포함하고,
    상기 하나 이상의 프로세서는, 상기 하나 이상의 가상 객체 각각에 대해, 상이한 초점 영역들에서 레이어링된(layered) 이미지 데이터의 시리즈를 생성하기 위해 상기 마이크로디스플레이 조립체를 제어하여, 상기 조정된 초점 영역에서 상기 현재 초점 영역에 있는 것으로 식별된 상기 하나 이상의 가상 객체는 초점이 맞게 생성되고, 상기 현재 초점 영역 밖에 있는 상기 하나 이상의 가상 객체는 흐리게 생성되도록 하고;
    상기 디스플레이 유닛은 상기 마이크로디스플레이 조립체로부터 상기 가변 가상 초점 조정기를 제어하기 위한 드라이버를 포함하는 상기 생성된 이미지 데이터를 수신하여, 상기 생성된 이미지 데이터를 디스플레이하며;
    상기 프로세서는 소프트웨어의 제어 하에서 현재 사용자 초점 영역에 적어도 하나의 가상 객체를 포함하도록 상기 마이크로디스플레이에게 지시(direct)하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  5. 제 4 항에 있어서,
    상기 외관은 상기 가변 가상 초점 조정기의 제어 하에 있는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  6. 제 4 항에 있어서,
    상기 가변 가상 초점 조정기는 압전(piezoelectric) 액추에이터인 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  7. 제 4 항에 있어서,
    상기 하나 이상의 프로세서의 제어 하에서, 상기 가변 가상 초점 조정기를 제어하는 드라이버에 레이트(rate)를 제공하기 위한 타이밍 발생기를 더 포함하고,
    상기 가변 가상 초점 조정기는 상기 마이크로디스플레이 조립체의 상기 광 경로에서 변위(displacement)의 범위 - 상기 변위의 범위는 초점 영역의 범위에 대응함 - 에 걸쳐 상기 레이트로 상기 마이크로디스플레이 조립체의 적어도 하나의 광 처리 요소를 움직이고,
    상기 초점 영역의 범위는 초점 영역을 포함하고, 상기 초점 영역에서 상기 마이크로디스플레이에 의해 생성된 이미지는 상기 현재 사용자 초점 영역에서 상기 디스플레이 유닛에 의해 디스플레이되는 이미지 데이터를 야기하며;
    상기 하나 이상의 프로세서는, 상기 변위의 범위 내의 개별 변위에 도달하는 경우, 범위의 개별 초점 영역에 위치하는 것으로 식별된 임의의 가상 객체를 포함하는 이미지를 생성하도록 상기 마이크로디스플레이에게 지시하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  8. 제 4 항에 있어서,
    상기 마이크로디스플레이 조립체의 상기 적어도 하나의 광 요소는 삽입가능 렌즈의 세트를 포함하고,
    상기 가변 가상 초점 조정기는 상기 광 경로 안과 밖으로 상기 세트의 각각의 삽입가능 렌즈를 움직이게 하기 위해 개별 암(arm)을 포함하고;
    상기 가변 가상 초점 조정기가 상기 하나 이상의 프로세서의 제어 하에서, 상기 광 경로에서 상기 하나 이상의 광 처리 요소를 움직임으로써 사용자의 현재 초점 영역에 하나 이상의 가상 객체를 배치하기 위해 상기 마이크로디스플레이 조립체의 상기 초점 영역을 변경시키는 것은, 상기 초점 영역을 변경시키기 위해 상기 광 경로에 대하여 상기 세트의 개별 삽입가능 렌즈의 위치를 움직이기 위해 상기 개별 암을 움직이는 것을 더 포함하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  9. 제 4 항에 있어서,
    상기 마이크로디스플레이 조립체의 상기 적어도 하나의 광 요소는 상기 가변 가상 초점 조정기의 제어 하에서, 회전가능 지지체에 렌즈의 세트를 포함하고,
    상기 가변 가상 초점 조정기가 상기 하나 이상의 프로세서의 제어 하에서, 상기 광 경로에서 상기 하나 이상의 광 처리 요소를 움직임으로써 사용자의 현재 초점 영역에 하나 이상의 가상 객체를 배치하기 위해 상기 마이크로디스플레이 조립체의 상기 초점 영역을 변경시키는 것은, 상기 가변 가상 초점 조정기가 상기 초점 영역을 변경시키기 위해 상기 광 경로에서 상기 렌즈의 세트 중 하나의 렌즈를 변경하도록 상기 회전가능 지지체를 회전시키는 것을 더 포함하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  10. 제 7 항에 있어서,
    상기 디스플레이 유닛은 적어도 하나의 눈 위치에 상기 변위의 범위에 의해 생성된 상기 이미지를 투사하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  11. 제 7 항에 있어서,
    상기 마이크로디스플레이는 상기 변위의 범위에 의해 생성된 상이한 이미지들의 인-포커스(in-focus) 부분을 포함하는 혼합(composite) 이미지를 생성하고,
    상기 디스플레이 유닛은 적어도 하나의 눈 위치에 상기 혼합 이미지를 투사하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  12. 제 7 항에 있어서,
    상기 사용자의 전면에 있는 하나 이상의 실제 객체의 이미지 데이터 및 깊이 데이터를 캡처하기 위한 상기 근안 지지 구조에 의해 지지되는 하나 이상의 카메라; 및
    상기 이미지 데이터 및 상기 깊이 데이터를 저장하기 위해 상기 하나 이상의 프로세서에 액세스 가능한 메모리를 더 포함하고,
    상기 하나 이상의 프로세서는 실행 중인 소프트웨어 애플리케이션에 기초하는 하나 이상의 가상 객체의 위치 및 상기 카메라에 의해 캡처된 상기 이미지 데이터 및 상기 깊이 데이터로부터 유도된 하나 이상의 실제 객체의 위치에 기초하여 증강 현실 장면의 3차원 모델을 생성하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  13. 제 12 항에 있어서,
    상기 근안 지지 구조에 의해 지지되는 눈 추적 유닛 및 방향(orientation) 센서를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 3차원 모델, 및 상기 방향 센서로부터의 데이터, 및 상기 눈 추적 유닛으로부터의 눈 위치 데이터에 기초하여 상기 사용자의 시야를 결정하고,
    상기 사용자의 시야 내에서 임의의 가상 객체의 타겟 위치를 식별하고,
    임의의 가상 객체의 임의의 타겟 위치가 어느 초점 영역 내에 있는지 결정하며,
    상기 실행 애플리케이션에 의해 제어되는 상기 사용자의 시야 내에서 임의의 가상 객체의 움직임 궤적 및 상기 현재 사용자 초점 영역에 기초하여 상기 초점 영역의 범위를 선택하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  14. 프로세서로 하여금 증강 현실 시스템에 의해 가변 초점을 이용하여 가상 객체를 디스플레이하기 위한 방법을 수행하도록 하는 명령어가 인코딩되어있는 하나 이상의 컴퓨터 판독가능 비휘발성 저장 매체에 있어서, 상기 방법은,
    하나 이상의 프로세서에 의해, 상기 증강 현실 시스템의 근안 디스플레이 장치의 사용자의 시야 내에서 하나 이상의 가상 객체의 3차원 위치를 식별하는 단계로서, 상기 근안 디스플레이 장치는 마이크로디스플레이 조립체 및 상기 마이크로디스플레이 조립체로부터 하나 이상의 이미지를 수신하도록 광학적으로 결합된 디스플레이 유닛을 포함하고, 상기 마이크로디스플레이 조립체는 적어도 하나의 광 요소 및 상기 적어도 하나의 광 요소와 함께 광 경로에 정렬되는 마이크로디스플레이 유닛을 포함하는 하나 이상의 광 처리 요소를 포함하고, 상기 마이크로디스플레이 조립체의 상기 적어도 하나의 광 요소는 삽입가능 렌즈의 세트를 포함하여, 상기 광 경로에서 상기 렌즈의 세트 중 하나의 렌즈를 변경하는 것은 초점 영역을 변경하게 되는 것인, 하나 이상의 가상 객체의 3차원 위치를 식별하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 사용자 시야 내의 상기 근안 디스플레이 장치를 착용하는 사용자의 3차원 현재 초점 영역을 결정하는 단계;
    상기 사용자 시야 내에서 상기 하나 이상의 가상 객체의 상기 3차원 위치에 기초하여 상기 하나 이상의 가상 객체 중 어떤 것이 상기 사용자의 상기 현재 초점 영역에 있는지를 식별하는 단계;
    상기 하나 이상의 프로세서의 제어 하에서, 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 하나 이상의 광 처리 요소의 위치를 움직임으로써 상기 현재 초점 영역에 이미지 데이터를 생성하기 위해 상기 마이크로디스플레이 조립체의 초점 영역을 조정하는 단계;
    상기 마이크로디스플레이 조립체에 의해, 상기 조정된 초점 영역에서 상기 현재 초점 영역에 있는 것으로 식별된 상기 하나 이상의 가상 객체의 이미지 데이터를 생성하는 단계; 및
    상기 하나 이상의 가상 객체의 상기 생성된 이미지 데이터를 상기 마이크로디스플레이 조립체로부터 수신하여, 상기 디스플레이 유닛에 의해 디스플레이하는 단계
    를 포함하는 것인, 하나 이상의 컴퓨터 판독가능 비휘발성 저장 매체.
  15. 제 1 항에 있어서, 상기 하나 이상의 프로세서의 제어 하에서, 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 하나 이상의 광 처리 요소를 움직이는 것은,
    상기 하나 이상의 프로세서에 의해, 마이크로디스플레이와 반사 요소 사이의 광 경로에 위치하는 적어도 하나의 광 요소의 전면 절점(front nodal point)과 적어도 하나의 가상 객체의 타겟 위치 사이의 변위 값 S1을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 식 1/S1 + 1/S2 = 1/f에 기초하여 상기 적어도 하나의 광 요소의 초점 길이 f에 대한 상기 적어도 하나의 광 요소의 후면 절점(rear nodal point)과 상기 반사 요소 사이의 변위 값 S2를 결정하는 단계; 및
    상기 결정된 변위 값 S1과 S2를 생성하기 위해 상기 하나 이상의 프로세서의 제어 하에 상기 적어도 하나의 광 요소를 움직이는 단계
    를 더 포함하는 것인, 가변 초점을 갖는 가상 객체를 디스플레이하는 방법.
  16. 제 4 항에 있어서, 상기 하나 이상의 프로세서의 제어 하에서, 상기 광 경로에서 상기 하나 이상의 광 처리 요소를 움직이는 것은,
    상기 하나 이상의 프로세서에 의해, 마이크로디스플레이와 반사 요소 사이의 광 경로에 위치하는 적어도 하나의 광 요소의 전면 절점과 적어도 하나의 가상 객체의 타겟 위치 사이의 변위 값 S1을 결정하고;
    상기 하나 이상의 프로세서에 의해, 식 1/S1 + 1/S2 = 1/f에 기초하여 상기 적어도 하나의 광 요소의 초점 길이 f에 대한 상기 적어도 하나의 광 요소의 후면 절점과 상기 반사 요소 사이의 변위 값 S2를 결정하며;
    상기 결정된 변위 값 S1과 S2를 생성하기 위해 상기 하나 이상의 프로세서의 제어 하에 상기 적어도 하나의 광 요소를 움직이는 것
    을 더 포함하는 것인, 가상 객체의 가변 초점을 제공하는 증강 현실 시스템.
  17. 제 14 항에 있어서, 상기 방법은,
    상기 하나 이상의 프로세서의 제어 하에서, 상기 마이크로디스플레이 조립체의 상기 광 경로에서 상기 하나 이상의 광 처리 요소를 움직이는 것이,
    상기 하나 이상의 프로세서에 의해, 마이크로디스플레이와 반사 요소 사이의 광 경로에 위치하는 적어도 하나의 광 요소의 전면 절점과 적어도 하나의 가상 객체의 타겟 위치 사이의 변위 값 S1을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 식 1/S1 + 1/S2 = 1/f에 기초하여 상기 적어도 하나의 광 요소의 초점 길이 f에 대한 상기 적어도 하나의 광 요소의 후면 절점과 상기 반사 요소 사이의 변위 값 S2를 결정하는 단계; 및
    상기 결정된 변위 값 S1과 S2를 생성하기 위해 상기 하나 이상의 프로세서의 제어 하에 상기 적어도 하나의 광 요소를 움직이는 단계
    를 더 포함하는 것인, 하나 이상의 컴퓨터 판독가능 비휘발성 저장 매체.
KR1020137011956A 2010-11-08 2011-10-31 증강 현실 디스플레이를 위한 자동 가변 가상 초점 KR101912958B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/941,825 US9292973B2 (en) 2010-11-08 2010-11-08 Automatic variable virtual focus for augmented reality displays
US12/941,825 2010-11-08
PCT/US2011/058604 WO2012064546A1 (en) 2010-11-08 2011-10-31 Automatic variable virtual focus for augmented reality displays

Publications (2)

Publication Number Publication Date
KR20130139280A KR20130139280A (ko) 2013-12-20
KR101912958B1 true KR101912958B1 (ko) 2018-10-29

Family

ID=46019190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137011956A KR101912958B1 (ko) 2010-11-08 2011-10-31 증강 현실 디스플레이를 위한 자동 가변 가상 초점

Country Status (12)

Country Link
US (2) US9292973B2 (ko)
EP (1) EP2638693B1 (ko)
JP (1) JP5913346B2 (ko)
KR (1) KR101912958B1 (ko)
CN (1) CN102566049B (ko)
AR (1) AR083807A1 (ko)
CA (1) CA2815372C (ko)
ES (1) ES2713521T3 (ko)
HK (1) HK1172098A1 (ko)
IL (1) IL225995A (ko)
TW (1) TWI539185B (ko)
WO (1) WO2012064546A1 (ko)

Families Citing this family (447)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US8511827B2 (en) 2008-01-22 2013-08-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9244277B2 (en) 2010-04-30 2016-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Wide angle and high resolution tiled head-mounted display device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
EP2774022B1 (en) * 2011-10-31 2018-07-18 Sony Mobile Communications Inc. Amplifying audio-visual data based on user's head orientation
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US9223138B2 (en) * 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9606586B2 (en) 2012-01-23 2017-03-28 Microsoft Technology Licensing, Llc Heat transfer device
CN104204904B (zh) 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US10365711B2 (en) * 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US20130317901A1 (en) * 2012-05-23 2013-11-28 Xiao Yong Wang Methods and Apparatuses for Displaying the 3D Image of a Product
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140007148A1 (en) * 2012-06-28 2014-01-02 Joshua J. Ratliff System and method for adaptive data processing
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9874760B2 (en) * 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
GB2507111A (en) * 2012-10-19 2014-04-23 My View Ltd User-based sensing with biometric data-based processing to assess an individual's experience
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机
US9189021B2 (en) 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
ES2893410T3 (es) * 2012-11-29 2022-02-09 Imran Haddish Sistema de instrucción de realidad virtual y aumentada
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
WO2014107681A1 (en) * 2013-01-04 2014-07-10 Awyse, Inc. System and method for providing augmented reality on mobile devices
US20140192164A1 (en) * 2013-01-07 2014-07-10 Industrial Technology Research Institute System and method for determining depth information in augmented reality scene
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
CN104052981A (zh) * 2013-03-13 2014-09-17 联想(北京)有限公司 一种信息处理方法及电子设备
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
EP2973532A4 (en) * 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
KR102079097B1 (ko) * 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
WO2014178476A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법
JP6020923B2 (ja) * 2013-05-21 2016-11-02 パナソニックＩｐマネジメント株式会社 焦点可変レンズを有するビューア、および映像表示システム
JP6246340B2 (ja) 2013-06-05 2017-12-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチスクリーン・ビューイングのためのコンテンツ配送のための方法および装置
CN105144721A (zh) 2013-06-05 2015-12-09 汤姆逊许可公司 用于多屏幕观看的内容分发的方法和装置
WO2014194487A1 (en) 2013-06-05 2014-12-11 Thomson Licensing Method and apparatus for content distribution for multiscreen viewing
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
CN104704818B (zh) * 2013-06-19 2018-08-31 松下知识产权经营株式会社 图像显示装置和图像显示方法
US9639985B2 (en) 2013-06-24 2017-05-02 Microsoft Technology Licensing, Llc Active binocular alignment for near eye displays
CN103336579A (zh) * 2013-07-05 2013-10-02 百度在线网络技术（北京）有限公司 穿戴式设备的输入方法和穿戴式设备
JP6225546B2 (ja) * 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
KR101771071B1 (ko) * 2013-08-22 2017-08-24 후아웨이 테크놀러지 컴퍼니 리미티드 통신 방법, 클라이언트, 및 단말
CN103487939B (zh) * 2013-08-28 2016-04-20 成都理想境界科技有限公司 可调头戴显示光学***及其调节方法
TWI537767B (zh) * 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
CN103559742B (zh) * 2013-10-23 2017-05-10 Tcl集团股份有限公司 一种用于3d场景的焦点切换方法及***
AU2014354673B2 (en) * 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP2887124A1 (en) * 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
WO2015104446A1 (en) 2014-01-10 2015-07-16 Nokia Technologies Oy Display of a visual representation of a view
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20160085072A1 (en) 2014-01-24 2016-03-24 Osterhout Group, Inc. See-through computer display systems
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
JP6509883B2 (ja) * 2014-01-31 2019-05-08 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
CA3089749A1 (en) * 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
TWI489140B (zh) * 2014-02-24 2015-06-21 Quanta Comp Inc 頭戴式顯示裝置
AU2015227094B2 (en) * 2014-03-05 2019-07-04 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3D augmented reality display with variable focus and/or object recognition
CN103869484B (zh) * 2014-03-07 2016-01-13 南开大学 光学4f***的大成像深度三维显示***中成像深度的确定方法
CN104918036B (zh) * 2014-03-12 2019-03-29 联想(北京)有限公司 增强现实显示装置及方法
JP2015184560A (ja) * 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
JP2015184561A (ja) 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
WO2015184409A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ764950A (en) 2014-05-30 2022-07-01 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
EP3167333A1 (en) 2014-07-10 2017-05-17 Lusospace, Projectos Engenharia Lda Display device
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合***
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
DE102014110961B4 (de) 2014-08-01 2016-02-11 Carl Zeiss Ag Datenbrille
US9811095B2 (en) * 2014-08-06 2017-11-07 Lenovo (Singapore) Pte. Ltd. Glasses with fluid-fillable membrane for adjusting focal length of one or more lenses of the glasses
US20220068154A1 (en) * 2014-08-22 2022-03-03 Intelligent Technologies International, Inc. Secure Testing Device with Combiner
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
CN104298350B (zh) * 2014-09-28 2020-01-31 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
FR3028326B1 (fr) * 2014-11-07 2018-08-17 Thales Systeme de visualisation de tete comportant un systeme oculometrique et des moyens d'adaptation des images emises
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9864205B2 (en) * 2014-11-25 2018-01-09 Ricoh Company, Ltd. Multifocal display
CN104469343B (zh) * 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
CN104360751B (zh) * 2014-12-05 2017-05-10 三星电子（中国）研发中心 一种实现智能控制的方法和设备
JP6378781B2 (ja) * 2014-12-19 2018-08-22 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
EP3234920A1 (en) * 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR102311741B1 (ko) * 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
CN107407814B (zh) 2015-01-22 2020-08-14 奇跃公司 使用阿尔瓦雷斯透镜创建焦平面的方法和***
US20160214200A1 (en) * 2015-01-23 2016-07-28 Illinois Tool Works Inc. User Configuration of Image Capture and Display in a Welding Vision System
CN107430284B (zh) 2015-01-26 2020-07-31 奇跃公司 具有改进的衍射光栅结构的虚拟和增强现实***和方法
KR101728775B1 (ko) 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10061129B2 (en) 2015-03-15 2018-08-28 Kessler Optics and Photonics Solutions Ltd. Birefringent ocular for augmented reality imaging
AU2016233280B2 (en) * 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry
IL255713B (en) 2015-05-19 2022-09-01 Magic Leap Inc Dual integrated light field device
DE102015006528A1 (de) * 2015-05-27 2016-12-01 Roland Harras Verfahren zur Bild- und Filmwiedergabe mit automatischer Fokusierung der Blickbereiche der Betrachter
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
EP3671317B1 (en) 2015-07-20 2021-11-10 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
US20170045728A1 (en) * 2015-08-13 2017-02-16 Novartis Ag Systems and methods for an optical system with an adjustable projected focal plane
EP3360002A4 (en) 2015-10-05 2018-10-31 Magic Leap, Inc. Microlens collimator for scanning optical fiber in virtual/augmented reality system
WO2017062667A1 (en) 2015-10-06 2017-04-13 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
WO2017061677A1 (en) * 2015-10-08 2017-04-13 Lg Electronics Inc. Head mount display device
CN105158903B (zh) * 2015-10-27 2018-06-26 北京国承万通信息科技有限公司 显示器
US9709807B2 (en) 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
CN106680997A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 显示控制方法及装置
CN105571791A (zh) * 2015-12-19 2016-05-11 成都尼奥尔电子科技有限公司 一种基于显示驱动电路的高灵敏度天燃气检测仪
JP6665301B2 (ja) * 2015-12-30 2020-03-13 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウントディスプレイデバイス
US10838116B2 (en) 2016-01-06 2020-11-17 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
KR20170083690A (ko) * 2016-01-08 2017-07-19 삼성디스플레이 주식회사 헤드 마운트 장치 및 표시 장치
CN105701863B (zh) * 2016-01-11 2018-08-21 华为技术有限公司 图像处理的方法和装置
AU2017209171B2 (en) 2016-01-20 2021-10-21 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
EP3409013B1 (en) * 2016-01-29 2022-01-05 Hewlett-Packard Development Company, L.P. Viewing device adjustment based on eye accommodation in relation to a display
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
KR102330237B1 (ko) * 2016-03-15 2021-11-23 매직 립, 인코포레이티드 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10013613B2 (en) 2016-03-23 2018-07-03 International Business Machines Corporation Identifying objects in an image
CA3017930A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN109196447B (zh) 2016-03-31 2022-06-17 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
US11067797B2 (en) 2016-04-07 2021-07-20 Magic Leap, Inc. Systems and methods for augmented reality
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
KR102379691B1 (ko) 2016-04-08 2022-03-25 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10056057B2 (en) * 2016-04-13 2018-08-21 Google Llc Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues
US10387719B2 (en) * 2016-05-20 2019-08-20 Daqri, Llc Biometric based false input detection for a wearable computing device
ITUA20163946A1 (it) * 2016-05-30 2017-11-30 Univ Pisa Visore indossabile per la realtà aumentata
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
KR101915843B1 (ko) * 2016-06-29 2018-11-08 한국과학기술원 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
US20180003991A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Image alignment in head worn display
US11341776B2 (en) 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
KR101690646B1 (ko) 2016-08-02 2016-12-28 아이피랩 주식회사 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
PL3494695T3 (pl) 2016-08-04 2024-02-19 Dolby Laboratories Licensing Corporation Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi
TWI635316B (zh) * 2016-08-09 2018-09-11 陳台國 External near-eye display device
US10187634B2 (en) * 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
CA3033651C (en) 2016-08-12 2023-09-05 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
CN115064110A (zh) 2016-08-15 2022-09-16 苹果公司 具有可变分辨率的显示器
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
EP3507765A4 (en) * 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10068379B2 (en) * 2016-09-30 2018-09-04 Intel Corporation Automatic placement of augmented reality models
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
US10928638B2 (en) 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
US10871652B2 (en) 2016-11-03 2020-12-22 Brillimedical International Corporation Vision aid device
US11768376B1 (en) 2016-11-21 2023-09-26 Apple Inc. Head-mounted display system with display and adjustable optical components
US9711114B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
US9711072B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US11042039B1 (en) * 2016-12-20 2021-06-22 Facebook Technologies, Llc Varifocal display with actuated reflectors
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10448824B2 (en) * 2016-12-29 2019-10-22 Intel Corporation Focus adjustment method and apparatus
US10330936B2 (en) * 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
CN114594603A (zh) * 2017-01-19 2022-06-07 脸谱科技有限责任公司 焦面显示
WO2018138714A1 (en) * 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
CA3045780A1 (en) * 2017-01-30 2018-08-02 Novartis Ag Systems and method for augmented reality ophthalmic surgical microscope projection
KR101866683B1 (ko) * 2017-02-17 2018-06-11 세종대학교산학협력단 편광 의존 렌즈와 편광 조절 장치를 이용한 증강 현실 디스플레이의 영상 투영 거리 조절 장치 및 방법
CN114326128A (zh) * 2017-02-21 2022-04-12 脸谱科技有限责任公司 聚焦调整多平面头戴式显示器
CN106980983A (zh) 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN110537122B (zh) * 2017-02-23 2022-04-29 奇跃公司 基于偏振转换的可变焦虚拟图像设备
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
WO2018183836A1 (en) 2017-03-30 2018-10-04 Magic Leap, Inc. Non-blocking dual driver earphones
EP3610359B1 (en) 2017-04-14 2023-09-20 Magic Leap, Inc. Multimodal eye tracking
US10623634B2 (en) * 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
EP4220258A1 (en) 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
CN110574375B (zh) 2017-04-28 2023-06-02 苹果公司 视频流水线
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
WO2018213010A1 (en) 2017-05-17 2018-11-22 Apple Inc. Head-mounted display device with vision correction
CN106950701A (zh) * 2017-05-19 2017-07-14 深圳市帝泰光电有限公司 一种环境无缝增强多模式mr***
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实***
US10855977B2 (en) * 2017-05-26 2020-12-01 Google Llc Near-eye display with extended accommodation range adjustment
CN110959132B (zh) * 2017-05-27 2022-06-14 李汶基 眼镜型显示器及可变焦距眼镜型显示器
IL252585A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd System and method for projection to the eye with focus control
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
WO2018222248A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
CN107229340B (zh) * 2017-06-29 2020-04-24 联想(北京)有限公司 一种信息处理方法以及电子设备
US10460527B2 (en) * 2017-06-30 2019-10-29 Tobii Ab Systems and methods for displaying images in a virtual world environment
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US20190019448A1 (en) * 2017-07-12 2019-01-17 Oculus Vr, Llc Redundant microleds of multiple rows for compensation of defective microled
KR102638818B1 (ko) 2017-07-19 2024-02-20 루머스 리미티드 Loe를 통한 lcos 조명
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US11009949B1 (en) 2017-08-08 2021-05-18 Apple Inc. Segmented force sensors for wearable devices
RU176382U1 (ru) * 2017-08-28 2018-01-17 Общество с ограниченной ответственностью "ТрансИнжКом" Блок сбора информации для устройства совмещенной реальности
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
US10366522B2 (en) 2017-09-27 2019-07-30 Microsoft Technology Licensing, Llc Augmented and virtual reality bot infrastructure
WO2019072363A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. TUNABLE FOCUS OPTICAL SYSTEM AND MULTI-FOCAL DISPLAY DEVICE
KR101991401B1 (ko) * 2017-10-12 2019-06-20 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
CN115175064A (zh) 2017-10-17 2022-10-11 奇跃公司 混合现实空间音频
KR102022912B1 (ko) * 2017-10-30 2019-09-19 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
US11190757B2 (en) * 2017-12-22 2021-11-30 Mirage 3.4D Pty Ltd Camera projection technique system and method
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
GB201800933D0 (en) * 2018-01-19 2018-03-07 Adlens Ipr Ltd Improvements in or relating to variable focal power optical elements,a variable focal power optical device, a display module for augmented reality headset
US10908325B1 (en) * 2018-01-19 2021-02-02 Facebook Technologies, Llc Liquid lens for varifocal display
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US11314083B2 (en) * 2018-02-06 2022-04-26 Google Llc Beam steering optics for near-eye and head mounted displays
US11181801B2 (en) 2018-02-06 2021-11-23 Google Llc Beam steering optics for virtual reality systems
TWI694355B (zh) * 2018-02-07 2020-05-21 宏達國際電子股份有限公司 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
US20190250407A1 (en) * 2018-02-15 2019-08-15 Microsoft Technology Licensing, Llc See-through relay for a virtual reality and a mixed environment display device
IL276510B2 (en) 2018-02-15 2024-02-01 Magic Leap Inc Virtual reverberation in mixed reality
IL276511B2 (en) 2018-02-15 2024-01-01 Magic Leap Inc Musical instruments in mixed reality
JP7252965B2 (ja) 2018-02-15 2023-04-05 マジック リープ， インコーポレイテッド 複合現実のための二重聴取者位置
JP7185331B2 (ja) 2018-03-22 2022-12-07 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法
TWI651545B (zh) * 2018-03-26 2019-02-21 國立中興大學 可變化成像距離的成像裝置
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
CN112262361A (zh) 2018-04-20 2021-01-22 Pcms控股公司 用于对混合现实内容进行基于注视的控制的方法和***
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
EP3785067A4 (en) 2018-04-24 2021-06-23 Mentor Acquisition One, LLC CLEAR COMPUTER DISPLAY SYSTEMS WITH VISUAL CORRECTION AND INCREASED CONTENT DENSITY
US10871653B1 (en) 2018-04-24 2020-12-22 Lc-Tec Displays Ab Viewing direction independent single-layer, pixelated light dimming filter
CN112088329B (zh) * 2018-05-04 2022-12-02 哈曼国际工业有限公司 用于多平面平视显示器的可再配置的光学器件
US10747309B2 (en) * 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
KR102086779B1 (ko) * 2018-05-14 2020-03-09 단국대학교 산학협력단 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
CN112534498A (zh) 2018-06-14 2021-03-19 奇跃公司 混响增益归一化
US10602292B2 (en) 2018-06-14 2020-03-24 Magic Leap, Inc. Methods and systems for audio signal filtering
JP2021528001A (ja) 2018-06-18 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 双方向オーディオ環境のための空間オーディオ
EP3811360A4 (en) 2018-06-21 2021-11-24 Magic Leap, Inc. PORTABLE SYSTEM VOICE PROCESSING
KR102664392B1 (ko) 2018-06-28 2024-05-08 삼성전자주식회사 디스플레이 장치
CN110673718B (zh) 2018-07-02 2021-10-29 苹果公司 用于显示***的基于聚焦的调试和检查
US10969586B2 (en) * 2018-07-10 2021-04-06 Darwin Hu Ultra light-weight see-through display glasses
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
KR102673817B1 (ko) 2018-07-30 2024-06-10 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
WO2020026226A1 (en) * 2018-07-30 2020-02-06 Reality Plus Ltd. Mixed reality glasses which display virtual objects that move naturally throughout a user's complete field of view
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US11002971B1 (en) 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP7316360B2 (ja) 2018-09-25 2023-07-27 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
CN113170273B (zh) 2018-10-05 2023-03-28 奇跃公司 用于双耳音频渲染的耳间时间差交叉渐变器
CN113168526A (zh) 2018-10-09 2021-07-23 奇跃公司 用于虚拟和增强现实的***和方法
CN113227935A (zh) 2018-10-24 2021-08-06 奇跃公司 异步asic
US11150480B1 (en) 2018-11-06 2021-10-19 Facebook Technologies, Llc Systems and methods for translation of optical components
WO2020095556A1 (ja) * 2018-11-09 2020-05-14 ソニー株式会社 虚像表示装置、および虚像表示方法
WO2020116693A1 (ko) * 2018-12-07 2020-06-11 전자부품연구원 시야창이 확장된 증강현실 근안 디스플레이
US11221814B2 (en) 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
US11099406B2 (en) 2019-01-24 2021-08-24 International Business Machines Corporation Delivering augmented reality via embedded contact lens
US11061254B2 (en) 2019-01-24 2021-07-13 International Business Machines Corporation Adjusting contact lens prescription while wearing lens
KR102185519B1 (ko) * 2019-02-13 2020-12-02 주식회사 싸이큐어 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이
US11587563B2 (en) 2019-03-01 2023-02-21 Magic Leap, Inc. Determining input for speech processing engine
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
CN111856749A (zh) * 2019-04-28 2020-10-30 云谷（固安）科技有限公司 显示装置及方法
US11467535B2 (en) 2019-05-08 2022-10-11 Samsung Electronics Co., Ltd. Multi-image display apparatus providing holographic image
CN110082846A (zh) * 2019-05-27 2019-08-02 维沃移动通信有限公司 一种增强现实眼镜
US11151766B2 (en) 2019-06-06 2021-10-19 Magic Leap, Inc. Photoreal character configurations for spatial computing
CN110180167B (zh) * 2019-06-13 2022-08-09 张洋 增强现实中智能玩具追踪移动终端的方法
AU2020301646B2 (en) 2019-06-27 2024-05-02 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
WO2021040097A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 머리에 착용할 수 있는 전자 디바이스
CN114830182A (zh) 2019-10-18 2022-07-29 奇跃公司 视觉惯性里程计的重力估计和光束法平差
EP4049466A4 (en) 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
EP4049117A4 (en) 2019-10-25 2022-12-14 Magic Leap, Inc. NON-UNIFORM STEREOSCOPIC RENDERING
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
EP4070159A4 (en) 2019-12-04 2023-01-18 Magic Leap, Inc. VARIABLE PITCH COLOR EMISSION DISPLAY DEVICE
EP4070153A4 (en) * 2019-12-06 2023-01-18 Magic Leap, Inc. VIRTUAL, AUGMENTED AND MIXED REALITY SYSTEMS AND PROCEDURES
JP7481446B2 (ja) 2019-12-06 2024-05-10 マジック リープ， インコーポレイテッド 環境音響持続性
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
IT202000001246A1 (it) * 2020-01-22 2021-07-22 Univ Pisa Sistema perfezionato per la fruizione di realtà aumentata
US11475644B2 (en) 2020-02-14 2022-10-18 Magic Leap, Inc. Session manager
US11763559B2 (en) 2020-02-14 2023-09-19 Magic Leap, Inc. 3D object annotation
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
CN115516364B (zh) 2020-02-14 2024-04-26 奇跃公司 工具桥
EP4104456A4 (en) 2020-02-14 2023-07-19 Magic Leap, Inc. AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS
WO2021173862A1 (en) * 2020-02-26 2021-09-02 Magic Leap, Inc. Cross reality system with buffering for localization accuracy
JP2023515886A (ja) 2020-03-02 2023-04-14 マジック リープ， インコーポレイテッド 没入型のオーディオプラットフォーム
US11823343B1 (en) * 2020-03-26 2023-11-21 Apple Inc. Method and device for modifying content according to various simulation characteristics
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
US11846782B1 (en) 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors
US20210325678A1 (en) * 2020-04-20 2021-10-21 Apple Inc. Electronic Devices with Optical Modules
EP4158615A4 (en) 2020-05-29 2023-11-15 Magic Leap, Inc. DETERMINATION OF ANGULAR ACCELERATION
CN117044234A (zh) 2020-05-29 2023-11-10 奇跃公司 表面适当碰撞
EP4172739A1 (en) * 2020-06-29 2023-05-03 Snap Inc. Eyewear with shared gaze-responsive viewing
CN111982468B (zh) * 2020-07-29 2022-12-09 深圳惠牛科技有限公司 一种视场角的测量方法、设备、***及计算机存储介质
US11354575B1 (en) * 2020-08-14 2022-06-07 Facebook Technologies, Llc. Calibrated sensitivity model approximating the eye
TWI759840B (zh) * 2020-08-31 2022-04-01 創新未來國際有限公司 迷你功能型顯示裝置
US11694380B2 (en) 2020-11-13 2023-07-04 Zoltan GELENCSER System and method for immersive telecommunications
DE102020214478A1 (de) 2020-11-18 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Ophthalmische Linse für eine Brille und Verfahren zum Herstellen einer ophthalmischen Linse
US12020359B2 (en) 2020-12-07 2024-06-25 Zoltan GELENCSER System and method for immersive telecommunications supported by AI analysis
JP2024502701A (ja) 2020-12-20 2024-01-23 ルムス エルティーディー． 空間光変調器上のレーザ走査による画像プロジェクタ
KR20220107753A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 시력 보정 렌즈를 포함하는 디스플레이 장치
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR102332169B1 (ko) * 2021-02-24 2021-12-01 주식회사 셀리코 증강현실 기반의 인공망막 시스템
IL305555A (en) 2021-03-01 2023-10-01 Lumus Ltd An optical system with a compact coupling from a projector into a waveguide
TWI799828B (zh) 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統
EP4232868A4 (en) 2021-05-19 2024-04-17 Lumus Ltd. ACTIVE OPTICAL ENGINE
FR3124281A1 (fr) * 2021-06-18 2022-12-23 Trivisio Dispositif optique pour afficher un contenu à proximité de l’œil d’un utilisateur
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023023398A1 (en) * 2021-08-20 2023-02-23 Meta Platforms Technologies, Llc Eyeglass devices and related methods
CN117651892A (zh) 2021-08-23 2024-03-05 鲁姆斯有限公司 具有嵌入式耦入反射器的复合光导光学元件的制造方法
CN113724309B (zh) * 2021-08-27 2024-06-14 杭州海康威视数字技术股份有限公司 图像生成方法、装置、设备及存储介质
WO2023107272A2 (en) * 2021-12-10 2023-06-15 Google Llc Lens tinting for integrated lens display
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023154996A1 (en) * 2022-02-15 2023-08-24 Vuereal Inc. Nonintrusive head-mounted device
US11803238B1 (en) * 2022-06-03 2023-10-31 Microsoft Technology Licensing, Llc Eye and hand tracking utilizing lensless camera and machine learning
WO2024064909A2 (en) * 2022-09-23 2024-03-28 Magic Leap, Inc. Methods, systems, and computer program products for alignment of a wearable device
CN117572647B (zh) * 2024-01-15 2024-04-26 北京晟启光芯科技有限公司 一种微显示器、智能显示装置及其画面防抖方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010001240A1 (en) 1998-11-09 2001-05-17 Melville Charles D. Optical scanning system with variable focus lens
US20020167462A1 (en) 1998-08-05 2002-11-14 Microvision, Inc. Personal display with vision tracking
US20040130783A1 (en) 2002-12-02 2004-07-08 Solomon Dennis J Visual display with full accommodation
US20060033992A1 (en) 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US20060284790A1 (en) 1998-08-05 2006-12-21 Tegreene Clarence T Optical scanning system with correction
WO2007063306A2 (en) 2005-12-02 2007-06-07 Spiral Scratch Limited Virtual computer interface
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20090295683A1 (en) 2008-05-27 2009-12-03 Randall Pugh Head mounted display with variable focal length lens
US20100103175A1 (en) 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
WO2010090144A1 (ja) 2009-02-05 2010-08-12 Hoya株式会社 眼鏡レンズの評価方法、眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズの製造システム、及び眼鏡レンズ
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4041505A (en) 1975-12-31 1977-08-09 Bell & Howell Company Automatic electronic rangefinder
JPS5547006U (ko) 1978-09-18 1980-03-27
US4934773A (en) 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
JPH02262112A (ja) 1989-03-31 1990-10-24 Fuji Photo Film Co Ltd 電動ズーミング装置
CA2054344C (en) 1990-10-29 1997-04-15 Kazuhiro Itsumi Video camera having focusing and image-processing function
JP2901116B2 (ja) 1992-11-30 1999-06-07 株式会社日立製作所 オートフォーカス装置の制御方法
EP0714043B1 (en) 1993-08-12 2003-04-09 Seiko Epson Corporation Head mount type image display device and information processor equipped with the device
US5416876A (en) 1994-01-28 1995-05-16 Hughes Training, Inc. Fiber optic ribbon subminiature display for head/helmet mounted display
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
GB9511091D0 (en) 1995-06-01 1995-07-26 Silver Joshua D Variable power spectacles
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
GB9805977D0 (en) 1998-03-19 1998-05-20 Silver Joshua D Improvements in variable focus optical devices
WO2000062543A1 (en) * 1999-04-08 2000-10-19 New York University Extremely high resolution foveated display
US6053610A (en) 1999-07-15 2000-04-25 Lane Research Actuation mechanism for variable focal length spectacles
JP2001032759A (ja) 1999-07-23 2001-02-06 Hitachi Zosen Corp 風力発電装置
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP2001215441A (ja) 2000-02-07 2001-08-10 Mixed Reality Systems Laboratory Inc 画像観察装置
JP2001197522A (ja) 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像表示装置
JP3492251B2 (ja) 1999-09-07 2004-02-03 キヤノン株式会社 画像入力装置及び画像表示装置
EP1083755A3 (en) 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP2001242370A (ja) 2000-02-25 2001-09-07 Fuji Photo Optical Co Ltd レンズ装置
JP2001264614A (ja) 2000-03-15 2001-09-26 Fuji Photo Optical Co Ltd ズームレンズ
JP4064656B2 (ja) 2000-09-28 2008-03-19 株式会社東芝 静電アクチュエータ及びその駆動方法
JP3477441B2 (ja) 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7133077B2 (en) 2001-07-02 2006-11-07 Canon Kabushiki Kaisha Auto focus camera, lens apparatus and camera system with a vibration motor drive
JP4072330B2 (ja) 2001-10-31 2008-04-09 キヤノン株式会社 表示装置および情報処理方法
WO2003046400A1 (en) * 2001-11-27 2003-06-05 Freni Brembo S.P.A. Duo-servo drum brake inside shoes adjusting device
KR100427649B1 (ko) 2001-12-26 2004-04-28 한국전자통신연구원 증강현실 기술을 이용한 별자리 관측시스템
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
JP2005208255A (ja) 2004-01-21 2005-08-04 Fujinon Corp 撮影レンズ装置
JP4498019B2 (ja) 2004-06-08 2010-07-07 キヤノン株式会社 光学装置及び撮像システム
CA2576016A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US20060146012A1 (en) 2005-01-04 2006-07-06 Arneson Theodore R System and method for automatic display switching
US8140197B2 (en) 2005-02-17 2012-03-20 Lumus Ltd. Personal navigation system
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
JP2006330053A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
JP2006330054A (ja) 2005-05-23 2006-12-07 Konica Minolta Opto Inc レンズ鏡胴
US7265911B2 (en) 2005-08-22 2007-09-04 Eastman Kodak Company Zoom lens system having variable power element
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
EP2054743A4 (en) 2006-08-24 2009-09-02 Agency Science Tech & Res VARIABLE FOCAL OBJECTIVES
US7866816B2 (en) 2006-10-10 2011-01-11 Lane Research, Llc Variable focus spectacles
US8246170B2 (en) 2007-11-21 2012-08-21 Panasonic Corporation Display apparatus
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
JP5152580B2 (ja) 2008-07-29 2013-02-27 カシオ計算機株式会社 撮影装置、及び光学装置
JP2010139901A (ja) 2008-12-15 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
KR20090053838A (ko) 2009-03-24 2009-05-27 에이전시 포 사이언스, 테크놀로지 앤드 리서치 가변 포커스 줌 렌즈
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284790A1 (en) 1998-08-05 2006-12-21 Tegreene Clarence T Optical scanning system with correction
US20020167462A1 (en) 1998-08-05 2002-11-14 Microvision, Inc. Personal display with vision tracking
US20010001240A1 (en) 1998-11-09 2001-05-17 Melville Charles D. Optical scanning system with variable focus lens
US20040130783A1 (en) 2002-12-02 2004-07-08 Solomon Dennis J Visual display with full accommodation
US20060033992A1 (en) 2002-12-02 2006-02-16 Solomon Dennis J Advanced integrated scanning focal immersive visual display
US20080117289A1 (en) 2004-08-06 2008-05-22 Schowengerdt Brian T Variable Fixation Viewing Distance Scanned Light Displays
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
WO2007063306A2 (en) 2005-12-02 2007-06-07 Spiral Scratch Limited Virtual computer interface
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20100103175A1 (en) 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US20090295683A1 (en) 2008-05-27 2009-12-03 Randall Pugh Head mounted display with variable focal length lens
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
WO2010090144A1 (ja) 2009-02-05 2010-08-12 Hoya株式会社 眼鏡レンズの評価方法、眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズの製造システム、及び眼鏡レンズ
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Seichter, Hartmut. "Augmented reality aided design." Presence: Teleoperators and Virtual Environments 11.4 (2007)

Also Published As

Publication number Publication date
ES2713521T3 (es) 2019-05-22
JP5913346B2 (ja) 2016-04-27
US20160161740A1 (en) 2016-06-09
US9588341B2 (en) 2017-03-07
US9292973B2 (en) 2016-03-22
HK1172098A1 (en) 2013-04-12
AR083807A1 (es) 2013-03-20
IL225995A0 (en) 2013-06-27
CA2815372A1 (en) 2012-05-18
WO2012064546A1 (en) 2012-05-18
CN102566049B (zh) 2015-05-13
CN102566049A (zh) 2012-07-11
JP2014505381A (ja) 2014-02-27
EP2638693A1 (en) 2013-09-18
US20120113092A1 (en) 2012-05-10
IL225995A (en) 2017-03-30
CA2815372C (en) 2018-04-10
KR20130139280A (ko) 2013-12-20
TWI539185B (zh) 2016-06-21
EP2638693B1 (en) 2018-11-28
EP2638693A4 (en) 2014-03-26
TW201224516A (en) 2012-06-16

Similar Documents

Publication Publication Date Title
KR101912958B1 (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
KR101789357B1 (ko) 증강 현실 시스템 및 개선된 초점 제공 방법
EP3011419B1 (en) Multi-step virtual object selection
EP2652543B1 (en) Optimized focal area for augmented reality displays
EP3011411B1 (en) Hybrid world/body locked hud on an hmd

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant