KR20220138046A - 듀얼 파장 눈 이미징 - Google Patents

듀얼 파장 눈 이미징 Download PDF

Info

Publication number
KR20220138046A
KR20220138046A KR1020227021704A KR20227021704A KR20220138046A KR 20220138046 A KR20220138046 A KR 20220138046A KR 1020227021704 A KR1020227021704 A KR 1020227021704A KR 20227021704 A KR20227021704 A KR 20227021704A KR 20220138046 A KR20220138046 A KR 20220138046A
Authority
KR
South Korea
Prior art keywords
eye
light
illuminator
wavelength
invisible
Prior art date
Application number
KR1020227021704A
Other languages
English (en)
Inventor
캐롤 콘스탄틴 햇질리아스
퀴 장
크리스토퍼 유안-팅 리아오
로빈 샤르마
앤드류 존 우더커크
Original Assignee
메타 플랫폼즈 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 플랫폼즈 테크놀로지스, 엘엘씨 filed Critical 메타 플랫폼즈 테크놀로지스, 엘엘씨
Publication of KR20220138046A publication Critical patent/KR20220138046A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H04N5/332—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

눈은 제1 비가시 광 파장 및 제2 비가시 광 파장으로 조명된다. 제1 안구 이미지는 제1 비가시 광 파장을 갖는 제1 반사 광으로부터 캡처되고 제2 안구 이미지는 제2 비가시 광 파장을 갖는 제2 반사 광으로부터 캡처된다.

Description

듀얼 파장 눈 이미징
본 개시는 2개의 상이한 파장을 가진 하나 이상의 눈(eye)의 스테레오 이미징에 관한 것이다.
눈의 이미지를 캡처하는 것은 다양한 상황에서 유용하다. 눈의 이미지는 눈의 위치, 동공의 사이즈, 및/또는 눈이 응시하는 위치를 결정하기 위해 분석될 수 있다. 눈 이미징 시스템은 눈을 이미징하는 속도와 정확도에 따라 다르다. 일부 눈 이미징 시스템은 정확하게 동작하기 위해 광범위한 캘리브레이션(calibration)이 필요하다. 눈 이미징의 캘리브레이션 시간 또는 복잡성을 줄이거나 없애는 것이 바람직하다. 또한, 눈 이미징 시스템의 속도와 정확도가 향상될 수 있다.
본 발명의 일 양태에 따르면, 근안 이미징 시스템(near-eye imaging system)이 제공되고, 상기 근안 이미징 시스템은, 눈 영역을 향해 제1 근적외선 광을 방출하도록 구성된 제1 조명기; 상기 눈 영역에 제2 근적외선 광을 방출하도록 구성된 제2 조명기 - 상기 제2 근적외선 광은 상기 제1 근적외선 광과 파장이 상이함 - ; 카메라 모듈; 및 근안 광학 엘리먼트를 포함하고, 상기 근안 광학 엘리먼트는, 상기 눈 영역으로 가시 장면 광(visible scene-light)을 통과시키고 상기 눈 영역으로부터 반사되는 상기 제1 근적외선 광을 상기 카메라 모듈로 지향시키도록 구성된 제1 결합기 층(combiner layer); 및 상기 눈 영역으로 상기 가시 장면 광을 통과시키고 상기 눈 영역으로부터 반사된 상기 제2 근적외선 광을 상기 카메라 모듈로 지향시키도록 구성된 제2 결합기 층을 포함한다.
상기 카메라 모듈은, 상기 제1 근적외선 광의 제1 안구 이미지(ocular image)를 캡처하도록 구성되고 상기 제2 근적외선 광의 제2 안구 이미지를 캡처하도록 구성되며, 상기 카메라 모듈은 상기 제1 근적외선 광 및 상기 제2 근적외선 광 이외의 광을 필터링(filter out)하도록 구성된다.
일부 실시형태에서, 상기 카메라 모듈은, 상기 카메라 모듈의 제1 픽셀들 위에 놓인 제1 필터들, 상기 제1 필터들은 상기 제1 근적외선 광을 통과시키고 다른 광을 거부하며, 상기 제1 안구 이미지는 상기 제1 픽셀들에 의해 생성됨 - ; 및 상기 카메라 모듈의 제2 픽셀들 위에 놓인 제2 필터들 - 상기 제2 필터들은 상기 제2 적외선 광을 통과시키고 다른 광을 거부하며, 상기 제2 안구 이미지는 상기 제2 픽셀들에 의해 생성됨 - 을 포함할 수 있다.
일부 실시형태에서, 상기 근안 이미징 시스템은 또한, 제1 기간(time period) 동안 상기 제1 조명기를 선택적으로 활성화하도록 그리고 상기 제1 기간과 상이한 제2 기간 동안 상기 제2 조명기를 선택적으로 활성화하도록 구성된 프로세싱 로직- 상기 카메라 모듈은, 상기 제1 기간 동안 상기 제1 안구 이미지를 캡처하도록 그리고 상기 제2 기간 동안 상기 제2 안구 이미지를 캡처하도록 구성됨 - 을 포함한다.
일부 실시형태에서, 상기 제1 결합기 층 및 상기 제2 결합기 층, 중 적어도 하나는 홀로그래픽 광학 엘리먼트(holographic optical element, HOE)를 포함할 수 있다.
일부 실시형태에서, 제1 결합기 층은 제1 각도로 입사되는 상기 제1 근적외선 광을 상기 카메라 모듈에 선택적으로 지향시킬 수 있고, 상기 제2 결합기 층은 제2 각도로 입사되는 상기 제2 근적외선 광을 상기 카메라 모듈에 선택적으로 지향시킨다.
일부 실시형태에서, 상기 제1 각도는 상기 제2 각도보다 10도 더 클 수 있다.
일부 실시형태에서, 상기 제1 조명기 및 상기 제2 조명기는, 근안 광학 엘리먼트의 사용자의 눈의 시야(field-of-view, FOV) 내에 있는 상기 근안 광학 엘리먼트의 조명 층 상에 배치된 필드내 조명기(in-filed illuminator)일 수 있다.
일부 실시형태에서, 상기 제1 조명기 및 상기 제2 조명기는, 마이크로 발광 다이오드(micro-LED), 에지 방출 LED, 수직 캐비티 표면 광방출 레이저(vertical cavity surface emitting laser, VCSEL) 다이오드, 또는 초발광 다이오드(Superluminescent diode, SLED), 중 적어도 하나를 포함할 수 있다.
일부 실시형태에서, 상기 제1 근적외선 광은 850 nm 주위에 중심이 있을 수 있고, 상기 제2 근적외선 광은 940 nm 주위에 중심이 있을 수 있다.
본 발명의 다른 양태에 따르면, 근안 광학 엘리먼트가 제공되고, 상기 근안 광학 엘리먼트는, 눈 영역을 향해 제1 비가시 파장을 가진 제1 광을 방출하도록 구성된 제1 조명기; 상기 눈 영역에 제2 비가시 파장을 가진 제2 광을 방출하도록 구성된 제2 조명기 - 상기 제1 비가시 파장은 상기 제2 비가시 파장과 상이함 - ; 가시 장면 광을 상기 눈 영역으로 통과시키고 상기 눈 영역으로부터 반사된 상기 제1 광을 카메라 모듈에 지향시키도록 구성된 제1 결합기 층; 및 상기 가시 장면 광을 상기 눈 영역으로 통과시키고 상기 눈 영역으로부터 반사된 상기 제2 광을 상기 카메라 모듈에 지향시키도록 구성된 제2 결합기 층을 포함한다.
일부 실시형태에서, 제1 결합기 층은 제1 각도로 입사되는 상기 제1 광을 상기 카메라 모듈에 선택적으로 지향시킬 수 있고, 상기 제2 결합기 층은 제2 각도로 입사되는 상기 제2 광을 상기 카메라 모듈에 선택적으로 지향시킨다.
일부 실시형태에서, 상기 제1 결합기 층 및 상기 제2 결합기 층, 중 적어도 하나는 홀로그래픽 광학 엘리먼트(holographic optical element, HOE)를 포함할 수 있다.
일부 실시형태에서, 상기 제1 조명기 및 상기 제2 조명기는, 근안 광학 엘리먼트의 사용자의 눈의 시야(field-of-view, FOV) 내에 있는 상기 근안 광학 엘리먼트의 조명 층 상에 배치된 필드내 조명기(in-filed illuminator)일 수 있다.
일부 실시형태에서, 상기 제1 조명기 및 상기 제2 조명기는, 마이크로 발광 다이오드(micro-LED), 에지 방출 LED, 수직 캐비티 표면 광방출 레이저(vertical cavity surface emitting laser, VCSEL) 다이오드, 또는 초발광 다이오드(Superluminescent diode, SLED), 중 적어도 하나를 포함할 수 있다.
본 발명의 추가 양태에 따르면, 근안 스테레오 이미징 방법이 제공되고, 상기 방법은, 제1 비가시 광 파장으로 눈을 조명하는 단계; 상기 제1 비가시 광 파장과 상이한 제2 비가시 광 파장으로 상기 눈을 조명하는 단계; 상기 제1 비가시 광 파장을 가진 제1 반사 광으로부터 제1 안구 이미지를 캡처하는 단계; 및 상기 제2 비가시 광 파장을 가진 제2 반사 광으로부터 제2 안구 이미지를 캡처하는 단계를 포함하고, 상기 제1 안구 이미지 및 상기 제2 안구 이미지는, 상기 제1 비가시 광 파장 및 상기 제2 비가시 광 파장 이외의 광을 필터링하도록 구성된 카메라에 의해 캡처된다.
일부 실시형태에서, 방법은 상기 제1 안구 이미지 및 상기 제2 안구 이미지에 기초하여 눈 트래킹 위치를 결정하는 단계를 더 포함할 수 있다.
일부 실시형태에서, 제1 필드내 조명기는 제1 비가시 광 파장을 방출할 수 있고, 제2 필드내 조명기는 제2 비가시 광 파장을 방출할 수 있으며, 상기 제1 필드내 조명기 및 상기 제2 필드내 조명기는 사용자의 시야(field of view, FOV) 내에 위치된 근안 광학 엘리먼트에 포함된다.
일부 실시형태에서, 상기 제1 안구 이미지는 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하고 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안 상기 카메라에 의해 캡처될 수 있으며, 상기 제2 안구 이미지는 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하고 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안 상기 카메라에 의해 캡처될 수 있다.
일부 실시형태에서, 상기 제1 안구 이미지 및 상기 제2 안구 이미지를 캡처하는 상기 카메라는, 상기 카메라의 제1 픽셀들 위에 놓인 제1 필터들 - 상기 제1 필터들은 상기 제1 비가시 광 파장을 통과시키고 다른 광은 거부하며, 상기 제1 안구 이미지는 상기 제1 픽셀들에 의해 생성됨 - ; 및 상기 카메라의 제2 픽셀들 위에 놓인 제2 필터들 - 상기 제2 필터들은 상기 제2 비가시 광 파장을 통과시키고 다른 광은 거부하며, 상기 제2 안구 이미지는 상기 제2 픽셀들에 의해 생성됨 - 을 포함할 수 있다.
본 발명의 하나 이상의 양태 또는 실시형태로의 통합에 적합한 것으로 여기에서 설명된 임의의 피쳐들은 본 개시의 임의의 및 모든 양태 및 실시양태에 걸쳐 일반화할 수 있도록 의도된다는 것이 이해될 것이다. 본 개시의 다른 양태들은 본 개시의 설명, 청구범위, 및 도면에 비추어 당업자에 의해 이해될 수 있다. 전술한 일반적인 설명 및 다음의 상세한 설명은 예시적이고 설명적일 뿐이며 청구범위를 제한하지 않는다.
본 발명의 비제한적이고 비한정적인 실시형태는 달리 명시되지 않는 한 다양한 도면에 걸쳐 유사한 참조 번호가 유사한 부분을 지칭하는 다음 도면을 참조하여 설명된다.
도 1은 본 개시의 양태에 따른 예시적 헤드 마운트형 디스플레이(head mounted display, HMD)를 도시한다.
도 2는 본 개시의 실시형태에 따른 조명 층을 포함하는 예시적 근안 광학 엘리먼트의 상면도이다.
도 3은 본 개시의 양태에 따른 예시적 조명 층을 통한 눈의 전면 뷰를 도시한다.
도 4는 본 개시의 양태에 따른 제1 비가시 조명 광 및 제2 비가시 조명 광의 예시적 광학 경로를 도시한다.
도 5는 본 개시의 양태에 따른 이미지 픽셀 어레이를 포함하는 예시적 이미지 센서를 도시한다.
도 6은 본 개시의 양태에 따른 카메라 모듈에 사용될 수 있는 이미지 센서를 도시한다.
도 7은 본 개시의 양태에 따른 카메라 모듈에 사용될 수 있는 제2 필터가 산재된(interspersed) 제1 필터를 도시한다.
도 8은 본 개시의 양태에 따른 제1 비가시 파장의 제1 안구 이미지 및 제2 비가시 파장의 제2 안구 이미지를 포함하는 결합 이미지(combined image)를 카메라 모듈이 캡처하는 스테레오 눈 이미징 시스템을 도시한다.
도 9a는 본 개시의 양태에 따른, 카메라 모듈이 상이한 이미지 캡처로 제1 안구 이미지 및 제2 안구 이미지를 캡처하는 스테레오 눈 이미징 시스템을 도시한다.
도 9b는 본 개시의 양태에 따른 시스템의 예시적 동작 기술을 도시한 예시적 하이브리드 도식적 타이밍 다이어그램을 도시한다.
도 10은 본 개시의 양태에 따른, 근안 스테레오 이미징을 위한 예시적인 프로세스를 예시하는 플로우 차트를 도시한다.
듀얼 파장 눈 이미징의 실시형태가 여기에서 설명된다. 다음 설명에서, 실시형태의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명된다. 그러나, 관련 분야의 통상의 기술자는 여기에 설명된 기술이 하나 이상의 특정 세부 사항 없이 또는 다른 방법, 구성 요소, 재료 등을 사용하여 실행될 수 있음을 인식할 것이다. 다른 경우에, 잘 알려진 구조, 재료 또는 작업은 특정 양태를 모호하게 하는 것을 피하기 위해 자세히 표시되거나 설명되지 않는다.
본 명세서 전체에서 "일 실시예" 또는 "실시형태"에 대한 참조는 실시형태와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 곳에서 "일 실시형태에서" 또는 "일 실시예에서"라는 문구의 출현은 반드시 모두 동일한 실시형태를 지칭하는 것은 아니다. 또한, 특정 피쳐, 구조, 또는 특성은 하나 이상의 실시형태에서 적합한 모든 방식으로 결합될 수 있다.
본 개시는 2개의 상이한 파장을 가진 하나 이상의 눈(eye)의 스테레오 이미징에 관한 것이다. 본 개시의 실시형태는 예컨대, 눈 트래킹을 위한 헤드 마운트형 디바이스에 포함되는 다수의 콘텍스트에서 사용될 수 있다. 본 개시의 양태에서, 제1 조명기의 어레이는 눈을 향한 제1 근적외선 광(예컨대, 850 nm)을 방출하고, 제2 조명기의 어레이는 눈을 향해 제2 근적외선 광(예컨대, 940 nm)을 방출한다. 근안 광학 엘리먼트에서의 광학 결합기(optical combiner)는 (눈으로부터 반사/산란된) 제1 근적외선 광 및 (마찬가지로, 눈으로부터 반사/산란된) 제2 근적외선 광을, (제1 근적외선 광으로부터의) 제1 안구 이미지 및 (제2 근적외선 광으로부터의) 제2 안구 이미지를 생성하는 카메라 모듈에 지향시키도록 구성될 수 있다. 제1 근적외선 파장의 제1 안구 이미지와 제2 근적외선 파장의 제2 안구 이미지를 분석하는 것은, 특히 z 방향(깊이)에서의 더 큰 눈 이미지 정확도를 가능하게 할 수 있다. 이 증가된 정확도는 눈의 위치의 트래킹을 향상시키고, 눈 위치 트래킹에 관련된 캘리브레이션 프로세스가 감소되거나 제거될 수 있다. 또한, 눈의 응시 영역(눈이 응시하는 곳)을 결정하는 것은 눈이 응시하는 곳을 보다 정확하게 정의하기 위한 3개 이상의 팩터에 의해 감소될 수 있다. 이들 및 다른 실시형태는 도 1 내지 도 10과 관련하여 더 상세하게 설명된다.
도 1은 본 개시의 양태에 따른 예시적 헤드 마운트형 디스플레이(head mounted display, HMD)(100)를 도시한다. HMD가 도 1에 도시되어 있지만, 본 개시의 실시형태는, 디스플레이를 포함하지 않는 헤드 마운트형 디스플레이에 포함되는 다수의 콘텍스트에서 사용될 수 있다. HMD(100)의 도시된 예는 프레임(102), 템플 암(temple arm)(104A 및 104B), 및 근안 광학 엘리먼트(110A 및 110B)를 포함하는 것으로 도시되어 있다. 카메라 모듈(108A 및 108B)은 각각 템플 암(104A 및 104B)에 커플링되는 것으로 도시되어 있다. 도 1은 또한, 근안 광학 엘리먼트(110A)의 실시예의 분해도를 도시한다. 근안 광학 엘리먼트(110A)는 선택적 광학 투명 층(120A), 조명 층(130A), 광학 결합기 층(140A), 및 디스플레이 층(150A)을 포함하는 것으로 도시되어 있다. 디스플레이 층(150A)은 HMD(100)의 사용자의 눈에 가상 이미지를 지향시키도록 구성되는 웨이브가이드(waveguide)(158)를 포함할 수 있다.
조명 층(130A)은 복수의 조명기(126 및 127)를 포함하는 것으로 도시되어 있다. 조명기(126 및 127)는 HMD(100)의 사용자의 시야(FOV) 내에 있기 때문에, “필드내”로 설명될 수 있다. 필드내 조명기(126 및 127)는 실시형태에서 HMD의 디스플레이를 사용자가 보는 동일 FOV 내에 있을 수 있다. 필드내 조명기(126 및 127)는 근안 광학 엘리먼트(110)를 통해 전파되는 장면 광(191)을 통해 HMD(100)의 외부 환경을 사용자가 보는 동일 FOV 내에 있을 수 있다. 필드내 조명기(126 및 127)가 근안 광학 엘리먼트(110A)에 약간의 폐색(occlusion)을 도입할 수 있는 반면, 필드내 조명기(126 및 127)는 물론 이들의 대응하는 전기적 라우팅이 너무 작아서 HMD(100)의 착용자에게 눈에 띄지 않거나 중요하지 않을 수 있다. 또한, 필드내 조명기(126 및 127)로부터의 임의의 폐색은 인간의 눈에 의해 초점을 맞출 수 없을 정도로 눈에 너무 가깝게 위치될 것이며, 이에 따라 필드내 조명기(126 및 127)가 눈에 띄지 않거나 중요하지 않게 되는 것을 돕는다. 일부 실시형태에서, 각각의 필드내 조명기(126 또는 127)는 약 200 x 200 미크론 미만인 풋프린트(또는 사이즈)를 갖는다. HMD(100)를 사용자가 착용하는 경우, 필드내 조명기(126, 127)는 눈으로부터 10 mm 내지 30 mm 사이에 배치될 수 있다. 일부 실시형태에서, 필드내 조명기(126 및 127)는 사용자의 눈으로부터 15 mm 내지 25 mm 사이에 배치될 수 있다. 필드내 조명기(126 및 127)는 눈 영역을 향해 비가시 광을 방출할 수 있다. 일부 실시형태에서, 비가시 광은 근적외선 광(예컨대, 750 nm - 1.5 μm)일 수 있다. 조명기(126)는 제1 비가시 파장을 방출하고, 조명기(127)는 제1 비가시 파장과 상이한 파장을 가진 제2 비가시 파장을 방출한다. 각각의 필드내 조명기(126 및 127)는 마이크로 발광 다이오드(micro-LED), 에지 방출 LED(edge emitting LED), VCSEL(vertical cavity surface emitting laser) 다이오드, 또는 SLED(Superluminescent diode)일 수 있다.
도 1에 도시된 바와 같이, 프레임(102)은 사용자의 헤드(head)에 HMD(100)를 고정시키기 위해 템플 암(104A 및 104B)에 커플링된다. 예시적 HMD(100)는 프레임(102) 및/또는 템플 암(104A 및 104B)에 통합된 지지 하드웨어(supporting hardware)를 포함할 수도 있다. HMD(100)의 하드웨어는, 임의의 프로세싱 로직, 데이터를 전송하고 수신하기 위한 유선 및/또는 무선 데이터 인터페이스, 그래픽 프로세서, 및 데이터 및 컴퓨터 실행 가능 명령어를 저장하는 하나 이상의 메모리를 포함할 수 있다. 일 실시예에서, HMD(100)는 유선 전력을 수신하도록 구성될 수 있고 그리고/또는 하나 이상의 배터리에 의해 전력 공급되도록 구성될 수 있다. 또한, HMD(100)는 비디오 데이터를 포함하는 유선 및/또는 무선 데이터를 수신하도록 구성될 수 있다.
도 1은 프레임(102)에 장착되도록 구성된 근안 광학 엘리먼트(110A 및 110B)를 도시한다. 디스플레이 층(150A)에 의해 눈에 지향되는 디스플레이 광을 수신하면서 환경으로부터 가시 장면 광(191)을 사용자가 볼 수 있도록 하기 위해, 증강 현실 또는 믹스된(mixed) 현실을 가능하게 하도록 근안 광학 엘리먼트(110A 및 110B)는 사용자에게 투명하게 보일 수 있다. 추가 실시예에서, 근안 광학 엘리먼트(110A 및 110B)의 일부 또는 전부는 가상 현실 헤드셋에 통합될 수 있고, 근안 광학 엘리먼트(110A 및 110B)의 투명한 특성은, 가상 현실 헤드셋에 통합된 전자 디스플레이[예컨대, LCD(liquid crystal display), OLED(organic light emitting diode) 디스플레이, 마이크로 LED 디스플레이 등]을 사용자가 볼 수 있게 한다.
전술한 바와 같이, 조명 층(130A)의 필드내 조명기(126 및 127)는, 사용자를 눈을 조명하기 위해 근안 광학 엘리먼트(110A)의 시선 측(eyeward side)(109)을 향해 비가시 조명 광을 방출하도록 구성될 수 있다. 근안 광학 엘리먼트(110A)는 광학 결합기 층(140A)을 포함하고, 광학 결합기 층(140A)은 근안 광학 엘리먼트(110A)의 후면(111)과 조명 층(130A) 사이에 배치된 것으로 도시되어 있다. 일부 양태에서, 광학 결합기(140A)는, 사용자의 눈에 의해 반사/산란된 (제1 조명기(126)에 의해 방출된 파장을 가진) 제1 반사광을 수신하고, 카메라 모듈(108A)로 제1 반사광을 지향시키도록 구성된다. 광학 결합기(140A)는 또한, 사용자의 눈에 의해 반사/산란된 (제2 조명기(127)에 의해 방출된 파장을 가진) 제2 반사광을 수신하고, 카메라 모듈(108A)로 제2 반사광을 지향시키도록 구성될 수 있다. 광학 결합기(140A)는 제1 반사광을 지향시키도록 구성된 제1 층 및 제2 반사광을 반사시키도록 구성된 제2 층을 가질 수 있다. 카메라 모듈(108A)은 도시된 위치와 상이한 위치에 위치 결정될 수 있다. 일부 양태에서, 광학 결합기(140A)는 근안 광학 엘리먼트(110A)의 후면(111) 상에 입사되는 장면 광(191)과 같은 가시 광(예를 들어, 대략 400 nm - 700 nm)에 투과성이다. 일부 실시예에서, 광학 결합기(140A)는, 카메라 모듈(108A)을 행해 제1 반사광 및 제2 반사광을 지향시키기 위해 하나 이상의 브래그 격자(Bragg grating)를 포함할 수 있는 볼륨 홀로그램(volume hologram) 또는 HOE(holographic optical element)로서 구성될 수 있다. 일부 실시예에서, 광학 결합기(140A)는 카메라 모듈(108A)을 향한 특정 파장을 갖는 입사광의 특정 편광 배향을 회절시키지만 다른 편광 배향은 통과시키는 편광-선택적 볼륨 홀로그램(일명 편광 볼륨 홀로그램)을 포함한다.
디스플레이 층(150A)은 HMD(100)의 디자인에 따라 하나 이상의 다른 광학 엘리먼트를 포함할 수 있다. 예컨대, 디스플레이 층(150A)은 사용자의 눈에 전자 디스플레이에 의해 생성된 디스플레이 광을 지향시키기 위한 웨이브가이드(158)를 포함할 수 있다. 일부 실시형태에서, 전자 디스플레이의 적어도 일부는 HMD(100)의 프레임(102) 내에 포함된다. 전자 디스플레이는, 디스플레이 광을 생성하기 위한 LCOS(liquid crystal on silicon) 디스플레이, 피코 프로젝터(pico-projector), 마이크로-LED 디스플레이, OLED(organic light emitting diode) 디스플레이, 또는 LCD를 포함할 수 있다.
광학적 투명 층(120A)은 근안 광학 엘리먼트(110A)의 시선 측(109)과 조명 층(130A) 사이에 배치된 것으로 도시되어 있다. 광학적 투명 층(120A)은 조명 층(130A)에 의해 방출된 적외선 조명 광을 수신하고, 사용자의 눈을 조명하기 위해 적외선 조명 광을 통과시킬 수 있다. 전술한 바와 같이, 광학적 투명 층(120A)은 또한 환경으로부터 수신된 장면 광(191) 및/또는 디스플레이 층(150A)으로부터 수신된 디스플레이 광과 같은 가시 광에 대해 투명할 수 있다. 일부 실시예에서, 광학적 투명 층(120A)은 사용자의 눈에 광(예컨대, 디스플레이 광 및/또는 장면 광)을 포커싱하기 위한 곡률을 갖는다. 따라서, 광학적 투명 층(120A)은 일부 실시예에서, 렌즈로 지칭될 수 있다. 일부 양태에서, 광학적 투명 층(120A)은 사용자의 사양에 대응하는 두께 및/또는 곡률을 갖는다. 환언하면, 광학적 투명 층(120A)은 처방 렌즈(prescription lens)일 수 있다. 그러나, 다른 실시예에서, 광학적 투명 층(120A)은 비처방 렌즈(non-prescription lens)일 수 있다.
도 2는 조명 층(230) 결합기 층(240), 및 디스플레이 층(250)을 포함하는 예시적 근안 광학 엘리먼트(210)의 상면도이다. 일부 실시형태에서, 투명 층(미도시)은 조명 층(230)과 눈(202) 사이에 선택적으로 포함될 수 있다. 제1 조명기(236)는 눈(202)을 조명하기 위해 눈 영역에 제1 비가시 조명 광(238)을 방출한다. 도 2에서, 조명기(236A, 236B, 236C, 236D, 및 236E)가 도시되어 있지만, 조명 층(230) 내에 더 많거나 더 적은 수의 조명기가 있을 수 있다. 제2 조명기(237)는 눈(202)을 조명하기 위해 눈 영역에 제2 비가시 조명 광(239)을 방출한다. 도 2에서, 조명기(237A, 237B, 237C, 237D, 및 237E)가 도시되어 있지만, 조명 층(230) 내에 더 많거나 더 적은 수의 조명기가 있을 수 있다. 제1 비가시 조명 광(238)은 제2 비가시 조명 광(239)과는 상이한 파장이다. 일부 양태에서, 제1 비가시 조명 광(238) 및 제2 비가시 조명 광(239)은 근적외선 광일 수 있다.
전술한 바와 같이, 조명기(236, 237)는 VCSEL 또는 SLED일 수 있고, 결과적으로 조명 광(238/239)은 협대역 적외선 조명 광(예를 들어, 1-10 nm의 선폭)일 수 있다. 아래에서 더 자세히 설명되는 바와 같이, 눈(202)에 의해 반사되는 반사된 조명 광은 결합기 층(240)에 의해 수신될 수 있고 카메라 모듈(108A)로 재지향될 수 있다.
카메라 모듈(108A)은 제1 안구 이미지 및 제2 안구 이미지를 생성하고, 제1 안구 이미지는 제1 비가시 조명 광(238)에 의한 것이고, 제2 안구 이미지는 제2 비가시 조명 광(239)에 의한 것이다. 예컨대, 눈(202)의 시선 방향 및/또는 눈(202)의 위치를 결정하기 위해, 제1 안구 이미지 및 제2 안구 이미지가 사용될 수 있다. 카메라 모듈(108A)이 제1 비가시 조명 광(238) 및 제2 비가시 조명 광(239)의 파장만을 이미징하도록, 카메라 모듈(108A)은 제1 비가시 조명 광 및 제2 비가시 조명 광 이외의 광을 필터링하도록 구성될 수 있다.
도 2는 외부 환경으로부터의 장면 광(191)(가시 광)이 디스플레이 층(250), 결합기 층(240) 및 조명 층(230)을 통해 전파되어 사용자가 외부 환경의 장면을 볼 수 있도록 눈(202)에 입사될 수 있음을 보여준다. 도 2는 또한 디스플레이 층(250)이 가상 이미지를 눈(202)에 제시하기 위해 디스플레이 광(293)을 생성하거나 재지향시킬 수 있음을 보여준다. 디스플레이 광(293)은 가시 광이며 결합기 층(240) 및 조명 층(230)을 통해 전파되어 눈(202)에 도달한다.
조명 층(230)은 필드내 조명기(237)가 배치된 투명 기판을 포함할 수 있다. 필드내 조명기(237)는 또한 투명 물질(232)로 캡슐화될 수 있다. 투명 물질(232)은 가시 광(예: 400nm - 750nm) 및 근적외선 광(예: 750nm - 1.5μm)을 투과하도록 구성된다.
도 3은 본 개시의 양태에 따른 예시적 조명 층(330)을 통한 눈(202)의 전면 뷰를 도시한다. 도시된 실시형태에서, 조명 층(330)은 21개의 제1 필드내 조명기(336A-336U) 및 21개의 제2 필드내 조명기(337A-337U)를 포함한다. 도 3의 도시된 실시예에서, 각각의 제1 필드내 조명기(336)는 대응하는 제2 필드내 조명기(337)에 매우 가깝게 배치된다. 그러나, 제1 필드내 조명기(336) 및 제2 필드내 조명기(337)의 다른 배열이 고려된다. 구체적으로 도시되지는 않았지만, 투명 또는 반투명 전기 트레이스(electrical trace)는 제1 필드내 조명기(336) 및 제2 필드내 조명기(337)에 전력을 제공할 수 있다. 일부 실시형태에서, 인듐 주석 산화물(indium tin oxide; ITO)과 같은 투명 반도체 물질이 전기 트레이스로서 사용된다. 제1 필드내 조명기(336) 및 제2 필드내 조명기(337)를 선택적으로 활성화하기 위한 대응하는 전기 회로(예를 들어, 트랜지스터 및 전원)는 헤드 마운트형 디바이스의 암(104) 또는 프레임(102)에 포함될 수 있다. 제1 필드내 조명기(336) 및 제2 필드내 조명기(337)는 조명 층(330)을 가로질러 실행되는 데 필요한 전기 트레이스를 감소시키기 위해 공통 접지 또는 공통 전력 레일(power rail)을 공유할 수 있다.
도 4는 본 개시의 양태에 따른 제1 비가시 조명 광(438) 및 제2 비가시 조명 광(439)의 예시적 광학 경로를 도시한다. 도 4에서, 제1 조명기(436)의 어레이는 눈(202)을 조명하기 위해 제1 비가시 조명 광(438)을 방출하도록 구성된다. 제1 조명기(436) 모두가 제1 비가시 조명 광(438)을 방출하지만, 조명 광의 광학 경로의 예시 및 설명을 위해 도 4에는 조명기(436A)로부터의 조명 광만이 도시되어 있다. 제1 비가시 조명 광(438)의 적어도 일부는 제1 반사 광(448)으로서 각막(201)에서 반사되고 조명 층(430)을 통해 전파되어 결합기 광학 엘리먼트(440)와 만난다.
도 4의 제1 비가시 조명 광(438)의 예시와 마찬가지로, 제2 조명기(437)의 어레이는 눈(202)을 조명하기 위해 제2 비가시 조명 광(439)을 방출하도록 구성된다. 제2 조명기(437) 모두가 제2 비가시 조명 광(439)을 방출하지만, 조명 광의 광학 경로의 예시 및 설명을 위해 조명기(437B)로부터의 조명 광만이 도시되어 있다. 제2 비가시 조명 광(439)의 적어도 일부는 제2 반사 광(449)으로서 각막(201)에서 반사되고 조명 층(430)을 통해 전파되어 결합기 광학 엘리먼트(440)와 만난다. 제2 반사광(449)은 제2 결합기 층(442)을 만나기 전에 제1 결합기 층(441)을 통해 전파된다.
결합기 광학 엘리먼트(440)는 제1 반사 광(448) 및 제2 반사 광(449)을 수신하고, 카메라 모듈(예컨대, 카메라 모듈(108))로 광(448 및 449)을 재지향시킨다. 도 4에서, 결합기 광학 엘리먼트(440)는 제1 결합기 층(441) 및 제2 결합기 층(442)을 포함한다. 제1 결합기 층(441)은, 눈(202)에 가시 장면 광(예컨대, 장면 광(191))을 통과시키고 제1 반사 광(448)(광(438)과 동일 파장을 가짐)을 카메라 모듈(도 4에 미도시)로 지향시키도록 구성된다. 제1 결합기 층(441)은 구체적으로 광(438/448)의 파장을 재지향시키도록 구성된 파장 선택적 회절 구조를 포함할 수 있다. 제2 결합기 층(442)은, 눈(202)에 가시 장면 광(예컨대, 장면 광(191))을 통과시키고 제2 반사 광(449)(광(439)과 동일 파장을 가짐)을 카메라 모듈로 지향시키도록 구성된다. 제2 결합기 층(442)은 구체적으로 광(439/449)의 파장을 재지향시키도록 구성된 파장 선택적 회절 구조를 포함할 수 있다.
제1 결합기 층(441)은 HOE(holographic optical element)일 수 있다. 제1 결합기 층(441)은 제1 반사 광(448)의 제1 편광 배향(예를 들어, 우측 원형 편광)을 반사하고 제1 편광 배향과 다른 편광 배향을 통과시키는 편광-선택적 볼륨 홀로그램을 포함할 수 있다. 제1 결합기 층(441)은 또한 제1 반사 광(448)을 재지향시키기 위해 접는 거울(folding mirror) 또는 선형 회절 격자(linear diffractive grating)를 포함할 수 있다. 제1 결합기 층(441)은 HOE일 수 있다. 제2 결합기 층(442)은 제2 반사 광(449)의 제1 편광 배향(예를 들어, 우측 원형 편광)을 반사하고 제1 편광 배향과 다른 편광 배향을 통과시키는 편광-선택적 볼륨 홀로그램을 포함할 수 있다. 제2 결합기 층(442)은 또한 제2 반사 광(449)을 재지향시키기 위해 접는 거울(folding mirror) 또는 선형 회절 격자(linear diffractive grating)를 포함할 수 있다. 도 4의 도시된 실시예에서, 제1 결합기 층(441)은 조명 층(430)과 제2 결합기 층(442) 사이에 배치된다.
제1 결합기 층(441)은 제1 각도(471)에서 카메라 모듈로 제1 반사 광(448)을 선택적으로 재지향시킬 수 있고, 제2 결합기 층(442)은 제1 각도(471)과 상이한 제2 각도(472)에서 카메라 모듈로 제2 반사 광(449)을 선택적으로 재지향시킬 수 있다. 일부 양태에서, 제1 각도(471)는 제2 각도(472)보다 10도 이상 더 클 수 있다. 일부 양태에서, 제1 각도(471)는 제2 각도(472)보다 30도 이상 더 클 수 있다. 일부 양태에서, 제1 각도(471)는 제2 각도(472)보다 대략 40도 더 클 수 있다.
도 5는 이미지 픽셀 어레이(502)를 포함하는 예시적 이미지 센서(500)를 도시한다. 이미지 센서(500)는 구체적으로 도시되지 않은 다른 전자기기(예컨대, 판독 회로)를 포함할 수 있다. 이미지 센서(500)는 CMOS(complementary metal-oxide semiconductor) 이미지 센서일 수 있다. 이미지 픽셀 어레이(502)는 숫자 n개의 이미지 픽셀(P1, P2, P3…Pn)의 어레이를 포함한다. 이미지 픽셀 어레이(502)는 숫자 x열 및 숫자 y행으로 배열된다.
도 6은 본 개시의 양태에 따른 카메라 모듈에 사용될 수 있는 이미지 센서(600)를 도시한다. 이미지 센서(600)는 이미지 픽셀 어레이(502)와 유사하게 구성될 수 있는 이미지 픽셀 어레이(602)를 포함한다. 제1 필터(656)는 카메라 모듈(108)과 같은 카메라 모듈에 포함된 이미지 픽셀 어레이(602)의 제1 픽셀 위에 놓인다. 제1 필터(656)는 제1 비가시 조명 광(예컨대, 438)의 파장을 통과시키고(투과) 다른 파장의 광을 차단(reject)한다. 따라서, 제1 반사 광(448)으로서 최종적으로 카메라 모듈에 입사되는 제1 조명기(436)에 의해 방출된 파장은 제1 필터(656)에 의해 이미지 픽셀 어레이(602)의 제1 픽셀로 통과된다. 제1 필터(656)는 예를 들어 10 nm 미만인 투과 노치(transmission notch)를 갖는 대역통과 필터일 수 있다. 제2 필터(657)는 카메라 모듈(108)과 같은 카메라 모듈에 포함된 이미지 픽셀 어레이(602)의 제2 픽셀 위에 놓인다. 제2 필터(657)는 제2 비가시 조명 광(예컨대, 439)의 파장을 통과시키고(투과) 다른 파장의 광을 차단(reject)한다. 제2 필터(657)는 예를 들어 10 nm 미만인 투과 노치(transmission notch)를 갖는 대역통과 필터일 수 있다. 따라서, 제2 반사 광(449)으로서 최종적으로 카메라 모듈에 입사되는 제2 조명기(437)에 의해 방출된 파장은 제2 필터(657)에 의해 이미지 픽셀 어레이(602)의 제2 픽셀로 통과된다.
도 7은 본 개시의 양태에 따른 카메라 모듈에 사용될 수 있는 제2 필터(757)가 산재된(interspersed) 제1 필터(756)를 도시한다. 도 7의 이미지 센서(700)는 이미지 픽셀 어레이(502)와 유사하게 구성될 수 있는 이미지 픽셀 어레이(702)를 포함한다. 도 7에서, 제1 필터(756)는 이미지 픽셀 어레이(702)의 제1 픽셀 위에 놓이고, 제2 필터(757)는 이미지 픽셀 어레이(702)의 제2 픽셀 위에 놓인다. 따라서, 이미지 픽셀 어레이(702)의 제1 픽셀은 이미지 픽셀 어레이(702)의 제2 픽셀과 산재된다. 도 7에서, 제1 픽셀 및 제1 필터(756)는 제2 픽셀 및 제2 필터(757)에 대해 서로 또는 가장 가까운 이웃 관계로 배열된다. 제1 필터(756)는 제1 비가시 조명 광(예컨대, 438)의 파장을 통과시키고(투과) 다른 파장의 광을 차단(reject, block)한다. 따라서, 제1 반사 광(448)으로서 최종적으로 카메라 모듈에 입사되는 제1 조명기(436)에 의해 방출된 파장은 제1 필터(756)에 의해 이미지 픽셀 어레이(702)의 제1 픽셀로 통과된다. 제1 필터(756)는 예를 들어 10 nm 미만인 투과 노치(transmission notch)를 갖는 대역통과 필터일 수 있다. 제2 필터(757)는 카메라 모듈(108)과 같은 카메라 모듈에 포함된 이미지 픽셀 어레이(702)의 제2 픽셀 위에 놓인다. 제2 필터(757)는 제2 비가시 조명 광(예컨대, 439)의 파장을 통과시키고(투과) 다른 파장의 광을 차단(reject, block)한다. 제2 필터(757)는 예를 들어 10 nm 미만인 투과 노치(transmission notch)를 갖는 대역통과 필터일 수 있다. 따라서, 일부 실시예에서, 제2 반사 광(449)으로서 최종적으로 카메라 모듈에 입사되는 제2 조명기(437)에 의해 방출된 파장은 제2 필터(757)에 의해 이미지 픽셀 어레이(702)의 제2 픽셀로 통과된다.
도 6 및 도 7에 도시된 실시형태에서, 이미지 픽셀 어레이(602) 또는 이미지 픽셀 어레이(702)는 단일 이미지 캡처(즉, 단일 글로벌 셔터 통합 기간 또는 단일 롤링 셔터 통합 기간)에서 결합 이미지를 캡처할 수 있고, 결합 이미지는 제1 픽셀에 의해 생성된 제1 안구 이미지 및 제2 픽셀에 의해 생성된 제2 안구 이미지를 포함한다. 도 6 및 도 7은 제1 픽셀 위에 놓인 제1 필터 및 제2 픽셀 위에 놓인 제2 필터에 관한 예시적 배열을 도시하고 있지만, 본 개시의 양태에 따른 다른 배열이 사용될 수도 있다.
도 8은, 본 개시의 양태에 따른, 카메라 모듈(850)이 제1 비가시시 파장의 제1 안구 이미지 및 제2 비가시시 파장의 제2 안구 이미지를 포함하는 결합 이미지(880)를 캡처하는 스테레오 눈 이미징 시스템(800)을 도시한다. 시스템(800)은 카메라 모듈(850), 프로세싱 로직(870), 디스플레이 층(890), 조명 층(430), 및 광학 결합기 층(440)을 포함한다. 조명 층(430)은 제1 조명기(436) 및 제2 조명기(437)를 포함한다. 카메라 모듈(850)은 이미지 센서(600 또는 700)를 포함할 수 있다.
동작 중에, 제1 조명기(436)는 눈(202)을 향해 제1 비가시 광(438)을 방출하고 제2 조명기(437)는 눈(202)을 향해 제2 비가시 광(439)을 방출한다. 로직(870)은, 제1 비가시 광(438) 및 제2 비가시 광(439)으로 동시에 눈(202)을 조명하기 위해 제1 조명기(436) 및 제2 조명기(437)를 구도할 수 있다. 제1 비가시 광(438)은 적외선 광일 수 있다. 제1 비가시 광(438)은 근적외선 광일 수 있다. 일부 양태에서, 제1 비가시 광(438)은 700 nm 내지 1000 nm의 근적외선 광일 수 있다. 제1 비가시 광(438)은 10 nm 미만의 선폭을 가진 협대역 광일 수 있다. 제2 비가시 광(439)은 적외선 광일 수 있다. 제2 비가시 광(439)은 근적외선 광일 수 있다. 일부 양태에서, 제2 비가시 광(439)은 700 nm 내지 1000 nm의 근적외선 광일 수 있다. 제2 비가시 광(439)은 10 nm 미만의 선폭을 가진 협대역 광일 수 있다. 제1 비가시 광(438)의 일부는 제1 결합기 층(441)과 만나는 제1 반사 광(448)으로서 눈(202)의 각막에서 반사된다. 제1 결합기 층(441)은 제1 반사 광(448)을 카메라 모듈(850)로 재지향시킨다. 제1 결합기 층(441)은 회절을 통해 제1 반사 광(448)을 카메라 모듈(850)로 재지향시킬 수 있다. 제2 비가시 광(439)의 일부는 제2 결합기 층(442)과 만나는 제2 반사 광(449)으로서 눈(202)의 각막에서 반사된다. 제2 결합기 층(442)은 제2 반사 광(449)을 카메라 모듈(850)로 재지향시킨다. 제2 결합기 층(442)은 회절을 통해 제2 반사 광(449)을 카메라 모듈(850)로 재지향시킬 수 있다.
카메라 모듈(850)은 제1 반사 광(448) 및 제2 반사 광(449)을 수신하고, 카메라 모듈(850)은 제1 반사 광(448) 및 제2 반사 광(449) 모두를 포함하는 결합 이미지(880)를 캡처한다. 일부 양태에서, 제1 반사 광(448) 및 제2 반사 광(449)이 동시에 카메라 모듈(850)의 이미지 센서 상에 입사되도록, 제1 조명기(436) 및 제2 조명기(437)는 제1 비가시 광(438) 및 제2 비가시 광(439)를 동시에 방출한다. 카메라 모듈(850)의 이미지 센서의 제1 픽셀은 제1 반사 광(448)을 캡처하고, 이미지 센서의 제2 픽셀은 동일 결합 이미지(880) 내의 제2 반사 광(449)을 캡처한다. 제1 필터(656 또는 756)가 제1 픽셀 위에 놓이기 때문에, 광(438/448)의 파장만이 제1 픽셀에 의해 이미징된다. 제2 필터(657 또는 757)가 제2 픽셀 위에 놓이기 때문에, 광(439/449)의 파장만이 제2 픽셀에 의해 이미징된다. 결합 이미지(880)는 제1 픽셀에 의해 생성된 제1 안구 이미지 및 제2 픽셀에 의해 생성된 제2 안구 이미지 모두를 포함한다.
도 8은 복수의 결합 이미지(880)가 결합 이미지(880A, 880B, 880C, 및 880D)로서 순차적으로 캡처될 수 있는 것을 도시한다. 눈(202)의 눈 트래킹 위치는, 결합 이미지(880)로부터 추출된 제1 안구 이미지 및 제2 안구 이미지에 기초하여 계산될 수 있다. 예컨대, 눈(202)의 제1 눈 트래킹 위치는 결합 이미지(880A)의 제1 안구 이미지 및 제2 안구 이미지로부터 결정될 수 있다. 눈(202)의 제2 눈 트래킹 위치는 결합 이미지(880B)의 제1 안구 이미지 및 제2 안구 이미지로부터 결정될 수 있고, 눈(202)의 제3 눈 트래킹 위치는 결합 이미지(880C)의 제1 안구 이미지 및 제2 안구 이미지로부터 결정될 수 있고, 눈(202)의 제4 눈 트래킹 위치는 결합 이미지(880D)의 제1 안구 이미지 및 제2 안구 이미지로부터 결정될 수 있다. 이러한 방식으로 눈(202)의 위치가 연속적으로 트래킹될 수 있다. 도 8의 도시에서, 프로세싱 로직(870)은 결합 이미지(880)를 수신하도록 구성된다. 프로세싱 로직(870)은 결합 이미지로부터 제1 안구 이미지 및 제2 안구 이미지를 추출하고 눈 트래킹 위치를 결정할 수 있다. 일부 실시형태에서, 눈(202)의 응시 방향은 결합 이미지(880)로부터 결정된 눈 트래킹 위치로부터 결정될 수 있다. 시선 방향에 기초하여, 디스플레이 층(890)에 의해 사용자에게 제시되는 가상 이미지가 변경될 수 있다. 도 8에서, 프로세싱 로직(870)은 결합 이미지(880)의 제1 및 제2 안구 이미지로부터 도출된 응시 방향에 기초하여 디스플레이 층(890) 상에 가상 이미지(893)를 구동할 수 있다. 가상 이미지(893)는 눈(202)에 제시되는 디스플레이 광(899) 내에 포함된다. 디스플레이 광(899)은 예시적인 시스템(800)에서 광학 결합기 층(440) 및 조명 층(430)을 통해 전파된다.
도 9a는 본 개시의 양태에 따른, 카메라 모듈(950)이 상이한 이미지 캡처로 제1 안구 이미지 및 제2 안구 이미지를 캡처하는 스테레오 눈 이미징 시스템(900)을 도시한다. 시스템(900)은 카메라 모듈(950), 프로세싱 로직(970), 디스플레이 층(890), 조명 층(430), 및 광학 결합기 층(440)을 포함한다. 조명 층(430)은 제1 조명기(436) 및 제2 조명기(437)를 포함한다. 예시된 카메라 모듈(950)은, 광(438/448)의 파장 이외의 파장을 가진 광을 필터링하고, 광(439/449)의 파장 이외의 파장을 가진 광을 필터링하도록 구성된 필터(951)를 포함한다. 필터(951)는 다수의 유전체 층을 포함할 수 있다. 제1 조명기(436)가 약 850 nm를 중심으로 협대역 광을 방출하고 제2 조명기(437)가 약 940 nm를 중심으로 협대역 광을 방출하는 예시적인 실시형태에서, 필터(951)는 849 nm 내지 851 nm의 파장을 갖는 광을 통과시키고 939 nm 내지 941 nm 파장을 갖는 광을 통과시킬 수 있고, 모든 다른 파장이 카메라 모듈(950)의 이미지 센서에 입사되는 것을 차단한다. 본 실시예에서, 이미지 센서(500)와 같은 이미지 센서는 카메라 모듈(950)에서 사용될 수 있다. 실시예에서, 필터(951)는 카메라 모듈(950)의 렌즈 어셈블리 위에 배치된다. 다른 실시예에서, 이미지 픽셀 어레이의 이미징 평면에 이미지를 포커싱하도록 구성된 렌즈 어셈블리와 이미지 픽셀 어레이 사이에 필터가 배치되도록, 이미지 픽셀 어레이(502)의 이미지 픽셀 위에 필터(951)의 특성을 가진 필터가 오버레이될 수 있다.
도 9b는 본 개시의 양태에 따른 시스템(900)의 예시적 동작 기술을 도시한 예시적 하이브리드 도식적 타이밍 다이어그램(995)을 도시한다. 시구간(t1)에서, 프로세싱 로직(970)은, 제1 조명기가 눈(202)을 향하여 제1 비가시 광(438)을 방출하도록, 출력(X1)을 선택적으로 구동한다. 도 9b는 제1 조명기(436)로서 사용될 수 있는 다이오드로서 도시된 예시적 제1 조명기(936)를 나타낸다. 도 9b의 예시적인 개략도에서, 출력(X1)이 높을 때, 트랜지스터(963)는 턴온되어 전류가 제1 조명기(936)를 통해 흐르게 하여 제1 비가시 광(438)의 방출을 야기한다. 도시된 실시예에서, 제1 조명기(936)는 전압 공급부(VDD)(961)와 접지(VSS)(969) 사이에 병렬로 배열된다. 그러나, 다른 배열에서, 제1 조명기(936)는 직렬로 배열된 다이오드의 하나 이상의 스트링(string)으로 배열될 수 있다. 도 9b의 다이오드는 예컨대, LED, SLED, 및 레이저 다이오드(VCSEL을 포함함)를 나타낼 수 있다.
제1 조명기(436/936)에 의해 방출되는 제1 비가시 광(438)의 일부는 제1 결합기 층(441)과 만나는 제1 반사 광(448)으로서 눈(202)의 각막에서 반사된다. 제1 결합기 층(441)은 제1 반사 광(448)을 카메라 모듈(950)로 재지향시킨다. 제1 조명기(436/936)가 제1 비가시 광(438)으로 눈(202)을 조명하는 동안, 카메라 모듈(950)은 제1 안구 이미지(981)를 캡처하기 위해 이미지 캡처를 개시한다. 따라서, 제1 비가시 광(438)이 눈(202)의 눈 영역을 조명하는 동안, 그리고 제2 비가시 광(439)이 눈 영역을 조명하지 않는 동안, 제1 안구 이미지(981)는 카메라 모듈(950)에 의해 캡처된다. 시구간(t1) 이후에, 프로세싱 로직(970)은 낮은 출력(X1)을 구동한다.
시구간(t2)에서, 프로세싱 로직(970)은, 제2 조명기가 눈(202)을 향해 제2 비가시 광(439)을 방출하도록, 출력(X2)을 선택적으로 구동한다. 도 9b는 제2 조명기(437)로서 사용될 수 있는 다이오드로서 도시된 예시적 제2 조명기(937)를 나타낸다. 도 9b의 예시적인 개략도에서, 출력(X2)이 높을 때, 트랜지스터(964)는 턴온되어 전류가 제2 조명기(937)를 통해 흐르게 하여 제2 비가시 광(439)의 방출을 야기한다. 도시된 실시예에서, 제2 조명기(937)는 전압 공급부(VDD)(961)와 접지(VSS)(969) 사이에 병렬로 배열된다. 그러나, 다른 배열에서, 제2 조명기(937)는 직렬로 배열된 다이오드의 하나 이상의 스트링(string)으로 배열될 수 있다.
제2 조명기(437/937)에 의해 방출되는 제1 비가시 광(439)의 일부는 제2 결합기 층(442)과 만나는 제2 반사 광(449)으로서 눈(202)의 각막에서 반사된다. 제2 결합기 층(442)은 제2 반사 광(449)을 카메라 모듈(950)로 재지향시킨다. 제2 조명기(437/937)가 제2 비가시 광(439)으로 눈(202)을 조명하는 동안, 카메라 모듈(950)은 제2 안구 이미지(982)를 캡처하기 위해 이미지 캡처를 개시한다. 따라서, 제2 비가시 광(439)이 눈(202)의 눈 영역을 조명하는 동안, 그리고 제1 비가시 광(438)이 눈 영역을 조명하지 않는 동안, 제2 안구 이미지(982)는 카메라 모듈(950)에 의해 캡처된다. 시구간(t2) 이후에, 프로세싱 로직(970)은 낮은 출력(X2)을 구동한다.
시구간(t3)에서, 제1 조명기가 눈(202)을 향해 제1 비가시 광(438)을 방출하고, 제1 안구 이미지(981)와 마찬가지 방식으로 제1 안구 이미지(983)가 캡처되도록, 프로세싱 로직(970)은 출력(X1)을 선택적으로 구동한다. 시구간(t4)에서, 제2 조명기가 눈(202)을 향해 제2 비가시 광(439)을 방출하고, 제2 안구 이미지(982)와 마찬가지 방식으로 제2 안구 이미지(984)가 캡처되도록, 프로세싱 로직(970)은 출력(X2)을 선택적으로 구동한다. 이러한 방식으로, 시스템(900)은, 제1 비가시 광(438)의 파장의 제1 안구 이미지를 캡처하고 제2 비가시 광(439)의 파장의 제2 안구 이미지를 캡처하는 시간 다중화 기법(시간 다중화 기법)을 채택한다.
도 10은 본 개시의 양태에 따른, 근안 스테레오 이미징을 위한 예시적인 프로세스(1000)를 예시하는 플로우 차트를 도시한다. 프로세스 블록의 일부 또는 전체가 프로세스(1000)에 나타나는 순서는 제한적인 것으로 간주되어서는 안된다. 오히려, 본 개시의 이점을 갖는 당업자는 프로세스 블록의 일부가 예시되지 않은 다양한 순서로, 또는 심지어 병렬로 실행될 수 있음을 이해할 것이다.
프로세스 블록(1005)에서, 제1 비가시 광 파장으로 눈이 조명된다. 제1 비가시 광 파장은 예컨대 근적외선 파장일 수 있다.
프로세스 블록(1010)에서, 제1 비가시 광 파장과 상이한 제2 비가시 광 파장으로 눈이 조명된다. 제2 비가시 광 파장도 근적외선 파장일 수 있다. 일부 실시예에서, 제1 비가시 광 파장은 제1 비가시 광 파장으로부터 30 nm 이상 분리될 수 있다.
프로세스 블록(1015)에서, 제1 비가시 광 파장을 가진 제1 반사 광(예컨대, 광(448))으로부터 제1 안구 이미지가 캡처된다.
프로세스 블록(1020)에서, 제2 비가시 광 파장을 가진 제2 반사 광(예컨대, 광(449))으로부터 제2 안구 이미지가 캡처된다. 제1 비가시 과 파장 및 제2 비가시 광 파장 이외의 광을 필터링하도록 구성된 카메라(예컨대, 카메라 모듈(850 또는 950))에 의해 제1 안구 이미지 및 제2 안구 이미지가 캡처된다.
프로세스(1000)는 제1 안구 이미지 및 제2 안구 이미지에 기초하여 눈 트래킹 위치를 결정하는 단계를 더 포함할 수 있다.
프로세스(1000)의 구현예에서, 제1 필드내 조명기는 제1 비가시 광 파장을 방출하고, 제2 필드내 조명기는 제2 비가시 광 파장을 방출하며, 상기 제1 필드내 조명기 및 상기 제2 필드내 조명기는 사용자의 시야(field of view, FOV) 내에 위치된 근안 광학 엘리먼트(예컨대, 근안 광학 엘리먼트(110 또는 210))에 포함된다.
프로세스(1000)의 구현예에서, 상기 제1 안구 이미지는 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하고 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안 카메라에 의해 캡처되고, 상기 제2 안구 이미지는 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하고 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안 상기 카메라에 의해 캡처된다. 예컨대, 이 구현예에서 시스템(900)이 사용될 수 있다.
프로세스(1000)의 구현예에서, 제1 안구 이미지 및 제2 안구 이미지를 캡처하는 카메라는 카메라의 제1 픽셀 위에 놓인 제1 필터 및 카메라의 제2 픽셀 위에 놓인 제2 필터를 포함한다. 제1 필터는 제1 비가시 광 파장을 통과시키고 다른 광을 차단하며, 제1 안구 이미지는 제1 픽셀에 의해 생성된다. 제2 필터는 제2 비가시 광 파장을 통과시키고 다른 광을 차단하며, 제2 안구 이미지는 제2 픽셀에 의해 생성된다. 예컨대, 이 구현예에서 시스템(800)이 사용될 수 있다.
본 발명의 실시형태는 인공 현실 시스템(artificial reality system)을 포함하거나 이와 함께 구현될 수 있다. 인공 현실은 가상 현실(VR), 증강 현실(AR), 혼합 현실(mixed reality; MR), 하이브리드 현실(hybrid reality), 또는 이들의 일부 조합 및/또는 파생물을 포함할 수 있는 사용자에게 표시하기 전에 어떤 방식으로든 조정된 현실의 한 형태이다. 인공 현실 콘텐트는 완전히 생성된 콘텐트 또는 캡처된(예컨대, 현실 세계) 콘텐트와 결합되어 생성된 콘텐트를 포함할 수 있다. 인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것이 단일 채널 또는 다중 채널(예컨대, 시청자에게 3차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 실시형태에서, 인공 현실은 또한, 예를 들어 인공 현실에서 콘텐트를 생성하는 데 사용되는 그리고/또는 그렇지 않으면 인공 현실에서(예컨대, 활동을 수행하는) 사용되는 애플리케이션, 제품, 액세서리, 서비스, 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐트를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 접속된 HMD(Head Mounted Display), 독립형 HMD, 모바일 디바이스, 또는 컴퓨팅 시스템, 또는 한 명 이상의 시청자에게 인공 현실 콘텐츠를 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다수의 플랫폼 상에서 구현될 수 있다.
본 개시에서 “프로세싱 로직”(예컨대, 870 또는 970)이라는 용어는, 여기에 개시된 동작들을 실행하기 위한 하나 이상의 프로세서, 마이크로프로세서, 멀티 코어 프로세서, ASIC(Application-specific integrated circuit), 및/또는 FPGA(Field Programmable Gate Array)를 포함할 수 있다. 일부 실시형태에서, 메모리(미도시)는 동작을 실행하고 그리고/또는 데이터를 저장하기 위한 명령어를 저장하기 위해 프로세싱 로직에 통합된다. 프로세싱 로직은 또한, 본 개시의 실시형태에 따른 동작들을 수행하기 위한 아날로그 또는 디지털 회로를 포함할 수 있다.
본 개시에서 설명된 "메모리" 또는 "메모리들"은 하나 이상의 휘발성 또는 비휘발성 메모리 아키텍처를 포함할 수 있다. "메모리" 또는 "메모리들"은 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 착탈식 및 비착탈식 매체일 수 있다. 메모리 기술의 예에는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM, 디지털 다목적 디스크(DVD), 고화질 멀티미디어/데이터 저장 디스크, 또는 기타 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치, 또는 다른 자기 저장 디바이스, 또는 컴퓨팅 디바이스에 의한 액세스를 위한 정보를 저장하는 데 사용될 수 있는 임의의 다른 비전송 매체를 포함할 수 있다.
통신 채널은, IEEE 802.11 프로토콜을 사용하는 하나 이상의 유선 또는 무선 통신, SPI(Serial Peripheral Interface), I2C(Inter-Integrated Circuit), USB(Universal Serial Port), CAN(Controller Area Network), 셀룰러 데이터 프로토콜(예컨대, 3G, 4G, LTE, 5G), 광학 통신 네트워크, ISP(Internet Service Provider), 피어 투 피어 네트워크(peer-to-peer network), LAN(Local Area Network), WAN(Wide Area Network), 공공 네트워크(예컨대, “인터넷”), 개인 네트워크, 위성 네트워크, 또는 기타를 포함하거나 이들을 통해 라우팅될 수 있다.
컴퓨팅 디바이스는 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿, 패블릿, 스마트폰, 피처 폰, 서버 컴퓨터 등을 포함할 수 있다. 서버 컴퓨터는 데이터 센터에 원격으로 위치하거나 로컬로 저장될 수 있다.
위에서 설명한 프로세스는 컴퓨터 소프트웨어 및 하드웨어 측면에서 설명되었다. 설명된 기술은, 기계에 의해 실행될 때 기계가 설명된 작업을 수행하게 하는, 유형의 또는 비일시적 기계(예컨대, 컴퓨터) 판독 가능 저장 매체 내에 구현된, 기계 실행 가능 명령어를 구성할 수 있다. 또한, 프로세스는 ASIC(application specific integrated circuit) 또는 기타와 같은 하드웨어 내에서 구현될 수 있다.
유형의 비일시적 기계 판독 가능 저장 매체는 기계(예컨대, 컴퓨터, 네트워크 디바이스, 개인 휴대 정보 단말기, 제조 도구, 하나 이상의 프로세서의 세트를 가진 임의의 디바이스 등)에 의한 액세스 가능한 형태로 정보를 제공(즉, 저장)하는 임의의 기계를 포함한다. 예컨대, 기계 가능 저장 매체는 기록 가능/기록 불가능 매체(예컨대, ROM(read-only memory), RAM(random access memory), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스 등)를 포함한다.
요약에 기술된 것을 포함하여 본 발명의 예시된 실시형태에 대한 상기 설명은 본 발명을 개시된 정확한 형태로 완전하게 제한하거나 제한하려는 의도가 아니다. 본 발명의 특유의 실시형태 및 실시예를 예시의 목적으로 여기에 설명했지만, 통상의 기술자가 인식하게 될 것과 마찬가지로, 여러가지 수정이 본 발명의 범위 내에서 가능하다.
이들 수정은 상기 상세한 설명의 관점에서 본 발명으로 이루어질 수 있다. 이하의 청구범위에서 사용되는 용어는 상세한 설명에서 개시되는 특유의 실시형태에 본 발명을 한정하는 것으로 이해되지 않아야 한다. 대신, 청구범위 해석의 확립된 원칙에 따라 이해되어야 할 이하의 청구범위에 의해 본 발명의 범위가 결정된다.

Claims (15)

  1. 근안 이미징 시스템(near-eye imaging system)으로서,
    눈 영역을 향해 제1 근적외선 광을 방출하도록 구성된 제1 조명기;
    상기 눈 영역에 상기 제1 근적외선 광과 파장이 상이한 제2 근적외선 광을 방출하도록 구성된 제2 조명기;
    카메라 모듈; 및
    근안 광학 엘리먼트(near-eye optical element)
    를 포함하고,
    상기 근안 광학 엘리먼트는,
    상기 눈 영역에 가시 장면 광(visible scene-light)을 통과시키고 상기 눈 영역으로부터 반사된 상기 제1 근적외선 광을 상기 카메라 모듈에 지향시키도록 구성된 제1 결합기 층(combiner layer); 및
    상기 눈 영역에 상기 가시 장면 광을 통과시키고 상기 눈 영역으로부터 반사된 상기 제2 근적외선 광을 상기 카메라 모듈에 지향시키도록 구성된 제2 결합기 층
    을 포함하는 것인, 근안 이미징 시스템.
  2. 제1항에 있어서,
    상기 카메라 모듈은 상기 제1 근적외선 광의 제1 안구 이미지(ocular image)를 캡처하도록 구성되고, 상기 제2 근적외선 광의 제2 안구 이미지를 캡처하도록 구성되고, 상기 카메라 모듈은 상기 제1 근적외선 광 및 상기 제2 근적외선 광 이외의 광을 필터링하도록 구성되고,
    바람직하게는 상기 카메라 모듈은,
    상기 카메라 모듈의 제1 픽셀 위에 놓인 제1 필터 - 상기 제1 필터는 상기 제1 근적외선 광을 통과시키고 다른 광은 차단하며, 상기 제1 안구 이미지는 상기 제1 픽셀에 의해 생성됨 - ; 및
    상기 카메라 모듈의 제2 픽셀 위에 놓인 제2 필터 - 상기 제2 필터는 상기 제2 근적외선 광을 통과시키고 다른 광은 차단하며, 상기 제2 안구 이미지는 상기 제2 픽셀에 의해 생성됨 -
    를 포함하고, 또는, 바람직하게는,
    제1 시구간 동안 상기 제1 조명기를 선택적으로 활성화시키도록 구성되고, 상기 제1 시구간과 상이한 제2 시구간 동안 상기 제2 조명기를 활성화시키도록 구성된 프로세싱 로직 - 상기 카메라 모듈은 상기 제1 시구간 동안 상기 제1 안구 이미지를 캡처하도록 구성되고 상기 제2 시구간 동안 상기 제2 안구 이미지를 캡처하도록 구성됨 - 을
    더 포함하는 것인, 근안 이미징 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 결합기 층 및 상기 제2 결합기 층 중 적어도 하나는 홀로그래픽 광학 엘리먼트(holographic optical element, HOE)를 포함하는 것인, 근안 이미징 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 결합기 층은 제1 각도로 입사되는 상기 제1 근적외선 광을 상기 카메라 모듈로 선택적으로 지향시키고, 상기 제2 결합기 층은 제2 각도로 입사되는 상기 제2 근적외선 광을 상기 카메라 모듈로 선택적으로 지향시키고, 바람직하게는 상기 제1 각도는 상기 제2 각도보다 적어도 10도 더 큰 것인, 근안 이미징 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 조명기 및 상기 제2 조명기는 상기 근안 광학 엘리먼트의 사용자의 눈의 시야(field-of-view, FOV) 내에 있는 상기 근안 광학 엘리먼트의 조명 층 상에 배치된 필드내 조명기(in-field illuminator)인 것인, 근안 이미징 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 조명기 및 상기 제2 조명기는, 마이크로 발광 다이오드(micro-LED), 에지 방출 LED(edge emitting LED), 수직 캐비티 표면 광방출 레이저(vertical cavity surface emitting laser, VCSEL) 다이오드, 또는 초발광 다이오드(Superluminescent diode, SLED), 중 적어도 하나를 포함하는 것인, 근안 이미징 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    제1 근적외선 광은 850 nm 주위에 중심이 있고 제2 근적외선 광은 940 nm 주위에 중심이 있는 것인, 근안 이미징 시스템.
  8. 근안 광학 엘리먼트로서,
    눈 영역을 향해 제1 비가시 파장을 가진 제1 광을 방출하도록 구성된 제1 조명기;
    상기 눈 영역으로 제2 비가시 파장을 가진 제2 광을 방출하도록 구성된 제2 조명기 - 상기 제1 비가시 파장은 상기 제2 비가시 파장과 상이함 - ;
    상기 눈 영역으로 가시 장면 광(visible scene-light)을 통과시키고 상기 눈 영역으로부터 반사된 상기 제1 광을 카메라 모듈로 지향시키도록 구성된 제1 결합기 층; 및
    상기 눈 영역으로 상기 가시 장면 광을 통과시키고 상기 눈 영역으로부터 반사된 상기 제2 광을 상기 카메라 모듈로 지향시키도록 구성된 제2 결합기 층
    을 포함하는, 근안 광학 엘리먼트.
  9. 제18항에 있어서,
    상기 제1 결합기 층은 제1 각도로 입사되는 상기 제1 광을 상기 카메라 모듈로 선택적으로 지향시키고, 상기 제2 결합기 층은 제2 각도로 입사되는 상기 제2 광을 상기 카메라 모듈로 선택적으로 지향시키는 것인, 근안 광학 엘리먼트.
  10. 제8항 또는 제9항에 있어서,
    상기 제1 결합기 층 및 상기 제2 결합기 층 중 적어도 하나는 홀로그래픽 광학 엘리먼트(HOE)를 포함하는 것인, 근안 광학 엘리먼트.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 제1 조명기 및 상기 제2 조명기는 상기 근안 광학 엘리먼트의 사용자의 눈의 시야(field-of-view, FOV) 내에 있는 상기 근안 광학 엘리먼트의 조명 층 상에 배치된 필드내 조명기(in-field illuminator)인 것인, 근안 광학 엘리먼트.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 조명기 및 상기 제2 조명기는, 마이크로 발광 다이오드(micro-LED), 에지 방출 LED(edge emitting LED), 수직 캐비티 표면 광방출 레이저(vertical cavity surface emitting laser, VCSEL) 다이오드, 또는 초발광 다이오드(Superluminescent diode, SLED), 중 적어도 하나를 포함하는 것인, 근안 광학 엘리먼트.
  13. 근안 스테레오 이미징(near-eye stereo imaging)의 방법으로서,
    제1 비가시 광 파장으로 눈을 조명하는 단계;
    상기 제1 비가시 광 파장과 상이한 제2 비가시 광 파장으로 상기 눈을 조명하는 단계;
    상기 제1 비가시 광 파장을 가진 제1 반사 광으로부터 제1 안구 이미지를 캡처하는 단계; 및
    상기 제2 비가시 광 파장을 가진 제2 반사 광으로부터 제2 안구 이미지를 캡처하는 단계
    를 포함하고,
    상기 제1 안구 이미지 및 상기 제2 안구 이미지는 상기 제1 비가시 광 파장 및 상기 제2 비가시 광 파장이 아닌 광을 필터링하도록 구성된 카메라에 의해 캡처되는 것인, 방법.
  14. 제13항에 있어서,
    상기 제1 안구 이미지 및 상기 제2 안구 이미지에 기초하여 눈 트래킹 위치(eye-tracking position)를 결정하는 단계를 더 포함하는, 방법.
  15. 제13항에 있어서,
    제1 필드내 조명기가 상기 제1 비가시 광 파장을 방출하고 제2 필드내 조명기가 상기 제2 비가시 광 파장을 방출하고, 상기 제1 필드내 조명기 및 상기 제2 필드내 조명기는 사용자의 시야(field of view; FOV) 내에 배치된 근안 광학 엘리먼트 내에 포함되고,
    그리고/또는 바람직하게는,
    상기 제1 안구 이미지는, 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하는 동안 그리고 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안 상기 카메라에 의해 캡처되고, 상기 제2 안구 이미지는, 상기 제2 비가시 광 파장이 상기 눈 영역을 조명하는 동안, 그리고 상기 제1 비가시 광 파장이 상기 눈 영역을 조명하지 않는 동안, 상기 카메라에 의해 캡처되며,
    그리고/또는 바람직하게는,
    상기 제1 안구 이미지 및 상기 제2 안구 이미지를 캡처하는 상기 카메라는,
    상기 카메라의 제1 픽셀 위에 놓인 제1 필터 - 상기 제1 필터는 상기 제1 비가시 광 파장을 통과시키고 다른 광을 차단하며, 상기 제1 안구 이미지는 상기 제1 픽셀에 의해 생성됨 - ; 및
    상기 카메라의 제2 픽셀 위에 놓인 제2 필터 - 상기 제2 필터는 상기 제2 비가시 광 파장을 통과시키고 다른 광을 차단하며, 상기 제2 안구 이미지는 상기 제2 픽셀에 의해 생성됨 -
    을 포함하는 것인, 방법.
KR1020227021704A 2020-02-20 2021-01-22 듀얼 파장 눈 이미징 KR20220138046A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/796,736 US11108977B1 (en) 2020-02-20 2020-02-20 Dual wavelength eye imaging
US16/796,736 2020-02-20
PCT/US2021/014693 WO2021167748A1 (en) 2020-02-20 2021-01-22 Dual wavelength eye imaging

Publications (1)

Publication Number Publication Date
KR20220138046A true KR20220138046A (ko) 2022-10-12

Family

ID=74595458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227021704A KR20220138046A (ko) 2020-02-20 2021-01-22 듀얼 파장 눈 이미징

Country Status (6)

Country Link
US (1) US11108977B1 (ko)
EP (1) EP4107571A1 (ko)
JP (1) JP2023513869A (ko)
KR (1) KR20220138046A (ko)
CN (1) CN115104057A (ko)
WO (1) WO2021167748A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630325B1 (en) * 2020-07-23 2023-04-18 Amazon Technologies, Inc. Augmented reality devices with prescription lenses
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display
US11553163B1 (en) * 2021-04-27 2023-01-10 Amazon Technologies, Inc. Method and system for eyebox expansion in display systems
WO2023049065A1 (en) * 2021-09-24 2023-03-30 Chinook Labs Llc Eye reflections using ir light sources on a transparent substrate
US11867908B2 (en) * 2021-12-17 2024-01-09 Bae Systems Information And Electronic Systems Integration Inc. Folded optic augmented reality display
US20230199167A1 (en) * 2021-12-22 2023-06-22 Meta Platforms Technologies LLC Eye-tracking optical verification tester

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309615B2 (ja) 1994-12-21 2002-07-29 キヤノン株式会社 画像観察装置及びこれを用いた両眼画像観察装置
US7621636B2 (en) * 2007-01-10 2009-11-24 Clarity Medical Systems, Inc. Working distance and alignment sensor for a fundus camera
JP5031405B2 (ja) * 2007-03-02 2012-09-19 キヤノン株式会社 眼科撮影装置、眼科撮影装置の制御方法およびプログラム
WO2013066306A1 (en) * 2011-10-31 2013-05-10 Hewlett-Packard Development Company, L.P. Luminescent stacked waveguide display
WO2013077204A1 (ja) * 2011-11-25 2013-05-30 シチズンホールディングス株式会社 光学デバイス
EP2936220B1 (en) * 2013-03-13 2022-11-16 ImagineOptix Corporation Polarization conversion systems with geometric phase holograms
US9498125B2 (en) 2013-12-09 2016-11-22 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
US9551872B1 (en) * 2013-12-30 2017-01-24 Google Inc. Spatially multiplexed lens for head mounted display
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
EP3264145A1 (en) * 2014-03-18 2018-01-03 3M Innovative Properties Company Combiner optic
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
EP3281149A4 (en) * 2015-04-08 2018-11-14 ControlRad Systems, Inc. Devices and methods for monitoring gaze
US9989765B2 (en) 2015-08-03 2018-06-05 Oculus Vr, Llc Tile array for near-ocular display
CN107427212A (zh) 2015-11-05 2017-12-01 松下知识产权经营株式会社 摄像头***、喂食***、拍摄方法以及拍摄装置
EP3205512B1 (en) * 2016-02-09 2018-06-13 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Optical security device
US10056020B2 (en) * 2016-02-11 2018-08-21 Oculus Vr, Llc Waveguide display with two-dimensional scanner
US11256092B2 (en) * 2016-04-10 2022-02-22 Everysight Ltd. Binocular wide field of view (WFOV) wearable optical display system
US10212366B2 (en) * 2016-06-17 2019-02-19 Fotonation Limited Iris image acquisition system
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US10395111B2 (en) 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
WO2018231784A1 (en) * 2017-06-12 2018-12-20 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
US10969584B2 (en) * 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10827924B2 (en) 2017-08-14 2020-11-10 Verily Life Sciences Llc Dynamic illumination during retinal burst imaging
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
AU2018355446A1 (en) * 2017-10-26 2020-05-14 Magic Leap, Inc. Broadband adaptive lens assembly for augmented reality display
US10466496B2 (en) * 2017-12-06 2019-11-05 Facebook Technologies, Llc Compact multi-color beam combiner using a geometric phase lens
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US10429657B1 (en) * 2018-01-18 2019-10-01 Facebook Technologies, Llc Eye tracking for a head mounted display including a pancake lens block
US11307413B2 (en) * 2018-03-01 2022-04-19 Google Llc Systems, devices, and methods for eyebox expansion in wearable heads-up display
US10582853B2 (en) 2018-03-13 2020-03-10 Welch Allyn, Inc. Selective illumination fundus imaging
US11256004B2 (en) * 2018-03-20 2022-02-22 Invensas Bonding Technologies, Inc. Direct-bonded lamination for improved image clarity in optical devices
US10725274B1 (en) * 2018-04-03 2020-07-28 Facebook Technologies, Llc Immersed dichroic optical relay
US10942349B2 (en) * 2018-08-21 2021-03-09 Facebook Technologies, Llc Illumination assembly with in-field micro devices
US10607353B2 (en) 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing

Also Published As

Publication number Publication date
JP2023513869A (ja) 2023-04-04
WO2021167748A1 (en) 2021-08-26
US11108977B1 (en) 2021-08-31
US20210266474A1 (en) 2021-08-26
CN115104057A (zh) 2022-09-23
EP4107571A1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
US11108977B1 (en) Dual wavelength eye imaging
US10197805B2 (en) Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
US9684174B2 (en) Imaging structure with embedded light sources
US10031338B2 (en) Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US10488661B2 (en) Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
JP2022542750A (ja) アイトラッキング撮像における迷光抑制
JP2021535588A (ja) ウエハーツーウエハーボンディングのためのメサ形成
US20230333388A1 (en) Operation of head mounted device from eye data
US20230087535A1 (en) Wavefront sensing from retina-reflected light
US20230119935A1 (en) Gaze-guided image capture
US11205069B1 (en) Hybrid cornea and pupil tracking
US10775616B1 (en) Lenses integrated with micro-light emitting diodes
US11778366B2 (en) Gaze-guided audio
US11796829B1 (en) In-field illuminator for eye depth sensing
US11927766B2 (en) In-field imaging system for eye tracking
US20240134447A1 (en) Scanning display with eye-tracking
US11852825B1 (en) Selective notifications from eye measurements
US11796804B1 (en) Eye-tracking with steered eyebox
US20230314596A1 (en) Ear-region imaging
US20210271317A1 (en) Bright pupil eye-tracking system
CN118235427A (zh) 注视引导音频
WO2023150211A1 (en) Health notifications from eye measurements
CN118202292A (zh) 用于眼动追踪的场内成像***