KR20200023305A - 외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템 - Google Patents

외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20200023305A
KR20200023305A KR1020197038250A KR20197038250A KR20200023305A KR 20200023305 A KR20200023305 A KR 20200023305A KR 1020197038250 A KR1020197038250 A KR 1020197038250A KR 20197038250 A KR20197038250 A KR 20197038250A KR 20200023305 A KR20200023305 A KR 20200023305A
Authority
KR
South Korea
Prior art keywords
eye
image
light
user
retina
Prior art date
Application number
KR1020197038250A
Other languages
English (en)
Inventor
보리스 그린버그
Original Assignee
아이웨이 비전 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이웨이 비전 엘티디. filed Critical 아이웨이 비전 엘티디.
Publication of KR20200023305A publication Critical patent/KR20200023305A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 망막상의 눈에 의해 영상화된 외부 장면과 가상 이미지/증강 데이터 사이의 등록을 결정하기 위한 증강 현실 투사에 사용되는 기술을 제공한다. 일부 실시예에서, 본 발명은 망막을 영상화하고 그 위의 외부 장면의 투사를 식별함으로써 망막상의 증강 현실 투사와 망막 상에 캡처된 외부 장면 사이의 등록을 결정하는 기술에 관한 것이다.

Description

외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템
본 발명은 눈 투사 분야에 관한 것으로, 보다 상세하게는, 사용자의 눈으로 순수 증강/가상 현실 이미지를 투사하기 위한 기술에 관한 것이다.
가상 및/또는 증강 현실을 사용자의 눈(들)에 투사하기 위한 머리 장착형 또는 웨어러블 이미지 투사 시스템이 점점 더 대중화되고 있다. 이러한 시스템은 많은 경우에 사용자의 머리에 장착 가능한 안경으로서 구성되며, 사용자에게 가상 현실 이미지/비디오 투사를 제공하기 위해 사용자의 눈에 이미지를 투사하도록 작동 가능하다. 이를 위해, 공지된 시스템 중 일부는 사용자의 눈에 순수 가상 현실 이미지 투사를 제공하는데 목적이 있으며, 이때, 외부 장면으로부터 빛이 눈(들)에 도달하는 것이 차단되는 동안, 다른 시스템은 증강 현실 경험을 제공하도록 지향되고, 외부 장면으로부터의 빛이 눈으로 통과될 수 있는 동안, 이미지 투사 시스템에 의해 눈에 투사된 이미지/비디오 프레임에 의해 증강/중첩된다.
본 발명은 망막 상의 눈에 의해 이미지화된 외부 장면과 가상 이미지/증강 데이터 사이의 등록을 결정하기 위한 증강 현실 투사에 사용되는 기술을 제공한다. 일부 실시예에서, 본 발명은 망막을 영상화하고 그 위의 외부 장면의 투사를 식별함으로써 망막 상의 증강 현실 투사와 망막 상에 캡처된 외부 장면 사이의 등록을 결정하는 기술에 관한 것이다.
각각의 눈에 의해 인지된 이미지가 눈 앞의 이미지 평면 상에 투사되는 종래의 기술에서, 이미지 평면은 전형적으로 사용자가 위치되는 외부 장면/환경의 기준 프레임에 대해 고정되거나(실제 이미지가 극장의 고정 화면에 투사되는 일반적인 3D 영화관에서와 같이), 사용자의 머리와 관련된 기준 프레임에 대해 고정되는(증강/가상 현실을 사용자에게 투사하도록 설계되는, 조종사 또는 게이머의 헬멧의 경우에서와 같이) 기준 프레임과 관련된다. 이러한 경우에, 투사된 이미지는 눈의 기준 프레임(즉, 안구의 시선)에 고정되지 않으므로, 투사 모듈에 대한 목표 시력 정렬의 공지된 문제가 발생하고 특정 교정이 필요하다 .
눈 망막 상으로 이미지를 직접 투사하는 기술의 원리는 예를 들어 본 출원의 양수인에게 공동 양도된 PCT 특허 공보 제 WO 2015/132775호에 보다 상세하게 기재되어 있으며, 이 PCT 특허 공보는 인용에 의해 본원에 포함된다. 눈의 망막으로 이미지의 이러한 직접 투사는 망막에서 피사계 심도가 개선된 이미지를 생성할 수 있으므로, 눈이 잘못된 거리에 초점을 맞추려는 시도로 인한 눈의 불편함과 피로를 피할 수 있다.
본 발명은 일반적으로 등록 시스템 및 방법에 관한 것으로, 실제 또는 캡처된 실제-세계 이미지와 같은 외부 장면의 실제 정보를 컴퓨터-생성 물체의 이미지와 같은 가상 정보와 통합하거나 증강시키기 위한 증강 현실(AR) 기술에 관한 것이다. 보다 구체적으로, 본 발명은 가상-세계 정보를 AR 시스템 내의 실제-세계 정보에 등록하기 위한 기술에 관한 것이다.
AR 기술을 사용하면 실제 세계와 통합된 컴퓨터-생성 가상 세계를 보거나 감지할 수 있다. "실제 세계(real world)"는 관찰자 자신의 감각을 사용하여 관찰자가 보고, 느끼고, 듣고, 맛보거나 냄새를 맡을 수 있는 환경이다. "가상 세계(virtual world)"는 저장 매체에 저장되거나 프로세서를 사용하여 계산되어 생성된 환경으로 정의된다. AR 기술 내 등록 시스템은 가상 세계를 실제 세계에 등록하여 관찰자가 사용할 수 있는 방식으로 가상 및 실제 정보를 통합한다.
따라서, 본 발명의 시스템은 실제 세계와의 투사된 정보에 대한 매우 정확한 정렬을 가능하게 할뿐만 아니라, 인체 근접 상호 작용에 중요한 문제인 최적의 실시간 폐색 맵을 생성하도록 구성된다.
이 기술은 망막에서 빛의 반사를 이용하여 망막에 외부 장면의 투사를 영상화하고, 외부 장면의 이미지 투사에 대한 증강 비디오/그래픽의 입력을 망막에 등록함으로써, 외부 장면에 등록하여 증강 비디오를 망막에 투사할 수 있다. 보다 구체적으로, 특정 투사 파장에서, 세계 정보 데이터는 실제 세계 이미지 데이터와 관련된다.(전송된 파장을 제외한) 나머지 스펙트럼의 경우, 가시 스펙트럼의 나머지의 통합이 상당한 양의 에너지를 갖기 때문에, 실제 세계의 정보 데이터는 가시 스펙트럼에서 유지된다.
본 발명의 넓은 양태에 따르면, 증강 현실 시스템과 사용하기 위한 등록 시스템이 제공되며, 이 등록 시스템은 사용자의 눈의 망막으로부터 반사된 광선 부분을 수신하고 사용자의 눈에 의해 인지된 외부 장면의 이미지를 나타내는 반사된 광선 부분을 영상화하도록 구성되고 작동 가능하여 재구성된 이미지를 생성하는 센서; 및 센서에 연결되고 외부 장면의 3차원 이미지 데이터를 수신하고, 재구성된 이미지를 3차원 이미지 데이터와 비교하고, 눈에 대한 가상 이미지 및 외부 장면의 적어도 하나의 파라미터 사이를 등록하도록 구성되고 작동 가능하여 외부 장면에 등록하여 망막 상에 가상 이미지를 투사할 수 있게 하는 제어 유닛을 포함한다. 이와 관련하여, 상술한 바와 같이, 외부 장면의 3차원 이미지 데이터는 사용자의 눈 위에 위치한 영상화 유닛에 의해 생성되므로, 사용자의 눈을 기준으로 시차 효과가 발생하기 쉽다는 것을 이해해야 한다. 카메라 유닛은 눈에 위치할 수 없기 때문에 시차(즉, 두 개의 상이한 시선을 따라 보이는 물체의 겉보기 위치에서의 차이: 카메라 유닛의 시선과 눈의 시선)가 존재한다. 본 발명의 등록 시스템의 하나의 목적은 가상 이미지의 투사 전에 이 시차 오프셋을 보상하도록 투사를 조정하는 것이다. 등록이 목표 시력을 정렬하면, 이미지를 투사하는 동안, 등록 시스템은 사용자의 얼굴에서의 안경의 변위를 보상하기 위해 등록 프로세스를 반복한다. 이를 위해, 본 발명의 시스템은 외부 장면을 나타내는 이미지 데이터와 사용자의 눈으로부터 반사된 이미지 데이터를 비교하여 외부 장면을 나타내는 이미지 데이터를 수집하는 영상화 유닛과 사용자의 눈 사이의 상대 위치 및 방향을 결정하고 가상 세계 물체를 실제 세계 물체에 등록하고 가상 세계 물체의 이미지를 실제 세계 물체에 표시하거나 투사하거나 가상 세계 물체의 이미지를 실제 세계 물체의 캡처된 이미지와 전자적으로 조합함으로써 가상 세계 물체를 실제 세계 물체와 통합한다.
일부 실시예들에서, 본 발명의 등록 시스템은 증강 현실(AR) 시스템 내의 현실 세계 정보에 가상 정보를 등록하기 위한 수단으로서 사용된다. AR 시스템에 올바르게 등록하면 사용자가 가상 장면을 올바르게 보고 증강 뷰에서 실제 물체를 올바르게 배치하거나 실제 물체와 상호 작용하도록 안내할 수 있다. 등록 시스템에 의해 수행되는 등록 프로세스는 적어도 하나의 현실 세계 물체 또는 대상과 사용자의 눈 사이의 상대적인 위치 및 방향을 포함하는 파라미터를 결정한다.
일부 실시예들에서, 본 발명의 기술은 교정 없이 실제 세계 정보에 가상 정보의 등록을 제공할 수 있게 한다.
일부 실시예에서, 등록 시스템은 가상 이미지를 나타내는 데이터를 획득하고, 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하며, 광선 부분이 일반적인 광학 전파 경로를 따라 전파되도록 지향하도록 구성된 이미지 생성기를 더 포함한다.
일부 실시예에서, 등록 시스템은 광선 부분의 일반적인 광학 전파 경로를 사용자의 눈의 동공을 향하여 편향 시키도록 구성되고 동작할 수 있는 디플렉터를 포함하는 눈 투사 광학 모듈을 더 포함하여, 가상 이미지를 눈의 망막 상으로 직접 투사한다.
일부 실시예들에서, 등록 시스템은 외부 장면을 향해 광을 전송하고, 외부 장면으로부터 반사된 광을 수집하고, 수집된 광을 처리하여 캡처된 3차원 이미지를 생성하도록 구성된 영상화 유닛을 더 포함한다.
본 발명의 다른 넓은 양태에 따라, 외부 장면을 인지하는 사용자의 눈과 함께 사용되는 눈 투사 시스템이 또한 제공된다. 이 시스템은 각각의 사용자의 눈으로부터 반사된 광의 광학 경로에 위치 되고, 사용자의 망막으로부터 반사된 광선 부분을 수신하고 외부 장면의 이미지를 나타내는 반사된 광선 부분을 영상화하도록 구성되고 작동 가능하여, 외부 장면의 재구성된 이미지를 생성하는 센서; 가상 이미지를 나타내는 데이터를 획득하고, 상기 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하고, 광선 부분이 일반적인 광학 전파 경로를 따라 전파되도록하는 이미지 생성기; 디플렉터를 포함하는 일반 광학 전파 경로에 위치되고 광선 부분의 일반적인 광학 전파 경로를 사용자의 눈을 향해 편향시켜 가상 이미지를 눈의 망막에 직접 투사하도록 구성되고 작동 가능한 눈 투사 광학 모듈로서, 일반적인 광학 전파 경로가 상이한 동공 입사각으로 동공에 입사하는 광선 부분이 특정 시선 방향과 관련된 눈의 시선에 대해 상이한 시선 방향으로 향하도록 편향되는, 눈 투사 광학 모듈; 및 외부 장면의 3차원 이미지 데이터를 수신하도록 구성된 제어 유닛으로서, 상기 제어 유닛은 센서에 연결되고 재구성된 이미지를 나타내는 데이터를 수신하고, 3차원 이미지 데이터와 데이터를 비교하고, 눈의 시야에 대한 가상 이미지 및 외부 장면의 적어도 하나의 파라미터 사이를 등록하도록 구성되고 작동 가능하여, 외부 장면에 등록하여 가상 이미지를 망막 상에 투사할 수 있게 하는, 제어 유닛을 포함한다.
일부 실시예들에서, 가상 이미지 및 외부 장면의 적어도 하나의 파라미터는 사용자의 얼굴에 대한 위치 및 배향 중 적어도 하나를 포함한다.
일부 실시예에서, 센서는 눈 투사 광학 모듈 내에 통합된다.
일부 실시예들에서, 시스템은 외부 장면의 적어도 관심 영역을 향해 광을 전송하고, 관심 영역으로부터 반사된 광을 수집하고, 수집된 광을 처리하여 3차원 이미지 데이터를 생성하도록 구성된 영상화 유닛을 더 포함한다.
일부 실시예에서, 이미지 생성기는 특정 파장 범위에서 적어도 하나의 광선 부분을 생성하도록 구성되고 작동 가능한 적어도 하나의 광원을 포함한다.
일부 실시예에서, 눈 투사 광학 모듈은 이미지 스캐너를 포함한다. 스캐너는 망막상의 다양한 위치에 대응하는 반사된 광선 부분이 센서에 의해 순차적으로 수집되도록 이미지 스캐닝을 수행하도록 구성되고 작동 가능할 수 있다.
일부 실시예들에서, 시스템은 눈 투사 광학 모듈로부터 사용자 눈의 동공을 향해 광을 전송하고, 망막에서 반사된 광선 부분을 센서를 향해 반사시키도록 구성된 빔 스플리터/조합기를 더 포함한다. 빔 스플리터/조합기는 하나 이상의 스펙트럼 대역을 사용자의 동공으로 전송하기에 적합한 노치 필터 또는 광대역 반사기로 구성될 수 있다.
일부 실시예에서, 센서는 눈으로부터 적어도 하나의 IR 광선의 반사를 검출하도록 구성되고 작동 가능한 IR 센서를 포함한다.
일부 실시예에서, 디플렉터는 이미지 스캐닝을 수행하도록 구성되고 그 동안 광선 부분이 망막상의 다양한 위치에 대응하는 다양한 동공 입사각으로 동공에 입사하도록 광선 부분이 편향되도록 작동 가능한 이미지 스캐너로서 구성된다.
일부 실시예에서, 시스템은 사용자 눈의 시선 방향을 결정하도록 구성된 눈 추적기를 더 포함한다.
일부 실시예에서, 눈 투사 광학 모듈은 사용자의 눈의 동공을 향해 광선 부분의 발산을 변화시키기 위한 조정 가능한 포커싱 요소를 포함한다. 조정 가능한 포커싱 요소는 순간 시선 방향에 대응하는 이미지의 선명한 "초점" 재구성을 인지하도록 등록 시스템의 포커싱 특성을 조정하도록 구성된다.
본 발명의 다른 넓은 양태에 따라, 사용자의 눈에 의해 인지되는 외부 장면과 가상 이미지 사이의 등록 방법이 제공된다. 이 방법은 적어도 다음 단계들, 즉 외부 장면을 나타내는 3차원 이미지 데이터 및 가상 이미지를 나타내는 데이터를 수신하는 단계; 상기 망막으로부터 반사된 광선 부분을 수신하고 외부 장면의 이미지를 나타내는 상기 반사된 복수의 광선 부분을 영상화하여 재구성된 이미지를 제공하는 단계; 재구성된 이미지를 3차원 이미지 데이터와 비교하는 단계; 사용자의 눈에 대한 가상 이미지 및 외부 장면의 적어도 하나의 파라미터 사이를 등록함으로써, 외부 장면에 등록하여 망막 상에 가상 이미지를 투사할 수 있게 하는 단계; 상기 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하고 상기 광선 부분이 일반적인 광학 전파 경로를 따라 전파되도록 지향시키는 단계; 및 등록에 따라, 광선 부분의 일반적인 광학 전파 경로를 각 사용자의 눈의 동공쪽으로 편향시키는 단계를 포함한다.
일부 실시예들에서, 가상 이미지 및 외부 장면의 적어도 하나의 파라미터는 사용자의 얼굴에 대한 위치 및 배향 중 적어도 하나를 포함한다.
일부 실시예에서, 상기 방법은 외부 장면을 향해 광을 전송하고, 상기 외부 장면으로부터 반사된 광을 수집하고, 수집된 광을 처리하여 그의 3차원 이미지 데이터를 생성하는 단계를 더 포함한다. 대안적으로, 3차원 이미지 데이터는 헤드셋에 장착된 2개 또는 그 초과의 공간적으로 분포된 카메라 및/또는 3차원 이미지 데이터를 생성하는 비 고정 카메라 및 관성 측정 유닛 쌍으로부터 모아 질 수 있다.
일부 실시예에서, 복수의 광선 부분을 생성하는 단계는 특정 파장 범위에서 적어도 하나의 광선 부분을 생성하는 단계를 포함한다.
일부 실시예에서, 망막으로부터 반사된 광선 부분을 수신하는 단계는 망막상의 다양한 위치에 대응하는 반사 광선 부분이 순차적으로 수집되도록 이미지 스캐닝을 수행하는 단계를 포함한다.
일부 실시예에서, 사용자의 눈의 동공을 향해 광선 부분의 일반적인 광학 전파 경로를 편향시키는 단계는 이미지 스캐닝을 수행하는 단계를 포함하는데, 이 단계 동안 광선 부분이 망막 상의 다양한 위치에 대응하는 동공 입사 각도로 동공에 입사하도록 편향한다. 광선 부분의 일반적인 광학 전파 경로를 사용자 눈의 동공쪽으로 편향시키는 단계는 광선 부분의 하나 또는 그 초과의 스펙트럼 대역을 사용자 동공을 향해 전송하는 단계를 추가로 또는 대안적으로 포함할 수 있다.
일부 실시예에서, 망막으로부터 반사된 광선 부분을 수신하는 단계는 IR 또는 가시 광선 부분의 반사를 검출하는 단계를 포함한다.
본 발명은 다양한 변형 및 대안적인 형태가 가능하지만, 본 발명의 특정 실시예는 도면에 예로서 도시되어 있으며 여기서 상세히 설명될 것이다. 그러나, 본 발명을 개시된 특정 형태로 제한하려는 의도가 아니라 반대로, 첨부된 청구범위에 의해 규정된 바와 같은 본 발명의 사상 및 범위 내에 속하는 모든 변형, 균등물, 및 대안을 포함하는 의도로서 이해되어야 한다.
본 명세서에 개시된 요지를 더 잘 이해하고 그것이 실제로 어떻게 수행될 수 있는지를 예시하기 위하여, 실시예는 이제 첨부 도면을 참조하여 비 제한적인 예로서만 설명될 것이다.
도 1은 본 발명의 일부 실시예에 따른 등록 시스템의 일부 요소의 부분도를 개략적으로 나타내는 블록도이고,
도 2a는(뇌에서) 사용자의 인지을 위해 나타나는 외부 장면의 이미지를 보여주고,
도 2b는 망막에 나타나는 것과 동일한 이미지를 보여주고,
도 2c는 특정 대상의 망막 구조의 이미지를 보여주고,
도 3a 및 도 3b는 가상 물체의 폐색(occulsion) 및 이러한 폐색의 취급을 개략적으로 도시하고,
도 4a는 본 발명의 일부 실시예에 따른 스캐닝 투사 시스템의 일부 요소를 개략적으로 도시하고, 눈의 망막 상으로의 가상 물체의 투사 및 사용자의 인지도 표현되며,
도 4b는 본 발명의 일부 실시예에 따른 스캐닝 투사 시스템의 일부 요소의 개략도를 개략적으로 도시하며,
도 5a 내지 도 5c는 포토 다이오드 센서의 가용 파장 및 센서에 의해 이루어진 상이한 검출을 개략적으로 보여주고,
도 6은 본 발명의 일부 실시예에 따른 등록 시스템을 개략적으로 나타내는 블록도이고,
도 7은 본 발명의 일부 실시예에 따른 기술의 주요 단계를 개략적으로 나타내는 흐름도이고,
도 8은 본 발명의 일부 실시예에 따른 등록 시스템의 다른 구성을 개략적으로 도시한다.
후술되는 광학 모듈/요소는 본 발명을 구현하기 위해 사용되는 기능적 광학 요소/모듈 및 그 구성을 나타낸다는 것이 이해되어야 한다. 따라서, 광학 소자/모듈은 그 기능적 작동에 따라 이하에서 설명된다. 이들 광학 요소/모듈은 실제 광학 요소의 다양한 배열 조합을 이용함으로써 실질적으로 구현될 수 있음에 유의해야 한다. 또한, 본 발명의 특정 실시예에서, 후술되는 기능 광학 모듈 중 2 개 또는 그 초과가 공통 광학 모듈/요소에 통합적으로 구현될 수 있고/있거나 후술하는 단일 기능 광학 요소/모듈이 실제로 수 개의 별개의 광학 요소를 이용하여 구현 될 수 있다. 이를 위해, 본 발명의 지식을 가진 당업자는 본 발명을 구현하기 위한 광학 소자/모듈의 다양한 구성, 이러한 모듈의 다양한 배열, 및 아래에 설명된 기능적 광학 요소/모듈의 광학 기능을 쉽게 이해할 것이다.
도 1을 참조하면, 본 발명의 등록 시스템(100)의 구조적 및 기능적 부분의 개략적인 부분도가 블록 도로 도시되어 있다. 등록 시스템(100)은 눈에 대한 가상 이미지 및 외부 장면의 적어도 하나의 파라미터 사이에 등록하도록 구성되어, 외부 장면에 등록하여 망막 상에 가상 이미지를 투사 할 수 있게 한다. 물체 등록은 눈에 대한 물체의 위치를 나타낸다. 등록 시스템(100)은 특히 센서(102)(즉, 아이 뷰 카메라(eye view camera)), 투명 빔 스플리터/조합기(SCC), 및 영상화 유닛(106)(즉, 월드 뷰 카메라(world view camera))과 같은 주요 구성 부분을 포함할 수 있다. 센서(102)는 사용자의 눈의 망막으로부터 반사된 광선 부분을 수신하고, 사용자의 눈에 의해 인지되는 외부 장면의 이미지를 나타내는 반사된 광선 부분을 영상화하여 재구성된 이미지를 생성하기 위해 구성되고 작동 가능하다. 영상화 유닛(106)은 외부 장면의 적어도 관심 영역을 향해 광을 전송하고, 관심 영역으로부터 반사된 광을 수집하고, 수집된 광을 처리하여 3차원 이미지 데이터를 생성하도록 구성된다. 영상화 유닛(106)은 현실 세계로부터 이미지를 캡처하고 이들 이미지를 제어 유닛(도시되지 않음)으로 송신할 수 있는 카메라일 수 있다. 본 발명의 등록 시스템(100)은 현실세계 이미지와 눈의 이미지를 중첩시킴으로써 정밀한 타겟 정렬을 제공한다. 센서(102) 및 카메라 유닛(106)은 이미지를 실질적으로 동시에 캡처하도록 동기화될 수 있다. BSC는 외부 장면으로부터 사용자 눈의 동공을 향해 광을 전송하고, 망막으로부터 반사된 광선 부분을 센서(102)를 향해 반사시키도록 구성된 곡면형 반-반사 미러(semi-reflective mirror)일 수 있다.
전술한 바와 같이, 센서(102)에 의해 수신된 이미지는 눈에 의해 인지되는 외부 장면을 나타낸다. 도 2a는 대상에 의해 인지된 이미지를 도시한다. 도 2b는 망막에 나타나는 것 및 이에 따라 도 1의 센서(102)에 의해 캡쳐된 것과 동일한 이미지를 도시한다. 일반적으로, 눈은 대략 구형이고, 각막 및 렌즈가 정면에 있고, 망막이 후면 내부 표면 위에 있음을 이해해야 한다 망막에 이미지의 초점을 맞추는 데 필요한 대부분의 굴절은 공기-각막 인터페이스에서 발생한다. 렌즈는 초점 거리를 조정하여 이미지 초점을 수정한다. 이 과정을 순응(acoomodation)이라고 한다. 모양체 근육은 렌즈를 적절한 모양으로 당긴다. 이미지의 가장 선명한 부분은 망막의 중심와(foveal)(렌즈 뒤의 시각적 축선)에 초점이 맞춰진다. 각막-렌즈 시스템의 수차는 렌즈의 불균일한 굴절률에 의해 효과적으로 최소화된다. 일부 색 수차가 남아 있다. 짧은 파장은 눈이 망막의 이미지를 수용할 수 있도록 렌즈에 너무 가까이 집중되어 있다. 도면에 명확하게 나타난 바와 같이, 이미지는 구형 망막에 초점을 맞추기 때문에 큰 필드/기하학적 왜곡을 포함하지만, 이러한 왜곡은 도 2a에 도시된 바와 같이 불변성이라 불리는 프로세스에서 뇌에서 쉽게 보정된다. 도 2c는 특정 대상의 망막 구조를 나타내는 이미지를 도시한다. 도 1의 센서(102)에 의해 수신된 이미지는 외부 장면의 이미지가 중첩된(도 2c에 도시된 바와 같은) 망막 구조를 나타내고, 이미지가 구면 망막에 초점을 맞추기 때문에(도 2a에 도시된 바와 같이), 눈에 의해 생성된 큰 필드/기하학적 왜곡을 포함한다. 본 발명의 등록 시스템은 이러한 기하학적 왜곡을 보상하고, 도 6과 관련하여 아래에 더 설명되는 바와 같이 센서에 의해 수신된 이미지로부터 망막의 구조를 나타내는 데이터를 필터링하도록 구성된다.
도 3a 및 도 3b는 가상 이미지의 투사 동안 빈번하게 발생하는 폐색/압출 문제를 나타낸다. 이 특정적이고 비-제한적인 예에서, 사용자의 손은 사용자의 시야로 이동되고, 따라서 이 예에서 가상 물체인 정육면체의 일부를 폐색한다. 폐색이란 어떤 물체가 앞에 있기 때문에 장면의 일부가 보이지 않는 상황을 말한다. 증강 현실의 맥락에서, 이것은 카메라와 가상 요소의 3D 위치 사이에 어떤 물체가 있음을 의미한다. 이러한 폐색이 발생하는 경우,도 3b에 도시된 바와 같이, 제어 유닛은 생성된 이미지로부터 차감된 폐색 물체의 정확한 형상을 잘라내는 마스크를 생성하여 이미지의 비-폐색 섹션(들)만이 투사된다. 따라서, 본 발명은 마스크 형태로 구현된 최적의 실시간 폐색 맵을 생성한다. 마스크는 카메라 시점에서 눈 시점으로 갈 때 3D 장면으로의 평행 이동 및 회전 수학 연산을 적용함으로써 형성될 수 있다. 그런 다음, 현실 세계 3D 맵은 가상 물체와 계층적으로 슬라이스되어 어떤 물체가 사용자 입장에서 어느 물체 앞에 있는지를 지정하는 가상 물체 트리를 구축할 수 있다. 이 기법은 텍스처 또는 광선 추적을 사용하는 컴퓨터 렌더링 공정과 유사한다.
이와 관련하여, 순수/증강된 가상 현실 시스템의 과제 중 하나는 가상 데이터를 환경에 부합하도록 하는 것이라는 것을 이해되어야 한다. 사용자의 눈보다 약간 위의 안경 프레임에 위치한 카메라 유닛의 시선은(아래의 도 4a에 도시된 바와 같이) 눈의 시선과 정확히 상관되어야 한다. 사용자에게 실제적인 인지 경험을 제공하기 위해, 카메라 유닛의 시선은 사용자의 시선과 완벽하게 조화되어야 한다. 카메라 좌표와 월드 좌표 간의 변환은 회전 벡터와 평행 이동 벡터로 구성된다. 일반적으로 회전 벡터의 일치는 매우 간단하지만 카메라 좌표와 월드 좌표 사이에 정확한 평행 이동 변환을 제공해야 한다. 따라서, 폐색 인지를 피하기 위해, 폐색 물체를 폐색하는 마스크의 위치는 카메라 유닛의 시선과 사용자의 눈의 시선 사이의 상관 관계에 따라 변환되어야 한다.
또한 투사 시스템의 필요한 등록 정확도는 보고 있는 물체의 환경과 거리에 따라 달라지고, 낮은 정밀도 등록은 시차 오프셋이 눈에 띄지 않는 대규모 환경에서 멀리 떨어진 물체에 대해 허용될 수 있지만, 인접 물체의 정확한 증강은 더 어렵다. 실제 환경과 가상 물체 사이의 올바른 폐색이 발생해야 하며 따라서 두 환경이 모두 가시적이기 때문에 가상 환경이 실제 환경에 정확하게 겹쳐져야 한다. 실제 환경과 가상 환경의 월드 좌표 간에는 실제 물체와 가상 물체 사이의 매칭, 스티칭 위치 및 크기의 불일치가 발생할 수 있다. 이러한 불일치로 인해 가상 물체가 중첩된 위치에 직접적인 변위를 초래한다. 따라서 가상 환경이 올바르게 중첩되도록 가상 물체와 현실 세계 사이의 적절한 등록이 이루어져야 한다. 중심와(forvea)에서 눈의 감도는 약 1/60°이고, 그 주변 감도는 약 1/6°이다. 따라서 사용자는 중심와 영역에 나타나는 폐색에 매우 민감한다.
본 발명의 등록 시스템(400)의 단순화된 개략도를 나타내는 도 4a를 참조한다. 전형적으로 머리에 장착되도록 구성된 본 발명의 등록 시스템(400)은 사용자에게 디스플레이 데이터를 제공하기 위해 하나 또는 두 개의 아이 디스플레이 유닛과 함께 사용될 수 있다. 시스템은 일반적으로 비교적 큰 시야를 갖는 이미지 데이터를 디스플레이함으로써 가상 또는 증강 현실 경험을 사용자에게 제공하도록 구성되고, 실질적으로 실시간으로 디스플레이 데이터에서 사용자의 전방의 영역(실제 장면)의 실제 시각 데이터를 통합하도록 구성된다. 도 1에 설명된 바와 같이, 등록 시스템(400)은 특히 사용자의 눈의 망막으로부터 반사된 광선 부분을 수신하고 사용자의 눈에 의해 인지되는 외부 장면(예를 들면, 이러한 특정되고 비-제한적인 예에서 꽃)을 나타내는 반사된 광선 부분을 영상화하는 센서(102)(즉, 스캐닝 카메라), 외부 장면으로부터 반사된 광을 수집하고 상기 외부 장면의 3차원 이미지 데이터를 생성하는 영상화 유닛(106)(즉, 필드 카메라), 및 외부 장면으로부터 사용자 눈의 동공을 향해 광을 전송하고 망막으로부터 센서(102)를 향해 반사된 광선 부분을 반사시키도록 구성된 투명 빔 스플리터/조합기(SCC)와 같은 주요 구성 부분을 포함하며, 센서와 영상화 유닛은 모두 사용자의 눈 위에 위치된다. 센서는 망막의 다양한 위치에 래스터 스캔과 같은 이미지 스캐닝을 수행하도록 구성되어 망막 상의 다양한 위치에 대응하는 반사된 광선 부분이 센서(102)에 의해 순차적으로 수집되도록 한다.
본 발명의 등록 시스템의 부분도를 나타내는 도 4b를 참조한다. 눈으로부터 반사된 광은 BSC에 의해 수집되고 래스터 스캔과 같은 2차원 이미지 스캐닝을 수행하도록 가동되는 하나 또는 그 초과의 고속 스캐닝 미러이고 이미지 내 픽셀에 대응하는 망막의 다양한 위치에서 (예를 들면, 미러를 회전시킴으로써) 눈으로부터 반사된 광선을 수신하기 위해 구성되고, 센서(102)(예를 들면, 포토 다이오드 어레이)를 향하여 망막의 다양한 위치의 광선을 전송하는 이미지 스캐너(예를 들면, 중심와 스캐너)로 전송된다. 스캐닝/래스터-스캐닝 미러(들)는 피에조 전기 액추에이터 또는 다른 유형의 액추에이터와 같은 적합한 액추에이터에 기계적으로 결합된 마이크로 일렉트로 메커니컬 시스템(MEMS: Micro Electro Mechanical System) 미러와 같은 임의의 적절한 기술을 이용하여 구현 될 수 있어, 미러가 망막상의 다양한 위치에 걸쳐 광선의 이미지/래스터 스캔을 수행한다. 이와 관련하여, 비록 도면에서, 명확성만을 위해, 단일 스캐닝 미러(예를 들어 고속 스캐닝 미러)가 도시되어 있지만(예를 들어, 2차원/축선에서의 회전을 위해 짐벌링됨), 본 발명의 다른 실시예에서, 2 개 또는 그 초과의 미러가 2차원 이미지에서 광선을 수집하기 위해 사용될 수 있다는 것이 이해되어야 한다. 센서(102)는 각 픽셀에서 외부 장면의 다른 부분을 수집하는 포토 다이오드 어레이일 수 있다. 센서(102)는 시간에 따른 2-D 이미지를 구성하기 위해 이미지 스캐너를 사용하여 원하는 시야에 걸쳐 래스터링된다. 이를 위해, 센서(102)는 짧은 통합 시간을 가지며 애벌랜치 포토 다이오드(avalanche photodiode) (이에 국한되지 않음)와 같은 고감도 요소를 이용할 수 있다. 센서(102)에 의해 출력된 이미지 스크린에 표시된 점선은 스캔 이미지의 궤적이다.
예를 들어 실리콘계 또는 질화 갈륨 고체 상태의 직접 방출 포토 다이오드인 센서(102)에 의해 커버되는 파장의 범위를 나타내는 도 5a 내지 도 5c가 참조된다. 도면에 도시된 바와 같이, 포토 다이오드는 스펙트럼의 청색(λp=460nm), 녹색(λp=520nm) 및 적색(λp=640nm) 영역에 민감한 3-채널(RGB) 포토 다이오드를 갖는다. 곡선(S)은 센서(102)에 의해 생성된 눈에 의해 인지되는 외부 장면의 광학적 검출을 나타내고 R, G, B 피크는 가상 이미지의 RGB 투사의 검출이다. 본 발명의 등록 방법은 선택적으로 사용자의 망막에 패턴이 투사되는 카메라 유닛(106)의 교정 스테이지를 포함할 수 있음에 유의해야 한다. 그 후, 제어 유닛(104)이 각 사용자에 특정한 왜곡, 수차 및 확산을 식별할 수 있도록 패턴상의 일부 포인트를 식별하도록 요청된다. 도 5b는 일반적으로 녹색 범위에서 수행되는 센서(102)에 의한 교정 패턴의 검출을 도시한다. 도 5c는 관심있는 특정 스펙트럼 영역이 선택되고 이 선택된 영역에 대한 수신된 방사(radiation)의 세기의 합(적분)이 망막상의 장면의 투사를 식별하기 위해 결정됨을 보여준다.
도 6을 참조하면, 본 발명의 등록 시스템(600)의 구조적 및 기능적 부분의 개략적인 부분도가 블록도로 도시되어 있다. 등록 시스템(600)은 외부 증강 현실 시스템과 함께 사용될 수 있거나 증강 현실 시스템의 일부일 수 있다. 등록 시스템(600)은 센서(102) 및 제어 유닛(104)과 같은 주요 구성 부분을 포함한다.
제어 유닛(104)은 사용자에 의해 예상된 시선에 대응하는 입력 이미지 데이터를 이용한다. 제어 유닛(104)은 일반적으로 특히 데이터 입력 및 출력 유틸리티(104A, 104B), 메모리(104C), 및 데이터 프로세서 모듈(104D)과 같은 유틸리티를 포함하는 컴퓨팅/전자 유틸리티로서 구성된다. 제어 유닛(104)은 유선 또는 무선에 의해 센서(102)에 연결된다. 제어 유닛(104)은 외부 장면의 3차원 이미지 데이터를 수신하고, 센서의 재구성된 이미지를 3차원 이미지 데이터와 비교하고, 외부 장면의 적어도 하나의 파라미터와 눈에 대한 가상 이미지 사이에 등록하도록 구성되고 작동 가능하여, 외부 장면에 등록하여 망막 상에 가상 이미지를 투사할 수 있게 한다. 외부 장면 및 가상 이미지의 파라미터는 위치(예를 들어, 평행 이동 매트릭스) 및/또는 방향(예를 들어, 회전 매트릭스)일 수 있다.
센서(102)에 의해 캡처된 이미지를 나타내는 데이터는 제어 유닛(104)으로 전송되고, 데이터 프로세서(104D)는 그 이미지, 망막의 구조를 나타내는 이미지 데이터로부터 필터링(예를 들어, 디-컨볼루팅(de-convoluting))하도록 구성된다. 이것은 여러 가지 방식으로 진행될 수 있다: 사전-교정 스테이지에서, 망막 구조를 나타내는 이미지 데이터는 도 2c에 도시된 바와 같이 메모리(104C)에 저장되고 데이터 프로세서(104D)는 센서(102)에 의해 수신된 이미지로부터 망막의 구조를 나타내는 사전-교정된 이미지 데이터를 필터링한다. 대안적으로, 데이터 프로세서(104D)는 망막의 구조를 나타내는 이미지 데이터를 분석하여 망막 구조의 반사 특성을 추정하는데, 즉 상이한 밝기의 기하학적 영역들 사이를 구별한다. 도 2c에 도시된 바와 같이, 중심와라 불리는 선명한 중심 시력을 담당하는 눈의 일부는 망막의 중심에 위치한다. 중심와는 부중심와 벨트와 중심와 주위 외측 영역으로 둘러싸여 있다. 부중심와 벨트(paraforea belt) 및 중심와 주위 외측 영역은 중심와보다 훨씬 낮은 밝기를 갖는 영역인데, 이는 이들 영역에는 더 많은 혈관이 존재하기 때문이다. 따라서 망막의 구조는 밝기가 다른 영역을 구분하여 추정될 수 있다. 대안적으로, 망막의 구조는 이미지의 다른 영역에서 밝기의 변화를 국부적으로 식별함으로써 추정될 수 있다. 이미지의 스캐닝은 높은 반사성/밝기의 영역을 식별하기 위해 제어 유닛(104)에 의해 수행될 수 있다. 일반적으로, 상기 언급된 바와 같이, 높은 반사율의 영역은 중심와 부근의 망막 영역을 나타내며, 낮은 반사율의 영역은 중심와 주위의 망막 영역을 나타낸다. 재구성된 이미지는 특정한 시각적 각도/방향으로 눈으로부터 반사된 광에 대응한다는 것이 이해되어야 한다. 이와 관련하여, 반사된 광을 포착하는 동안 눈의 시선 방향이 변할 수 있고/또는 눈의 단속적 움직임이 나타날 수 있음에 유의해야 한다. 이러한 경우에, 제어 유닛(104)은 이미지의 변화를 분석하고 이들 변화를 필터링하여 안정적이고 고정된 이미지 데이터만을 유지한다. 따라서, 제어 유닛(104)은 망막의 구조에 대응하는 이미지 데이터를 필터링하고 높은 밝기의 이미지의 영역을 선택함으로써 눈의 곡선 모양의 이미지를 "평평하게" 구성하도록 작동 가능하다.
선택적으로, 등록 시스템은 눈의 망막에 직접 이미지를 투사하도록 구성된 눈 투사 광학 모듈을 포함할 수 있다. 눈 투사 광학 모듈은 예를 들어 증강 또는 가상 현실 안경의 일부일 수 있고 2개의 눈 투사 시스템을 포함할 수 있다. 명확성을 위해, 하나의 눈 투사 광학 모듈만이 도면에 구체적으로 도시되어 있다. 도면에는 오직 하나의 등록 시스템 만이 도시되어 있지만, 이러한 시스템들은 각각의 눈에 이미지를 개별적으로 투사하기 위해 안경에 제공될 수 있음에 유의해야 한다. 그러한 경우에, 제어 유닛(104)은 또한 이미지 투사 모듈(110)의 작동을 위해 사용될 수 있다. 또한, 시스템은 입체 이미지/비디오를 사용자의 눈에 투사하여 3D 환영을 생성하도록 작동될 수 있다. 일부 실시예에서, 시스템은 사용자의 눈의 시선 방향을 결정하도록 구성된 눈 추적기(120)를 포함한다. 눈 추적기(120)는 사용자의 머리 위치를 추적하기 위해 등록 시스템(100)에 장착 된 방향 센서일 수 있다. 눈 추적기(120)는 3 자유도(롤링, 피칭, 및 요잉(yawing))에서 각도 추적을 수행한다. 아이 추적기(120)는 눈이 향하는 시선/시선 방향을 결정하기 위한 임의의 적절한 기술에 따라 구성되고 작동 가능할 수 있다. 본 기술 분야에 공지된 몇 가지가 있으며, 이는 본 발명의 시스템(100)에 통합되거나 연관되어 사용될 수 있다. 이러한 기술은 예를 들어 국제 특허 출원 공개 제 WO 2013/117999호, 미국 특허 제 7,542,210호, 및 미국 특허 제 6,943,754호에 개시되어있다.
선택적으로, 등록 시스템(600)은 가상 이미지를 나타내는 데이터를 획득하고, 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하며, 광선 부분이 일반적인 광 전파 경로를 따라 전파하도록 지향시키는 이미지 생성기(108)를 포함할 수 있다. 도 1의 빔 스플리터/조합기(BSC)는 이 구성에서, 또한 망막으로부터 센서(102)를 향해 반사된 광선 부분을 반사시키는 것외에, 눈 투사 광학 모듈(110)로부터 광을 전송하고 사용자의 눈의 동공을 향해 외부 장면으로부터의 광을 전송하기 위해 구성된다. 일반적으로, 수집된 이미지 데이터는 이미지 생성기(108)를 통해 사용자에게 제공되는 디스플레이 데이터를 처리 및 생성하기 위해 제어 유닛(104)으로 전송된다. 가상 이미지 또는 이미지 생성기(108)에 의해 생성된 이미지는 2 차원 이상일 수 있고, 깊이 이미지, 컬러 이미지, 의료 이미지, 실루엣 이미지 또는 기타 유형의 디지털 이미지일 수 있다. 가상 이미지(들)는 비디오 카메라 또는 깊이 카메라와 같은 단일 이미지 또는 이미지 시퀀스를 포함할 수 있다. 일부 예에서, 입력된 가상 이미지는 다른 관점에서 스테레오 카메라 또는 다수의 카메라로부터의 스테레오 이미지를 포함한다. 실루엣 이미지는 깊이 및/또는 이미징 센서에 의해 캡처된 컬러 RGB 이미지의 전경 및 배경 영역을 식별하는 2 차원 바이너리(binary) 이미지이다.
일부 실시예들에서, 데이터 프로세서(104D)는 직접적으로 또는 환경에서 적어도 3 개의 포인트의 측정 거리로부터 결정되고 이미지에서 캡처된 카메라 유닛의 배향의 측정을 제공할 수 있다. 재구성된 이미지와 3D 캡처된 이미지 사이의 대응점 쌍(깊이 맵 또는 추정 깊이 맵)이 계산된다. 대응하는 지점 쌍은 하나의 깊이 맵으로부터의 포인트이고 다른 깊이 맵으로부터의 포인트이며, 이 포인트들은 장면에서 동일한 실제 세계 포인트로부터 발생된 것으로 추정된다. 본 명세서에서 용어 "포인트(point)"는 포인트 클라우드에서의 좌표, 또는 인접 좌표의 그룹 또는 패치를 지칭하기 위해 사용된다. 이러한 대응 관계는 너무 많은 수의 가능한 포인트 조합으로 인해 문제가 될 수 있다. 선, 엣지, 코너 등과 같은 형상은 각각의 이미지에서 식별될 수 있고, 이들 형상은 이미지 쌍 사이에서 매칭된다.
사용자의 눈에 의해 인지되는 외부 장면과 본 발명의 가상 이미지 사이의 등록 기술에 사용되는 단순화된 상이한 단계의 흐름도(700)를 보여주는 도 7을 참조한다. 우선, 카메라와 대상의 눈 사이의 거리가 제어 유닛에 측정/제공된다. 단계 1에서, 특정 기간(T)에서의 외부 장면을 나타내는 3차원 이미지 데이터(하나 또는 다수의 이미지 시퀀스)와 가상 이미지를 나타내는 데이터가 수신된다. 이 3차원 이미지 데이터는 사용자의 눈 위에 위치한 영상화 유닛에 의해 캡처될 수 있다. 단계 2에서, 망막의 다양한 위치에서 외부 장면의 이미지를 나타내는 복수의 반사된 광선 부분이 순차적으로 포토 다이오드에 의해 스캔 및 캡처되고 재구성된 이미지를 제공하기 위해 시간에 따라 통합된다. 포토 다이오드는 위치 및 방향을 높은 정확도로 추적하는 좌표 측정 장치에 부착될 수 있다. 스캔은 단일 이미지로 통합된다.
단계 3에서, 재구성된 이미지는 3차원 이미지 데이터와 비교된다. 전술한 바와 같이, 재구성된 이미지에서 관심 영역/관심 대상은 충분한 밝기가 나타나고 기하학적 왜곡이 감소되는 것으로 식별된다. 더 높은 상관 피크를 갖는 영역을 식별하기 위해 두 이미지 사이의 상관(correlation)이 수행된다. 이 영역은 가상 이미지와 외부 장면의 이미지 사이의 등록을 결정하기 위해 선택된다. 입력 데이터는 카메라의 광학 축선, 시선 방향, 및 센서와 2 개의 이미지의 광학 축을 포함한다. 재구성된 이미지의 적어도 일부 및 캡처된 3D 이미지에서의 대응하는 위치를 등록하는 공선변환 워핑 기능(collineation warping function)이 포함되어야 한다. 이 기능은 두 이미지 사이에서 상관된 평행 이동 벡터를 제공한다. 전술한 바와 같이, 3D 카메라는 포인트 클라우드에서 월드 맵으로 변환되도록 계산된 포인트 세트를 캡처한다. 포인트 클라우드는 당 업계에 공지된 임의의 기술을 사용하여 확실하게 생성될 수 있음에 유의해야 한다. 다른 기술들 중에서, 이것은 재구성된 이미지의 제 1 포인트 세트가 캡처된 3D 이미지에서의 계산된 포인트 세트와 비교되는 반복 최소화 프로세스에서 수행될 수 있고 비교를 위해 사용된 캡처된 3D 이미지에서의 계산된 포인트 세트는 각 반복마다 다르다. 스테레오 쌍의 두 이미지 사이의 포인트 매칭 문제를 해결하기 위해, 여러 알고리즘이 제안되었다. 이 알고리즘은 희소 출력을 생성하는 알고리즘과 밀집한 결과를 제공하는 알고리즘으로 그룹화 할 수 있으며, 후자는 로컬(영역 기반) 및 글로벌(에너지 기반)로 분류할 수 있다. 스테레오 매칭 기술은 블록 매칭, 그라디언트-기반 최적화 또는 특징 매칭과 같은 로컬 방법 및/또는 동적 프로그래밍, 고유 곡선, 그래프 컷, 비선형 확산, 신뢰도 확산, 또는 무응답 방법과 같은 글로벌 방법을 포함할 수 있다. 모션 추정을 위해 일련의 디지털 비디오 프레임에서 매칭 매크로 블록을 위치시키기 위해 블록 매칭 알고리즘이 사용될 수도 있다. 블록 매칭 방법은 정규화된 상호 상관(NCC), 제곱 차의 합(SSD), 정규화된 SSD, 절대 차의 합(SAD), 랭크 또는 센서스를 포함할 수 있다. 모션 추정의 기본 가정은 비디오 시퀀스의 프레임에서 물체 및 배경에 대응하는 패턴이 후속 프레임 상에 대응하는 물체를 형성하기 위해 프레임 내에서 이동하는 것이다. 이것은 비디오 시퀀스에서 시간적 중복성을 발견하는데 사용될 수 있으며, 최소로 상이한 공지된 매크로 블록의 내용을 참조하여 매크로 블록의 내용을 정의함으로써 프레임 간 비디오 압축의 효과를 증가시킨다. 등록 프로세스는 외부 장면에서 물체를 찾기 위해 영상화 유닛의 이미지가 정규화되어야하는 일정 각도를 제공한다. 예를 들어, 이미징 시스템과 투사 시스템 사이의 각도 차이 및/또는 측면 차이의 비가 제공될 수 있다. 비교 단계는 예를 들어 아핀(affine) 평행 이동 변환 매트릭스 또는 쿼터니언(quaternion) 방법을 사용하는 시프트 친화성 프로세스를 포함한다. 그러나, 보다 정확한 등록을 얻기 위해서는 센서(102) 및 영상화 유닛(106)에 대한 사용자의 눈의 이동이 고려되어야 한다. 이를 위해, 에피폴라 계산 방법(epipolar calculation method)은 예를 들어 캠브리지 대학 출판부, R. Hartley 및 A. Zisserman의 컴퓨터 비전의 다중 뷰 형상에 설명된 대로 사용될 수 있다. 이러한 에피폴라 형상은 두 개의 뷰(view) 사이에 투사 형상을 제공한다.
단계 4에서, 외부 장면 및 가상 이미지의 적어도 하나의 파라미터는 사용자의 눈에 대해 등록되어 외부 장면에 등록하여 망막 상에 가상 이미지를 투사할 수 있게 한다. 제어 유닛은 2D 분할 이미지 특징을 희박한 3D 포인트와 상관시켜 상관 함수를 사용함으로써 2D/3D 데이터 융합을 사용하여 물체 구조 및 물체에 대한 하나 또는 그 초과의 특성을 도출할 수 있다.
단계 5에서, 가상 이미지의 픽셀에 대응하는 복수의 광선 부분이 생성되고, 이들 광선 부분은 일반적인 광학 전파 경로를 따라 전파되고, 광선 부분의 일반적인 광학 전파 경로는 등록에 따라 각각의 사용자의 눈의 동공을 향해 편향된다.
눈 투사 시스템이 본 출원의 양수인에게 공동 양도되어 참조에 의해 본원에 포함되는 PCT 출원 제 WO17037708호에 기재된 스캐닝 투사 시스템인 본 발명의 다른 구성을 나타내는 도 8을 참조한다. 참고로. 이와 관련하여, 본 발명의 특정 실시예에 대해 스캐닝 투사 시스템을 이용하는데 상당한 이점이 있을 수 있음에 유의해야 한다. 이 경우, 센서(102)는 눈 투사 시스템 내에 통합될 수 있다. 안경 애플리케이션과 같은 콤팩트한 애플리케이션을 위해 이러한 스캐닝 투사 시스템을 이용하면, 영역 투사 시스템이 사용될 때 달성될 수있는 것(예를 들어 도 6에 도시된 것과 같은 것)보다 더 나은 이미지 품질로 망막 상에 이미지를 투사할 수 있다. 이를 위해, 스캐닝 투사 시스템은 대응하는 영역 투사 시스템보다 더 컴팩트할 수 있다. 또한, 한 번에 한 픽셀을 투사하기 위해 레이저 빔을 이용함으로써 이미지가 눈에 투사되는 스캐닝 투사 시스템을 이용하여, 인접한 픽셀 사이에 누화(crosstalk)를 제공하지 않는다. 또한, 픽셀 크기, 즉 각각의 특정 픽셀 투사와 관련된 광선 부분의 폭은 컴팩트 시스템에서 공중 이미지 투사 기술을 사용할 때 달성될 수 있는 것보다 실질적으로 (일반적으로 하나 또는 그 초과의 크기만큼) 더 넓을 수 있다. 따라서, 눈 투사 광학 모듈(130)의 광학 모듈은 더 낮은 개구 수를 갖도록 구성될 수 있고, 따라서 더 낮은 광학 수차와 관련될 수 있고 우수한 변조 전달 함수(MTF)로 눈에 고품질 이미지 릴레이를 제공할 수 있다. 이는 눈 망막에서 향상된 동적 범위, 높은 이미지 대비 및 높은 해상도 및 밝기로 이미지를 투사하기 위한 컴팩트 이미지 투사 시스템의 사용을 용이하게 한다. 또한, 컴팩트 응용에서 스캐닝 투사를 이용하는 것은 또한 품질이 열화되는 후자의 픽셀 크기가 상당히 작기 때문에 소형 공중 투사 시스템에 의해 생성될 수 있는 회절 아티팩트를 감소 및/또는 완전히 제거할 수 있다.
따라서, 본 발명의 등록 시스템(600)은 센서(102)로부터 선명한 이미지를 획득하고 전술한 눈의 기하학적 필드 왜곡을 감소시키기에 충분히 큰 F-수를 갖는다. 눈에 의해 반사되고 센서(102)에 의해 수집된 이미지의 왜곡은 시스템의 시야를 제한하고 더 작은 부분의 광선을 수집하기 위해 센서(102)의 렌즈 개구에 필드 스톱(field stop)을 배치함으로써 감소될 수 있다.
이미지 스캔 모드에서 작동할 때 이미지 픽셀이 순차적으로 투사되는 점에 유의해야 한다. 예를 들어, 스캐닝은 센서에 의해 캡처된 광의 전력이 약 3mWatt가 되도록 고주파(각 픽셀 당 10ns)에서 수행될 수 있다. 검출 전력을 증폭시키기 위해, 센서(102)는 눈으로부터 반사된 광을 검출하기 위한 애벌랜치 포토 다이오드로서 구성될 수 있다. 애벌랜치 포토 다이오드의 높은 감도는 외부 장면의 적어도 일부의 재구성된 이미지를 생성할 수 있게 한다. 수신된 신호를 증가시키기 위해 센서(102)의 출력에 증폭기가 배치될 수도 있다.
눈 투사 시스템(800)은 눈에 투사될 이미지를 나타내는 데이터를 획득하고, 상기 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하도록 구성된다. 눈 투사 시스템(800)은 장면으로부터 사용자의 눈을 향해 외부 광을 전송하고, 반사된 광을 눈으로부터 센서(102)를 향해 전송하고, 눈 투사 모듈(130)로부터 빛을 사용자의 눈을 향해 반사하도록 구성된 빔 스플리터 조합기 표면(BSC)을 포함한다. 이것은 파장 필터링을 위해 다른 방법을 사용하여 동시에 진행될 수 있다. 예를 들어, 눈 투사 모듈(130)로부터 사용자의 눈 및 외부 광을 향해 반사된 광 및 장면으로부터 사용자의 눈을 향하는 외부 광이 분리될 수 있도록 BSC의 일 부분은 상이한 파장의 광선을 필터링하도록 구성된 특수 코팅 재료(예를 들어, 박막 에탈론)로 코팅될 수 있다. 그 후, BSC는 반사된 광 및 외부 광을 대안적으로 수집하기 위해 변위된다. 다른 예에서, BSC는 선택 가능한 파장의 광을 전송시키고 다른 것들을 배제하도록 구성된 액정(LC) 요소를 전자적으로 제어하는 액정 가변 필터(LCTF) 또는 음향 광학 가변 필터를 포함할 수 있다. 예를 들어, 선택된 광의 파장은 540 nm 및 532 nm 일 수 있다. 대안적으로, 눈 투사 모듈(130)로부터 사용자의 눈을 향해 반사된 광의 획득 및 사용자의 눈을 향해 장면으로부터의 외부 광의 획득이 적시에 분리되도록, 시간 지연으로 카메라 유닛(106) 및 눈 투사 모듈(130)의 타이밍을 제어함으로써 진행할 수 있다.
이러한 특정 및 비 제한적인 예에서, 눈으로부터 반사된 광은 각각 단속성 운동(saccade)으로 지칭되는 2개의 미러(M1 및 M2) 그리고 눈의 시선 방향을 따르도록 구성된 동공 미러를 통해 BSC로부터 투사 모듈(130)을 향해 전송된다. 눈의 시선 방향은 눈 추적기에 의해 검출된다. 추가적으로 또는 대안적으로, 시스템(700)은 안경 브리지 상에 배치되고 IR 광선을 눈으로 향하도록 구성된 적외선(IR) 발광기(21)를 포함할 수 있고, 안경 프레임/암에 위치된 IR 센서인, 센서(102)는 눈으로부터(예를 들어 동공 및/또는 각막 및/또는 망막으로부터) IR 광선의 반사를 검출하도록 구성된다. 제어 유닛(104)은 눈의 시선 방향을 결정하기 위해 반사된 IR 광선의 패턴을 처리하도록 구성된다. 이러한 특정하고 비 제한적인 예에서, 눈 투사 시스템(130)에 통합될 수 있거나 외부 모듈일 수 있는 센서(102)는 도 4a에 도시된 바와 같이 안경의 프레임 및/또는 핸들에 위치된다. 센서(102)는 BSC, 단속 및 동공 조절식 미러(M1 및 M2), 및 무한 초점 시스템을 정의하는 이격된 릴레이 렌즈(L1 및 L2)를 통해 사용자의 눈으로부터 반사된 광을 수신한다. 하나 또는 그 초과의 스캐닝 미러(SM132)는 눈으로부터 반사된 광과 센서(102) 사이의 광학 경로에 배치되어 반사된 광선의 스캐닝/래스터-스캐닝(예를 들어, 미러를 회전시킴으로써)을 수행하며, 그 동안 각각의 스캔 각도는 망막에 이미지의 다른 위치에 대응한다. 스캐닝/래스터-스캔 미러(들)(SM)(132)은 임의의 적절한 기술, 예를 들어 전기 광학 디플렉터를 이용하여 및/또는 피에조-전기 액츄에이터와 같은 적당한 액추에이터에 기계적으로 결합된 마이트로 일렉트로 메커니컬 시스탬(MEMS) 미러와 같은 미러를 사용하여 미러가 주사 각도 범위에 걸쳐 반사된 광선의 이미지/래스터 스캔을 수행 할 수있게 하여 구현될 수 있다. 이와 관련하여, 도면에서 명확성만을 위해, 단일 스캐닝 미러(예를 들어, 고속 스캐닝 미러) SM(132)가 도시되어 있지만(예를 들어, 2 차원/축선에서의 회전을 위해 짐벌링됨), 본 발명의 다른 실시예에서, 2개 또는 그 초과의 미러/디플렉터는 2차원 이미지 스캐닝 각도에서 반사된 광선을 편향시키기 위해 사용될 수 있다. 센서(102)는 이 스캔된 반사광을 외부 장면의 이미지를 나타내는 망막으로부터 이미지화하고, 사용자가 볼 때 외부 장면의 재구성된 이미지를 생성한다. 전술한 바와 같이, 망막 구조의 이미지는 이 이미지로부터 필터링되어 외부 장면을 나타내는 이미지만을 얻는다. 센서(102)가 눈 투사 모듈(130)에 통합될 때, 눈으로부터 반사된 이미지의 캡처링 및 가상 이미지의 투사가 동시에 진행된다. 도 8에 도시된 실시예에서, 센서(102)는 적색, 녹색, 및 청색 파장 범위에 민감한 포토 다이오드 일 수 있는 3 개의 포토 다이오드 R, G 및 B를 포함한다. 결과적으로, 안경 렌즈의 빔 스플리터 조합기 표면은 노치 필터로서 구성될 수 있고, 센서(102) 앞에 위치될 수 있으며, 노치 필터는 상기 장면으로부터 도달하고 이러한 좁은 스펙트럼 대역 외부에 있는 빛을 전송시키면서 하나 또는 그 초과의 좁은 스펙트럼 대역을 사용자의 눈을 향해 반사 시키도록 구성된다. 이러한 방식으로, 특정 파장의 반사광이 센서에 의해 캡처될 수 있다.
전술한 BSC, 미러(M1 및 M2), 릴레이 렌즈(L1 및 L2) 및 스캐닝 미러(132)와 같은 상기 광학 요소를 포함하는 눈으로부터 반사된 광을 검출하기 위한 광학 경로는 또한 외부 장면에 등록된 가상 이미지를 사용자의 눈을 향하여 투사하는데 사용된다. 눈 투사 시스템(800)의 광학 구성은 상이한 동공 입사각을 갖는 동공에 입사하는 광선 부분이 특정 시선 방향과 관련된 눈의 시선에 대해 상이한 시선 방향을 향하도록 배열된다. 이러한 독특한 구성은 동일한 시스템을 사용하여 눈에서 반사된 빛을 영상화하고 망막을 향해 가상 이미지를 투사하는 것을 가능하게 한다. 양 작동에 대해 동일한 각도 스케일이 사용된다. 등록은 이미징 시스템과 투사 시스템 사이의 각도 및/또는 측면 차이의 비율을 제공할 수 있다. 시스템의 광학 왜곡은 그 후 눈이 아닌 광학 시스템의 왜곡과 관련된다. SM(132)은 또한 가상 이미지를 눈의 망막에 직접 투사하도록 구성되고 작동 가능한 시선 추적 디플렉터로서 사용된다. 눈 투사 광학 모듈(130)은 이미지 생성기(108)로부터 출력된 광 빔(또는 그 일부)을 프로젝션 각도로 수용하고, 해당 동공 입사각으로 눈의 동공에 입사되도록 광 빔을 지향시키기 위해 구성되어, 이미지 픽셀은 적절한 위치에서 망막에 직접 투사된다. 이미지 생성기(108)는 가상 이미지를 나타내는 데이터를 획득하고, 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하며, 광선 부분이 일반적인 광학 전파 경로(OP)를 따라 전파되게 지향시키도록 구성된다. 시선 추적 디플렉터(132)는 광선의 스캐닝/래스터-스캐닝(예를 들어, 미러를 회전시킴으로써)을 수행하는 하나 또는 그 초과의 스캐닝 미러(SM)를 포함하며, 그 동안 광선은 이미지 투사 각도(αscn)의 범위에 걸쳐 전파되도록 편향되며, 여기서, 일반적으로 각각의 투사 각도는 망막에 투사된 이미지의 픽셀에 대응한다. 스캐닝/래스터-스캐닝 미러(들)/디플렉터(SM)는 투사 각도(αscn)의 범위에 걸쳐 광선의 이미지/래스터 스캔을 수행하기 위해 투사 모듈(130)로부터 광선을 편향시킨다. 이와 관련하여, 도면에서 명확성만을 위해, 단일 스캐닝 미러(예를 들어 고속 스캐닝 미러)(SM)가 예시되어 있지만(예를 들어, 2 차원/축선에서의 회전을 위해 짐 벌링됨) 본 발명의 다른 실시예에서, 두 개 또는 그 초과의 미러/디플렉터가 2차원 이미지 투사 각도(αscn)(즉, {αXscn αYscn})에서 광선을 편향시키기 위해 사용될 수 있다. 이미지 생성기(108)는 특히 조절 가능한 광학 디플렉터(예를 들어, 래스터 스캔과 같은 2차원 이미지 스캐닝을 수행하도록 작동 가능한 하나 또는 그 초과의 고속 스캐닝 미러)를 포함하는 이미지 스캐너를 포함할 수 있다. 이미지 스캐너는 입력 광선을 수신하고 사용자의 눈의 동공과의 광선의 입사각을 조정하도록 입력 광선을 편향시키도록 구성되고 작동 가능하다. 이를 위해, 이미지 스캐너의 조정 가능한 광학 디플렉터는 래스터 스캔과 같은 이미지 스캐닝을 수행하며, 그 동안 광선은 눈의 망막 상의 다양한 위치에 대응하는 다양한 동공 입사각(αin)으로 동공에 입사되도록 광선이 편향된다. 차례로, 이미지 스캐닝 동안 이미지의 각각의 픽셀이 망막의 다양한 위치에 투사되도록, 망막에 투사될 이미지에 따라 광선의 세기 및 가능하게는 스펙트럼 함량이 변동된다. 다시 말하면, 동공 입사각(αin)은 이미지의 픽셀에 대응하고, 이들 픽셀이 망막상의 각각의 위치로 직접 투사되게 한다. 전술한 바와 같이, 종래 기술의 현저한 결함 중 하나는 눈에 의해 캡처된 투사된 이미지가 눈 좌표(기준 프레임)에 고정되지 않고 다른 기준 프레임에 고정된다는 점이고, 이는 눈 또는 사용자 머리의 기준 프레임 외부의 장면의 기준 프레임이다. 따라서, 눈의 시선 방향이 변할 때, 눈 망막상의 이미지의 투사 위치는 그에 따라 변한다. 실제 동공 입사각(αin)은 시선 방향에 의존하기 때문이다. 눈 투사 광학 모듈(130)은 사용자의 대응하는 눈 앞에 위치한 시선 추적 디플렉터를 포함하고, 사용자 앞에 위치한 외부 장면의 적어도 관심 영역으로부터 도달하는 광을 지향시키고, 적어도 하나의 이미지 생성기(108)로부터 사용자의 눈에 도달하는 광을 지향시키도록 구성된다. 망막상의 다채로운 이미지 투사가 요구되는 실시예에서, 이미지 생성기(108)는 광 모듈을 포함하고, 특정 파장 범위(전형적으로 3 개의 적색, 녹색 및 청색 레이저 소스)에서 적어도 하나의 광선 부분을 생성하도록 구성되고 작동 가능한 하나 또는 그 초과의 광원을 포함할 수 있다.
눈은 지속적으로 외부 장면의 초점을 찾고 있으며, 이는 사용자에게 피로를 유발한다는 점에 유의하여야 한다. 이 문제를 해결하기 위해, 눈 투사 광학 모듈(130)은 사용자의 눈의 동공을 향한 광선 부분의 발산을 변화시키기 위한 조정 가능한 포커싱 요소(134)를 포함할 수 있다. 발산의 변화는 등록 값에 따라 선택된다. 예를 들어, 이는 본 발명의 동일한 양수인에게 양도된 국제 출원 제 PCT/IL2018/050578호에 기술된 바와 같이 환경의 3D 맵, 시선 수렴, 및 눈 순응과 같은 여러 요소를 동시에 비교함으로써 구현될 수 있다. 이 시스템은 시선 고정 점을 환경 3D 맵과 정확하게 비교하여 순응 거리를 가정하고 이 거리에 필요한 빛의 발산을 수정한다.
릴레이 렌즈(L1, L2)는 광학 경로를 따라 계단식으로 배열되어 프로젝션 모듈로부터 이미지 투사를 다시 유도하고 이들을 조합하여(동시 또는 따로) 사용자의 눈으로 투사한다. 보다 구체적으로, 릴레이 렌즈(L1, L2)는 제 1 및 제 2 초점 길이의 합과 실질적으로 동일한 광학 거리만큼 이미지 스캐너(SM)로부터 동공으로 전파되는 광의 광학 경로를 따라 서로 이격된다. 따라서, 릴레이 렌즈(L1, L2)는 광학 축선에 대하여 소정의 출력 이미지 투사 각도(αscn)로 전파되는 이미지 스캐너(SM)로부터 광선을 수신하고 대응하는 동공 입사 각도(αin)로 동공 상에 입사되는 광선을 중계하기 위한 각도 빔 중계 모듈로서 구성된다. 각도 릴레이 광학계는 동공에 입사하는 광선의 각도가 출력 각도에 대응하고, 이 출력 각도에서 이미지 투사 시스템으로부터 광선이 나오고 이어서 이 광선은 이미지의 각각의 픽셀에 대응하는 것을 제공한다. 눈 망막 상으로 이미지를 직접 투사하도록 구성되고 작동 가능하고 본 발명의 광학 모듈에 포함될 수 있는 그러한 릴레이를 포함하는 이러한 광학 모듈의 구성 및 작동 방법의 예는 예를 들어 PCT 특허 공보 제 WO 2015/132775호 및 IL 특허 출원 제 241033호에서 설명되며, 둘다 본 특허 출원의 양수인에게 공동 양도되고 참조에 의해 본원에 포함된다.
제어 유닛(104)은 아날로그식으로 적절한 아날로그 회로를 사용하여, 또는 SM(132)의 동작을 제어하고 이미지 생성기(108)의 동작을 제어하기위한 적절한 소프트/하드-코딩된 컴퓨터 판독 가능/실행 가능 명령을 운반하는 적절한 프로세서(들) 및 메모리/저장 모듈(들)을 이용함으로써, 디지털 방식으로 구현될 수 있다. 이를 위해, 제어 유닛(104)은 이미지 생성기(108)로부터 눈의 망막 상에 투사될 이미지를 나타내는 데이터, 예를 들어 눈 추적기에 의한 시선 방향(β)을 나타내는 데이터, 카메라 유닛(106)에 의한 외부 장면의 3차원 이미지 데이터, 및 센서(102)로부터의 재구성된 이미지를 나타내는 데이터를 수신하도록 구성된다. 제어 유닛의 데이터의 획득(시간 및 속도)은 모든 이미지 데이터를 수집하기 위해 센서(102), 카메라 유닛(106), 및 스캐닝 미러와 동기화되어야 한다. 제어 유닛(104)은 센서(102)로부터의 재구성된 이미지를 나타내는 데이터를 카메라 유닛(106)의 3차원 이미지 데이터와 비교하여, 눈의 시력에 대한 가상 이미지와 외부 장면의 적어도 하나의 파라미터 사이에 등록한다. 제어 유닛(104)은 눈 투사 광학 모듈(130)을 제어하여, 이미지의 각 화소를 투사하기 위해 다음의 방법(700)의 동작을 수행함으로써 가상 이미지의 화소가 외부 장면에 등록하여 망막상의 대응 위치에 투사될 수 있게 한다.

Claims (25)

  1. 외부 장면을 인지하는 사용자의 눈과 함께 사용되는 눈 투사 시스템으로서,
    각각의 사용자의 눈으로부터 반사된 광의 광학 경로에 위치하고 사용자의 망막으로부터 반사된 광선 부분을 수신하고 외부 장면의 이미지를 나타내는 반사된 광선 부분을 영상화하여 상기 외부 장면의 재구성된 이미지를 생성하도록 구성되고 작동 가능한, 센서;
    가상 이미지를 나타내는 데이터를 획득하고, 상기 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하고, 상기 광선 부분이 일반적인 광학 전파 경로를 따라 전파하도록 지향시키는, 이미지 생성기;
    상기 일반적인 광학 전파 경로에 위치된 눈 투사 광학 모듈로서, 상기 광선 부분의 일반적인 광학 전파 경로를 사용자의 눈을 향하여 편향시키도록 구성되고 작동할 수 있는 디플렉터를 포함하여 상기 가상 이미지를 눈의 망막 상에 직접 투사하고, 상기 일반적인 광학 전파 경로는 상이한 동공 입사 각도로 동공에 입사하는 광선 부분이 특정 시선 방향과 관련된 눈의 시선에 대해 상이한 시선 방향으로 향하도록 편향되는, 눈 투사 광학 모듈; 및
    상기 외부 장면의 3차원 이미지 데이터를 수신하도록 구성된 제어 유닛으로서, 상기 제어 유닛은 상기 센서에 연결되고, 상기 재구성된 이미지를 나타내는 데이터를 수신하고, 상기 데이터를 상기 3차원 이미지 데이터와 비교하고, 상기 눈의 시선에 대한 상기 가상 이미지 및 외부 장면의 적어도 하나의 파라미터 사이에 등록하도록 구성되고 작동 가능하여 상기 가상 이미지를 상기 외부 장면에 등록하여 상기 망막 상으로 투사할 수 있는, 제어 유닛을 포함하는, 눈 투사 시스템.
  2. 제 1 항에 있어서,
    상기 가상 이미지 및 상기 외부 장면의 상기 적어도 하나의 파라미터는 위치 및 방향 중 적어도 하나를 포함하는, 눈 투사 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 센서는 상기 눈 투사 광학 모듈 내에 통합되는, 눈 투사 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 외부 장면의 적어도 관심 영역을 향해 광을 전송시키고, 상기 관심 영역으로부터 반사된 광을 수집하고, 상기 수집된 광을 처리하여 상기 수집된 광의 3차원 이미지 데이터를 생성하도록 구성된 영상화 유닛을 더 포함하는, 눈 투사 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 이미지 생성기는 특정 파장 범위에서 적어도 하나의 광선 부분을 생성하도록 구성되고 작동 가능한 적어도 하나의 광원을 포함하는, 눈 투사 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 눈 투사 광학 모듈은 이미지 스캐너를 포함하고; 상기 스캐너는 망막상의 다양한 위치에 대응하는 반사된 광선 부분이 상기 센서에 의해 순차적으로 수집되도록 이미지 스캐닝을 수행하도록 구성되고 작동 가능한, 눈 투사 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 눈 투사 광학 모듈로부터 사용자의 눈의 동공을 향해 광을 전송시키고, 상기 망막으로부터 반사된 광선 부분을 상기 센서를 향하여 반사하도록 구성된 빔 스플리터/조합기를 더 포함하는, 안구 투사 시스템.
  8. 제 7 항에 있어서,
    상기 빔 스플리터/조합기는 하나 또는 그 초과의 스펙트럼 대역을 사용자의 동공을 향해 전송하도록 구성된 노치 또는 대역 통과 필터로서 구성되는, 눈 투사 시스템.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 센서는 상기 눈으로부터의 적어도 하나의 IR 광선의 반사를 검출하도록 구성되고 작동 가능한 IR 센서를 포함하는, 눈 투사 시스템.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 디플렉터는 이미지 스캐닝을 수행하도록 구성되고 작동 가능한 이미지 스캐너로서 구성되고, 상기 이미지 스캐닝 동안 상기 광선 부분이 상기 망막 상의 다양한 위치에 대응하는 다양한 동공 입사 각도로 상기 동공 상에 입사하도록 상기 광선 부분이 편향되는, 눈 투사 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 사용자의 눈의 시선 방향을 결정하도록 구성된 눈 추적기를 더 포함하는, 눈 투사 시스템.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 눈 투사 광학 모듈은 사용자의 눈의 동공을 향하여 상기 광선 부분의 발산을 변화시키기 위한 조정 가능한 포커싱 요소를 포함하는, 눈 투사 시스템.
  13. 사용자의 눈에 의해 인지되는 외부 장면과 가상 이미지 사이의 등록 방법으로서,
    상기 외부 장면을 나타내는 3차원 이미지 데이터 및 상기 가상 이미지를 나타내는 데이터를 수신하는 단계;
    상기 망막으로부터 반사된 광선 부분을 수신하고 상기 외부 장면의 이미지를 나타내는 상기 반사된 복수의 광선 부분을 영상화하여 재구성된 이미지를 제공하는 단계;
    상기 재구성된 이미지를 상기 3차원 이미지 데이터와 비교하는 단계;
    사용자의 눈에 대한 상기 가상 이미지 및 상기 외부 장면의 적어도 하나의 파라미터 사이를 등록하여 상기 가상 이미지를 상기 외부 장면에 등록하여 상기 망막 상에 투사할 수 있게 하는 단계;
    상기 가상 이미지의 픽셀들에 대응하는 복수의 광선 부분들을 생성하고 상기 광선 부분들이 일반적인 광학 전파 경로를 따라 전파하도록 지향시키는 단계; 및
    등록에 따라, 상기 광선 부분의 일반적인 광학 전파 경로를 각 사용자의 눈의 동공을 향하여 편향시키는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 가상 이미지 및 상기 외부 장면의 상기 적어도 하나의 파라미터는 위치 및 방향 중 적어도 하나를 포함하는, 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 외부 장면을 향해 광을 전송시키는 단계,
    상기 외부 장면으로부터 반사된 광을 수집하는 단계, 및
    수집된 광을 처리하여 상기 수집된 광의 3차원 이미지 데이터를 생성하는 단계를 더 포함하는, 방법.
  16. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 복수의 광선 부분을 생성하는 단계는 특정 파장 범위에서 적어도 하나의 광선 부분을 생성하는 단계를 포함하는, 방법.
  17. 제 13 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 망막으로부터 반사된 광선 부분을 수신하는 단계는 상기 망막 상의 다양한 위치에 대응하는 상기 반사된 광선 부분이 순차적으로 수집되도록 이미지 스캐닝을 수행하는 단계를 포함하는, 방법.
  18. 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 사용자의 눈의 동공을 향해 상기 광선 부분의 일반적인 광학 전파 경로를 편향시키는 단계는 이미지 스캐닝을 수행하는 단계를 포함하며, 상기 단계 동안 상기 광선 부분이 상기 망막 상의 다양한 위치에 대응하는 다양한 동공 입사 각도로 상기 동공에 입사하도록 상기 광선 부분이 편향되는, 방법.
  19. 제 13 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 사용자의 눈의 동공을 향해 상기 광선 부분의 일반적인 광학 전파 경로의 편향 단계는 상기 광선 부분의 하나 또는 그 초과의 스펙트럼 대역을 상기 사용자의 동공을 향해 전송하는 단계를 포함하는, 방법.
  20. 제 13 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 망막으로부터 반사된 광선 부분을 수신하는 단계는 IR 또는 가시 광선 부분의 반사를 검출하는 단계를 포함하는, 방법.
  21. 증강 현실 시스템과 함께 사용되는 등록 시스템으로서,
    사용자의 눈의 망막으로부터 반사된 광선 부분을 수신하고, 사용자의 눈에 의해 인지되는 외부 장면의 이미지를 나타내는 반사된 광선 부분을 영상화하여 재구성된 이미지를 생성하도록 구성되고 작동 가능한, 센서; 및
    상기 센서에 연결되고 외부 장면의 3차원 이미지 데이터를 수신하고, 상기 재구성된 이미지를 상기 3차원 이미지 데이터와 비교하고, 상기 눈에 대한 가상 이미지 및 상기 외부 장면의 적어도 하나의 파라미터 사이를 등록하여 상기 가상 이미지가 상기 외부 장면에 등록하여 상기 망막 상으로 투사할 수 있게 하는, 제어 유닛을 포함하는, 등록 시스템.
  22. 제 21 항에 있어서,
    상기 가상 이미지 및 상기 외부 장면 중 적어도 하나의 파라미터는 위치 및 방향 중 적어도 하나를 포함하는, 등록 시스템.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 가상 이미지를 나타내는 데이터를 획득하고, 상기 가상 이미지의 픽셀에 대응하는 복수의 광선 부분을 생성하고, 일반적인 광학 전파 경로를 따라 전파되도록 상기 광선 부분을 지향시키도록 구성된 이미지 생성기를 더 포함하는, 등록 시스템.
  24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 광선 부분의 일반적인 광학 전파 경로를 사용자의 눈의 동공을 향해 편향시키도록 구성되고 작동 가능한 디플렉터를 포함하는 눈 투사 광학 모듈을 더 포함하여, 상기 가상 이미지를 눈의 망막 상에 직접 투사하는, 등록 시스템.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 외부 장면을 향하여 광을 전송시키고, 상기 외부 장면으로부터 반사된 광을 수집하고, 수집된 광을 처리하여 상기 수집된 광의 캡처된 3차원 이미지를 생성하도록 구성된 영상화 유닛을 더 포함하는, 등록 시스템.
KR1020197038250A 2017-05-29 2018-05-29 외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템 KR20200023305A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL252582A IL252582A0 (en) 2017-05-29 2017-05-29 A method and system for registration between the outside world and a virtual image
IL252582 2017-05-29
PCT/IL2018/050589 WO2018220631A1 (en) 2017-05-29 2018-05-29 A method and system for registering between an external scene and a virtual image

Publications (1)

Publication Number Publication Date
KR20200023305A true KR20200023305A (ko) 2020-03-04

Family

ID=62452826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197038250A KR20200023305A (ko) 2017-05-29 2018-05-29 외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템

Country Status (11)

Country Link
US (1) US20200081530A1 (ko)
EP (1) EP3631603A4 (ko)
JP (1) JP2020522738A (ko)
KR (1) KR20200023305A (ko)
CN (1) CN110914786A (ko)
AU (1) AU2018277268A1 (ko)
CA (1) CA3062558A1 (ko)
IL (1) IL252582A0 (ko)
RU (1) RU2019142857A (ko)
TW (1) TW201907204A (ko)
WO (1) WO2018220631A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211391A1 (ko) * 2021-04-02 2022-10-06 삼성전자 주식회사 전자 장치 및 그 동작 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
WO2019120488A1 (en) 2017-12-19 2019-06-27 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
KR20200050689A (ko) * 2018-11-02 2020-05-12 삼성전자주식회사 광의 경로를 변경하는 광학부재들을 포함하는 전자 장치
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
US20220050527A1 (en) * 2020-08-12 2022-02-17 Himax Technologies Limited Simulated system and method with an input interface
US11783550B2 (en) 2020-09-17 2023-10-10 Apple Inc. Image composition for extended reality systems
WO2022159912A1 (en) * 2021-01-25 2022-07-28 Quantum Radius Corporation Retinal foveation system and method
EP4329662A1 (en) * 2021-04-27 2024-03-06 Elbit Systems Ltd. Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
CN113171913B (zh) * 2021-04-30 2022-04-22 哈尔滨工业大学 一种基于座椅类家具三维点云的喷涂路径生成方法
CN117413060A (zh) * 2021-08-02 2024-01-16 海思智财控股有限公司 用于真实空间导航的扩增实境***以及使用该***的手术***
WO2023144189A1 (de) * 2022-01-25 2023-08-03 Ams-Osram International Gmbh Optische baugruppe zur detektion einer vom auge reflektierten strahlung eines retinaprojektors und verfahren
CN114624883B (zh) * 2022-03-08 2022-10-04 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425818B2 (ja) * 1995-01-23 2003-07-14 キンセキ株式会社 網膜直接表示装置及びそれを用いたテレビジョン受信機
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
WO1999031674A1 (de) * 1997-12-17 1999-06-24 Siemens Aktiengesellschaft Streustrahlenraster
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
CN104749777B (zh) * 2013-12-27 2017-09-26 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
JP6415608B2 (ja) * 2014-03-03 2018-10-31 アイウェイ ビジョン エルティーディー． 目用投影システム
US9759918B2 (en) * 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211391A1 (ko) * 2021-04-02 2022-10-06 삼성전자 주식회사 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
CN110914786A (zh) 2020-03-24
AU2018277268A1 (en) 2020-01-23
IL252582A0 (en) 2017-08-31
WO2018220631A1 (en) 2018-12-06
EP3631603A4 (en) 2020-06-24
JP2020522738A (ja) 2020-07-30
US20200081530A1 (en) 2020-03-12
TW201907204A (zh) 2019-02-16
CA3062558A1 (en) 2018-12-06
EP3631603A1 (en) 2020-04-08
RU2019142857A (ru) 2021-07-01

Similar Documents

Publication Publication Date Title
KR20200023305A (ko) 외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템
US11079601B2 (en) Eye projection system and method
US10395111B2 (en) Gaze-tracking system and method
US10747314B1 (en) Tracking system with infrared camera
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US10382699B2 (en) Imaging system and method of producing images for display apparatus
JP6415608B2 (ja) 目用投影システム
US11509835B2 (en) Imaging system and method for producing images using means for adjusting optical focus
US11188175B1 (en) Display system with integrated depth detection
WO2015015454A2 (en) Gaze tracking system
US20190258314A1 (en) Gaze-tracking system and method of tracking user's gaze using reflective element
CN110082914A (zh) 包括用于校正差分失真的光学组件的光投影***
JP2020522010A (ja) 焦点合わせ管理を伴う眼の投影システム、及び、方法
WO2019187958A1 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
US11017562B2 (en) Imaging system and method for producing images using means for adjusting optical focus
CN114008665A (zh) 显示设备及用于校正该显示设备的图像畸变的方法
US11966045B2 (en) Optical focus adjustment based on occlusion
US11652976B1 (en) Optical focus adjustment with switching
US20230216269A1 (en) Wafer level optics for structured light generation
KR102678258B1 (ko) 눈 투사 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application