KR102658303B1 - 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 - Google Patents

Abstract

가상 또는 혼합 현실에 대해 정확하고 자동적인 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 수행하기 위한 연관된 기술들과 함께 머리 장착 디스플레이 시스템이 개시된다. 시스템은 실시간 추적을 달성하기 위해 다수의 센서들로부터 컴퓨터 비전 방법들 및 데이터 융합을 사용한다. HMD 자체 상에서 프로세싱의 일부를 수행함으로써 높은 프레임 레이트 및 낮은 레이턴시가 달성된다.

Description

인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 {HEAD-MOUNTED DISPLAY FOR VIRTUAL AND MIXED REALITY WITH INSIDE-OUT POSITIONAL, USER BODY AND ENVIRONMENT TRACKING}

관련 출원의 상호 참조

본 출원은 2016년 2월 18일에 출원된 미국 가 특허 출원 제62/296,829호의 이익들을 주장하며, 상기 출원은 참조로 본원에 통합된다.

기술분야

본 발명은 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 애플리케이션들에 사용되는 머리 장착 디스플레이들(HMD)의 분야에 관한 것이다.

가상 세계에서 몰입의 목적은 비물리적 세계를 실제인 것처럼 인식하도록 사용자의 마음을 확신시키는 것이다. 여기서 현실의 개념은 실세계를 표현하는 것보다는 지각가능한 타당성의 개념을 더 지칭한다. 가상 현실(VR)에서, 몰입은 실세계 또는 가상 세계의 시각적 경험을 시뮬레이션하는 컴퓨터 생성 그래픽을 디스플레이함으로써 달성된다. 몰입 품질은 몇몇 중요한 팩터들에 영향받는다. 예를 들어, 이미지 품질, 프레임 레이트, 픽셀 해상도, 높은 동적 범위(HDR), 지속성 및 스크린-도어 효과(즉, 스크린 상의 픽셀들 사이의 가시선들)와 같은 디스플레이의 특성들. 몰입 경험의 품질은, 디스플레이되는 시야가 너무 좁은 경우 또는 다양한 추적 기능들이 느리고/느리거나 부정확한 경우 감소된다(이는, 달리 시뮬레이션 질병으로 공지된 방향감각 상실 및 메스꺼움을 초래한다). 몰입은 또한 이미지 품질(잡음, 동적 범위, 해상도, 아티팩트들의 부재) 및 가상 그래픽(3D 모델링, 텍스처들 및 조명)과 패스-스루(pass-through) 이미지들 사이의 코히어런스와 같은 카메라 시스템 성능에 의해 영향받는다. 혼합 현실(MR)에서, 가상 엘리먼트들은 사용자가 보는 실세계 환경에 실시간으로 합성된다. 가상 엘리먼트들과 실세계 표면들 및 객체들 사이의 물리적 상호작용은 실시간으로 시뮬레이션되고 디스플레이될 수 있다.

다양한 엘리먼트들의 추적은 일반적으로 하이 엔드 VR 및 MR 애플리케이션 경험을 달성하기 위한 필수적 전제조건으로 인식된다. 이러한 엘리먼트들 중, 머리 위치 추적, 사용자 신체 추적 및 환경 추적은 높은 몰입을 달성하는데 중요한 역할을 한다.

환경에서 HMD의 위치 및 배향을 추정하는 것을 목표로 하는 머리 위치 추적(이하 위치 추적으로 지칭됨)은 레이턴시가 낮고 정확해야 한다. 그 이유는, 렌더링된 그래픽이 VR에서 높은 몰입을 생성하기 위해 사용자의 머리 모션에 근접하게 매칭해야 하며, 실세계의 가상 콘텐츠를 MR에 정확하게 정렬해야 하는 필요성 때문이다. 일부 방법들은 HMD 외부의 셋업을 사용하여 약 5x5 미터 이하의 크기를 갖는 방에서 위치 추적을 해결하려 시도한다. 예를 들어, 고정식 적외선(IR) 또는 컬러(RGB) 카메라는, 머리 위치를 추정하기 위해 사용될 HMD의 표면 상에 위치된 IR 또는 RGB 발광 다이오드(LED) 어레이를 보도록 위치될 수 있다. 다른 방법들은 정확하게 HMD 상에 위치된 다수의 IR 광센서들과 동기화된 하나의 또는 2개의 기지국들에 의해 생성된 IR 광으로 방을 플러딩(flooding) 및 스위핑(sweeping)하는 것에 기초한다. 머리 포즈는 광센서들의 검출 시간들을 고려함으로써 높은 프레임 레이트로 실시간으로 계산될 수 있다. 이러한 접근법들 둘 모두는 추적을 유지하기 위해 사용자가 이동할 수 있는 영역을 제한함을 주목한다. 사용자는 IR 또는 RGB 카메라들에 대해 가시적이거나 대안적으로 기지국 IR 방출기들에 의해 커버되어야 한다. 폐색은 추적 부정확도를 초래할 수 있다.

사용자 신체 추적은 HMD와 관련하여 사용자의 신체(특히 손 및 손가락, 그러나 이에 제한되지는 않음)의 위치 및 배향을 추정한다. 이는 가상 엘리먼트들과의 상호작용을 가능하게 하는 사용자 입력 수단(예를 들어, 손 제스처들)을 VR 및 MR 둘 모두에서 제공할 수 있다. 일부 위치 추적 방법들은 손 추적(예를 들어, 핸드헬드 제어기들 상의 LED들의 어레이를 갖는 IR 카메라)에 대해서도 사용될 수 있지만, 다른 방법들은 통상적으로 HMD로부터 1미터 이내의 더 작은 분석 공간을 이용하여 손 및 손가락 추적 알고리즘들의 견고성을 증가시킨다. 예를 들어, 근거리 비행 시간(ToF) 카메라들은 HMD와 통합되거나 그 안에 있을 수 있다. 이러한 카메라들은 손의 스켈레톤 모델을 구성할 수 있는 손의 깊이 맵을 산출할 수 있다. 다른 접근법은 카메라들과 함께 IR LED 투광기를 사용하여, 손 및 손가락 상의 3D 포인트들을 세그먼트화하고 추정한다.

환경 추적은 매우 일반적인 것을 의미하고, 환경에서 객체들을 인식하고 추적하는 것을 수반한다. 객체들의 개념은 단순히 평탄한 표면부터 인간들, 반투명 객체들 및 광원들과 같은 이동하는 객체들을 포함하는 보다 복잡한 형상들까지의 범위이다. 환경 추적은 HMD 인근의 표면들 및 객체들의 위치 및 형상을 추정한다. 그 다음, 가상 엘리먼트는 검출된(추정된) 객체들과 상호작용할 수 있다. 폐색 마스크는 추적 정보로부터 추출되어, 객체로부터 더 멀리 또는 객체 뒤에 위치되어야 하는 가상 엘리먼트에 의해 실제 객체들이 의도치 않게 숨겨질 수 있는 상황들을 회피할 수 있다. 실제로, 컴퓨터 비전 방법들은, 추후 객체 설명들을 학습 및 인식하기 위해 사용되는 특징부들(코너들, 에지들 등) 및 장면 깊이들을 복원하기 위해 사용된다.

추적 목적들을 위한 외부 컴포넌트들의 사용은 통상적으로 공간에서 사용자가 이동하는 자유에 대한 제한을 부과하고, 종종 HMD가 사용될 수 있기 전에 교정 단계들을 추가한다.

따라서, 애플리케이션에 대한 이동성을 가능하게 하는 콤팩트하고 사용자-친화적인 제품에서 요구되는 추적 컴포넌트들 모두를 통합하는 HMD가 요구된다.

본 개시내용의 일 양태에 따르면, 모든 요구되는 추적 컴포넌트들을 통합하여 더 콤팩트한 사용자-친화적 디바이스를 허용하는 웨어러블 머리 장착 디스플레이(HMD)가 제공된다.

본 개시내용의 양상에 따르면, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 애플리케이션들에 사용되는 머리 장착 디스플레이(HMD) 디바이스가 제공되며, 이는,

RGB 카메라 센서들의 쌍 및 적외선(IR) 차단 필터들을 갖는 연관된 렌즈들;

근적외선(NIR) 대역통과 필터들 및 연관된 렌즈들을 갖는 모노 카메라 센서들의 쌍;

관성 측정 유닛(IMU);

연관된 IR 방출기를 갖는 비행 시간(ToF) 카메라 센서;

스펙클(speckle) 패턴 프로젝터;

디스플레이; 및

적어도 하나의 통신 링크를 통해 RGB 카메라 센서들의 쌍, 모노 카메라 센서들의 쌍, IMU, ToF 카메라 센서 및 연관된 IR 방출기, 스펙클 프로젝터 및 디스플레이에 동작가능하게 연결되는 적어도 하나의 프로세싱 유닛을 포함하고, 적어도 하나의 프로세싱 유닛은 RGB 카메라 센서들의 쌍, 모노 카메라 센서들의 쌍, IMU 및 ToF 카메라 센서로부터의 데이터 스트림들을 사용하여 그래픽 콘텐츠를 생성하고, 그래픽 콘텐츠를 디스플레이를 통해 디스플레이한다.

본 개시내용의 일 양태에 따르면, 상기 개시된 바와 같은 HMD 디바이스가 제공되며, RGB 카메라 센서들의 쌍 및 모노 카메라 센서들의 쌍은 연관된 렌즈들의 RGB/IR 카메라들의 쌍으로 결합되고, RGB/IR 카메라들의 쌍은 표준 R-G-G-B 패턴 대신 R-G-IR-B 패턴을 갖는 베이어(Bayer) 포맷을 사용한다.

본 개시내용의 일 양태에 따르면, 상기 개시된 바와 같은 HMD 디바이스가 제공되며, 적어도 하나의 프로세싱 유닛은 명령어들이 저장되는 연관된 메모리를 갖고, 명령어들은 적어도 하나의 프로세싱 유닛 상에서 실행되는 경우,

RGB 카메라 센서들의 쌍으로부터 패스-스루(pass-through) 스테레오 뷰 이미지들을 획득하는 단계;

모노 카메라 센서들의 쌍으로부터 스테레오 이미지들을 획득하는 단계;

조밀한 깊이 맵을 획득하는 단계;

IMU로부터 관성 측정들을 획득하는 단계;

패스-스루 스테레오 뷰 이미지들, 스테레오 이미지들, 조밀한 깊이 맵 및 관성 측정들을 사용하여 임베디드(embedded) 추적을 수행하는 단계;

패스-스루 스테레오 뷰 이미지들 및 스테레오 이미지들에 대해 이미지 프로세싱을 수행하는 단계;

위치 추적에 기초하여 렌더링된 그래픽을 생성하는 단계;

렌더링된 그래픽에 대해 그래픽 이미지 프로세싱을 수행하는 단계;

프로세싱된 이미지들 및 프로세싱된 렌더링된 그래픽을 혼합하여 그래픽 콘텐츠를 도출하는 단계; 및

그래픽 콘텐츠를 디스플레이에 제공하는 단계를 수행한다.

본 개시내용의 일 양태에 따르면, 상기 개시된 바와 같은 HMD 디바이스가 제공되며, 임베디드 추적을 수행하는 단계는 위치 추적 및 사용자 신체 추적을 수행하는 단계를 포함하고, 또한 환경 추적을 수행하는 단계를 포함할 수 있다.

본 개시내용의 일 양태에 따르면, 상기 개시된 바와 같은 HMD가 제공되며,

위치 추적을 수행하는 단계는,

패스-스루 스테레오 뷰 이미지들 및 스테레오 이미지들에서 회전 및 스케일링된 불변 2D 이미지 특징부들을 검출하는 단계;

입체 매칭을 사용하여 각각의 검출된 특징부의 깊이를 추정하여, 3D 포인트들의 클라우드를 산출하는 단계; 및

머리 위치 변화들을 추론하기 위해 3D 포인트들의 클라우드를 실시간으로 추적하는 단계를 포함하고;

위치 추적을 수행하는 단계는, 패스-스루 스테레오 뷰 이미지들 및 스테레오 이미지들이 충분한 정보를 제공하지 않는 경우 위치 변화들을 일시적으로 컴퓨팅하기 위해 관성 측정들을 사용하는 단계를 더 포함할 수 있고;

사용자 신체 추적을 수행하는 단계는,

조밀한 깊이 맵에 대해 신체 세그먼트화를 수행하는 단계;

조밀한 깊이 맵 및 신체 세그먼트화로부터 신체 메시(mesh)를 추출하는 단계;

신체 메시의 스켈레톤 모델을 추출하는 단계; 및

사용자의 신체 모션을 추적하고 스켈레톤 모델 및 사용자의 신체 모션을 제스처 모델들에 매칭함으로써 미리 정의된 제스처들을 인식하는 단계를 포함하고;

환경 추적을 수행하는 단계는,

패스-스루 스테레오 뷰 이미지들, 스테레오 이미지들 및 위치 추적을 사용하여 모션 모델을 생성하는 단계;

키포인트들을 검출하는 단계;

견고한 특징부 디스크립터들을 사용하여 키포인트들에 국부적인 특징부들을 추출하는 단계; 및

조밀한 깊이 맵을 추출된 특징부들과 융합함으로써 표면 디스크립터들을 추정하는 단계를 포함한다.

본 개시내용의 일 양태에 따르면, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키기 위한 방법이 또한 제공되며, 이 방법은 HMD 디바이스에 의해 구현되는 단계들을 포함한다.

본 개시내용의 실시예들은 첨부 도면들을 참조하여 단지 예시의 방식으로서 설명될 것이다.
도 1은 본 개시내용의 예시적인 실시예에 따른 몇몇 카메라들 및 적외선(IR) 방출기들이 제공되는 머리 장착 디스플레이(HMD)를 착용한 사용자의 개략적 표현이다.
도 2a는 가상 현실 및 혼합 현실 둘 모두를 달성하기 위해 사용되는 옵틱스, 디스플레이 및 카메라들의 예시적인 실시예의 개략적인 상면도이다.
도 2b는 디스플레이의 광선들이 사용자의 눈의 망막 상에 포커싱하는 방법을 예시하는 확대도에서 옵틱스의 예시적인 실시예의 개략도이다.
도 3은 각각의 성능에 대한 예시적인 실시예와 함께 HMD의 시각적 감각 생성 프로세스의 흐름도이다.
도 4a는 패스-스루 목적들(MR)을 위해 최적화되는 2개의 RGB 카메라들 및 추적을 위한 시각적 데이터를 제공하는 2개의 IR 카메라들을 갖는 HMD 디바이스의 제1 예시적인 실시예의 정면도를 도시한다.
도 4b는 MR 및 위치 추적 둘 모두를 달성하는 2개의 RGB/IR 카메라들을 갖는 HMD 디바이스의 제2 예시적인 실시예의 정면도를 도시한다.
도 5는 위치 및 사용자 신체 추적과 함께 VR을 달성하기 위한 프로세싱 단계들의 흐름도이다.
도 6은 위치, 사용자 신체 및 환경 추적과 함께 MR을 달성하기 위한 프로세싱 단계들의 흐름도이다.
도 7은 위치 추적을 달성하기 위한 예시적인 프로세스의 흐름도이다.
도 8은 사용자 신체 추적을 달성하기 위한 예시적인 프로세스의 흐름도이다.
도 9는 환경 추적을 달성하기 위한 예시적인 프로세스의 흐름도이다.
도 10은 그래픽 렌더링 및 합성을 달성하기 위한 예시적인 프로세스의 흐름도이다.
도 11은 스펙클 프로젝터의 개략적 표현이다.
도 12a는 시간-멀티플렉싱 셋업의 예시적인 실시예의 개략적 표현이다.
도 12b는 시간-멀티플렉싱 셋업의 타이밍 도면이다.
상이한 도면들에서 사용되는 유사한 참조부호들은 유사한 컴포넌트들을 나타낸다.

일반적으로 말해서, 본 개시내용의 비제한적인 예시적인 실시예들은 가상 현실(VR) 및 혼합 현실(MR) 둘 모두의 상황에서 사용자 경험을 개선하는 머리 장착 디스플레이(HMD)를 제공한다. HMD는 비교적 가볍고 인체 공학적으로 편안하며 낮은 레이턴시로 고해상도 콘텐츠를 제공한다. HMD는 고성능 그래픽 프로세싱 유닛(GPU)을 구비한 외부 컴퓨터로부터 또는 임베디드 GPU로부터 오는 그래픽 콘텐츠를 지원하고, 낮은 레이턴시를 보장하기 위해 HMD가 일부 프로세싱, 예를 들어, 렌즈 왜곡 및 색수차의 보정들로 임베디드 비디오 패스-스루 뿐만 아니라 그래픽/패스-스루 합성을 수행하게 함으로써 낮은 레이턴시 MR이 달성된다. 위치, 사용자 신체 및 환경 추적은, 모든 요구되는 추적 컴포넌트들이 HMD에 통합되어 외부 입력 컴포넌트들을 셋업 및 사용해야 할 필요성을 회피하게 하는 고유의 인사이드-아웃 접근법에 의해 달성된다. 이러한 접근법은 사용자가 큰 환경 내에서 자유롭게 이동하도록 허용한다.

VR 및 MR 애플리케이션들 중에서, 일부 실시예들은, 플레이어의 머리 및 손의 움직임들 뿐만 아니라 외부 환경 객체들을 추적함으로써 일부 제어들 또는 상호작용들이 달성될 수 있는 몰입형 게임 또는 엔터테인먼트 애플리케이션들에서 특히 유용하다. 가능한 애플리케이션들 중, 일반적으로 시뮬레이션, 협력적 트레이닝, 영업, 보조 제조, 유지보수 및 수리가 있다.

제안된 HMD 시스템은 사용자가 광각 접안 렌즈(eyepiece)를 통해 디스플레이를 보도록 함으로써 가상 현실을 구현한다. 제안된 실시예들은 단일 유기 발광 다이오드(OLED) 디스플레이를 사용하지만, 2개의 더 작은 디스플레이들, 마이크로 디스플레이들 또는 플렉서블 디스플레이들 등과 같은 다른 유형들의 디스플레이 솔루션들이 이용될 수 있다. MR의 경우, 최소한 2개의 전방 카메라들이 가능한 한 사용자의 눈과 가까이에 위치된 시점들로부터 환경을 캡처한다(프리즘 및/또는 거울들이 이용되거나 이용되지 않을 수 있어서, 카메라 배향은 전방 이외의 방향이 되도록 요구될 수 있다). 그 다음, 카메라 이미지들은 컴퓨터 생성 이미지들과 실시간으로 병합되어 디스플레이 시스템 상에 나타난다. 이러한 접근법은 사용자가 불투명한 디스플레이를 통해 보도록 허용하는 것이 아니라, 오히려 이미지들이 불투명한 디스플레이에 의해 폐색되지 않으면 사용자의 눈이 볼 이미지들을 캡처한다. 대안적 접근법은 사용자가 여전히 환경을 볼 수 있으면서 가상 콘텐츠를 보도록 허용하는 (예를 들어, 안경, 거울들 및/또는 프리즘으로 구성된) 시-스루 디스플레이들의 사용이다. 그러나, 이들은 통상적으로 신뢰가능한 몰입 감각을 상당히 감소시키는 좁은 시야를 갖는다.

카메라들의 목적은 단지 패스-스루 뷰를 제공하는 것으로 제한되지 않는다. 카메라 이미지 및 통합된 관성 측정 유닛(IMU)은 환경을 자동으로 분석 및 이해하기 위해 컴퓨터 비전 방법들에 의해 프로세싱될 수 있는 데이터를 제공한다. 또한, HMD는 수동적 컴퓨터 비전 분석 뿐만 아니라 능동적 컴퓨터 비전 분석을 지원하도록 설계된다. 수동적 컴퓨터 비전 방법들은 환경으로부터 캡처된 이미지 정보를 분석한다. 이러한 방법들은 모노스코픽(단일 카메라로부터의 이미지들) 또는 스테레오스코픽(2개의 카메라들로부터의 이미지들)일 수 있다. 이들은 특징부 추적, 객체 인식 및 깊이 추정을 포함하지만 이에 제한되는 것은 아니다. 능동적 컴퓨터 비전 방법들은 카메라들에 대해 가시적이지만 인간의 시각 시스템에 대해서 반드시 가시적은 아닌 패턴들을 투사함으로써 환경에 정보를 추가한다. 이러한 기술들은 스테레오 매칭 문제를 단순화하기 위해 비행 시간(ToF) 카메라들, 레이저 스캐닝 또는 구조화된 광을 포함한다. 능동적 컴퓨터 비전은 장면 깊이 재구성을 달성하기 위해 사용된다. 적외선(IR) 프로젝터는 랜덤 IR 스펙클 패턴을 환경에 투사하여, 모호한 곳(예를 들어, 균일한 텍스처들 또는 표면들)에서 스테레오 매칭을 더 용이하게 하기 위해 텍스처 정보를 추가하기 위해 사용된다. 또한, ToF 카메라들이 일부 실시예들에 포함될 수 있다. 능동적인 컴퓨터 비전은 광이 거의 없거나 전혀 없는 조건들에 대해 IR 투광기에 의한 추적을 지원하기 위해 사용된다.

전술한 능력들은 HMD를 고유하게 하고, 광범위한 애플리케이션들에서 사용되기에 적합하게 한다. 예를 들어, HMD는 레코딩 목적들 또는 실시간 비전 프로세싱을 위한 스테레오 카메라로서 사용될 수 있다. 이는 또한 환경 스캐너(능동적 스테레오)로서 사용될 수 있다. HDM의 상황에서, 컴퓨터 비전 방법들은 머리 위치, 사용자 신체 및 환경을 자동으로 추적하기 위해 이종 센서들로부터의 데이터를 사용한다. 그러나, 수동적 특징부 추적 및 능동적 스테레오 비전을 구현할 능력을 갖는 이러한 제품 조립체를 실현하는 것은 성능 관점에서 곤란하다. 이는 특히, 양호한 몰입을 달성하기 위해 낮은 레이턴시 시스템이 요구되고, 사용자 안락함 및 사용 용이성을 추가로 보장하기 위해 중량/인체 공학이 최적화되어야 하는 것을 고려하는 경우 그러하다. HMD들의 상황에서 레이턴시는 캡처된 데이터(IMU, 이미지들)와 대응하는 디스플레이된 콘텐츠 사이의 시간 간격이다. 큰 몰입을 생성하고 질병 및 메스꺼움을 회피하기 위해 20ms보다 작은 레이턴시가 달성되어야 한다. 낮은 레이턴시는 더 많은 프로세싱 전력이 이용가능한 경우 외부 컴퓨터의 보조로, HMD 자체 상에 프로세싱을 구현/임베딩함으로써 달성된다. 프로세싱 유닛들이 더 작아지고 더 적은 전력을 소비함으로써 진화함에 따라, 모든 프로세싱은 HMD 자체 상에서 수행될 수 있다. 임베디드 프로세싱은 외부 컴퓨터에 고해상도 카메라 이미지들을 전송하는 것을 회피하여, 전송 대역폭 및 레이턴시 요건들을 감소시킨다. 실제로(특히), 컴퓨터 비전 프로세싱 및 그래픽 렌더링은 대부분 외부 컴퓨터 상에서 수행될 수 있지만, HMD는 최소한, 동기화, 결합, 디베이어링(debayering), 디스플레이에 대한 이미지 왜곡의 보정 뿐만 아니라 렌더링된 그래픽과 카메라 이미지들의 MR 합성과 같은 카메라 이미지 신호 프로세싱(ISP) 기능들을 수행해야 한다.

따라서, HMD는 위치, 사용자 신체 및 환경 추적을 달성하기 위해 수동적 또는 능동적 스테레오 비전 방법들을 적용하기 위해 필요한 컴포넌트들을 포함하도록 설계된다. HMD는 또한 시각 정보를 환경에 추가하는 일부 제3자 외부 방출기들과 호환가능할 수 있다. 예를 들어, 텍스처화된 패턴의 환경 상으로의 임의의 투사는 스테레오 매칭을 도울 수 있다. 실제 추적 알고리즘들은 통상적으로 스테레오 매칭, IMU 데이터 통합, 특징부 검출/추적, 객체 인식 및 표면 피팅을 수반한다. 그러나, 맞춤형 알고리즘들이 구현될 수 있도록, HMD는 데이터 스트림들을 제3자 소프트웨어 개발자들에게 이용가능하게 한다.

도 1을 참조하면, 본 개시내용의 예시적인 실시예에 따른 머리 장착 디스플레이(HMD)(7)가 도시되어 있다. HMD(7)는 하네스(4)를 통해 사용자(1)의 머리에 부착되고, 혼합 현실(MR) 및 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 달성하기 위한 다수의 센서들, 즉 패스-스루 목적들을 위한 2개의 RGB 카메라들(11, 12), 스테레오 비전 분석을 위한 2개의 적외선(IR) 카메라들(2, 9), 관성 측정 유닛(IMU)(도면에는 미도시) 및 조밀한 깊이 감지를 위한 IR 방출기(14)를 갖는 비행 시간(ToF) 카메라(13)를 통합한다. IR 발광 다이오드(LED) 방출기들(5, 8, 10, 15)의 집합물이 또한 낮은 광 조건들의 환경을 조명하기 위해 통합된다. HMD(7)는 또한 능동적 스테레오 컴퓨터 비전을 달성하고 3차원(3D)의 조밀한 맵을 추출하기 위해 IR 스펙클 프로젝터(6)를 구비한다. 다양한 데이터 스트림들(카메라 이미지들, IMU 데이터)이 캡처되고, 임의적으로 압축되고, 그 다음, HMD(7) 또는 외부 컴퓨터의 일부일 수 있는 프로세싱 유닛들(21)에 송신된다. HMD(7)와 프로세싱 유닛들(21) 사이의 통신들은, 유선, 무선 또는 둘 모두의 조합일 수 있는 통신 링크들(17, 18)을 통해 수행된다. 프로세싱 유닛들(21)이 HMD(7)의 일부인 대안적인 실시예에서, 통신 링크들(17, 18)은 생략될 수 있다. 프로세싱 유닛들(21)은 HMD(7)에 디스플레이될 그래픽 콘텐츠(게임 뷰, 비디오, 가상 객체들 등)를 렌더링한다. HMD(7)는 전력 링크(19)를 통해 전원(20)에 의해 가동된다. 대안적인 실시예에서, 전원(20)은 HMD(7) 내에 통합될 수 있다.

이제 도 2a를 참조하면, VR 및 MR을 달성하기 위해 예시적인 HMD(7)가 도시되어 있다. HMD(7)를 착용한 사용자(1)는 광각 접안 렌즈들(26, 35)을 통해 디스플레이(27)를 본다. 눈(22, 38) 앞에 위치된 2개의 RGB 카메라들(28, 34)은, 사용자의 눈이 HMD(7)에 의해 폐색되지 않으면 볼 환경을 캡처한다. 이 도면은 단지 HMD(7)에 대해 요구되는 카메라들만을 포함하고 컴퓨터 비전 분석에 대해 사용되는 다른 카메라들을 포함하지 않음을 주목한다. 예시적인 실시예에서, 카메라들(28, 34)의 베이스라인(39)은 64mm, 즉 평균적인 인간 눈 분리도이고(카메라 베이스라인은 64mm 이외의 것일 수 있음), 카메라들(28, 34)의 위치는 사용자의 시각적 인식의 불일치를 최소화하기 위해 사용자의 눈(22, 38)과 정렬되는 것이 유리하다. 카메라들(28, 34)의 시야(29, 30, 32, 33)는 눈(22, 38)의 시야(23, 25, 36, 37)에 근접하게 매칭해야 한다.

도 2b는 디스플레이(27)에 의해 방출된 광선들(44, 46, 48)이 접안 렌즈(26, 35)를 통과하여 다시 망막(53) 상에 포커싱(52, 54, 55)되는 방법을 예시한다. 접안 렌즈(26, 35)에 대한 동공(51)의 위치 뿐만 아니라 접안 렌즈(26, 35)로부터 디스플레이(27)까지의 거리는 정확한 초점(즉, 거리들(50 및 57) 각각)을 얻기 위해 조절될 필요가 있다. 이 도면은 단일 파장을 도시하는 한편, 접안 렌즈(26, 35)는 통상적으로 보상될 필요가 있는 색수차를 유도함을 주목한다.

HMD는 시각적인 데이터 스트림들을 제공하여 하기 능력들, 즉, 디스플레이 시스템을 위한 스테레오 이미지들(패스-스루 스테레오 뷰로 지칭됨), 추적 목적들을 위한 스테레오 이미지들, 조밀한 깊이 감지(근거리 및 중간 범위) 및 관성 측정들을 허용한다. 예시적인 실시예에서, 근거리 깊이 감지는 1.5m보다 작은 것으로 고려되는 한편; 중간 범위 깊이 감지는 1미터보다 더 먼(최대 약 4 내지 5 미터) 깊이들을 커버하는 것으로 고려된다.

도 3은 HMD의 예시적인 실시예의 시각적 감각 생성 프로세스를 도시한다. 패스-스루 스테레오 뷰(102)는 RGB 스테레오 카메라(104)에 의해 캡처된다. 추적을 위한 스테레오 이미지들(106)은 또한 RGB 스테레오 카메라(104)에 의해, 또는 오히려 불량한 광 조건들에 대해 IR 투광기(110)로 보조된 IR 스테레오 카메라(108)에 의해 캡처될 수 있다. 조밀한 깊이 감지(112)는 스테레오 매칭을 구현하기에 충분한 시각 정보가 없는 경우 깊이를 복원하기 위해 투사된 IR 정보를 추가하는 것을 요구한다. 예시적인 실시예에서, 2개의 솔루션들은 깊이의 조밀한 맵을 제공하기 위해 사용된다. 먼저, ToF 카메라(114)는 광선이 이의 연관된 IR 방출기(110)를 떠나서 ToF 카메라 센서(108) 상으로 다시 반사하는데 소요되는 시간에 기초하여 깊이를 복원한다. 둘째로, IR 스펙클 패턴(116)은 환경 상에 투사되고 IR 스테레오 카메라(108)에 의해 보인다. 후자는 계산적으로 고가의 스테레오 매칭을 요구하는 한편, 통상적으로 이전의 솔루션보다 더 높은 해상도의 깊이 맵을 제공한다. 비용 타겟, 시장 유형, 기술적 접근법, 디바이스 해상도, 성능 및 특징부 세트에 따라, 실시예들에서 상이한 선택들이 수행될 수 있고 몇몇 기능적 블록들이 결합될 수 있다. IMU(120)에 의해 취해진 관성 측정들(118)은 또한 캡처되어 임베디드 추적 모듈(122)에 제공된다. 컴퓨터 비전 프로세싱 및 그래픽 렌더링(124)의 부분들은 외부 컴퓨터 상에서 수행될 수 있는 한편, 전반적인 시스템 레이턴시를 감소시키기 위해 이미지 프로세싱 단계들 중 일부는 HMD 자체에서 수행될 필요가 있다. 도 3에서, 카메라 이미지 프로세싱 모듈(126)은 트리거 제어, 디베이어링, 자동 화이트 밸런스, 결함 픽셀 교체, 플랫 필드 보정, 필터링(잡음 감소, 에지 강화), 왜곡 및 수차 보정과 같은 일부 작업들을 수행한다. 그래픽 이미지 프로세싱 모듈(128)은 디코딩(예를 들어, 컬러 및 알파 채널), 왜곡 및 수차 보정을 수행한다. 합성 모듈(130)은 렌더링된 그래픽 및 카메라 이미지들을 혼합하고, 결과적 이미지들은 디스플레이(27) 상에 디스플레이된다.

HMD(7)의 예시적인 실시예들은 도 4a 및 4b에 보다 상세히 도시되어 있다. 도 4a에 도시된 예시적인 제1 실시예에서, HMD(7)는 더 양호한 패스-스루 품질을 위해 IR 차단 필터들을 갖는 2개의 RGB 카메라 센서들(62, 64) 및 렌즈들(63, 65)을 갖는다. 이는 또한, 컴퓨터 비전 분석에 최적화된 근적외선(NIR) 대역통과 필터들(66, 68) 및 렌즈들(67, 69)을 갖는 2개의 모노 카메라 센서들을 통합한다. 다른 컴포넌트들은 디스플레이(27), 9-자유도 IMU (70)(자이로스코프, 가속도계 및 자력계로 구성됨) 및 이의 연관된 IR 방출기(73)를 갖는 ToF 카메라 센서(72)를 포함한다. LED 투광기들(74, 75, 76, 77)은 낮은 광 조건들에서 위치 추적을 개선하기 위해 사용된다. 스펙클 프로젝터(78)는 환경에 텍스처를 추가하여 스테레오 매칭으로부터의 조밀한 깊이 맵 결과들을 개선하기 위해 사용된다. 도 4b에 도시된 예시적인 제2 실시예에서, HMD(7)는 단지 3개의 카메라, 즉, 렌즈들(83, 85) 및 LED 투광기들(86, 87, 88, 89)을 갖는 2개의 RGB/IR 카메라들(82, 84)(RGB/IR 센서들은 표준 R-G-G-B 패턴 대신에 R-G-IR-B 패턴을 갖는 베이어 포맷을 사용함), 및 ToF 카메라 센서(72) 및 이의 연관된 IR 방출기(73)를 사용한다. 단지 2개의 RGB/IR 카메라들(82, 84)에 의해 모두 4개의 요구되는 능력들을 달성하는 것이 가능한 한편, 목적에 따라 요건들이 상이하기 때문에 결과는 종종 최적이 아니다. 특히, RGB/IR 센서를 사용하는 경우 특히 픽셀 포화가 존재하는 경우, RGB와 IR 신호들을 명확하게 분리시키는 것이 항상 가능한 것은 아니다. 도 4a의 예시적인 실시예에서 설명된 바와 같이, 2개의 카메라 쌍들(62, 64, 66, 68)(하나는 패스-스루 목적이고 하나는 추적 목적임)은 사용 규격들의 최적화를 허용한다. 예를 들어, RGB 및 IR 대역통과 필터들은 이미지 품질을 개선하기 위해 패스-스루(62, 64) 및 추적(66, 68) 센서들 상에 각각 설치될 수 있다. 또한, 패스-스루 카메라들은 인간 시각 시스템과 매칭하는 넓은 시야를 캡처하기 위해 어안 렌즈들의 사용을 요구한다. 그러나, 이러한 렌즈들은 높은 추적 정밀도를 얻기 위해 요구되는 각도 분해능을 감소시킨다. 추적 및 능동적 깊이 맵 센서들 둘 모두는 능동적 스테레오 비전 방법에서 스펙클 패턴과 매칭하는 능력을 증가시키기 위해 높은 신호-대-잡음비(SNR)를 가질 필요가 있다. 이러한 목적을 더 양호하게 달성하기 위해, HMD(7) 상의 센서 배치가 또한 최적화될 수 있다. 추적 센서들(66, 68)은 스테레오 매칭들을 삼각측량함으로써 수행되는 환경에서 깊이 추정의 정밀도를 증가시키기 위해 인간 눈 분리도보다 큰 베이스라인 상에 배치됨을 주목한다. 패스-스루 센서들(62, 64)과 공통 축을 따라 추적 센서들(66, 68)을 배치하는 것은 데이터를 하나의 센서 쌍으로부터 다른 센서 쌍으로 결합하거나 리매핑하는 것을 더 용이하게 한다.

도 5 및 도 6은 VR 및 MR을 각각 달성하기 위해 요구되는 데이터 및 프로세싱 단계들을 도시한다. 링크들 L은 제어된 낮은 레이턴시 데이터 스트림들 및 최소 레이턴시 지터(jitter)를 갖는 프로세싱을 표현한다. 추적 및 렌더링 섹션들(142, 144)은 실시예에 따라 HMD(7) 자체 또는 외부 컴퓨터 상에서 부분적으로 또는 전체적으로 실행될 수 있다. 깊이 계산(156)은 실시예가 사용하는 깊이 감지 컴포넌트(즉, ToF 카메라, IR 스테레오 매칭 또는 둘 모두)에 따라 다소 더 또는 다소 덜 계산 집약적일 수 있음을 주목해야 한다.

추적 프로세스들(142, 144)(즉, 위치(154)(배향 결정(152)을 포함함), 사용자 신체(158) 및 환경(160) 추적) 각각, 그래픽 렌더링(124), 깊이 맵 추정(156), IR 시간-멀티플렉싱 뿐만 아니라 하드웨어 컴포넌트들 중 일부, 즉, 스펙클 프로젝터(78) 및 IR 필터 IR 카메라 센서들(66, 68)이 추가로 설명될 것이다. 본 명세서에서 설명되는 추적 프로세스들(142, 144)은 입력 데이터가 주어지는 예시적인 추적 프로세스들임을 이해해야 한다. 데이터 스트림들(IMU 데이터, 이미지들)은 제3자 소프트웨어 개발자들이 자기 자신의 추적 알고리즘들을 설계 및 구현할 수 있도록 그들에게 이용가능하게 된다.

위치 추적

도 7은 위치 추적(154)을 달성하기 위한 예시적인 프로세스의 흐름도를 도시한다. 이 프로세스는 동시적 로컬화 및 매핑(SLAM) 알고리즘들의 클래스에 속한다. 3D 특징부들을 검출 및 추적하기 위해 능동적 스테레오에 의해 주어지는 조밀한 깊이 맵이 사용될 수 있는 한편, (2D 특징부들은 텍스처에 기초하는 한편 3D 특징부들은 깊이에 기초하고 포인트 클라우드로부터 추출될 수 있음을 주목해야 함), 스파스 매칭 접근법이 실시간 제약들을 갖는 시나리오들에 더 양호하게 적합하기 때문에 본 명세서에서 설명된다. 알고리즘의 입력들은 추적 및 IMU 데이터(204)에 대한 스테레오 이미지들(202)이다. 먼저, 프로세스는 스테레오 이미지에서 회전방식으로(206) 및 스케일링된 불변의 2D 이미지 특징부들(208)를 검출한다. 다음으로, 각각의 특징부의 깊이는 스테레오스코픽 매칭(210)을 사용함으로써 추정된다. 이러한 프로세스는 3D 포인트들의 클라우드(212)를 산출하고, 그 다음, 이것은 머리 위치 변화들(214)을 추론하기 위해 실시간으로 추적된다. 환경이 정적으로 가정될 때, 움직이는 사람 또는 객체의 임의의 특징부는 강성 모션 가정들에 의한 RANSAC 방법에 의해 필터링되어 제거된다. 자이로스코프 및 가속도계 데이터는, 추적 이미지들이 충분한 정보를 제공하지 않은 경우 위치 변화들(216)을 일시적으로 컴퓨팅하기 위해 사용된다.

사용자 신체 추적

도 8은 사용자 신체 추적(158)을 달성하기 위한 예시적인 프로세스의 흐름도를 도시한다. 가상 현실에서, 몰입을 달성하기 위해 사용자의 신체가 드로잉되고 보여질 필요가 있다. 이를 위해, 추적이 수행되는 시야는 패스-스루 카메라들의 시야와 매칭해야 한다. ToF 카메라 센서(72)는 비교적 더 작은 시야(예를 들어, 수평으로 90도)에서 가까운 깊이 데이터를 얻기 위해 저해상도이지만 직접적인 솔루션을 제공한다. 이러한 관점에서, LED 투광기들(74, 75, 76, 77)에 의해 지원되는 스테레오 카메라들(66, 68)은 더 많은 이미지 프로세싱 계산 시간을 대가로 더 양호한 해상도를 제공한다. 예시적인 프로세스에서, 신체 메시(304)는 가까운 3D 데이터를 검출함으로써 또는 오히려 LED 투광기들(74, 75, 76, 77)을 사용하는 경우 강도에 대해 임계치를 적용함으로써 깊이(156) 및 신체 세그먼트화(302) 정보로부터 추출된다. 다음으로, 스켈레톤 모델(306)이 메시로부터 추출된다. 마지막으로, 신체 모션을 추적하고 스켈레톤 형상 및 모션을 제스처 모델들에 매칭함으로써, 미리 정의된 제스처들이 마지막으로 인식된다(308). 인식된 제스처들의 유형, 위치 및 신체 스테레오 마스크(310)는 그래픽 렌더링(124)을 위해 제공된다.

환경 추적

도 9는 환경 추적을 달성하기 위한 예시적인 프로세스의 흐름도를 도시한다. 추적 프레임워크에 대한 입력들은 컬러 스테레오 이미지들(106), 능동적 스테레오 방법 및/또는 ToF 카메라(72)에 의해 추정된 깊이 맵(112), 및 위치 추적의 출력(154)으로부터의 XYZ 위치이다. 프로세스는 위치 추적 출력을 레버리지하고 이전에 추론된 객체 위치들을 활용하여 효율을 개선하는 모션 모델(402)을 포함한다. 예를 들어, 모션 모델(402)은 입자 필터 또는 칼만 필터를 사용함으로써 구성될 수 있다. 다음으로, 프로세스는 해리스(Harris) 코너들, 불변 휴-모멘트(Hu-moment)들에 기초한 로컬 극한점들 및 헤시안즈(Hessians)의 결정자와 같은 관심있는 키-포인트들(404)을 검출한다. 이러한 키포인트들에 국부적인 특징부들은 히스토그램 오브 그래디언트(Histogram of Gradients) 또는 하(Haar)형 특징부 디스크립터들과 같은 견고한 특징부 디스크립터들에 의해 추출된다(406). 위치 추적과 마찬가지로, 환경은 정적인 것으로 가정된다. 따라서, 임의의 움직이는 특징부들은 강성 모션 가정들에 의한 RANSAC 방법에 의해 필터링되어 제거된다. 지원 벡터 머신들(support vector machines)과 같은 분류 알고리즘(408)은 이러한 특징부들을 추적하고 인식하도록 모델을 가르치기 위해 활용된다. 마지막으로, 표면 디스크립터들은 조밀한 깊이 맵(112)을 특징부 인식 스테이지의 출력(410)과 융합함으로써 추정된다(414).

혼합 현실 합성

스테레오 패스-스루 카메라들(62, 64)와 가상 이미지 엘리먼트들의 실시간 융합을 달성하기 위해, HMD(7) 상에서 합성이 수행된다. 이는, 고해상도 패스-스루 카메라 스트림들을 외부 컴퓨터에 전송하는 것을 회피한다. 이는 요구되는 전송 대역폭을 감소시키는 경향이 있고, 그 다음, 이것은 전반적인 레이턴시를 감소시킨다. 하기 상황을 특정하기 위해 8-비트 알파 마스크 A가 사용된다:

(i) 가상 그래픽이 불투명하면 A=255;

(ii) 이들이 어느 정도의 투명도를 가지면 0<A<255; 및

(iii) 이들이 비가시적이면 (A=0).

가상 객체가 사용자의 손(16) 또는 환경 내의 다른 객체들에 의해 폐색되면 가상 객체는 비가시적이어야 함을 주목해야 한다. 폐색 마스크들은, 가상 객체(들)의 깊이와 각각의 픽셀의 계산된 깊이를 비교함으로써 찾을 수 있다. 따라서, 카메라 이미지들은 하기 선형 모델, Ik[R,G,B] * Ak[R,G,B] + Jk[R,G,B] * (1-Ak[R,G,B])에 따라 픽셀 채널마다 혼합되고, 여기서 Ik는 픽셀 k에서 가상 컬러이고, Jk는 픽셀 k에서 카메라 컬러이다. 접안 렌즈들의 색수차를 보정하기 위해 각각의 채널이 리매핑되기 때문에, 알파 마스크 A는 각각의 컬러 채널 [R,G,B]에서 상이할 필요가 있음을 주목한다. 이러한 리매핑이 외부 컴퓨터 상에서 수행되면, 픽셀마다 총 6개의 채널들(즉, R, G, B, Ar, Ag 및 Ab)은 HMD(7)에 전송될 필요가 있다. 도 10은 그래픽 렌더링 및 합성(130)을 달성하기 위한 예시적인 프로세스의 흐름도를 도시한다. 데이터는 호스트 컴퓨터(90) 상에서 인코딩되고, 표준 24 비트/픽셀 포맷으로 전송되고 HMD(7) 상으로 다시 디코딩된다. 3개의 컬러 채널들은 YUV422 포맷을 사용하여 2개의 채널들로 인코딩되고, 2개의 알파 채널들은 단일 베이어 채널에 매핑된다. 가상 장면을 렌더링하는 경우, 알파 혼합이 사용되기 때문에, 출력 컬러는 실제 컬러인 Ik[R,G,B]가 아니라 실제로는 Ik[R,G,B] * Ak[R,G,B]이다. 그러나, 이것은 카메라 이미지들을 합성하는 경우 혼합 방정식의 제1 항에 대응하기 때문에 문제가 되지 않는다.

IR 스펙클 프로젝터

HMD(7)는 능동적 스테레오 매칭으로부터 추정된 조밀한 깊이 맵의 품질을 개선하기 위해 고정된 패턴을 장면 상에 캐스트/투사하는 스펙클 프로젝터(78)를 포함한다. 기지국(HMD 외부)은 환경 상에 일부 정적인 텍스처 포인트들을 투사하는 이점을 제공하는 한편, 단일 기지국으로 전체 공간을 커버하는 것은 폐색 때문에 곤란할 수 있다. 솔루션으로서, HMD(7)에 프로젝터를 임베딩하는 것은, 사용자가 보고 있는 곳을 항상 투사하면서 (기지국을 셋업할 필요없이) 임의의 공간에서든 주위를 이동하는 유연성을 제공한다. 스펙클 프로젝터(78)의 2개의 실시예들이 제시된다. 도 11에 도시된 제1 실시예에서, 스펙클 프로젝터(78)는 표면 디퓨저(diffuser)를 통과하는 레이저 빔의 간섭 패턴을 생성한다. 이러한 경우, 스펙클 프로젝터(78)에 의해 생성되는 패턴은 랜덤이고, 그 입도는 확산 표면 상의 상이한 크기의 스폿에 빔을 포커싱함으로써 또는 확산 표면을 변경함으로써 조절될 수 있다. 제2 실시예에서, 스펙클 프로젝터(78)는 하나의 또는 많은 회절 광학 엘리먼트들을 통과하는 레이저 빔의 원거리 회절에 의한 스펙클 패턴을 생성한다. 신호 대 잡음비(SNR)는 편광기를 추가함으로써 상당히 개선된다. 몇몇 굴절, 반사 또는 흡수 광학 엘리먼트들이 빔 형상화를 위해 추가될 수 있다. 통상적으로, 렌즈들은 항상 존재할 것이다. 높은 레이저 전력 구역들에 대한 액세스를 제한하기 위해 보호용 하우징이 추가될 수 있다.

조밀한 깊이 맵

표준 스테레오 깊이 맵 방법들은 제1 이미지의 각각의 픽셀에 대해 제2 이미지의 최상의 픽셀 매칭을 찾는다. 픽셀들 주위의 이웃도가 또한 오직 단일한 픽셀들 대신에 고려될 수 있다. 매칭은 통상적으로 가장 낮은 픽셀 강도 차이(또는 이웃도가 사용되는 경우 차이들의 합)를 찾는 것을 수반한다. 사전 프로세싱 단계로서, 매칭을 위한 탐색 공간이 단일의 수평선이 되도록, 이미지들이 개선된다. 스테레오 비전을 사용하여 깊이 맵을 계산하는 것은 통상적으로, 특징적 스테레오 매칭에 사용될 수 있는 텍스처가 충분히 존재하지 않는 장면의 영역들(예를 들어, 균일한 특징부들 또는 흰 벽 또는 표면 상의 블록들)에서 에러들 또는 갭들을 초래한다. 이러한 문제를 극복하기 위해 랜덤 적외선(IR) 스펙클 패턴 프로젝터(78)가 사용된다. 스펙클 프로젝터(78)는 조밀한 깊이 맵을 생성하기 위해 장면에 텍스처를 추가한다. RGB/IR 센서들(82, 84)이 사용되면, RGB-D 출력(컬러 + 깊이)이 직접 이용가능하다. 그렇지 않으면, 패스-스루 뷰의 컬러들은 깊이 맵 상에 맵핑될 수 있다.

시간-멀티플렉싱

IR 스테레오 카메라들의 쌍이 스테레오 추적 및 조밀한 깊이 감지 둘 모두에 대해 사용되면(즉, RGB/IR 카메라들(82,84)), 환경 특징부들을 추적하는 동안 스펙클 패턴이 사용될 수 없기 때문에 충돌이 존재한다. HMD(7) 앞에 투사된 추가된 스펙클 패턴은 2개의 중첩하는 신호들, 즉, 고정된 스펙클 패턴 및 사용자의 머리 모션(1)에 따라 이미지들에서 움직이는 환경 특징부들을 생성한다. 이를 극복하기 위해, 스펙클 패턴 프로젝터(78) 및 임의적인 IR 투광기가 연속적으로 조명되는 대신에 인터리빙된(interleaved) 방식으로 스트로브되는(strobed) 시간 멀티플렉싱 접근법이 사용될 수 있어서, 출력 레이트를 절반으로 감소시킬 수 있다. 도 12a는 2개의 카메라(82, 84), IR 스펙클 프로젝터(78), IR 투광기(79) 및 트리거 및 스트로브 제어기(91)를 사용하는 예시적인 셋업의 시간-멀티플렉싱 셋업의 예시적인 실시예의 개략적 표현을 도시한다. 제어기(91)는 프로젝터(78) 및 투광기(79)의 스트로브와 카메라들(82, 84)의 노출을 동기화시키기 위해 사용된다. 도 12b는 시간-멀티플렉싱 셋업의 타이밍 도면을 도시한다. 스펙클 패턴 프로젝터(78) 및 투광기(79)가 활성화되는 프레임들이 점선들 및 파선들로 각각 도시되어 있다. 시간-멀티플렉싱 접근법은 HMD(7)가 최대 프레임 레이트(예를 들어, 90fps)로 시각적 센서들로부터 이미지들을 포착할 수 있게 하여, HMD(7)는 조밀한 깊이 맵 및 2차원(2D) 특징부 디스크립터들 각각을 최대 프레임 레이트(예를 들어, 45fps)의 절반에서 추출할 수 있다. 따라서 카메라들(82, 84)의 시간-멀티플렉싱된 또는 인터리빙된 출력은, 2D 특징부 추출, 3D 특징부 추출 및 조밀한 깊이 맵 추정에 유용할 수 있는 정보를 제공한다.

IR 파장들 및 필터들

도 4a에 예시된 HMD(7)의 예시적인 실시예는 몇몇 IR 방출기들 및 센서들, 즉 스펙클 프로젝터(78), LED 투광기들(74, 75, 76, 77), ToF 카메라 센서(72) 및 IR 카메라 센서들(66, 68)로 구성된다. 신호 간섭 및 포화를 최소화하기 위해, ToF 카메라 센서(72)는 유리하게는 다른 방출기들과 상이한 파장을 사용한다. 예를 들어, ToF 카메라 센서(72)는 850nm 또는 940nm의 파장을 사용할 수 있는 한편, 스펙클 프로젝터(78) 및 LED 투광기들(74, 75, 76, 77)은 808nm의 파장을 사용한다. IR 카메라 센서들(66, 68)은 그 동일한 파장을 중심으로 하는 IR 대역통과 필터를 갖는다. 카메라 노출 시간, 센서 이득, 및 LED 투광기들(74, 75, 76, 77) 및 스펙클 프로젝터(78)의 스펙클 패턴 둘 모두의 강도는 실시간으로 변조되어 이미지를 포화를 회피하고 동적 범위를 최대화함을 주목해야 한다.

본 개시내용은 특정한 비제한적인 예시적 실시예들 및 그 예들에 의해 설명되었지만, 이하 청구되는 바와 같은 본 개시내용의 범위를 벗어남이 없이 본 특정 실시예에 변형들이 적용될 수 있음이 당업자들에게 자명할 것임을 주목해야 한다.

Claims (20)

1. 방법으로서,
   메모리, 적어도 하나의 프로세싱 유닛, 및 제1 RGB 스테레오-카메라 및 제2 RGB 스테레오-카메라, 적외선(IR) 프로젝터, 제1 IR 센서, 제2 IR 센서 및 디스플레이와 통신하기 위한 통신 인터페이스를 포함하는 머리 장착 디바이스(HMD)에서;
   상기 제1 RGB 스테레오-카메라를 통해, 물리적 환경의 제1 RGB 스테레오 이미지를 획득하는 단계;
   상기 제2 RGB 스테레오-카메라를 통해, 상기 물리적 환경의 제2 RGB 스테레오 이미지를 획득하는 단계;
   상기 IR 프로젝터를 통해, IR 광의 IR 패턴을 상기 물리적 환경 상에 투사하는 단계;
   상기 제1 IR 센서를 통해, 상기 IR 패턴의 반사와 연관되는 상기 물리적 환경의 제1 IR 이미지에서의 텍스처 정보를 획득하는 단계;
   상기 제2 IR 센서를 통해, 상기 IR 패턴의 반사와 연관되는 상기 물리적 환경의 제2 IR 이미지에서의 텍스처 정보를 획득하는 단계;
   상기 제1 RGB 스테레오 이미지와 상기 제1 IR 이미지를 제1 결합 이미지로 결합하는 단계;
   상기 제2 RGB 스테레오 이미지와 상기 제2 IR 이미지를 제2 결합 이미지로 결합하는 단계;
   상기 제1 결합 이미지 내의 픽셀들을 상기 제2 결합 이미지 내의 상이한 픽셀들에 매칭함으로써 조밀한 깊이 맵을 생성하는 단계;
   상기 조밀한 깊이 맵에 기초하여 가상 콘텐츠를 상기 제1 RGB 스테레오 이미지 및 상기 제2 RGB 스테레오 이미지와 합성함으로써 디스플레이 이미지를 생성하는 단계; 및
   상기 디스플레이를 통해, 상기 디스플레이 이미지를 디스플레이하는 단계
   를 포함하는 방법.
2. 제1항에 있어서, 상기 제1 RGB 스테레오-카메라와 상기 제1 IR 센서는 제1 공통 축을 공유하며, 상기 제2 RGB 스테레오-카메라와 상기 제2 IR 센서는 제2 공통 축을 공유하는, 방법.
3. 제1항에 있어서,
   상기 IR 프로젝터를 통해, 랜덤 또는 의사 랜덤 알고리즘 중 하나에 따라 상기 IR 패턴을 생성하는 단계를 추가로 포함하는 방법.
4. 제1항에 있어서, 상기 IR 패턴의 입도는 (A) 확산 표면 상에서 상이한 크기의 스폿 위로 상기 IR 패턴을 포커싱하는 것 또는 (B) 상기 확산 표면을 변경하는 것 중 하나에 의해 조정되는, 방법.
5. 제1항에 있어서, 상기 IR 패턴은 표면 디퓨저를 통과하는 레이저 빔의 간섭 패턴에 대응하는, 방법.
6. 제1항에 있어서, 상기 IR 패턴은 하나 또는 다수의 회절 광학 엘리먼트를 통과하는 레이저 빔의 원거리 회절(far field diffraction)에 대응하는, 방법.
7. 제1항에 있어서, 상기 IR 프로젝터는 편광기를 포함하는, 방법.
8. 제1항에 있어서, 상기 HMD의 상기 통신 인터페이스는 또한 하나 이상의 IR 투광기(flood light)와 통신되고, 상기 방법은,
   시간-멀티플렉싱 기법에 따라 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기를 동작시키는 단계를 추가로 포함하는 방법.
9. 제8항에 있어서,
   이미지 포화를 감소시키고 동적 범위를 개선하도록 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기의 노출 시간, 센서 이득 및 강도 중 적어도 하나를 실시간으로 변조하는 단계
   를 추가로 포함하는 방법.
10. 제1항에 있어서, 제1 이미지 센서는 상기 제1 RGB 스테레오-카메라 및 상기 제1 IR 센서를 포함하고, 상기 제1 IR 센서는 근적외선 대역통과 필터에 대응하는, 방법.
11. 머리 장착 디바이스(HMD)로서,
    제1 RGB 스테레오-카메라, 제2 RGB 스테레오-카메라, 적외선(IR) 프로젝터, 제1 IR 센서, 제2 IR 센서, 및 디스플레이와 통신하기 위한 통신 인터페이스;
    적어도 하나의 프로세싱 유닛; 및
    하나 이상의 프로그램을 저장한 메모리
    를 포함하고, 상기 프로그램은, 상기 적어도 하나의 프로세싱 유닛에 의해 실행될 때, 상기 HMD로 하여금,
    상기 제1 RGB 스테레오-카메라를 통해, 물리적 환경의 제1 RGB 스테레오 이미지를 획득하고;
    상기 제2 RGB 스테레오-카메라를 통해, 상기 물리적 환경의 제2 RGB 스테레오 이미지를 획득하고;
    상기 IR 프로젝터를 통해, IR 광의 IR 패턴을 상기 물리적 환경 상에 투사하고;
    상기 제1 IR 센서를 통해, 상기 IR 패턴의 반사와 연관된 상기 물리적 환경의 제1 IR 이미지에서의 텍스처 정보를 획득하고;
    상기 제2 IR 센서를 통해, 상기 IR 패턴의 반사와 연관되는 상기 물리적 환경의 제2 IR 이미지에서의 텍스처 정보를 획득하고;
    상기 제1 RGB 스테레오 이미지와 상기 제1 IR 이미지를 제1 결합 이미지로 결합하고;
    상기 제2 RGB 스테레오 이미지와 상기 제2 IR 이미지를 제2 결합 이미지로 결합하고;
    상기 제1 결합 이미지 내의 픽셀들을 상기 제2 결합 이미지 내의 상이한 픽셀들에 매칭함으로써 조밀한 깊이 맵을 생성하고;
    상기 조밀한 깊이 맵에 기초하여 가상 콘텐츠를 상기 제1 RGB 스테레오 이미지 및 상기 제2 RGB 스테레오 이미지와 합성함으로써 디스플레이 이미지를 생성하고;
    상기 디스플레이를 통해, 상기 디스플레이 이미지를 디스플레이하게 하는, 머리 장착 디바이스.
12. 제11항에 있어서, 상기 제1 RGB 스테레오-카메라와 상기 제1 IR 센서는 제1 공통 축을 공유하며, 상기 제2 RGB 스테레오-카메라와 상기 제2 IR 센서는 제2 공통 축을 공유하는, 머리 장착 디바이스.
13. 제11항에 있어서, 제1 이미지 센서는 상기 제1 RGB 스테레오-카메라 및 상기 제1 IR 센서를 포함하고, 상기 제1 IR 센서는 근적외선 대역통과 필터에 대응하는, 머리 장착 디바이스.
14. 제11항에 있어서, 상기 HMD의 상기 통신 인터페이스는 또한 하나 이상의 IR 투광기와 통신되고,
    상기 하나 이상의 프로그램은 또한 상기 HMD로 하여금,
    시간-멀티플렉싱 기법에 따라 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기를 동작시키게 하는, 머리 장착 디바이스.
15. 제14항에 있어서, 상기 하나 이상의 프로그램은 또한 상기 HMD로 하여금, 이미지 포화를 감소시키고 동적 범위를 개선하도록, 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기의 노출 시간, 센서 이득, 및 강도 중 적어도 하나를 실시간으로 변조하게 하는, 머리 장착 디바이스.
16. 명령어들이 인코딩된 메모리로서, 상기 명령어들은, 제1 RGB 스테레오-카메라, 제2 RGB 스테레오-카메라, 적외선(IR) 프로젝터, 제1 IR 센서, 제2 IR 센서, 및 디스플레이와 통신하기 위한 통신 인터페이스를 포함하는 머리 장착 디바이스(HMD)의 적어도 하나의 프로세싱 유닛에 의해 실행될 때, 상기 HMD로 하여금:
    상기 제1 RGB 스테레오-카메라를 통해, 물리적 환경의 제1 RGB 스테레오 이미지를 획득하고;
    상기 제2 RGB 스테레오-카메라를 통해, 상기 물리적 환경의 제2 RGB 스테레오 이미지를 획득하고;
    상기 IR 프로젝터를 통해, IR 광의 IR 패턴을 상기 물리적 환경 상에 투사하고;
    상기 제1 IR 센서를 통해, 상기 IR 패턴의 반사와 연관된 상기 물리적 환경의 제1 IR 이미지에서의 텍스처 정보를 획득하고;
    상기 제2 IR 센서를 통해, 상기 IR 패턴의 반사와 연관되는 상기 물리적 환경의 제2 IR 이미지에서의 텍스처 정보를 획득하고;
    상기 제1 RGB 스테레오 이미지와 상기 제1 IR 이미지를 제1 결합 이미지로 결합하고;
    상기 제2 RGB 스테레오 이미지와 상기 제2 IR 이미지를 제2 결합 이미지로 결합하고;
    상기 제1 결합 이미지 내의 픽셀들을 상기 제2 결합 이미지 내의 상이한 픽셀들에 매칭함으로써 조밀한 깊이 맵을 생성하고;
    상기 조밀한 깊이 맵에 기초하여 가상 콘텐츠를 상기 제1 RGB 스테레오 이미지 및 상기 제2 RGB 스테레오 이미지와 합성함으로써 디스플레이 이미지를 생성하고;
    상기 디스플레이를 통해, 상기 디스플레이 이미지를 디스플레이하게 하는, 메모리.
17. 제16항에 있어서, 상기 제1 RGB 스테레오-카메라와 상기 제1 IR 센서는 제1 공통 축을 공유하며, 상기 제2 RGB 스테레오-카메라와 상기 제2 IR 센서는 제2 공통 축을 공유하는, 메모리.
18. 제16항에 있어서, 제1 이미지 센서는 상기 제1 RGB 스테레오-카메라 및 상기 제1 IR 센서를 포함하고, 상기 제1 IR 센서는 근적외선 대역통과 필터에 대응하는, 메모리.
19. 제16항에 있어서, 상기 HMD의 상기 통신 인터페이스는 또한 하나 이상의 IR 투광기와 통신되고,
    상기 명령어들은 또한 상기 HMD로 하여금,
    시간-멀티플렉싱 기법에 따라 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기를 동작시키도록하는, 메모리.
20. 제19항에 있어서, 상기 명령어들은 또한 상기 HMD로 하여금,
    이미지 포화를 감소시키고 동적 범위를 개선하기 위해, 상기 IR 프로젝터 및 상기 하나 이상의 IR 투광기의 노출 시간, 센서 이득, 및 강도 중 적어도 하나를 실시간으로 변조하게 하는, 메모리.

Images