KR20200009062A - 다층의 높은 동적 범위 헤드 마운티드 디스플레이 - Google Patents

Abstract

다층의 높은 동적 범위 헤드 마운티드 디스플레이.

Description

다층의 높은 동적 범위 헤드 마운티드 디스플레이

관련 출원

본 출원은 2017년 5월 18일에 출원된 미국 가출원 제 62/508,202 호를 우선권으로 주장하며, 이 가출원(들)의 전체 개시는 참조로서 본원에 포함된다.

기술 분야

본 발명은 일반적으로 광학 시스템에 관한 것으로, 특히 그러나 비 배타적으로, 헤드 마운티드 디스플레이에 관한 것이다.

헤드 마운티드 디스플레이(head mounted display)("HMD")는 헤드 상에 또는 헤드에 대해 착용된 디스플레이 디바이스이다. HMD는 보통 뷰어 앞에 위치하는 가상 이미지를 형성하도록 구성된 일종의 근안형(near-to-eye) 광학 시스템을 통합한다. 한쪽 눈으로 사용하기 위해 구성된 디스플레이는 단안 HMD(monocular HMD)로서 지칭되고, 반면 양쪽 눈으로 사용하기 위해 구성된 디스플레이는 양안 HMD(binocular HMD)로서 지칭된다.

HMD는 가상 현실(VR) 및 증강 현실(AR) 시스템을 위한 핵심 기반 기술 중 하나이다. HMD는 용례의 넓은 범위에 대해 개발되었다. 예를 들어, 경량의 "광학 시스루(optical see-through)" HMD(OST-HMD)는 물리적 세계의 사용자의 직접 시야 상에 2차원적(2D) 또는 3차원적(3D) 디지털 정보의 광학적 중첩을 가능하게 하고, 실제 세계에 대한 시스루 비전을 유지하게 한다. OST-HMD는 디지털 시대에서 변혁적인 기술로서 간주되고, 우리의 일상 생활에 필수적인 디지털 정보에 액세스하는 것의 새로운 방식을 가능하게 한다. 최근에는 고성능 HMD 제품의 개발을 향한 상당한 발전이 이루어졌으며 여러 HMD 제품이 상업적으로 배포되었다.

HMD 기술의 진보에도 불구하고, 최신 기술의 주요 한계 중 하나는 HMD의 낮은 동적 범위(LDR; low dynamic range)이다. 디스플레이 또는 디스플레이 유닛의 동적 범위는 흔히, 디스플레이가 생산할 수 있는 가장 밝은 루미넌스(luminance)와 가장 어두운 루미넌스 사이의 비율로서, 또는 디스플레이 유닛이 생성할 수 있는 루미넌스의 범위로서 정의된다.

최신 기술 컬러 디스플레이(HMD를 포함함)의 대부분은 오로지 컬러 채널당 8 비트 깊이 또는 최대 256개의 이산 강도 레벨(discrete intensity level)로 이미지를 렌더링할 수 있다. 이러한 낮은 동적 범위는 실제 세계 장면의 넓은 동적 범위보다 훨씬 아래에 있으며, 크기의 14차까지 도달할 수 있다. 한편, 인간의 시각 시스템의 인지가능한 루미넌스 변동 범위는 순응(adaptation) 없이 크기의 5차 이상으로 알려져 있다. 실감형 VR 애플리케이션(immersive VR application)에 대해, LDR HMD에 의해 생산되거나 이와 연관된 이미지는 큰 콘트라스트 변동을 가지는 장면을 렌더링하는 것이 부족하다. 이는 물론, 사용자/뷰어에 관한 한, 미세한 구조적 세부 사항의 손실, 및/또는 높은 이미지 충실도(image fidelity)의 손실, 및/또는 몰입감의 손실을 초래할 수 있다. "광학 시스루" AR애플리케이션에 대해, LDR HMD에 의해 디스플레이되는 가상 이미지는 실제 세계 장면과 병합될 때 고도로 손상된 공간 세부 사항과 함께 워시 아웃(wash out)되어 보일 수 있고, 이는 아마도, 가능하다면 크기의 수 차만큼 LDR HMD의 동적 범위를 초과하는, 훨씬 더 넓은 동적 범위를 함유할 수 있다.

종래 LDR 디스플레이 상에 높은 동적 범위(high dynamic range)(HDR) 이미지를 디스플레이하는 것의 가장 일반적인 방법은, 이미지 무결성(image integrity)을 유지하면서 HDR 이미지를 LDR 디바이스의 동적 범위에 맞도록 압축하는 톤 맵핑 기술(tone-mapping technique)을 채택하는 것이다. 톤 맵핑 기술은 HDR 이미지를 공칭 동적 범위의 종래 디스플레이를 통해 액세스 가능하게 할 수 있지만, 이러한 액세스 가능성은 감소된 이미지 콘트라스트의 손실(cost)에서 오고(디바이스의 동적 범위의 제한이 적용됨), 이는 디스플레이되는 이미지가 AR 디스플레이에서 워시 아웃되는 것을 방지하지 않는다.

따라서, HDR-HMD 기술을 위한 하드웨어 솔루션을 개발하는 것은 특히 AR 애플리케이션에 대해 매우 중요하게 되었다.

따라서, 이들의 양태 중 하나에서, 본 발명은 축을 가지고 제1 디스플레이 층 및 제2 디스플레이 층을 포함하는 디스플레이 시스템, 및 제1 디스플레이 층과 제2 디스플레이 층 사이에 배치된 광학 시스템을 제공할 수 있고, 광학 시스템은 제2 층의 제2 미리 정의된 영역 상에 제1 디스플레이 층의 제1 미리 정의된 영역의 광학 이미지를 형성하도록 구성된다. 이 맥락에서 사용된 바와 같이 "제2 층의 제2 미리 정의된 영역 상"은, 광학 시스템이 제1 영역 상에 제2 영역의 광학 이미지를 형성하도록 구성되는 것, 또는 제2 디스플레이 층이 제1 디스플레이 층의 평면에 광학적으로 켤레인 평면으로부터 공간적으로 분리되는 것을 포함할 수 있다. 광학 시스템은 제1 영역과 제2 영역 사이에 고유한 일대일 이미징 대응을 확립하도록 구성될 수 있다.

제1 및 제2 디스플레이 층 중 적어도 하나는 픽셀화된 디스플레이 층일 수 있고, 제1 영역은 제1 디스플레이 층의 제1 픽셀 그룹을 포함할 수 있고, 제2 영역은 제2 디스플레이 층의 제2 픽셀 그룹을 포함할 수 있고, 제1 및 제2 영역은 서로의 광학적 켤레일 수 있다. 제1 디스플레이 층은 제1 동적 범위를 가질 수 있고, 제2 디스플레이 층은 제2 동적 범위를 가질 수 있다. 디스플레이 시스템은 제1 및 제2 동적 범위의 값들의 곱인 값을 가지는 시스템 동적 범위를 가질 수 있다. 또한, 광학 시스템은 단위 측방향 배율(unit lateral magnification)로 제1 영역을 제2 영역 상으로 이미징하도록 구성될 수 있다.

디스플레이 시스템은 헤드 마운티드 디스플레이일 수 있고 제1 디스플레이 층과 광 통신으로 배치된 광원을 포함할 수 있다. 제1 디스플레이 층은 광원으로부터 수신된 광을 변조하도록 구성될 수 있고, 제2 디스플레이 층은 제1 디스플레이 층으로부터 변조된 광을 수신하도록 구성될 수 있고, 제2 디스플레이 층은 또한 수신된 광을 변조하도록 구성된다. 디스플레이 시스템은 또한 제2 디스플레이 층으로부터 변조된 광을 수신하기 위한 접안경을 포함할 수 있다. 제1 및 제2 디스플레이 층 중 하나 또는 둘 다는 LCoS와 같은 반사형 공간 광 변조기를 포함할 수 있다. 대안적으로 또는 추가적으로, 제1 및 제2 디스플레이 층 중 하나 또는 둘 다는 LCD와 같은 투과형 공간 광 변조기를 포함할 수 있다. 또한, 광학 시스템은 제1 디스플레이 층 및 제2 디스플레이 층 중 하나 또는 둘 다에서 텔레센트릭(telecentric)일 수 있다. 통상적으로, 제1 디스플레이 층과 제2 디스플레이 층 사이의 광학 시스템은 광학 릴레이 시스템일 수 있다.

본 발명의 예시적인 실시예의 전술한 요약 및 다음의 상세한 설명은 첨부된 도면과 함께 읽을 때 더 이해될 수 있으며, 도면에서 유사한 요소들은 전체적으로 유사한 번호가 매겨진다:
도 1a 및 1b는 공간 광 변조기(SLM; spatial light modulator)의 층들 사이에 상이한 갭 거리를 가지는 직시형 데스크탑 디스플레이를 개략적으로 도시한다.
도 2a 및 2b는 본 발명에 따른 HDR-HMD(High Dynamic Range, Head Mounted Display) 시스템의 예시적인 구성을 개략적으로 도시한다.
도 3은 본 발명에 따른 2개 이상의 SLM 층을 가지는 HDR 디스플레이 엔진의 예시적인 구성을 개략적으로 도시한다.
도 4a 내지 4c는 도 4a, 4b의 펼쳐진 광 경로를 도시하는 도 4c와 함께, 본 발명에 따른 LCoS-LCD HDR-HMD 실시예의 예시적인 레이아웃을 개략적으로 도시한다.
도 5a 내지 5c는 도 5a, 5b의 펼쳐진 광 경로를 도시하는 도 5c와 함께, 본 발명에 따른 2개 LCoS 층 기반 HDR-HMD 실시예의 예시적인 레이아웃을 개략적으로 도시한다.
도 6a 내지 6c는 본 발명에 따른 릴레이 시스템을 도입하기 전(도 6a) 및 후(도 6b, 6c) 광 경로의 예시적인 구성을 개략적으로 도시한다.
도 7a, 7b는 본 발명에 따른 광학 릴레이를 가지는 LCoS-LCD HDR HMD의 예시적인 구성을 개략적으로 도시한다.
도 8 및 도 9는 본 발명에 따른 이미지 릴레이를 가지는 2개 LCoS 변조의 예시적인 구성을 개략적으로 도시하고, 도 8은 광이 릴레이 시스템을 두 번 통과하는 구성을 도시하며, 도 9는 단일 패스 릴레이를 가지는 구성을 도시한다.
도 10은 본 발명에 따른 또다른 컴팩트(compact) HDR 디스플레이 엔진을 개략적으로 도시하고, 여기서 미러 및 대물렌즈는 2 개의 마이크로 디스플레이들 사이에서 이용된다.
도 11은 본 발명에 따른 일 예시적인 제안된 HDR HMD 시스템을 개략적으로 도시한다.
도 12는 LCoS의 WGF(와이어 그리드 필름(wire grid film)) 커버의 평면도를 개략적으로 도시한다.
도 13은 큐빅 PBS(cubic PBS)를 개략적으로 도시한다.
도 14a 내지 14e는 광학 레이아웃을 도시하는 도 14a 및 글로벌 최적화 후의 광학 시스템 성능을 도시하는 도 14b 내지 14e와 함께, 도 11의 제안된 레이아웃에 대한 최적화된 결과를 개략적으로 도시한다.
도 15a 내지 15g는 광학 레이아웃을 도시하는 도 15a 및 광학 시스템 성능을 도시하는 도 15b 내지 15g와 함께, 모든 렌즈가 상용 구성요소와 매칭되는 도 14a의 시스템의 최적화된 결과를 개략적으로 도시한다.
도 16은 도 15a의 HDR 디스플레이 엔진을 위해 제작된 프로토 타입을 도시한다.
도 17은 본 발명에 따른 HDR-HMD 교정 및 렌더링 알고리즘을 개략적으로 도시한다.
도 18은 형성된 각 LCoS 이미지에 대한 광 경로를 개략적으로 도시한다.
도 19는 본 발명에 따른 HMD 기하학적 교정의 절차를 개략적으로 도시한다.
도 20은 본 발명에 따른 이미지 정렬 알고리즘에 대한 흐름도를 개략적으로 도시한다.
도 21은 도 20의 알고리즘에 따른 LCoS1 이미지 L1 및 LCoS2 이미지 L2의 투영을 개략적으로 도시한다.
도 22는 도 20의 알고리즘이 어떻게 각 LCoS 이미지에 대해 어떻게 동작하는지의 예를 개략적으로 도시한다.
도 23은 후 처리 LCoS 이미지를 2 개의 디스플레이 상에 동시에 디스플레이할 때 그리드 이미지 정렬 결과를 개략적으로 도시한다.
도 24a 내지 24c는 예시적인 테스트 패턴을 도시하는 도 24a, 24b, 및 도 24b에서 도시하는 원형 샘플링 위치에 대한 잔류 오차의 플롯을 도시하는 도 24c와 함께, 잔류 정렬 오차를 개략적으로 도시한다.
도 25는 구간적 3차 다항식(piecewise cubic polynomial)을 이용하여 보간된 톤 응답 곡선을 도시한다.
도 26은 본 발명에 따른 HDR HMD 래디언스 교정에 대한 절차를 도시한다.
도 27a 내지 27d는 도 26의 절차의 다른 양태를 도시하고, 도 27a는 캡처된 HMD 이미지에 대한 절대 루미넌스 값을 도시하며, 도 27b는 카메라 고유 래디언스를 도시하고, 도 27c는 HMD 고유 래디언스를 도시하며, 도 27d는 보정된 균일성을 도시한다.
도 28a, 28b는 정렬 및 래디언스 렌더링 알고리즘 모두를 처리한 후 LCoS1 및 LCoS2 상에 디스플레이되는 한 쌍의 렌더링된 이미지를 도시한다.
도 28c는 배경 균일성 보정에 대한 결과를 보여준다.
도 29는 본 발명에 따른 HDR 이미지 래디언스 렌더링 알고리즘을 도시한다.
도 30은 본 발명에 따른 HDR 이미지 래디언스 렌더링 알고리즘을 이용하여 계산된 톤 응답 곡선을 도시한다.
도 31은 상이한 로우 패스 필터에 의한 다운 샘플링 후의 타겟 이미지 및 그의 주파수 도메인을 도시한다.
도 32a 내지 32d는 톤 맵핑(도 32a) 후의 원본 타겟 HDR 이미지 및 HDR 및 LDR 이미지의 디스플레이를 도시한다.

본 발명자들은, 직시형 데스크탑 용례를 위한 높은 동적 범위(high dynamic range)(HDR) 디스플레이의 분야에서 기술은 일부 하드웨어 솔루션을 논의하고 있으며, 아마도 HDR 디스플레이를 달성하는 것을 향한 가장 간단한 방법은 실제적으로 디스플레이 가능한 루미넌스 레벨의 최대값을 증가시는 것 및 디스플레이 픽셀의 각각의 컬러 채널에 대한 어드레싱 가능한 비트 깊이를 증가시키는 것을 시도하는 것임을 인식하고 있다. 본 발명자들은 그러나, 이러한 접근법은 높은 진폭, 높은 해상도 구동 전자 회로뿐만 아니라 높은 루미넌스를 지니는 광원을 요구하는 것을 인식하며, 이들 둘 다는 실제적으로 합리적인 비용에서 구현하는 것이 쉽지 않다. 본 발명에 따르면, 다른 방법이, 픽셀에 의해 생성된 광 출력을 동시에 제어할 수 있도록, 2개 이상의 디바이스 층 - 예를 들어, 공간 광 변조기(SLM; spatial light modulators)의 층들 - 을 결합하기 위해 채용될 수 있다. 이러한 접근법의 태도에서, 본 발명자들은 듀얼 층 공간 광 변조 방식에 기초하는 직시형 데스크탑 디스플레이에 대한 HDR 디스플레이 도식에 관한 기술의 이용을 구상하였다. 균일한 백라이팅을 활용하는 종래 액정 디스플레이(LCD)와는 달리, 이러한 솔루션은 듀얼 층 변조 및 8 비트 SLM을 가지는 16 비트 동적 범위를 달성하기 위해, 투과형 LCD에 대한 공간 변조된 광원을 제공하기 위한 프로젝터를 채용했다. 이 솔루션은 또한 LED 어레이에서, 공간적으로 변화하는 전기 신호에 의해 구동되는 듀얼 층 변조 방식의 대안적인 구현이 프로젝터 유닛을 대체하는데 사용되고 공간적으로 변화하는 광원을 LCD에 제공하는 것을 검증하였다. 도 1a 및 1b는 검증된 구성의 개략도를 제공한다. 보다 최근에는, HDR 디스플레이를 위한 다층 곱셈 변조(multi-layer multiplicative modulation) 및 압축 광 필드 인수분해 방법(compressive light field factorization method)의 이용이 시도되었다.

직시형 데스크탑 디스플레이에 대해 특별히 개발된 상술한 다층 변조 방식은 HDR-HMD 시스템 - 예를 들어, 2개 이상의 미니어쳐 SLM 층을 직접적으로 적층함으로써(백라이트 소스 및 접안경과 함께) -의 설계에 채택될 수 있다고 생각할 수 있으나, 본 발명자들은 그렇게 하는 실질적 시도들이, 이러한 "다중 층의 SLM의 직접 적층"이 HDR-HMD 시스템을 심각하게 제한하고, 그렇게 구조화된 HDR-HMD 시스템을 실제적으로 무의미하게 만드는, 몇 가지 중요한 구조적 및 작동상 결점을 나타낸다는 것을 확실하게 입증한다는 것을 발견했다.

관련 기술에서 지속되는 실질적 문제(들)를 설명하기 위해, 본 특허 출원의 교시를 검토할 시, 당업자는 (도 1a, 1b를 참조하여) HDR 렌더링에 대한 개별 SLM 층이 서로 가까이 배치되어야 할 필요가 있고, 광원 백라이트는 순차로 2개 SLM에 의해 연속적으로 변조된다는 것을 이해할 것이다. 첫째로, (예를 들어, LCD와 같은 다중 층을 포함하는) 전형적인 전체 SLM 패널 또는 유닛의 물리적 구성으로 인해, SLM 패널의 변조 층은, 패널의 물리적 두께에 의존하여 수 밀리미터만큼 큰 갭에 의해 필연적으로 분리된다. 도 1a에 도시된 바와 같은 직시형 데스크탑 디스플레이에 대해, 2개 SLM 층들 사이의 수 밀리미터 갭이 동적 범위의 변조에 반드시 큰 영향을 미치지는 않는다. HMD 시스템에서, 반면에, 각각의 SLM 층이 (HMD 접안경 구성요소의) 큰 배율 계수로 광학적으로 확대되는 경우, SLM 스택에서 1mm만큼 작은 갭 조차도 뷰잉 공간(viewing space)에서 큰 분리를 초래하며, 이는 가능한 경우 정확한 동적 범위 변조를 극도로 복잡하게 만든다. 예를 들어, SLM 스택에서 1mm 갭은 50x 측방향 배율(lateral manification)을 가지는 접안경이 이용될 때 대략 2.5 미터의 축 방향 분리(axial separation)를 초래한다. 둘째로, 투과형 SLM(transmissive SLM)은 낮은 동적 범위 및 낮은 투과율을 가지는 경향이 있다. 스택형 듀얼 층 변조는 따라서, 매우 낮은 광 효율 및 제한된 동적 범위 향상을 초래한다. 셋째로, 투과형 SLM은 상대적으로 낮은 필 팩터(fill factor)를 가지는 경향이 있고, HMD에서 활용되는 마이크로디스플레이는 전형적으로 (직시형 디스플레이의 약 200 ~ 500 미크론의 픽셀 크기보다 훨씬 작은) 수 미크론만큼 작은 픽셀을 가진다. 결과적으로, 2개 층 SLM 스택을 통한 광 투과는 필연적으로, 접안경을 통한 투과 시 배율에 따라, 심각한 회절 효과를 겪고 나쁜 이미지 해상도를 산출한다. LED 어레이 접근법은 층들 사이의 공간적 분리뿐만 아니라, LED 어레이의 제한된 해상도로 인해, 실질적으로 비실용적인 것으로 쉽게 이해될 것이다. HMD에 이용되는 일반적인 마이크로디스플레이는 매우 높은 픽셀 밀도로 대각선으로 1 인치 미만(때로는 오로지 수 밀리미터)이고, 따라서 오로지 몇 개의 LED만이 이러한 크기 내에 적합할 수 있어, 이는 공간적으로 변화하는 광원 변조를 비실용적이게 만든다.

본 발명의 아이디어의 구현은 이러한 결점들을 해결하고, 관련 기술과 대조적으로, HDR-HMD 시스템의 다층 구성을 가능하게 할 뿐만 아니라 기능적으로도 유리하게 만든다. 구체적으로, 예를 들어, 다양한 양태에서 본 발명은 다음을 해결할 수 있다:

- 구성이 되는 디스플레이 층의 동적 범위의 곱에 의해 정의되고 이와 동등한 이래디언스(irradiance) 또는 루미넌스의 동적 범위를 달성하기 위한 기존의 다층 HMD의 불능의 문제는, 다층 디스플레이에서, 디스플레이 층들(그 사이에, 이러한 광학 이미징 시스템이 설치됨)은, 이들 층 중 하나의 주어진 포인트로부터 발산하는 광이 다른 층의 고유한 대응 포인트로부터 발산됨에 따라 뷰어에 의해 인지된다는 점에서, 실질적으로 0 광학 거리에 의해 서로 분리되도록 구성된 광학 이미징 시스템을 포함함으로써 해결된다.

- 기존의 다층 HMD의 동적 범위의 값을 설정, 선택 및/또는 제어하는 것에 불능인 문제는, 이미지 평면에서 이러한 층들 중 하나의 이미지를 형성하도록, 다층 HMD의 층들 사이에 배치된 광학 이미징 시스템을 이용함으로써 그리고 이러한 층들 중 다른 층을 이미지 평면 자체에서 또는 동적 범위의 이론상 최대 값과 관련하여 선택된 양에 의해 다층 HMD의 동적 범위를 감소시키도록 적절하게 결정된 분리된 거리에서 떨어져서 배치함으로써 해결된다. 결과적으로, 본 발명의 실시예는 (주어진 다층 HMD 시스템에 대해 이용가능한) 동적 범위의 이론적 최대값 또는 이러한 이론적 최대값보다 작은 미리 결정된 값 중 하나와 동등하게 선택된 동적 범위 값을 나타내도록 구성된다.

- 관련 기술의 다층 HMD의 전형적인, 낮은 투과성 및 높은 회절 아티팩트의 문제는 본 발명의 다층 디스플레이에서 높은 픽셀 필 팩터(fill factor) 및 높은 반사율을 가지는 반사형 SLM을 활용함으로써 해결된다. 본 발명의 실시예의 이웃하는 SLM 층은 반사형이며, 이들 층 중 하나가 (이웃하는 SLM 층들 사이에 배치된 광학 시스템을 통해) 다른 층에 실질적으로 광학적으로 켤레(optically-conjugate)일 때, 실질적으로 광학적으로 켤레인 기하 구조에서 광원으로부터의 광을 공간적으로 연속적으로 변조하도록 구성된다. 결과적으로, 이웃하는 SLM 층들은 실질적으로 0 광학 거리에 의해 서로 분리된 것처럼 동작한다. 광원으로부터 광의 이와 같이 구성된 연속적 변조는 높은 동적 범위 변조를 생성함과 동시에, 높은 광 효율 및 낮은 레벨의 회절 아티팩트를 유지한다.

다음 개시의 목적을 위해 그리고 달리 명시적으로 언급되지 않는 한:

- 디스플레이 디바이스 또는 시스템이 서로 광학적 순서로 다수의 디스플레이 유닛을 포함하고, 이들 디스플레이 유닛 중 하나로부터 방출되거나 이들 디스플레이 유닛 중 하나에 의해 생성된 광이 디스플레이 유닛의 다른 것에 전달되거나 릴레이되도록 구성되는 경우(이로써 상기 다른 디스플레이 유닛은 사용자에 대한 관찰의 평면을 정의한다), 관찰의 평면을 형성하는 기능적 디스플레이 유닛은 본 명세서에서 "디스플레이 층"으로 지칭된다. (유닛의 순서에서 디스플레이 층을 선행할 수 있는) 디스플레이 디바이스의 나머지 구성이 되는 기능적 디스플레이 유닛은 변조 층으로 지칭되며, 전체 디스플레이 시스템은 다층 디스플레이 시스템인 것으로 이해된다.

- 제1 평면 및 제2 평면은, 제2 평면이 제1 평면 상의 제1 포인트가 (선택된 광학 시스템의 이용으로) 제2 평면에서 제2 포인트 상에 이미징될 때 및 그 반대일 때 - 즉, 물체의 포인트 및 그러한 물체의 이미지의 포인트가 광학적으로 상호교환 가능한 경우, 광학적 켤레인 평면(optically-conjugate plane)으로 이해되고 지칭된다. 따라서, 광학적 켤레 평면에서 물체 및 이미지의 영역에 걸쳐있는 포인트는 광학적 켤레 포인트로 지칭된다. 일 예에서, (예를 들어, 렌즈와 같은) 광학 이미징 시스템에 의해 분리된 픽셀의 제1 및 제2 2D 어레이는, 이러한 어레이의 각 두 "물체"와 "이미지" 픽셀 사이의 고유한 광학적 대응을 확립하는 것과 같이, 제1 어레이의 주어진 픽셀이 광학 시스템을 통해 제2 어레이의 주어진 픽셀에 정확하게 그리고 그 위에만 이미징되면 그리고 그 반대이면 서로 광학적 켤레로 간주된다. 관련된 예에서, 광학 이미징 시스템에 의해 분리된 픽셀의 제1 및 제2 2D 어레이 서로에 광학적으로 켤레인 것은, 이들 두 어레이의 픽셀의 이들 두 "물체"와 "이미지" 그룹 사이에 고유한 광학적 대응을 확립하는 것과 같이, 제1 어레이의 주어진 픽셀을 제2 어레이의 식별된 픽셀 그룹 상에 이미징하도록 구성된다.

일반적으로, 본 발명의 아이디어에 따른 HMD 광학 시스템(10, 15)의 구현은 두 서브 시스템 또는 부분들 - 도 2a, 2b의 HDR 디스플레이 엔진(12) 및 (접안경 또는 광 결합기와 같은) (선택적) HMD 뷰잉 광학기기(14, 16)를 포함한다. HDR 디스플레이 엔진(12)은 확장된 콘트라스트 비를 가지는 장면 또는 이미지를 생성하고 확장하도록 구성된 서브 시스템이다. 실제로, HDR 디스플레이 엔진(12)은 최종적으로 HDR 디스플레이 시스템(10, 15) 내부 또는 외부의 공칭 이미지 평면에서 HDR 이미지를 생산할 것이다. 공칭 이미지 위치는, 시스템(10, 15)이 도 2a, 2b에서 접안경(14, 16)와 같은 다른 광학기기와 결합될 때 "중간 이미지"로서 표시되고, 이러한 이미지는 이어서 접안경(14, 16)에 의해 뷰어의 전방에서 확대되고 보여질 것이다.

HDR 디스플레이 엔진(12)은 뷰잉 광학기기(14, 16)의 상이한 유형 및 구성과 광학적으로 결합될 수 있다. 보통의 헤드 마운티드 디스플레이의 분류에 따라, HDR-HMD 시스템(10, 15)은 일반적으로 2 가지 유형, 몰입형(도 2a) 및 시스루형(그림 2b)로 분류될 수 있다. 몰입 유형은 실제 세계 장면으로부터 도착하는 빛의 광학 경로를 차단하는 반면, 시스루 광학기기는 합성 이미지와 실제 세계의 장면을 결합한다. 도 2a, 2b는 시스템의 일반적인 레이아웃의 두 가지 개략적인 예를 도시한다. 도 2a는 뷰잉 광학기기로서 클래식 접안경(14)을 가지는 몰입 유형 HDR-HMD이고, 반면 도 2b는 (특정 프리폼 접안경 프리즘(16)을 가지는) 시스루 HDR-HMD를 도시한다. HDR-HMD(10, 15)는 물론, 이러한 특정한 배열에 제한되지 않는다는 것을 이해해야 한다.

본 개시에 걸쳐, 예시 및 논의의 편의 및 간략화를 위해, HDR-HMD의 (선택적) 뷰잉 광학기기 서브 시스템은 단일 렌즈 요소로서 다음에 도시되어 있지만, 물론 뷰잉 광학기기의 다양한 복잡한 구성이 채용될 수 있다는 것이 의도되고 이해된다. HDR 디스플레이 엔진의 구성에서 구현되는 기본 원리는 하나의 공간 광 변조기(SLM), 또는 다른 SLM 또는 층을 변조하는 층을 이용하는 것이다.

예 1: HDR 디스플레이 엔진: 적층 투과형 SLM

다중 층 변조를 동시에 달성하기 위한 가장 간단한 생각은 도 3에 도시된 바와 같이, 백라이트(13)와 같은, 조명 광의 전방에서 다중 투과형 SLM(11)(또는 LCD1/LCD2)을 적층하는 것이다. 적층형 SLM HDR 엔진(17, 19)의 백라이팅은 높은 루미넌스를 가지는 조명을 제공해야 한다. 이는 (SLM1에 대한) 투과형 디스플레이의 뒷면에서 어레이 또는 디스플레이 에지에 위치된 원피스(one-piece)형 조명 소스(LED, 전구 등)를 가지는 단색 또는 다색일 수 있다. 제1 SLM 패널 LCD1은 제2 SLM 패널 LCD2의 전방에(즉, 백라이트(13)에 더 가깝게) 위치될 수 있고, 광이 제2 SLM 패널 LCD2에 도달하기 전에 백라이트(13)로부터의 광을 변조하기 위해 이용될 수 있다. 중간 이미지 평면은 이미지가 먼저 변조되는 LCD1의 위치에 위치될 것이다.

도 3의 구성의 이점은 그것의 컴팩트함이다. 전형적인 TFT LCD 패널의 액정 층은 약 1 내지 약 7 미크론 두께이다. 전극(들) 및 커버 글래스의 두께를 고려하더라도, LCD의 총 두께는 오로지 수 밀리미터이다. 도 3의 예시적인 HDR 디스플레이 엔진(17, 19)은 단순 적층형 다중 (최소로 - 2개) LCD를 채용하기 때문에, HDR 엔진의 총 트랙 길이는 매우 컴팩트하게 감긴다. 또한, LCD의 이용은 열 생산뿐만 아니라 전력 보존 관점에서도 이점을 가진다.

그러나, 단순 적층형 LCD를 채용하는 HDR 디스플레이 엔진(17, 19)은 명백한 한계를 보유한다. LCD의 기본 구조는 편광 필터를 가지는 두 유리판들 사이에 액정 층을 포함하는 것으로 알려져 있다. LCD의 광 변조 메커니즘은 액정 분자의 방향을 전기적으로 구동함으로써 입사광의 편광 벡터의 회전을 유도하는 것이고, 이어서 선형 및/또는 원형 편광자의 사용으로 편광의 특정 상태를 가지는 광을 필터링하는 것이다. 입사광은 LCD를 통해 투과될 때 필연적으로 필터링되고 흡수될 것이다. 편광 필터는 디바이스의 "온" 상태(최대 광 투과율로 특성화됨)에서도, 투과 동안 입사광의 적어도 절반을 흡수하여, 광 처리량의 상당한 감소를 야기한다. 액티브 행렬 LCD의 전형적인 광학 효율은 15% 미만으로 훨씬 더 작다. 또한, 투과형 LCD는 어둡고 매우 어두운 "그레이 레벨"을 생산하는데 어려움을 가지며, 이는 투과형 LCD가 검증할 수 있는 콘트라스트의 상대적으로 좁은 범위를 초래한다. 도 3의 셋업은 단일 층 LCD 단독의 것보다 더 높은 동적 범위를 달성할 수 있지만, 콘트라스트 비율 및 전체 디스플레이 엔진의 조도를 확장하는 것의 시도는 LC 패널의 투과 특성에 의해 제한된다.

예 2: HDR 디스플레이 엔진: 반사형 SLM-투과형 SLM

본 발명에 따른 다층 HDR 디스플레이 엔진의 광 효율 및 콘트라스트 비를 증가시키기 위해, 실리콘 상 액정(LCoS; liquid crystal on Silicon) 패널 또는 디지털 미러 어레이(DMP; digital mirror array) 패널과 같은 반사형 SLM이 LCD와 같은 투과형 SLM과 결합하여 이용될 수 있다. LCoS는 반사 유형 LC 디스플레이로, 실리콘 웨이퍼를 구동 백플레인(backplane)으로 이용하고 반사에서 광 강도를 변조한다. 구체적으로, 액정 재료는 실리콘 CMOS 칩 위에 코팅을 형성하기 위해 이용될 수 있으며, 이 경우 CMOS 칩은 그의 상부 커버 상에 편광자 및 액정을 가지는 반사 표면으로 작용한다. LCoS 기반 디스플레이는 투과형 LCD 기반 디스플레이에 비해 몇 가지 이점을 가진다. 첫째로, 반사 유형 마이크로디스플레이는, 광의 투과 동안 효율의 큰 부분을 잃는 투과 유형(LCD 기반)과 비교하여 더 높은 변조 효율 및 더 높은 콘트라스트 비를 가진다. 둘째로, 기판의 뒷면에서 전자 회로 높은 밀도로 인해, LCoS는 상대적으로 높은 필 팩터를 가지는 경향이 있으며, 전형적으로 (수 마이크론만큼 작을 수 있는) 더 작은 픽셀 크기를 가진다. 게다가, LCoS는 LCD보다 제조하는 것이 더 쉽고 덜 비싸다.

LCoS의 반사 특성으로 인해, 함께 적층된 LCoS 기반 SLM의 구조는 더 이상 실현 가능하지 않다. 실제로, LCoS는 자기 발광 마이크로디스플레이 소자가 아니고, 따라서, 이 소자의 높은 효율 및 조명이 동작을 위해 요구된다. 또한, LCoS의 이용으로 광 변조는 액정의 배향의 방향을 스위칭하고 이어서 편광자로 광을 필터링하여 광 지연을 조작함으로써 달성된다. 더 높은 광 효율 및 콘트라스트 비를 획득하기 위해, 편광자는 편광된 조명을 획득하도록 광원 바로 다음에 채용되어야 한다. 입사된 그리고 반사된 광을 분리하는 것은 또 다른 실질적 이슈를 제시한다. 편광 빔 스플리터(PBS; polarized beam splitter)는 입력 광 및 변조된 광을 분할하고 상이한 경로를 따라 이들을 재지향(redirect)하도록 본 실시예에서 이용될 수 있다.

도 4a, 4b는 본 발명에 따른 LCoS-LCD HDR-HMD 실시예의 레이아웃을 도시한다. 광원 편광의 벡터의 방향에 의존하여, 디스플레이 엔진(110, 120)의 2 개의 상이한 구성(도 4a 및 도 4b의 구성)이 가능하다. 광 엔진(112)은 큐빅 PBS(113)일 수 있는 편광 빔 스플리터(PBS; polarized beam splitter)를 통해 LCoS(114)에 균일한 편광된 조명을 제공한다. 광원(112)으로부터의 광은 LCoS(114)에 의해 변조되고 다시 반사될 수 있으며, 이어서 LCD(116)를 통해 투과될 수 있다.

비록 도 4a, 4b의 구현이 광원 편광 방향으로 인해 미묘한 차이를 가지지만, 펼쳐진 광 경로는 도 4c에 도시된 바와 실질적으로 동일하다. 광 엔진(110, 120)이 LCoS(114)의 위치에서 균일한 조명을 제공한다고 가정하면(도 3의 백라이트(13)처럼 균일하게), 펼쳐진 광 경로는 도 3의 광 경로와 꽤 유사하지만, 엔진(110, 120)은 도 4c의 2개 SLM 층들(114, 116) 사이의 훨씬 더 큰 분리 d에 의해 특징지어진다. 이 거리 d는 PBS(113)의 크기, 뿐만 아니라 광선 다발의 규모(들)에 의존한다. 큰 분리로 인해, LCoS(114)로부터 나오는 광선 다발은 원형 패턴에서 LCD(116) 상에 투영될 것이다. 이 경우, LCoS(114)는 엔진(110, 120)에 의해 전달된 미세 구조 및/또는 높은 공간 주파수 정보(high-spatial-frequency information)를 담당하는 반면, LCD(116)는 낮은 공간 주파수 정보(low-spatial-frequency information)를 디스플레이한다. 이러한 셋업은 광 효율 및 고유 콘트라스트 비 모두를 증가시키지만, 회절 효과는 전체 이미지 성능을 저하시키는 주요 원인 중 하나가 된다.

예 3: HDR 디스플레이 엔진: 2 개의 반사형 SLM 기반 변조

본 발명에 따른 다층 디스플레이 유닛에 의해 제공되는 광 효율 및 콘트라스트 비를 더 증가시키기 위해, LCoS 또는 DMD 패널과 같은 2 개의 반사형 SLM 층이 단일 HDR 디스플레이에 채택될 수 있다. 이중 LCoS(double LCoS) 구성의 개략적인 레이아웃은 도 5a, 5b에 도시된다.

도 5a의 HDR 디스플레이 엔진(130)을 예로 들면, p-편광된 조명 광은 광 엔진(112)에 의해 방출되고, 이어서 LCoS1 층(114)에 의해 변조된다. 편광의 배향은 LCoS1 층(114)의 LC에 의한 조작으로 인해 s-편광 벡터로 회전된다. s-편광은 PBS(113)의 최대 반사의 축을 매칭한다. LCoS1(114)로부터 PBS(113)에 의해 반사된 광선 다발은 이어서 LCoS2 층(115)에 의해 변조되고, 최종적으로 뷰잉 광학기기(131)를 통해 투과된다. 도 5b에서 HDR 디스플레이 엔진(140)은 유사하고, 그 차이는, s-편광된 조명이 광 엔진(112)에 의해 제공되는 경우를 수용하도록 광 엔진(112) 및 LCoS2 층(115)의 위치에서의 변경(들)를 포함한다. 도 5c는 도 5a, 5b의 광학 트레인의 펼쳐진 광 경로를 도시한다. 도 4a 내지 4c의 LCoS-LCD HDR 디스플레이 엔진(110, 120)과 비교하여(오로지 2개 SLM 층들 사이의 분리 거리만 연장됨), 뷰잉 광학기기(131)와 LCoS2 층(115) 사이의 거리가 증가된다. 도 5a 내지 5c의 HDR 디스플레이 엔진(130, 140) 내의 광 경로 길이는 (도 4a 내지 4c의) LCoS-LCD 유형의 것의 2 배이므로, 뷰잉 광학기기(131)가 도 5c의 더 긴 후방 초점 거리를 가지는 것을 요구한다. 유사하게, 도 4a 내지 4c의 LCoS-LCD 셋업의 경우에서와 같이, 본 실시예의 LCoS1 층(114)은 높은 공간 주파수를 가지는 이미지를 디스플레이할 수 있는 반면, LCoS2 층(115)은 더 낮은 공간 해상도를 가지는 광만을 변조하도록 구성된다(이는 점 광원에 의해 생산된 조명의 공간적으로 확장된 패턴에 의해 야기된다; 공간적으로 확장된 점 확산 함수 응답).

HDR 디스플레이 엔진: 사이에 릴레이 시스템을 가지는 2 개의 변조 층

앞서 논의된 셋업은 8 비트에 대응하는 동적 범위를 초과하는 동적 범위를 가지는 이미지를 디스플레이할 수 있지만, 이러한 셋업으로 달성될 수 있는 최대 동적 범위 값에 대한 제한은 2 개 SLM 층들, 예를 들어 LCoS(114)/LCD(116), LCoS1(114)/LCoS2(115) 사이의 유한 거리에 의해 부과된다. 도 6a를 참조하면, 2 개 SLM 층들 사이의 물리적 및 광학적 분리 d를 도시하며, 도 6a를 보는 본 기술분야의 당업자는, 제1 SLM 층(SLM1)의 픽셀로부터 발산하는 광은 광의 공간 발산 원뿔(원뿔 광선 다발)의 형태로 제2 SLM 층(SLM2) 상을 침범하며, 그의 꼭대기는 제1 층의 광 발산 픽셀에 위치된 것을 이해할 것이다. 이러한 2개 디스플레이 층 시스템에서, 시스템 공칭 (중간) 이미지 평면이 SLM1에 위치된다고 가정하면, SLM1 상의 한 픽셀로부터 나오는 원뿔형 광선 다발은 SLM2에서 원형 영역을 형성하고(문제의 광선의 원뿔형 다발의 "풋프린트(footprint)"), 이러한 영역은 SLM2 층의 다수(예를 들어, 수 또는 수십)의 픽셀을 포함할 수 있다. 그레이스케일(grayscale) 변조의 경우, 이러한 원형 "풋프린트"에 포함된 SLM2 상의 모든 픽셀은 SLM1의 동일한 픽셀로부터 출력되는 광을 (선택적으로, 동시에) 변조(작동)한다. 이웃하는 SLM1 픽셀에서 유래하는 인접한 광선 다발에 대해, SLM2 층 상의 각각의 투영된 영역은 필연적으로 서로 중첩(overlap)되어, 이로써 SLM2에서 형성되는 최종(변조된) 이미지에서 크로스토크(crosstalk), 에지 그림자 및/또는 후광(halos)을 야기한다.

본 발명의 아이디어에 따르면, 그리고 상기 논의된 예, 예를 들어 도 4a 내지 5c의 것들에 수반되는 문제점을 해결하기 위해, 광학 릴레이 시스템(210)은 HDR 디스플레이 엔진(200)의 2 개의 이웃하는 SLM 층들, SLM1, SLM2 사이에 도입된다. 이러한 광학 릴레이(210)의 측방향 배율은 일대일 광학 이미징 및 제1의 이웃하는 디스플레이 층(SLM1)의 픽셀과 제2의 이러한 층(SLM2)의 픽셀 사이의 대응에 대해 제공하도록 신중하게 선택된다. 예를 들어, 그리고 도 6b를 참조하면, 디스플레이 층들(SLM1 및 SLM2)이 모두 동일한 크기의 픽셀의 균등하게 치수화된 어레이에 의해 표현된다는 점에서 실질적으로 동일할 때, 릴레이 시스템(210)의 배율은 SLM1, SLM2 중 하나의 픽셀을 이들 2개 SLM 층들 중 다른 하나의 픽셀 상에 이미징(일대일 대응으로)하도록, 실질적으로 일치되도록 선택된다. 만약, 다른 예에서, SLM2 어레이의 각 픽셀의 각각의 치수가 SLM2 어레이의 대응하는 픽셀 것의 2 배인 경우, 광학 릴레이 시스템(210)은 실질적으로 2와 동등한 배율로 선택된다. 도 6b에 도시된 릴레이 레이아웃은 복수의 변조 층으로 확장될 수 있다. 도 6c에 도시된 바와 같이, 2개 변조 층, SLM1 및 SLM2은 디스플레이 층, 예를 들어 SLM3에 위치하거나 이에 인접한 SLM1 및 SLM2의 2개 켤레 이미지를 형성하도록 공유 릴레이 시스템(210)에 의해 이미징될 수 있다. 결과적으로, 이러한 변조 층(SLM1, SLM2)은 디스플레이 층(SLM3)을 연속적으로 변조하고 디스플레이 엔진(201)의 동적 범위를 더 확장시킨다.

디스플레이 층의 LC의 동작을 가장 효율적으로 만들기 위해, 선택의 광학 릴레이 시스템을 이미지 공간 및 물체 공간 둘 다에서 텔레센트릭(telecentric)으로 만드는 것이 선호될 수 있고, 이로써 - 기하학적 근사를 고려하여 - 릴레이 시스템에 걸쳐 서로 상에 SLM1, SLM2의 이미징을 달성하도록, SLM1에서 일 포인트에 의해 방출된 광의 원뿔은 SLM2 상의 일 포인트로 수렴하고 그 반대도 성립한다. 결과적으로, 디스플레이 층의 픽셀들 사이의 일대일 공간 맵핑은 변조 크로스토크를 피하도록 달성된다. 이러한 텔레센트릭 구성의 동작의 결과로서, SLM1로서 형성된 "중간 이미지"의 이미지가 SLM1의 평면과 광학적으로 켤레인 평면에 광학적으로 릴레이될 때, 이는 또한 뷰잉 광학기기를 향한 그리고 이에 근접한 "중간 이미지" 평면의 효과적인 재배치를 초래하고, 이는 뷰잉 광학기기의 요구되는 후방 초점 거리(BFD; back focal distance)를 감소시킨다.

SLM2 디스플레이 층의 물리적 위치가 SLM1 층과 광학적으로 켤레인 평면에 있도록 선택될 때, 앞서 논의된 일대일 픽셀 이미징의 조건 하에서, 광학 릴레이 시스템에 의해 분리된 이러한 SLM1 및 SLM2 층을 포함하는 디스플레이 엔진의 전체 동적 범위는 최대화되고 이러한 상황 동적 범위에서 달성가능한 최대 값과 동일하다 - 즉, 개별 SLM1, SLM2 층의 동적 범위의 곱이다.

도 6b를 추가로 참조하면, SLM2 디스플레이 층의 물리적 위치가 SLM1 층에 광학적으로 켤레인 평면(SLM1 이미지)의 위치로부터 벗어나게(분리되는) 되는 것이 이해되고, SLM1의 주어진 소스 픽셀로부터 발산하는 광의 일부는 SLM1의 소스 픽셀에 대응하는 SLM2의 해당 픽셀뿐만 아니라, 일부 이웃하는 픽셀(들)에도 릴레이된다(즉, 제2 디스플레이 층(SLM2) 상의 릴레이 시스템(210)으로 형성된 제1 디스플레이 층(SLM1)의 주어진 픽셀의 이미지의 풋프린트는, 도 6a에 도시된 상황에서 유추하여, 제2 디스플레이 층(SLM2)의 대응 픽셀보다 더 크다). 이는 최대로 달성가능한 범위와 관련하여 시스템의 전체, 총 동적 범위의 감소를 초래한다. 따라서, 도 6b에 개략적으로 도시된 디바이스의 사용자는 총 동적 범위의 결정 시 값이 최대로 달성가능한 값으로부터 얼마나 변할 것인지에 의해 선택할 수 있고, 층들(SLM1, SLM2)이 서로의 평면들과 관련하여 광학적으로 켤레인, 또는 그렇지 않은 위치를 선택할 수 있다. 일반적으로, 이웃하는 디스플레이 층들을 서로 상에 분리 및/또는 이미징하는 광학 릴레이 시스템은 굴절(dioptric)뿐만 아니라, 반사굴절(catadioptric) 또는 반사(catoptric)되도록 선택될 수 있다는 것이 이해된다.

예 4: 릴레이를 가지는 LCoS-LCD 디스플레이 엔진

도 6b, 6c의 (광학 릴레이 시스템(210)으로 제1 디스플레이 층으로부터 제2 디스플레이 층상으로 중간 이미지를 광학적으로 릴레이하는) 상기 아이디어는 LCoS-LCD 시스템의 이용을 둘러싸고 구성된 HDR 디스플레이 엔진에서 구현될 수 있다. 도 7a, 7b는 2개의 관련된 구현을 도시한다.

예 1과 관련하여 언급된 광 엔진과 마찬가지로, 예 4에 대한 광 엔진은 균일한 조명을 제공하기 위한 복잡한 조명 유닛, 또는 시스템 용량, 단순화, 낮은 에너지 소비량, 작은 크기 및 긴 수명을 위한 편광자를 가지는 단일 LED만을 포함할 수 있다. 본 발명에 따른 LCoS-LCD HDR 엔진(150)에 대해, LED 방출 광(112a)은 S-편광되도록 조작될 수 있어, 도 7a와 같이, 조명 광은 PBS(113)에 의해 반사되고 LCoS(114) 상에 입사될 것이다. LCoS(114)는 1/4 파장 지연기기 및 미러의 조합으로 작용하므로, 이는 S-편광된 입사광을 P-편광된 반사광으로 전환하고, 이어서 P-편광된 광은 PBS(113)를 통해 투과된다. LCoS(114) 변조된 이미지를 LCD(116)와 결합하기 위해, 광선 다발은 미러(111)과 같은 역반사기(retroreflector)에 의해 시준(collimate)되고 역반사(retro-reflect)될 수 있다. 1/4 파장 판(QWP; quarter wave plate)은 콜리메이터(117)와 미러(111) 사이에 삽입될 수 있어, 1/4 파장 판(QWP)를 통해 이중 통과함으로써, P-편광된 광은 편광이 PBS(113) 높은 반사 축에 대응하는 S-편광으로 다시 전환된다. 변조된 LCoS(114) 이미지는 최종적으로 LCD(116)의 위치에 릴레이되고 LCD(116)에 의해 변조된다. 도 7b에서 LCoS-LCD HDR 엔진(160)은 도 7a에서 구성과 유사하며, 그 차이는 투과 동안 광의 편광 방향이다. 편광 방향은 도 7a, 7b 사이에서 완전히 반대였다. 따라서, LED 방출 광(112b)은 도 7b에서 P-편광되고, 반면 도 7b에서 LCD(116) 상에 입사된 최종 광선 다발은 S-편광된다. 도 7a 또는 7b의 구성이 더 실현가능한지 여부는 LED 발광, LCD 편광 필터의 방향 등과 같은 특정 실시예에서 각 구성요소의 특성에 의존한다.

광 경로를 두 번 접음으로써, SLM로서 반사형 LCoS(114) 및 투과형 LCD(116)를 가지는 컴팩트 HDR 디스플레이 엔진(150, 160)이 본 발명에 따라 제공된다. 도 3과 같은 적층형 LCD HDR 엔진과 비교하면, 발광 효율, 가장 높은 이미지 해상도 및 시스템 콘트라스트 비가 반사성 마이크로디스플레이(114)의 특성으로 인해 상당히 개선된다. 또한, LCoS 이미지는 도 7a, 7b의 구성에서 LCD(116)의 위치에 릴레이되었다. 2개 SLM사이에 필연적으로 작은 갭을 가지는 스택형 LCD와 비교하면, 도 7a, 7b의 구성은 2개 SLM(LCoS(114) 및 LCD(116)) 사이에서 광학적으로 제로 갭을 달성할 수 있다. 동일한 공간 위치에서 이미지를 변조하는 것은 이론적으로 그림자, 후광 또는 하이라이트 아티팩트 없이 HDR 이미지를 얻을 수 있는 픽셀 단위로 보다 정확한 그레이스케일 조작을 달성할 수 있다.

추가적인 예: 이미지 릴레이를 가지는 2-LCoS 변조

시스템 광 효율을 추가로 증가시키기 위해, 이중 경로 릴레이 구조 양식을 가지는 2개 LCoS 패널이 본 발명에 따라 제공되며, 도 8, 9는 상이한 시스템 셋업을 도시한다. 도 8에서, 광은 릴레이 시스템(210)을 두 번 통과할 수 있다. LCoS1(114)은 먼저 이미지를 변조하고, 이어서 변조된 이미지는 LCoS2(115)의 위치에 릴레이되고 다시 LCoS2(115)에 의해 변조된다. LCoS1, LCoS2의 이미지는 점선 상자(119)에 의해 도시된다. 편광 상태는 LCoS2(115)에 의한 반사 후에 변경되어, 최종 이미지는 HDR 디스플레이 엔진(170)의 외부, 좌측에 릴레이된다. 이 구성에서, LCoS2(115)는 고주파수 성분을 디스플레이하는 반면, LCoS1(114)은 저주파수 성분을 디스플레이 한다. LCoS2(115)의 각 픽셀은 리맵핑 구조로 인해 LCoS1(114)의 대응하는 픽셀을 변조할 수 있다.

이 구성의 이점은, 중간 이미지가 HDR 디스플레이 엔진의 외부 위치로 릴레이되기 때문에, 접안경 설계를 위해 긴 후방 초점 거리(long back focal distance)를 요구하지 않는다는 것이다. 이미지와 뷰잉 광학기기 사이의 거리는 수 밀리미터만큼 작을 수 있다. 그럼에도 불구하고, 이 구성은 뷰잉 광학기기를 위한 느슨한 요구사항을 가지지만, LCoS1(114) 이미지는 두 번 재이미징(reimage)되야 할 필요가 있고, 이는 이미지 이중 경로에 대해 웨이브프론트 오차를 두 번 도입하므로, 릴레이 광학기기는 뛰어난 성능을 가질 필요가 있다. 이전의 모든 셋업과 비교하여, SLM 이미지 모두가 한 번 더 릴레이되고, 이는 훨씬 더 많은 웨이브프론트 변형을 도입할 것이므로, 중간 이미지 품질은 다른 구성만큼 좋지 않을 것이다. 릴레이 광학기기가 이상적인 성능을 가지지 않는 경우, 잔류 수차는 뷰잉 광학기기에 의해 보정되야 할 것이다.

도 9는 단일 패스 릴레이를 가지는 이중 LCoS 레이아웃을 도시한다. LCoS2는 고주파수 성분을 디스플레이하고 LCoS1은 저주파수 성분을 디스플레이한다. 이미지 릴레이 전에 이미지를 변조하는 도 8에서 구성과는 달리, 광원은 먼저 LCoS1에 맵핑되고, 이어서 LCoS1에 의해 변조되고 LCoS2의 위치에 릴레이된다. 도 8에서와 같이 재이미징한 중간 이미지와 비교하여, 이러한 셋업은 릴레이 광학기기에서 이중 패스를 방지하고, 릴레이 시스템에 의해 도입하는 수차 효과를 감소시켰다.

그러나, 단일 릴레이 패스로 시스템 성능이 더 좋아졌지만, 중간 이미지가 HDR 엔진 내부에 있는 LCoS2 상에 위치되기 때문에, 뷰잉 광학기기의 후방 초점 거리가 길어질 필요가 있다. 후방 초점 거리는 시스템 NA뿐만 아니라, PBS의 치수에 크게 의존할 것이다. 이러한 제한된 뷰잉 광학기기의 구성은 뷰잉 광학기기 설계에 대한 어려움을 증가시켰다.

도 10은 다른 컴팩트 HDR 디스플레이 엔진을 도시한다. 2개 마이크로디스플레이들 사이에 릴레이 시스템을 이용하는 것 대신에, 이 구성은 미러 및 대물 렌즈를 이용하고, 이는 반으로 접힌 릴레이 시스템으로 취급될 수 있다. LCoS1은 저해상도 이미지를 디스플레이하고, LCoS2은 높은 공간 해상도 이미지를 디스플레이한다. LCoS1은 광 경로가 다른 PBS(213)에 의해 접혀진 광 엔진에 의해 조명된다. 광은 LCoS1에 먼저 조명되고, 이어서 큐빅 PBS를 통해 투과되며 대물 렌즈에 의해 시준된다. 이어서, 미러로부터 반사되고 1/4 파장 판을 통과한 후에 PBS(113)에 의해 반사된다. 반 접힘 릴레이 시스템을 이용함으로써, LCoS1은 LCoS2의 위치에 릴레이되고, 이로써 이미지는 각각의 2개 LCoS에 의해 두 번 변조된다.

이 셋업의 이점은 큐빅 PBS에 의해 광 경로를 접을 뿐만 아니라, 그의 원래 길이의 절반 만으로 릴레이 시스템을 짧게 하기 때문에, 시스템이 꽤 컴팩트할 수 있다는 것이다. 그러나, 이 구성 둘 다의 단점은 뷰잉 광학기기(접안경)을 위한 긴 후방 초점 거리를 필요로 한다는 점이며, 이는 상술한 바와 같이 뷰잉 광학기기 설계에 대한 더 많은 어려움을 가져온다.

표 1은 상이한 HDR 디스플레이 엔진 설계의 주요 특징을 요약한다. 뷰잉 광학기기 BFD와 HDR 엔진 광학기기 성능 사이의 트레이드오프를 볼 수 있다. 원인은 광학기기를 도입하는 것은 중간 이미지 위치를 재배치할 수 있지만, 이는 또한 수차를 가져온다는 것이다. 광 효율은 반사 유형 SLM을 도입함으로써 크게 향상된다. 실제 콘트라스트 비 확장을 나타내는 변조 능력은 정렬 정밀도에 의해 손상된다. 이는, 마이크로디스플레이의 회절 효과를 최소화하는 것은 중첩된 회절 영역을 감소시키고 변조 능력을 향상시킬 수 있었지만, 이는 또한 2개 SLM상의 대응하는 픽셀과 고정밀 정렬을 요구했기 때문이다. 전체적으로, 각 설계는 고유한 장점 및 단점을 가진다. 특정 HMD 시스템에 대한 HDR 디스플레이 엔진의 선택은 시스템 컴팩트함, 조명 유형, FOV 등과 같은 전체 시스템 사양에 의존해야 한다.

특정 실시예의 구현.

본 발명의 개시된 실시예의 예를 상세히 도시하기 전에, 본 발명은 또한 다른 실시예에도 적용가능하기 때문에, 본 발명이 이러한 특정 용례 및 배열에 제한되지 않음을 주목할 가치가 있다.

본 명세서에서 사용된 일부 단어의 의미를 보여주는 것이 도움이 될 것이다:

HDR - 높은 동적 범위(high dynamic range)

HMD - 헤드 마운티드 디스플레이(head mounted display)

SLM - 공간 광 변조기(spatial light modulator)

EFL - 유효 초점 거리(effective focal length)

FOV - 시야(field of view)

NA - 개구 수(numerical aperture), F/# - f-수(f-number)

LCoS - 실리콘 상 액정(liquid crystal on Silicon), LCD - 액정 디스플레이(liquid crystal display)

PBS - 편광 빔 스플리터(polarized beam splitter), AR-코팅 - 반사 방지 코팅(anti-reflect coating)

RGB LED - RGB 발광 다이오드(RGB light emitting diode), FLC - 강유전성 액정(Ferroelectric liquid crystal)

WGF - 와이어 그리드 필름(wire grid film)

OPD - 광학 경로 차이(optical path difference)

MTF - 변조 전달 함수(modulation transfer function)

도 14는 본 발명에 따른 하나의 제안된 HDR HMD 시스템의 개략도를 도시한다. 상단 점선 상자에 도시된 구성요소는 HDR 이미지를 변조하고 생성하는데 이용되는 HDR 디스플레이 엔진 부분이다. 이 구성은 중간 릴레이 설계 요구사항을 가지나, 접안경을 위한 긴 후방 초점 거리를 필요로 하는 도 9에 도시된 것과 유사하다. 이 설계에서 도 9의 설계보다 선호되는 것은 LCoS1 내부로 (백라이팅 및 WGF를 가지는) 광 엔진이 내장된다는 것이고, 따라서 광원 경로를 고려할 필요가 없고, 이는 HDR 엔진을 더 컴팩트하게 만들고 HDR 디스플레이 엔진의 조명 설계에 대한 더 적은 고려사항을 필요로 한다. 하단 점선 상자는 뷰잉 광학기기를 도시하며, 이는 뷰잉 광학기기의 임의의 실시예일 수 있다. 우리 시스템에서, 우리는 2 개의 마이크로디스플레이에 의해 변조된 중간 이미지를 확대할 수 있는 상용 접안경을 이용했다.

이러한 특정 실시예에서 이용된 SLM은 FLCoS(강유전성 LCoS)이고, 1280 x 960의 해상도로 Quad VGA 포맷을 가지는 CITIZEN FINEDEVICE CO., LTD에 의해 제조되었다. 패널 활성 영역은 대각선으로 10.16mm를 가지고 8.127 x 6.095mm였다. 픽셀 크기는 6.35 um였다. 강유전성 액정은 키랄 스멕틱 C 상(chiral smectic C phase)을 가지는 액정을 이용하며, 이는 매우 짧은 스위칭 시간으로 강유전성 특성을 나타낸다. 따라서, 매우 빠른 프레임 레이트(60Hz)에서 높은 충실도 컬러 순차를 가지는 능력을 가진다. 시간 순차 RGB LED는 순차적 조명을 제공하도록 FLCoS와 동기화된다. WGF는 균일한 조명을 제공하고 조명 광을 출현 광과 분리하도록 일정한 곡률로 FLCoS 패널의 상부에 덮인다. 도 15는 LCoS1의 상부 WGF 커버의 뷰를 도시한다. RGB LED는 상부 커버 안에 패키징된다. HDR 디스플레이 엔진은 단일 조명광을 변조하는 2개의 SLM을 이용했기 때문에, 오로지 하나의 광원이 이 시스템에서 이용된다. 따라서, 이 설계에서, LCoS2는 제거된 WGF 커버 및 비활성화된 RGB LED와 함께 이용되는 반면, WGF 커버 및 RGB LED는 모두 시스템 조명으로서 LCoS1에서 유지된다. 표 2는 본 발명에 이용된 LCoS 사양의 요약을 보여준다.

큐빅 PBS가 설계에서 이용되었다. 도 13은 큐빅 PBS의 개략적인 도면을 도시한다. PBS는 입사 광의 2 개의 편광 성분이 개별적으로 변조될 필요가 있기 때문에 채용되었다. PBS는 2개의 직각 프리즘으로 구성되었다. 유전체 빔 스플리터 코팅은 입사 빔을 투과로 분할하기 위해 이용되었고 반사 부분은 빗변 표면 상에 코팅되었다. 큐빅 PBS는 편광된 빔을 2개의 선형, 직교 편광 성분, 즉 S-편광 및 P-편광으로 각각 분할할 수 있다. S-편광은 입사광 방향에 대해 90도만큼 반사되는 반면, P-편광은 전파 방향을 변경하는 것 없이 투과되었다. 2개의 반사 표면으로 인해 고스트 이미지를 가질 수 있는 플레이트 빔 스플리터와 비교하면, 큐빅 PBS는 고스트 이미지를 방지할 수 있는 직각면 상에 AR-코팅을 가지며, 뿐만 아니라 그의 끝 부분 및 기울기에 의해 야기되는 광 경로 배치를 최소화하는 것의 능력을 가질 수 있다. 우리가 이 설계에 이용한 PBS는 N-SF1 기판을 가지며 12.7mm의 치수를 가진다. 투과 및 반사의 효율은 모두, 420-680nm 파장 범위에서 1000:1 이상의 소멸 비로, 90% 이상이다. 우리는 본 설계에서 큐빅 PBS를 채택했지만, 와이어 그리드 유형과 같은 다른 유형 PBS 또한 본 발명에 적용가능하다.

광 릴레이 시스템의 텔레센트리시티(Telecentricity)

유닛 배율을 가지는 이중 텔레센트릭 릴레이 시스템(double-telecentric relay system)은 도 11의 HDR 디스플레이 엔진 시스템에서 설계되었다. 릴레이 시스템은 2 개의 마이크로디스플레이, LCoS1, LCoS2의 공칭 이미지 평면을 광학적으로 정렬하고 오버레이하는데 이용된다. 3가지 원인이 이중 텔레센트릭을 이 시스템의 중요한 요구사항으로 만든다: 첫째로, 텔레센트리시티는 광 원뿔(light cone)을 LCoS2에서 이미지 평면에 수직으로 만든다. LCoS2의 이미지 평면 위치에서 균일한 조명을 가지기 위해, 텔레센트리시티는 필수적이다. 둘째로, LCoS1/LCoS2의 성능은 그의 시야각으로 제한된다. 이는, 시각적 성능 또는 변조 효율은 제한된 시야 원뿔(viewing cone) 내에서만 충분했다는 것을 의미한다. 변조 기능의 가장 좋은 이용을 위해, LCoS1로부터 입사광 및 LCoS2 이미지 평면 상에 방출되는 광은 모두 시야 원뿔 내에서 제한되어야 한다. 셋째로, LCoS 패널 위치는 실제적 문제로서 정확하게 위치되지 않을 수 있다. 설계된 공칭 위치에 대해 구축된 물리적 위치의 약간의 편차가 있을 수 있다. 이중 텔레센트릭 릴레이 시스템은, 약간의 변위를 가질 때에도 균일한 배율을 유지할 수 있었다.

최적화 고려사항

HDR 디스플레이 엔진 설계의 사양은 앞서 언급된 모든 분석에 기초하여 결정될 수 있다. LCoS는 10.16mm의 대각선 크기를 가지고, 이는 전체 필드의 ±5.08mm에 대응한다. 0mm, 3.5mm 및 5.08mm 물체 높이는 최적화를 위해 샘플링된다. LCoS의 시야각은 ±10°이다. 물체 공간 NA는 0.125로 설정되고 0.176으로 확대될 수 있다. 시스템 배율은 이중 텔레센트릭 구성으로 -1로 설정된다. 왜곡은 3.2 % 미만으로 설정되고, 그 후 잔류 왜곡은 디지털 방식으로 보정될 수 있다. 샘플링된 파장은 동일한 가중치 팩터를 가지는 656nm, 587nm 및 486nm이다. 표 3은 시스템 설계 사양의 요약을 도시한다. 또한, 상용 렌즈가 이 디자인에서 선호된다.

도 14a 내지 14e는 시스템에 대한 최적화 결과를 도시한다. 도 14a는 글로벌 최적화 후 HDR 디스플레이 엔진의 레이아웃이다. 도 14a에서, 소자 1은 위에서 논의된 N-SF1 기판을 가지는 큐빅 PBS이다. 초기 시도와 함께, 색 수차가 주요 효과로 보여지고, 이는 초기 시도에서 이미지 품질을 저하시켰다. 시스템 색 수차를 보상하기 위해, 3개의 상용 더블렛(doublets)(도 14a, 더블렛(2, 3, 4))이 상이한 파장의 측방향 및 종방향 초점 시프트가 균형을 이루도록 스톱(STOP)의 양쪽 상에 적절한 배향으로 미리 설정된다.

수차를 훨씬 더 감소시키기 위해, 표 4 참조하면, 2개의 메니스커스 형상(meniscus-shaped)의 상용 싱글렛(singlet)이 또한 PBS와 더블렛 2 사이에, 그리고 스톱(STOP)과 더블렛 3 사이에 각각 제공된다. 싱글렛의 형상, 배향 및 위치는 홀수 수차를 제어하기 위해, 시스템의 코마 및 왜곡과 같은 조리개 스톱과 관련하여 거의 미러 대칭이다. 나머지 5개 싱글렛 소자는 표 4에 도시된 것과 같이 형상, 두께 및 반경이 변경가능하게 설정된다. 스톡 렌즈와 매칭시키는 것의 목적을 위해, 이러한 소자는 글로벌 최적화 동안 가장 일반적인 형상 및 재료를 가지도록 제한된다. 도 14b 내지 14e는 글로벌 최적화 후 시스템 성능을 도시한다. 도 14b는 3개 샘플링 필드에 대한 OPD를 도시한다. OPD는 최적화 후 약 1.2 웨이브(wave)로 남았다. 도 14c는 잔류 왜곡이 최적화 후 3.2% 미만임을 도시한다. 도 14d, 14e는 각각 점 도면 및 MTF를 도시한다. MTF는 차단 주파수 78.7 cy/mm에서 40% 이상이다.

도 15a 내지 15g는 모든 렌즈(도 15a의 401, 402, 403)가 상용 렌즈와 매칭된 후의 최종 최적화 결과를 도시한다. RGB LED 1차 방출 파장 및 인간 시각 시스템의 색감을 매칭하기 위해, 1:3:1 가중치 팩터를 가지는 470nm, 550nm 및 610nm가 샘플링된 시스템 파장으로 설정된다. 도 15a 소자(403)는 WGF로 덮인 LCoS1에 대해 충분한 작업 거리를 남기도록 설정된다. 도 15b 내지 15g는 최적화 후 최종 성능을 도시한다. OPD는 매우 평평했고, 전체 필드에서 약간의 색 수차만 가진다. 왜곡은 도 15c에 도시된 1.52% 미만이었다. 도 15e는 시스템 MTF를 도시한다. MTF는 차단 주파수에서 25%를 초과했고, 중앙 필드 MTF는 78.7 cy/mm에서 45% 이상이다. 도 15f는 초점의 색채 변경을 도시한다. 파장 초점 시프트가 잘 보정되었다. 도 15g는 필드 의존 상대 조명을 도시한다. 상대 조명은 전체 필드에 걸쳐 94% 이상이다.

본 발명의 일 실시예에 따라 구성된 HDR 디스플레이 엔진의 프로토 타입.

HDR 디스플레이 엔진에 대한 광 기계적 설계는 본 발명에서 또한 제안되었다. 기계 부품에서 특정한 설계는 조리개 스톱의 위치에서 조정가능한 조리개였다. 이 부품은 손잡이로 그루브(groove)에 쉽게 넣고 뺄 수 있다. 이 소자 상에 더 작거나 더 큰 조리개를 추가함으로써, 시스템 NA는 시스템 처리량과 성능 사이의 최적의 균형을 찾기 위해, 0.125부터 0.176까지 변경될 수 있다. 이 후 이러한 기계 부품은 3D 프린팅 기술에 의해 제조되었다.

도 16은 도 15a의 상용 렌즈와 함께 도 14a의 설계에 따라 HDR 디스플레이 엔진에 대해 구성된 프로토타입을 도시한다. 2개의 LCoS(LCoS1, LCoS2)는 그들의 배향과 방향을 미세하게 조정하기 위해 2개의 노브(knob) 조정으로 미니어쳐 광학 플랫폼 상에 고정된다. 2개의 LCoS는 릴레이 튜브를 사이에 가지고 대면하도록 설정되었다. 2개의 LCoS및 릴레이 튜브는 광학 레일 상에 정렬되었다. HDR 디스플레이 엔진 성능을 테스트하기 위해, 상용 접안경이 PBS로부터의 반사 빔이 통과하는 PBS의 측면에 놓인다. 16mm 초점 길이 렌즈를 가지는 머신 비전 카메라가 성능 평가를 위해 시스템의 아이 박스에 놓인다.

HDR-HMD 교정 및 렌더링 알고리즘

HDR HMD 시스템 구현 후, HDR 이미지 렌더링 알고리즘이 도 17에서 전개되고 도 16의 프로토타입을 이용하여 적용된다. 시스템의 고유 메커니즘을 명확히 하기 위해, 제안된 HDR HMD의 기하학적 및 래디언트(radiant) 파라미터 모두는 교정되어야 한다. 기하학적 교정은 공간에서 2개 이미지 상대 위치뿐만 아니라 개별 왜곡 계수를 최적화하는 것을 목표로 한다. 픽셀 레벨 상의 미세한 이미지 변조를 얻기 위해, 2개의 LCoS 이미지가 완벽하게 중첩되어야 한다. 도 16의 FLCoS는 단지 0.4 인치였지만, 이미지 워프(image warp)는 접안경에 의한 배율 후에 가시적이 되었다. 이 경우 작은 변위조차도 고스트 이미지 및 아티팩트를 가시적이게 야기할 수 있다. 픽셀 레벨 정렬은2개의 LCoS의 상대 위치를 수동으로 조정함으로써 달성하기 어려웠으므로, 기하학적 교정이 정렬 오차를 디지털 방식으로 보정하기 위해, 상대 이미지 위치를 획득하도록 필요했다. 또한, 시스템 내의 잔류 왜곡은 교정되어야 한다. 2개의 마이크로디스플레이 이미지는 상이한 광 경로를 겪기 때문에, 2개의 이미지는 상이한 왜곡 계수를 가질 것이다. 수십 개의 픽셀 왜곡 오차만 있었지만, 이미지 성능을 결합하는 것은 2개의 LCoS 대응 픽셀들 사이의 변위로 인해, 이미지의 에지에서 심각하게 저하될 수 있다.

래디언트 파라미터의 교정 및 렌더링 알고리즘은 적절한 래디언스 분포 및 픽셀 값을 추구하기 위해 수행된다. HDR 이미지가 실제로 그레이스케일 레벨보다는 절대 조도 값으로 저장되므로, 디스플레이 톤 맵핑 곡선은 이미지를 적절하게 디스플레이하도록 교정될 필요가 있다. 또한, 광학 및 조도 분포로 인해, 본질적으로 불균일한 래디언스 분포가 있을 수 있고, 이는 선험적으로 측정 및 보정되어야 한다. 더 중요한 것은, HDR 원시 이미지 데이터는 2개의 FLCoS 상에 나타난 2개의 개별 이미지들로 분리되어야 한다. 도 16의 프로토타입의 구성 분석에 기초하여, 2개의 SLM은 시스템 구성에 의해 결정된 상이한 이미지 세부사항 및 공간 주파수를 함유해야 한다. 원하는 이미지를 적절히 디스플레이하고 재구성하기 위해, 렌더링 알고리즘이 다음과 같이 도입되었다.

기하학적 교정

도 16의 프로토타입의 2개의 LCoS가 그들의 위치 및 배향을 미세하게 조정하기 위해 3차원 변형 스테이지(3-dimensional translation stage)를 가지는 팁-틸트 플랫폼(tip-tilt platforms) 상에 고정되었지만, 실질적으로 LCoS1 공칭 이미지 평면에서 각 픽셀을 LCoS2의 위치와 오버레이하는 것은 가능하지 않았다. 2개의 이미지 평면에서 각 픽셀 사이의 변위는, 특히 높은 공간 주파수 정보에 대해 상당한 이미지 품질 저하를 초래할 것이다. 2개의 LCoS 이미지 평면이 완벽하게 중첩될 수 있더라도, 2개의 LCoS 상의 에지 픽셀은 여전히 상당한 변위를 가질 것이다. 이는, 접안 렌즈에 의한 중간 HDR 이미지를 확대하기 전에, 2개의 LCoS 이미지가 상이한 광 경로로 생성되었기 때문이다. LCoS1 이미지는 릴레이 시스템을 통과하고 두 번 재이미징된다. 이는 2개의 LCoS 이미지가 공칭 이미지 평면 상에서 상이한 왜곡 계수를 가지게 하고, 이미지 정렬을 더욱 힘들게 만든다. 이 경우, 이미지 품질이 저하될 뿐만 아니라, 각 픽셀의 명령 레벨이 예상된 바와 같이 변조된 동적 범위에 적절하게 분배될 수 없다.

이미지가 어떻게 왜곡되고 편향되는지를 완전히 이해하기 위해, 우리는 먼저 각 LCoS에 대한 이미지 형성 광 경로를 결정해야 한다. 도 18은 각 LCoS 이미지 형성에 대한 광 경로를 도시한다. 각 광학 소자를 행렬로서 단순화하고 상징화하면, 광이 한 소자를 통과할 때마다, 이미지 상에 약간의 변경이 이루어지므로 우리는 입사 이미지에 해당 행렬을 곱했다. 이어서 각 LCoS 이미지 형성 절차는 방정식으로 표현될 수 있다:

여기서 L1 및 L2는 왜곡되지 않은 원본 이미지이고; D는 광 패스를 형성하는 전체 이미지 동안 도입된 왜곡이며; R은 반사이다. 반사가 이미지의 패리티 변경으로 인해 고려될 필요가 있고; P는 3D 글로벌 좌표로부터 2D 카메라 프레임으로의 투영 관계이다. C1 및 C2는 카메라에 의해 캡처된 이미지이다.

C1 및 C2를 광학적으로 중첩하기 위해, 상기 두 방정식은 대수적으로 동등해야 한다. 우리는 반사에 의해 야기된 패리티 변경을 고려하는 것 외에도, 2D 투영 등가물(equivalence)을 얻기 위해, 각 LCoS의 투영 행렬 P 및 왜곡 계수 D는 교정되어야 한다고 결론을 내릴 수 있다.

기하학적 교정은 Lee S 및 Hua H의 HMD 교정 방법에 기초한다. (Journal of Display Technology, 2015, 11(10): 845-853). 왜곡 계수 및 중간 이미지 위치는 또한 뷰어의 눈의 위치여야 하는 접안경의 출구 동공에 놓인 머신 비전 카메라에 기초하여 교정된다. 원본 이미지 포인트와 HMD 광학기기에 의해 왜곡된 대응하는 포인트 사이의 관계를 얻기 위해, 카메라 내장 파라미터 및 왜곡은, 카메라에 의해 야기된 영향을 제거하기 위해 먼저 교정되어야 한다. 우리는 Zhang Z에 의해 논의된 카메라 교정 툴박스를 이용함으로써 이러한 파라미터를 교정하였다. (Flexible camera calibration by viewing a plane from unknown orientations [C]//Computer Vision, 1999. 제7차 IEEE 국제 회의의 절차. Ieee, 1999, 1: 666-673), 일련의 미지의 배향 바둑판 패턴을 취함과 함께, 코너 포인트 위치를 추출하고 예상된 값에 맞춘다. 강체 변환(rigid body transformation)은 카메라 왜곡의 효과를 제거한 후 원본 샘플 이미지와 왜곡된 이미지 간에 옹호될 수 있어야 한다. 왜곡 계수 및 이미지 좌표는 이어서 투시 투영 모델(perspective projection model)에 기초하여 추정될 수 있다. HDR HMD 기하학적 교정의 프로세스는 도 19에 도시되어 있다. 여기서 사용된 목표 이미지는 전체 FOV에 걸쳐 균등하게 거리를 가지고 이미지를 샘플링한 19*14 원형 도트 패턴이다. 비뚤어진 이미지(skewed image)는 카메라에 의해 캡처되고, 이어서 도트의 각 중심 포인트는 2개의 공칭 이미지 평면 거리, 배향, 방사형 및 탄젠셜(tangential) 왜곡 계수를 추정하도록 샘플링 필드로서 추출된다. 교정된 파라미터는 다음에 도시된 정렬 알고리즘에 대해 저장된다.

이미지 정렬 알고리즘

완벽하게 중첩된 뷰잉 이미지를 얻기 위해, HDR 이미지 정렬 알고리즘은, 교정된 결과에 기초하여 원본 이미지를 디지털 방식으로 미리 워프(pre-warp)하도록 채택되어야 한다. 알고리즘이 어떻게 동작하는지의 흐름도는 도 20에 도시되어 있다. LCoS2 이미지를 참조 이미지 평면으로서 이용하는 경우, LCoS1 이미지에 대한 2개의 기하학적 교정(도 20: (1) 및 (2))이 이러한 이미지 정렬 프로세스 동안 요구된다. LCoS1 이미지는 먼저 LCoS2의 이미지 위치로 투영되어야 하고, 이로써 디스플레이된 이미지 모두는 투영 중심에 대해 동일한 배향으로 동일한 위치에서 위치한 것처럼 보일 것이고, 이는 또한 원점에서 도 21에 도시된 카메라 뷰잉 위치일 것이다.

투영 위치를 보정하기 위해, 핀홀 카메라 모델이 간략함을 위해 이용된다. 카메라 위치 상에서 투영된 이미지를 중첩하기 위해, 변환 행렬은 글로벌 좌표계에서 적어도 4개 투영 포인트에 기초하여 도출되었다. 각 LCoS2 포인트(l, n, p)에 대해, LCoS1 상의 대응하는 투영 포인트(x _g , y _g , z _g )는 파라메트릭 방정식에 의해 계산될 수 있다:

여기서, (A, B, C)는 카메라와 관련하여 LCoS1의 법선 방향이다. t는 투영 파라미터이다.

2D 투영 평면에서, 원 위치 및 투영 위치는 투영 변환 행렬 H에 의해 연관된다:

(x, y) 및 (x', y')는 투영 평면 상의 로컬 좌표임을 주목해라. 이 후 호모그래피(homography)의 일반해에 대해, 3 x 3 변환 행렬 H의 요소는 다음에 의해 계산되어야 한다:

여기서 h₁₁ ~ h₃₂는 원소 변환 행렬이고 h₃₃=1이다. (x, y) 및 (x', y')에 대한 첨자는 상이한 샘플링된 포인트를 나타낸다. 이들은 모두 투영 평면에서 로컬 좌표를 나타내며, 대응하는 글로벌 좌표로부터 좌표 변환에 의해 계산될 수 있다. 변환 행렬을 이용하고 적절한 보간법을 채택함으로써, 투영된 이미지는 도 22의 오른쪽 열에 도시된 이미지로서 렌더링될 수 있으며, 여기서 LCoS1 이미지는 호모그래피에 의해 LCoS2의 위치에 변환된다.

제2 카메라 기반 교정은 호모그래피 후에 작동되었다(도 20: (2)). 이는 LCoS1 현재 투영된 이미지 위치와 관련하여 방사형 및 탄젠셜 왜곡 계수를 얻는 것을 목표로 한다. 투영된 LCoS1 이미지는 이어서 교정된 왜곡 계수에 의해 현재 위치와 관련하여 미리 워프될 것이다. 정렬 정확도를 증가시키기 위해, 일부 로컬 조정이 잔류 오차 분석에 의해 실행될 수 있다.

도 16의 LCoS2가 뷰잉 기준으로 설정되었기 때문에, 교정 및 정렬 알고리즘은 도 20: (3)에 도시된 바와 같이, 왜곡 보정을 위한 오로지 하나의 교정 및 미리 워프 프로세스와 함께 간략화되었다.

도 22는 이러한 알고리즘이 프로토타입의 각 LCoS 이미지에 대해 어떻게 동작하는지의 예를 도시한다. 정렬을 평가하기 위해 우리가 사용한 이미지는, 전체 필드에 걸쳐 오정렬을 관찰하기 위해 균등한 간격의 균일 그리드(도 22 왼쪽 열)이다. 그리드가 2개의 LCoS 각각 상에 나타날 때, 우리는 카메라가 도 22, 두 번째 열에서 이미지를 캡처할 때, 각 마이크로디스플레이 상에서 심하게 왜곡된 그리드를 관찰했다. 또한, LCoS2 이미지를 참조 이미지 위치로 설정한 경우, LCoS1 이미지는 카메라 뷰잉 위치로 투영될 때 약간의 변위 및 기울기를 나타냈다. 2개의 이미지를 결합하는 것은 카메라 뷰잉과 같이 심각하게 흐려지고 왜곡된 HDR 이미지를 초래할 것이다. (도 22, 3번째 열)은 HDR 이미지 정렬 알고리즘으로 처리된 후의 후 처리 이미지를 도시한다. LCoS1 이미지는 원래 위치로부터 이탈되었고 두 이미지 모두는 왜곡 보정을 위해 미리 왜곡되었다. 도 23은 후 처리 이미지를 프로토타입의 2개의 디스플레이 상에 동시에 디스플레이할 때 그리드 이미지 정렬 결과를 도시한다. HDR 이미지 정렬 알고리즘을 채택함으로써, 카메라 뷰잉에 투영된 2개의 그리드는 가시적인 오차가 거의 없이 중첩될 수 있다.

오차 분석

프로토타입의 잔류 정렬 오차는 정렬 성능을 평가하기 위해 분석되어야 한다. 이를 위해, 카메라 뷰 상의 로컬 이미지 투영 좌표는 적절히 샘플링되고 비교를 위해 추출되어야 한다. 이 실험에서, 바둑판 패턴 또는 원형 패턴은 각각 도 24a 및 24b에 도시된 바와 같이 오차 분석에 이용될 수 있다. 고정된 카메라 뷰잉 위치와 함께, 투영된 이미지는 LCoS1 또는 LCoS2모두에 대해 캡처되고, 이어서 코너 또는 가중된 중심의 좌표가 이미지 후 처리에 의해 추출되었다. 수치 및 벡터 오차 모두는 추출된 픽셀 위치의 상대적 변위 상에 기초하여 계산되고 플롯(plot)될 수 있다. 우리는 각각 도 24A 및 24B에서 샘플링된 타겟으로서, 전체 필드에 걸쳐 15*11 샘플링을 가지는 바둑판 패턴 및 19*14 샘플링을 가지는 원형 패턴을 사용했다. 도 24c는 도 24b에서 원형 샘플링 위치에 대한 잔류 오차의 플롯을 도시한다. 벡터는 L1 샘플링 위치로부터 L2에 포인팅된다. 도 24c에서 벡터는 절대 값이 아니라, 변위의 상대적 크기만을 나타낸다는 점에 유의한다. 전체 시야에 걸쳐 정렬 오차 분포 및 방향을 분석함으로써, 일부 로컬 개선이 잔차 오차 분석에 기초하여 수행될 수 있다.

HDR 이미지 소스 및 생성

HDR HMD에 대한 래디언스 교정 및 렌더링 알고리즘을 논의하기 전에, 8 비트 깊이를 가지는 일반 이미지 포맷은, 16 비트 깊이로 이미지를 재생산하기 위한 기능을 가지는, 제안된 HDR HMD 상에 HDR 장면을 렌더링하기 위한 충분히 넓은 동적 범위를 더 이상 제공하지 않음이 주목되어야 한다. 따라서, HDR 이미징 기술은 16 비트 깊이 원시 이미지 데이터를 획득하기 위해 채용되어야 한다. HDR 이미지를 생성하기 위한 일반적인 방법 중 하나는, 동일한 장면이지만 상이한 노출 시간 또는 조리개 스톱으로 다수의 낮은 동적 범위 이미지를 캡처하는 것이다. 확장된 동적 범위 사진은 이후 해당 이미지에 의해 생성되고 HDR 포맷으로 저장되며, 포맷은 8 비트 명령 레벨보다는 절대 루미넌스 값을 저장한다. 다음에서 이용되는 HDR 이미지는 이 방법에 기초하여 생성된다. HDR 이미지 생산 절차는 본 발명의 주요 부분이 아니므로, 더 상세히 언급되지 않을 것이다.

래디언스 맵 교정

원하는 루미넌스로 HDR 이미지를 디스플레이하기 위해, 각 마이크로디스플레이에 대한 톤 응답 곡선은 절대 루미넌스를 픽셀 값으로 전환하기 위해 교정되어야 한다. 분광 복사계(spectro-radiometer)가 이 단계에서 이용되며, 좁은 입사각 내에서 스펙트럼과 루미넌스 모두 분석할 수 있다. 이는 각 마이크로디스플레이를 뷰잉할 때 래디언스를 측정하기 위해 접안경의 출구 동공의 중심에 정착된다. 각각의 LCoS에 대한 응답 플롯을 얻기 위해, 동일한 그레이스케일 차이를 가지는 일련의 순수한 유색의 적색, 녹색 및 청색 타겟이, 측정을 위해 샘플링된 그레이스케일 값으로 각 마이크로디스플레이 상에 디스플레이된다. 각 그레이스케일에 대한 XYZ 3자극 값은 분광 복사계에 의해 교정될 수 있고, 이어서 RGB의 값으로 변형되고, 방정식에 기초하여 각 색상에 대한 응답 곡선을 얻기 위해 정규화된다:

배경 노이즈의 효과를 제거하기 위해, [R G B]=[0 0 0]에 대응하는 3자극 값 (X0, Y0, Z0)은 방정식 5에 따라 각 데이터로부터 교정되고 감산되어야 한다. 2개의 SLM에 대한 응답 곡선은 다른 전반사(최대 값[R G B]=[255 255 255])를 유지하면서, 테스팅 LCoS 상에 나타난 타겟 이미지로 별개로 교정된다. 톤 응답 곡선은 이어서 도 25에 도시된 바와 같이, 샘플링된 값에 의해 구간적 3차 다항식(piecewise cubic polynomial)을 이용하여 보간된다. 디스플레이 응답이 선형 관계가 아니라, 감마 지수가 1보다 큰 것임을 분명히 알 수 있다.

HDR 배경 균일성 교정

원하는 이미지 그레이스케일을 렌더링하기 위해, 또다른 필수적인 교정은 HMD 고유 필드 의존 루미넌스 교정이다. 광학 비네팅(optics vignetting), 카메라 센싱 및 역광 불균일성의 효과로 인해, 이미지 래디언스가 전체 시야에 걸쳐 고르게 분포되지 않을 수 있다. 마이크로디스플레이 상에 균일한 값을 나타내더라도, 내부 아티팩트로 인해 전체 FOV를 걸쳐 균일한 밝기를 보는 것은 실질적으로 가능하지 않다. 따라서, 모든 이러한 기타 아티팩트는 이미지 렌더링 절차 동안 보정되어야 한다.

전체 필드에 걸친 래디언스를 직접 측정하는 것은, 분광 복사계에 대한 수용 각이 좁고 측정하는 동안 그의 방향을 정확하게 제어하기 어려웠기 때문에 실현가능하지 않았다. 따라서, 카메라 기반의 필드 의존 래디언스 교정이 채택되었다. 절차는 도 26의 단계 (1) 및 (2)에 도시되어 있다. 래디언스 분포를 정확하게 교정하기 위해, 카메라 고유 영향이 먼저 교정되고 감산되어야 한다. 카메라 응답 곡선은 도 26의 점선 내부에 나타난 절차에 따라, 래디언스 맵이 이미 측정된 표준 모니터에 의해 교정된다. 동일한 래디언스 차이로 일련의 균일한 배경 장면을 캡처함으로써, 카메라 톤 응답이 정확하게 교정될 수 있다. 이는 카메라 감마 디코딩에 이용되며, 이 후 도 27a와 같이, 캡처된 HMD 이미지에 대한 절대 루미넌스 값이 복구되었다. 카메라가 전체 필드에 걸쳐 포화(saturate)되지 않아야 한다는 것을 아는 것이 중요하다. 고르지 않은 이미지 래디언스 분포는 카메라 고유(도 27b) 및 HMD 고유(도 27c)으로부터의 2개의 구성요소로 인한 것이다. 카메라 의존성을 제거하기 위해, 제2 교정이(도 26: (2), 카메라 배경 균일성 측정), 전체 필드에 걸쳐 균일한 명령 레벨 [255 255 255]을 디스플레이하는 표준 모니터의 사진을 찍도록 도 27b에 도시된 바와 같이 채택되었다. 각 픽셀에 대한 상대 루미넌스를 얻기 위해, 카메라 배경 및 카메라 캡처된 HMD 배경 모두는 점선에 의해 도시된 도 27a, 27b에서의 영역과 같은, HMD 필드가 실제로 커버된 영역으로 잘려졌다. 도 27a, 27b의 영역 모두는 이어서 상대 루미넌스를 픽셀화하여 분석하기 위해 디스플레이 해상도로 보간되고, 이는 도 27c, 27d에 도시되어 있다. 카메라 필드 의존 맵(도 27d)에 의해 원래의 루미넌스 값 맵(도 27c)을 분할함으로써, 픽셀화된 HMD 상대 루미넌스 분포가 획득된다.

균일성 보정(도 27d) 전에, 우리는 먼저 전체 필드에 걸쳐 픽셀 카운트(x, y)에서의 루미넌스 값 대 최대 루미넌스 값의 비로서 정규화 팩터 f(x, y)를 정의할 필요가 있다. 배경 보정은 정규화 팩터로 톤 응답 곡선을 절단하고 나머지를 1로 스케일링함으로써 달성된다. 도 27d는 균일성 보정 후 일부 샘플링된 포인트 톤 응답 곡선을 도시한다. 전체 필드에 걸쳐 동일한 응답 곡선을 가지는 대신, 균일도 보정 후 톤 맵핑 곡선은 래디언트 필드 차이에 대해 디지털 방식으로 보상되기 때문에 픽셀 위치에 크게 의존한다.

그러나, 균일성 보정은 SLM 패널(또는 패널 디스플레이)에서 균일성을 향상시키도록 중앙 필드 픽셀 명령 레벨을 희생한다는 것을 주목해야 한다. HDR 엔진은 명령 레벨이 너무 많이 절단되면 어느 정도에서 효율성을 잃을 수 있다. 따라서, 알고리즘에서, 클리핑 팩터(clipping factor)는 균일성과 시스템 동적 범위 사이의 적절한 트레이드오프를 선택하도록 사용자에게 제공될 수 있다.

도 28c는 배경 균일성 보정에 대한 결과를 도시한다. 비네팅 및 조명에 의해 코너에서 손실된 래디언스를 보상하기 위해, 중앙 필드가 보정 후 어두워졌다는 것이 쉽게 이해된다. 도 28a, 28b는 정렬 및 방사 렌더링 알고리즘 모두를 처리한 후 LCoS1 및 LCoS2 상에 디스플레이되는 한 쌍의 렌더링된 이미지를 도시한다. 균일성은 도 28a에 도시된 바와 같이 LCoS1 이미지 상에서 보정된다. 도 28a의 중심은 도 28b에서 보정되지 않은 장면과 비교하여 그림자 영역을 가진다. 우리는 배경 균일성 보정이 필터 또는 마스크와 더 비슷하다는 것을 알 수 있다. 도 28c는 통합된 감마 인코딩 프로세스로 고르지 않은 분산 백라이트를 보상하기 위해 원본 이미지에 적용된다. 전체 균일성 보정 프로세스 후, 이미지는 이제 더 균일하고 실제가 된다.

HDR 이미지 방사 렌더링 알고리즘

각 픽셀 변조를 2개의 SLM으로 균등하게 분할함에 따라, 2개의 LCoS 상의 각 픽셀의 명령 레벨이 재계산될 필요가 있다. 그러나, 픽셀 값을 2개의 SLM로 균등하게 분배하는 것을 원하는 경우에도, 이러한 프로세스는 단순히 원본 이미지 값의 제곱근을 만들지 않는다. 도 26 및 연관된 텍스트에서 도시된 바와 같이 우리가 교정함에 따라, 마이크로디스플레이는 비선형 톤 응답 곡선을 가진다. 이는, 디스플레이 루미넌스 인코딩을 위한 감마 보정으로 인해, 루미넌스는 명령 레벨이 초기 값의 절반으로 떨어지는 경우 절반 값이 되지 않음을 의미한다. 또한, 톤 응답은 이제 필드 의존적이며, 이는 심지어 동일한 원하는 루미넌스에 대해서도, 각 픽셀은 이제 상이한 추적 명령 레벨을 가진다는 것을 의미한다. 모든 문제를 해결하기 위한 래디언스 렌더링 알고리즘이 도 29에 도시된 개략도와 같이 개발되었다. 각 SLM의 변조 진폭은 원래 값의 제곱근을 취함으로써 획득될 수 있다(도 29(1)). 원하는 루미넌스 값을 얻기 위해, 대응하는 픽셀 값이 각 SLM에 대한 디스플레이 톤 응답 곡선에 기초하여 계산되어야 한다. 도 16에서 프로토타입의 LCoS1은 낮은 공간 주파수 정보를 담당하는 것이다. 다운샘플링은 아래 논의되는 바와 같이, 필요한 경우 이미지 상에 우선 작용한다(도 29(2)). 다운샘플링된 이미지는 이후 수정된 톤 응답 곡선으로 인코딩된다. 이미지 배경 불균일성을 보정하기 위해, LCoS1 톤 응답 곡선은 최대 루미넌스 분포로 수정될 수 있다. 각 픽셀에 대해, 톤 응답 곡선이 최대 루미넌스 비에 의존하여, 상이한 절대 값으로 절단되고 추출될 것이다. 도 31은 톤 응답 곡선에 기초하여 대응하는 픽셀 값을 어떻게 검색하는지의 예를 도시하고, 여기서 g1'…, g1n 및 g2는 2개의 SLM 톤 응답의 역함수를 나타내고, 여기서 n은 픽셀 카운트를 나타낸다. LCoS1 톤 응답 곡선은 밝기 균일성 보정으로 인해 픽셀의 위치에 의존할 것이다.

LCoS2 이미지는 LCoS1 이미지에 대한 보상으로서 렌더링되어야 한다. 2개의 마이크로디스플레이 패널의 물리적 분리로 인해, LCoS1 이미지 평면은 시스템 참조 이미지 평면에 약간의 변위를 가지고, 이는 도 16에서 LCoS2의 위치에서 설정된다. 이 경우, 회절 효과가 고려되어야 한다. 참조 이미지 평면에서의 LCoS1 실제 이미지는 실제로 수차가 없는 비일관된 포인트 확산 함수(PSF; point spread function)에 의해 흐려진다. (Sibarita J B. Deconvolution microscopy[M]//Microscopy Techniques. Springer Berlin Heidelberg, 2005: 201-243):

여기서

,

는 LCoS1과 기준 이미지 위치 사이의 변위이고; r은 방사상 거리이고;

는 파장이며;

는 출구 동공 상의 정규화된 적분 변수이고;

는 회절 원뿔의 반각이다. 참조 이미지 평면에서 실제 LCoS1 디포커스된 이미지는 포인트 스프레드 함수(point spread function)와 컨볼브(convolve)된 원본 이미지로 취급될 수 있다(도 29(3)). LCoS2 원하는 루미넌스는 이어서 총 루미넌스로부터 블러된 LCoS1 이미지를 나눔으로써 계산될 수 있다. 이미지는 이어서 LCoS2 응답에 의해 인코딩된다. HDR 이미지 래디언스 렌더링 알고리즘을 이용함으로써, 각 SLM 상의 원하는 픽셀 값 C1n 및 C2가 도 30에 따라 계산될 수 있고, HDR 이미지 루미넌스가 잘 재생산될 수 있다.

공간 주파수 재분배 - 이미지 다운샘플링

선택적 렌더링 절차는 이미지 공간 주파수를 재분배하기 위해 이용될 수 있다. 각 디스플레이 상의 픽셀이 일대일 이미징 대응을 가짐에 따라, 릴레이된 HDR HMD 시스템에 대해서는 반드시 필요한 것은 아니다. 그러나, 상이한 가중치를 가지는 공간 주파수를 2개의 마이크로디스플레이 상에 분배하는 것은 더 많은 정렬 공차(tolerance)를 남길 수 있다. 또한, 하나의 SLM이 공칭 이미지 평면에 더 가깝고 다른 SLM이 공칭 이미지 평면으로부터 더 먼, 릴레이되지 않은 HDR 디스플레이 엔진에 대해, 이미지 평면에 더 가까운 마이크로디스플레이 상의 더 높은 공간 주파수 정보를 가중하는 것은 전체 이미지 품질을 증가시킬 수 있다. 도 31은 상이한 로우 패스 필터에 의해 다운샘플링한 후 타겟 이미지 및 그의 주파수 도메인을 도시한다. 그러나, 특히 2개의 SLM이 일정 거리를 가질 때, 정렬 공차를 증가시키는 것이 좋은 방법이지만, 다운샘플링은 또한 일부 아티팩트를 도입할 수 있는데, 이는 경계에서 그리고 그레이스케일이 단계적 변경을 가지는 곳에서 더 분명해질 것이다.

시스템 성능

도 32a는 8 비트로 톤 맵핑한 후의 원래의 타겟 HDR 이미지를 도시한다. 이 테스트된 HDR 이미지는 이미지를 다중 노출로 병합하기 위해 "HDR 이미지 소스 및 생성"의 제목 하에 상술한 방법에 의해 생성되었다. 이 합성 이미지는 도 20, 29 및 “Radiance map calibration" 및 "Image alignment algorithm"의 제목 하의 텍스트와 연관되는 상기 개시된 래디언스 및 정렬 렌더링 알고리즘으로 처리되고, 이어서 2개의 LCoS 상에 디스플레이된다. 흑백 카메라는 재구성된 장면을 캡처하기 위해 HMD 아이 박스의 중앙에 놓인다. 카메라의 더 낮은 비트 깊이로 인해, 다중 이미지는 사람의 눈의 동적 범위에 더 잘 근접하도록 단일 이미지의 동적 범위보다 더 높은 동적 범위를 달성하기 위해, 하나의 HDR 이미지로 캡처되고 합성된다. 도 32b는 HDR HMD 시스템 성능을 도시한다. 비교로서, 도 32c, 32d는 도 32c의 LDR HMD 상에 도시된 톤 맵핑 HDR 이미지를 도시하고, LDR 이미지는 도 32d의 LDR HMD 상에 도시된다. 8 비트 깊이 이미지만을 도시하는 LDR HMD와 비교하면, 도 32c, 32d에서 제안된 HDR HMD는 어두운 영역 및 밝은 영역 모두에서 더 많은 세부 사항과 함께, 뿐만 아니라 양호한 이미지 품질을 유지하면서 더 높은 이미지 콘트라스트를 도시한다.

다수의 특허 및 비특허 공보가 본원에 인용되며, 이들 공보 각각의 전체 개시가 참조로서 본원에 포함된다.

본 발명의 이들 및 다른 이점은 상기 명세서로부터 본 기술분야의 당업자에게 명백할 것이다. 따라서, 변경 또는 수정이 본 발명의 광범위한 발명의 개념을 벗어나지 않으면서 앞서 설명된 실시예에 대해 이루어질 수 있다는 것이 본 기술분야의 당업자에 의해 인식될 것이다. 그러므로, 본 발명은 여기에 설명된 특정 실시예로 제한되지 않고, 청구범위에 기재된 본 발명의 범위 및 사상 내의 모든 변경 및 수정을 포함하는 것을 의도되는 것으로 이해되어야 한다.

Claims (27)

1. 축을 가지는 디스플레이 시스템에 있어서,
   제1 디스플레이 층 및 제2 디스플레이 층; 및
   상기 제1 디스플레이 층과 상기 제2 디스플레이 층 사이의 광학 시스템 - 상기 광학 시스템은 상기 제2 디스플레이 층의 제2 미리 정의된 영역 상에 상기 제1 디스플레이 층의 제1 미리 정의된 영역의 광학 이미지를 형성하도록 구성됨 -
   을 포함하는, 디스플레이 시스템.
2. 제1항에 있어서,
   상기 광학 시스템은 상기 제1 영역 상에 상기 제2 영역의 광학 이미지를 형성하도록 구성되는, 디스플레이 시스템.
3. 제1항 내지 제2항 중 어느 한 항에 있어서,
   상기 제1 층 및 상기 제2 층은 서로의 광학적 켤레(optical conjugate)인, 디스플레이 시스템.
4. 제1항에 있어서,
   상기 제2 디스플레이 층은 상기 제1 디스플레이 층의 평면에 광학적으로 켤레인 평면으로부터 공간적으로 분리되는, 디스플레이 시스템.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 광학 시스템은 상기 제1 영역과 상기 제2 영역 사이에 고유한 일대일 이미징 대응을 확립하도록 구성되는, 디스플레이 시스템.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 제1 디스플레이 층 및 상기 제2 디스플레이 층 중 적어도 하나는 픽셀화된 디스플레이 층인, 디스플레이 시스템.
7. 제6항에 있어서,
   상기 제1 영역은 상기 제1 디스플레이 층의 제1 픽셀 그룹을 포함하고, 상기 제2 영역은 상기 제2 디스플레이 층의 제2 픽셀 그룹을 포함하고, 상기 제1 영역 및 상기 제2 영역은 서로의 광학적 켤레인, 디스플레이 시스템.
8. 제7항에 있어서,
   상기 제1 픽셀 그룹 및 상기 제2 픽셀 그룹 중 적어도 하나는 오로지 하나의 픽셀만을 포함하는, 디스플레이 시스템.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 제1 디스플레이 층은 제1 동적 범위를 가지고, 상기 제2 디스플레이 층은 제2 동적 범위를 가지며, 상기 디스플레이 시스템은 시스템 동적 범위를 가지며, 상기 시스템 동적 범위의 값은 상기 제1 동적 범위 및 상기 제2 동적 범위의 값들의 곱인, 디스플레이 시스템.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 광학 시스템은 단위 측방향 배율(unit lateral magnification)로 상기 제1 영역을 상기 제2 영역 상으로 이미징하도록 구성되는, 디스플레이 시스템.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제2 영역의 치수 각각과 상기 제1 영역의 각각의 대응하는 치수 사이의 비는 실질적으로 m과 동일하고, 상기 m은 상기 광학 시스템의 측방향 배율인, 디스플레이 시스템.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 디스플레이 시스템은 헤드 마운티드 디스플레이인, 디스플레이 시스템.
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 층과 광 통신으로 배치된 광원을 포함하고, 상기 제1 디스플레이 층은 상기 광원으로부터 수신된 광을 변조하도록 구성되는, 디스플레이 시스템.
14. 제13항에 있어서,
    상기 제2 디스플레이 층은 상기 제1 디스플레이 층으로부터 변조된 광을 수신하도록 구성되고 상기 수신된 광을 변조하도록 구성되고, 상기 제2 디스플레이 층으로부터 상기 변조된 광을 수신하기 위한 접안경을 포함하는, 디스플레이 시스템.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 층은 LCoS를 포함하는, 디스플레이 시스템.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 제2 디스플레이 층은 LCoS를 포함하는, 디스플레이 시스템.
17. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 제2 디스플레이 층은 LCD를 포함하는, 디스플레이 시스템.
18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 광학 시스템은 광학 릴레이 시스템을 포함하는, 디스플레이 시스템.
19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 광학 시스템은 빔 스플리터를 포함하는, 디스플레이 시스템.
20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 광학 시스템은 편광 빔 스플리터를 포함하는, 디스플레이 시스템.
21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 광학 시스템은 상기 제1 디스플레이 층에서 텔레센트릭(telecentric)인, 디스플레이 시스템.
22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 광학 시스템은 상기 제2 디스플레이 층에서 텔레센트릭인, 디스플레이 시스템.
23. 제1항 내지 제22항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 층 및 상기 제2 디스플레이 층은 광을 공간적으로 변조하도록 구성되는, 디스플레이 시스템.
24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 층은 반사형 공간 광 변조 층을 포함하는, 디스플레이 시스템.
25. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 층은 투과형 공간 광 변조 층을 포함하는, 디스플레이 시스템.
26. 제1항 내지 제25항 중 어느 한 항에 있어서,
    상기 제2 디스플레이 층은 반사형 공간 광 변조 층을 포함하는, 디스플레이 시스템.
27. 제1항 내지 제26항 중 어느 한 항에 있어서,
    상기 제2 디스플레이 층은 투과형 공간 광 변조 층을 포함하는, 디스플레이 시스템.

Images