KR20180062953A - 디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 이용하여 디스플레이하는 방법 - Google Patents

디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 이용하여 디스플레이하는 방법 Download PDF

Info

Publication number
KR20180062953A
KR20180062953A KR1020170160672A KR20170160672A KR20180062953A KR 20180062953 A KR20180062953 A KR 20180062953A KR 1020170160672 A KR1020170160672 A KR 1020170160672A KR 20170160672 A KR20170160672 A KR 20170160672A KR 20180062953 A KR20180062953 A KR 20180062953A
Authority
KR
South Korea
Prior art keywords
image
projection
context
focus
rendered
Prior art date
Application number
KR1020170160672A
Other languages
English (en)
Inventor
콘토리 우르호
멜라카리 클라우스
아르보 오스카리 사르스텐 오이바
Original Assignee
바르요 테크놀로지 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/366,424 external-priority patent/US9711072B1/en
Priority claimed from US15/366,497 external-priority patent/US9711114B1/en
Application filed by 바르요 테크놀로지 오와이 filed Critical 바르요 테크놀로지 오와이
Publication of KR20180062953A publication Critical patent/KR20180062953A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 디스플레이 장치, 및 상기 디스플레이 장치를 통해 디스플레이하는 방법에 관한 것이다. 상기 디스플레이 장치는 적어도 하나의 투영 표면을 포함하는, 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이, 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터, 이미지 조종 유닛, 시선을 검출하기 위한 수단, 및 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함한다. 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도에서 220도 범위이다. 렌더링된 초점 이미지의 투영의 각도 폭은 5도에서 60도 범위이다. 상기 렌더링된 초점 이미지의 투영과 렌더링된 컨텍스트 이미지의 투영을 결합하여 시각적 장면을 생성하도록 배치가 이루어진다.

Description

디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 이용하여 디스플레이하는 방법{DISPLAY APPARATUS AND METHOD OF DISPLAYING USING CONTEXT DISPLAY AND PROJECTORS}
본 발명은 일반적으로 시각 정보의 표현에 관한 것이며, 보다 상세하게는, 컨텍스트 디스플레이 및 초점 이미지 프로젝터를 포함하는 디스플레이 장치에 관한 것이다. 또한, 본 발명은 전술한 디스플레이 장치를 통해 디스플레이하는 방법에 관한 것이다.
최근에, 사람들의 일상생활에서 가상현실, 증강현실 등과 같은 현대기술의 사용이 급속히 증가하고 있다. 예를 들어, 이러한 기술은 게임, 교육, 군사 훈련, 의료수술 훈련 등과 같은 응용들에 사용될 수 있다. 구체적으로, 이러한 기술은 장치의 사용자에게 가상환경(종종 '가상 세계'라고도 함)을 제공한다. 모의의 환경은 장치의 디스플레이 상에 상기 모의된 것을 구성하는 이미지를 렌더링함에 의해 제공된다. 이러한 장치의 예로는 헤드 장착형 가상현실 장치, 가상현실 안경, 증강현실 헤드세트를 포함하지만 이에 제한되지는 않는다. 이러한 장치는 입체 영상과 같은 현대 기술을 사용하여 모의의 환경에서의 몰입감을 사용자에게 제시하도록 적응된다.
그러나, 그러한 기존 장치에는 특정 제한이 있다. 일 예에서, 그러한 장치에 사용되는 종래의 디스플레이는 작은 크기이다. 구체적으로, 그러한 디스플레이에 의해 제공되는 픽셀 밀도는 인간의 눈 시력을 모방하기에 불충분하다. 또한, 더 높은 픽셀 밀도를 제공하는 디스플레이는 그러한 장치에 수용되기에는 크기가 너무 크다. 다른 예에서, 현존 장치에 사용되는 디스플레이는 인간의 시각계에서와 같이 시선 우연(gaze contingency)의 구현과 함께 모의의 환경을 적절하게 렌더링하기 위해 다수의 광학 부품가 있어야 한다. 구체적으로, 이러한 광학 부품의 크기 및 개수는 이러한 장치에 수용하기 어렵다.
결과적으로, 그러한 기존 장치는 충분히 잘 개발되지 않았으며 인간시각계을 모방하는 능력이 제한적이다.
따라서, 전술한 설명에 비추어 볼 때, 모의의 환경을 구현하기 위한 장치에 사용되는 종래의 디스플레이와 관련된 전술한 결점을 극복할 필요가 있다.
본 발명은 디스플레이 장치를 제공하고자 한다. 본 발명은 또한, 적어도 하나의 컨텍스트 디스플레이 및 적어도 하나의 초점 이미지 프로젝터를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함한다. 본 발명은 모의의 환경을 구현하기 위한 장치에 사용되는 종래의 디스플레이 내에서의 픽셀 밀도 및 물리적 크기 상충의 현존하는 문제와, 이미지 불연속에 대한 해결책을 제공하고자 한다. 본 발명의 목적은 선행 기술에서 직면하는 문제점을 적어도 부분적으로 극복하고 인간의 시각계에 근접하게 모방하는 디스플레이 장치를 제공하는 해결책을 제공하는 것이다.
일 측면에서, 본 발명의 일 실시형태는,
- 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이고, 상기 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함하는, 상기 적어도 하나의 컨텍스트 디스플레이와;
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
- 이미지 조종 유닛(image steering unit)과;
- 시선 방향을 검출하기 위한 수단과;
- 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
(d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
(e) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에 상기 렌더링된 초점 이미지의 상기 투영의 위치를 조정하도록 상기 이미지 조종 유닛을 제어하는 단계로 구성되고,
상기 프로세서는 단계들 (c), (d) 및 (e)를 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는, 적어도 하나의 투영 표면을 포함하는 적어도 하나의 컨텍스트 디스플레이와, 적어도 하나의 초점 이미지 프로젝터와, 이미지 조종 유닛과, 시선 방향을 검출하기 위한 수단과, 상기 이미지 조정 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 상기 제 1 해상도보다 높은 제 2 해상도를 갖으며, 상기 처리 단계는,
상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 이미지 조종 유닛을 제어하는 단계를 포함하고,
상기 단계들 (i), (ii) 및 (vi)은 실질적으로 동시에 수행된다.
본 발명의 실시형태들은 선행 기술의 전술한 문제점들을 실질적으로 제거하거나 적어도 부분적으로 해결하고, 인간 시각계를 모방하도록 모의된 환경을 구현하기 위한 장치에 사용되는 디스플레이 장치 내에서 능동 포비에이션(active foveation)의 구현을 가능하게 한다.
본 발명의 추가 측면, 이점, 특징 및 목적은 첨부된 청구 범위와 관련하여 해석되는 예시적인 실시형태의 도면 및 상세한 설명으로부터 명백해질 것이다.
본 발명의 특징은 첨부된 청구 범위에 의해 한정된 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 조합으로 결합될 수 있음을 이해할 것이다.
.
상기의 요약 및 예시적인 실시형태의 하기 상세한 설명은 첨부된 도면과 함께 읽을 때에 더 잘 이해된다. 본 발명을 예시하기 위한 목적으로, 본 발명의 예시적인 구조가 도면에 도시된다. 그러나, 본 발명은 여기에 개시된 특정 방법 및 수단에 제한되지 않는다. 또한, 당업자는 도면에서 크기가 조정된 것이 아니라는 것을 이해할 것이다. 가능한 유사 성분는 동일한 부호로 나타내어진다.
다음의 도면을 참조하여, 단지 예시의 목적으로, 본 발명의 실시형태들이 지금 설명될 것이다:
도 1 및 도 2는 본 발명의 일 실시형태에 따른 디스플레이 장치의 예시적인 구조의 블록도이고,
도 3은 본 발명의 일 실시형태에 따른 상기 디스플레이 장치의 예시적인 구현 예이고,
도 4는 본 발명의 일 실시형태에 따른 예시적인 컨텍스트 디스플레이의 분해도이고,
도 5 내지 도 6은 본 발명의 일 실시형태에 따른 예시적인 컨텍스트 디스플레이의 레이어의 개략도이고,
도 7은 본 발명의 일 실시형태에 따른 디스플레이 장치를 통해 디스플레이하는 방법의 단계들을 도시한다.
첨부 도면에서, 밑줄 친 숫자는 상기 밑줄 친 숫자가 위치한 항목 또는 상기 밑줄 친 숫자가 인접한 항목을 나타내기 위해 사용된다. 밑줄이 그어지지 않은 번호는 상기 밑줄이 그어지지 않은 번호와 항목을 연결하는 선으로 식별되는 항목과 관련된다. 숫자에 밑줄이 그어져 있지 않고 관련 화살표가 붙어 있으면 상기 밑줄이 그어지지 않은 숫자는 상기 화살표가 가리키는 일반 항목을 식별하는데 사용된다.
다음의 상세한 설명은 본 발명의 실시형태들 및 이들을 구현할 수 있는 방법을 설명한다. 본 발명 내용을 실행하는 일부 모드가 개시되었지만, 당업자라면 본 발명 내용을 수행하거나 실행하기 위한 다른 실시형태도 가능하다는 것을 인식할 것이다.
일 측면에서, 본 발명의 일 실시형태는,
- 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이고, 상기 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함하는, 상기 적어도 하나의 컨텍스트 디스플레이와:
- 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
- 이미지 조종 유닛(image steering unit)과;
- 시선 방향을 검출하기 위한 수단과;
- 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
(a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
- 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
- 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
(c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
(d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
(e) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에 상기 렌더링된 초점 이미지의 상기 투영의 위치를 조정하게 상기 이미지 조종 유닛을 제어하는 단계로 구성되고,
상기 프로세서는 단계들 (c), (d) 및 (e)을 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지는, 디스플레이 장치를 제공한다.
다른 측면에서, 본 발명의 일 실시형태는, 적어도 하나의 투영 표면을 포함하는 적어도 하나의 컨텍스트 디스플레이와, 적어도 하나의 초점 이미지 프로젝터와, 이미지 조종 유닛과, 시선 방향을 검출하기 위한 수단과, 상기 이미지 조정 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법을 제공하며, 상기 방법은,
(i) 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
(ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
(ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
(iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
(v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 상기 제 1 해상도보다 높은 제 2 해상도를 갖으며, 상기 처리 단계는,
상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역을 마스킹하는 단계와;
- 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
(vi) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하게 상기 이미지 조종 유닛을 제어하는 단계를 포함하고,
상기 단계들 (i), (ii) 및 (vi)은 실질적으로 동시에 수행된다.
본 발명은 디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 사용하여 상기 디스플레이 장치를 통해 디스플레이하는 방법을 제공한다. 본 명세서에서 설명된 디스플레이 장치는 시뮬레이팅된 환경을 렌더링하기 위한 광학 부품의 크기 및 개수에 의해 동작이 제한되지 않는다. 따라서, 상기 디스플레이 장치는 가상현실 장치와 같은 소형의 장치에 용이하게 구현될 수 있다. 또한, 디스플레이 장치는 장치의 사용자 눈의 시선 방향을 검출함으로써 사람의 시각계의 능동 포비에이션(active foveation)을 시뮬레이팅한다. 또한, 상술한 디스플레이 장치를 사용하여 디스플레이된 이미지는 렌더링된 컨텍스트 이미지와 렌더링된 초점 이미지 사이의 전이 영역층을 적절히 최소화함으로써 연속적이다. 따라서, 전술한 디스플레이 장치는 사람의 시각계와 유사하게 시선 우연(gaze contingency)에 근접하게 모방할 수 있다. 기술된 디스플레이 장치를 사용하여 디스플레이하는 방법은 구현하기 쉽고, 견고한 능동 포비에이션(foveation) 능력을 갖는다. 본 명세서에 설명된 방법에서, 컨텍스트 이미지 및 초점 이미지는 사용자의 눈으로부터 거의 동일한 거리에서 렌더링되고, 이에 따라 눈의 변형(strain)을 감소시킨다. 또한, 디스플레이 장치는 광학 부품이 적기 때문에 저렴하고 제조가 용이하다.
상기 디스플레이 장치는 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이, 및 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터를 포함하고, 상기 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함한다. 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도에서 220도 범위이다. 렌더링된 초점 이미지의 투영의 각도 폭은 5도에서 60도 범위이다. 또한, 디스플레이 장치에서, 상기 렌더링된 컨텍스트 이미지의 투영과 상기 렌더링된 초점 이미지의 투영을 결합하여 시각적 장면을 생성하는 배치가 이루어진다.
선택적으로, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 220도보다 클 수 있다. 이러한 경우, 컨텍스트 이미지를 렌더링하기 위한 컨텍스트 디스플레이의 각도 치수는 220도보다 클 수 있다. 일 실시형태에 따르면, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 예를 들어, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160 또는 170도로부터 70, 80, 90, 100, 110, 120, 130, 140, 150, 160, 170, 180, 190, 200, 210 또는 220도일 수 있다. 다른 실시형태에 따르면, 렌더링된 초점 이미지의 투영의 각도 폭은, 예를 들어, 5, 10, 15, 20, 25, 30, 35, 40, 45 또는 50도에서 15, 20, 25, 30, 35, 40, 45, 50, 55 또는 60도일 수 있다.
일 실시형태에서, 상기 시각적 장면은 헤드 장착형 가상현실 장치, 가상현실 안경, 증강현실 헤드세트 등과 같은 장치의 사용자에게 제공될 모의의 환경 내에서의, 커피숍 환경, 유령의 집(haunted house), 숲 풍경 등과 같은 장면일 수 있다. 보다 구체적으로, 장치가 사용자에 의해 사용될 때, 시각 장면은 사용자의 눈에 투사될 수 있다. 그러한 예에서, 상기 장치는 디스플레이 장치를 포함할 수 있다. 또한, 적어도 하나의 투영 표면을 포함하는 상기 적어도 하나의 컨텍스트 디스플레이 및 적어도 하나의 초점 이미지 프로젝터의 배치는 상기 렌더링된 컨텍스트 및 초점 이미지들의 투영들의 적절한 조합을 용이하게 한다. 이러한 조합이 최적보다 낮거나 부적절한 경우, 생성되는 시각적 장면이 왜곡되어 나타날 수 있다.
일 실시형태에서, 일 실시형태에서, 컨텍스트 이미지는 사용자의 눈의 움직임과 관련된 급속 안구운동(saccades)을 대처하기 위해, 전술한 각도 폭 내에서 상기 디스플레이 장치를 통해 렌더링되고 표시될 시각적 장면의 이미지와 관련된다. 다른 실시형태에서, 초점 이미지는 사용자의 눈과 관련된 급속 안구운동(saccades)을 대처하기 위해 전술한 각도 폭 내에서 상기 디스플레이 장치를 통해 렌더링되고 투영되는 이미지에 관한 것이다. 구체적으로, 초점 이미지는 컨텍스트 이미지보다 치수가 작다. 또한, 컨텍스트 이미지 및 초점 이미지는 그의 투영들의 조합시에 집합적으로 시각적 장면을 구성한다.
일 실시형태에서, 본 명세서에서 사용 된 '컨텍스트 디스플레이'라는 용어는 컨텍스트 이미지의 렌더링을 용이하게 하도록 적응된 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 적어도 하나의 컨텍스트 디스플레이는 컨텍스트 이미지의 투영을 수신하도록 적응될 수 있다. 일 실시형태에 따르면, 컨텍스트 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택될 수 있다.
다른 실시형태에서, 적어도 하나의 컨텍스트 이미지 프로젝터는 적어도 2개의 컨텍스트 이미지 프로젝터를 포함할 수 있으며, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 좌안(left eye)에 사용되도록 배치되고, 상기 적어도 2개의 컨텍스트 이미지 프로젝터 중 적어도 하나는 사용자의 우안(right eye)에 사용되도록 배치된다. 구체적으로, 적어도 2개의 컨텍스트 이미지 프로젝터는 적어도 하나의 컨텍스트 이미지 프로젝터가 사용자의 한쪽 눈을 위해 개별 컨텍스트 이미지를 렌더링하도록 전용으로(또는 전적으로) 사용될 수 있다. 보다 구체적으로는, 사용자의 좌안 및 우안에 대한 개별적인 컨텍스트 이미지들은집합적으로 컨텍스트 이미지를 구성할 수 있다.
또 다른 실시형태에서, 적어도 하나의 컨텍스트 디스플레이는 공유 기반(shared basis)으로 사용자의 양안(both eyes)에 대해 사용될 수 있다. 구체적으로, 이러한 실시형태에서, 적어도 하나의 컨텍스트 디스플레이는 공유 기반으로 사용자의 좌안과 우안 모두에 대한 개별적인 컨텍스트 이미지를 렌더링하는데 사용될 수 있다.
전술한 바와 같이, 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함한다. 일 실시형태에서, 본 명세서에서 사용되는 '투영 표면'이라는 용어는 초점 이미지의 렌더링을 용이하게하는 디스플레이(또는 스크린)에 관한 것이다. 구체적으로, 적어도 하나의 투영 표면은 그 위에 초점 이미지를 렌더링하도록 상기 초점 이미지의 투영을 수신하기에 적합한 투과율 및 반사율 스펙을 가질 수 있다. 다른 실시형태에서, 초점 이미지는 적어도 하나의 투영 표면의 정면 또는 후면, 또는 상기 투영 표면의 정면 및 후면 모두로부터 상기 적어도 하나의 투영 표면 상에 투영될 수 있다.
일례에서, 적어도 하나의 투영 표면은 적어도 두 개의 투영 표면을 포함할 수 있고, 적어도 두 개의 투영 표면 중 적어도 하나는 사용자의 좌안에 사용되도록 배열되고, 적어도 두 개의 투영 표면 중 적어도 하나는 사용자의 우안에 사용되도록 배열된다. 구체적으로, 적어도 2개의 투영 표면은 적어도 하나의 투영 표면이 사용자의 각 눈에 대해 개별적인 초점 이미지를 렌더링하는데 전용으로 사용될 수 있도록 사용된다. 보다 구체적으로는, 사용자의 좌안 및 우안에 대한 개별적인 초점 이미지가 집합적으로 초점 이미지를 구성할 수 있다.
또 다른 실시형태에서, 적어도 하나의 투영 표면은 공유 기반으로 사용자의 양 눈을 위해 사용될 수 있다. 구체적으로, 이러한 실시 예에서, 적어도 하나의 투영 표면은 공유 기반으로 사용자의 좌안 및 우안 모두에 대해 개별 초점 이미지를 렌더링하는데 사용될 수 있다.
일 실시형태에 따르면, 여기서 사용되는 '초점 이미지 프로젝터'라는 용어는 그와 관련 디스플레이(또는 스크린)에 초점 이미지를 투영하기 위한 광학 장치에 관한 것이다. 일 실시형태에 따르면, 상기 초점 이미지 프로젝터는 LCD(Liquid Crystal Display)계 프로젝터, LED(Light Emitting Diode)계 프로젝터, OLED(Organic LED)계 프로젝터, LCoS(Liquid Crystal on Silicon)계 프로젝터, DLP(Digital Light Processing)계 프로젝터, 및 레이저 프로젝터로 이루어진 군으로부터 선택될 수 있다.
본 발명의 일 실시형태에서, 적어도 하나의 초점 이미지 프로젝터는 적어도 2개의 초점 이미지 프로젝터를 포함할 수 있으며, 상기 적어도 2개의 초점 이미지 프로젝터 중 적어도 하나는 사용자의 좌안을 위해 사용되도록 배치되고, 상기 적어도 2개의 초점 이미지 프로젝터 중 적어도 하나는 사용자의 우안을 위해 사용되도록 배치된다. 구체적으로, 상기 적어도 2개의 초점 이미지 프로젝터는 적어도 하나의 초점 이미지 프로젝터가 사용자의 한쪽 눈을 위해 초점 이미지를 전용으로(또는 전적으로) 렌더링하도록 사용될 수 있다. 적어도 2개의 초점 이미지 프로젝터는 초점 이미지를 집합적으로 구성하는 개별 초점 이미지들(예를 들어, 사용자의 좌안을 위한 초점 이미지 및 우안을 위한 초점 이미지)의 광 경로들의 개별적인 최적화를 허용한다.
예를 들어, 적어도 하나의 초점 이미지 프로젝터가 레이저 프로젝터인 경우, 하나의 초점 이미지 프로젝터가 사용자의 양 눈을 위해 사용되도록 배열될 수 있다. 구체적으로, 하나의 레이저 프로젝터는 사용자의 양안에 대한 개별적인 초점 이미지들이 실질적으로 동시에 투영될 수 있도록 작동될 수 있다. 예를 들어, 상기 하나의 레이저 프로젝터는 그의 빠른 동작 속도로 인해(사용자의 좌안과 사용자의 우안 모두에 대해) 개별적인 초점 이미지를 투사하는 적어도 하나의 초점 이미지 프로젝터로서 사용될 수 있다.
상기 디스플레이 장치는 이미지 조종 유닛과, 시선 방향을 검출하기 위한 수단과, 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 더 포함한다.
일 실시형태에서, 상기 프로세서는 디스플레이 장치의 동작을 제어하도록 이루어진 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다. 구체적으로, 프로세서는 디스플레이 장치의 동작을 제어하여 시각적 장면을 처리하고 사용자의 시야에 디스플레이(또는 투영)할 수 있다. 디스플레이 장치가 사용자와 관련된 장치 내에서 사용되는 경우에, 프로세서는 장치 외부에 있을 수도 그렇지 않을 수도 있다.
선택적으로, 프로세서는 또한 메모리 유닛과 통신 결합될 수 있다. 일 실시형태에서, 메모리 유닛은 프로세서에 의해 처리 및 디스플레이될 시각적 장면의 이미지 및/또는 컨텍스트 이미지 및 초점 이미지를 저장하기에 적합한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수 있다. 이러한 실시형태에서, 메모리 유닛은 장치 내에서 사용될 수 있거나 또는 원격으로 위치될 수 있다.
일 실시형태에서, 시선 방향을 검출하기 위한 수단은 눈 추적기와 같은 눈의 움직임 및 사용자의 눈의 시선의 방향을 측정하기 위한 특수 장비에 관한 것이다. 구체적으로, 시선 방향의 정확한 검출은 디스플레이 장치가 그 위에 시선 우연(gaze contingency)을 근접하게 구현할 수 있게 한다. 또한, 시선 방향을 검출하기 위한 수단은 눈에 접촉되어 배치되거나 배치되지 않을 수 있다. 시선 방향을 검출하기 위한 수단의 예는 운동 센서를 구비한 콘택트렌즈, 눈동자의 위치를 감시하는 카메라 등을 포함한다.
상기 프로세서는 입력 이미지를 수신하고 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하도록 이루어진다. 일 실시형태에서, 본 명세서에 사용된 '입력 이미지'라는 용어는 디스플레이 장치를 통해 디스플레이될 시각적 장면의 이미지에 관한 것이다. 예를 들어, 입력 이미지는 사용자의 눈에 디스플레이될 수 있다. 일 실시형태에서, 입력 이미지는 사용자와 관련된 장치에 결합된 이미지 센서로부터 수신될 수 있다. 구체적으로, 이미지 센서(패스-스루 디지털 카메라와 같은)는 실제 환경의 이미지를 눈에 투영될 입력 이미지로서 포착할 수 있다. 다른 실시형태에서, 입력 이미지는 프로세서에 통신 가능하게 결합된 메모리 유닛으로부터 수신될 수 있다. 구체적으로, 메모리 유닛은 동영상 전문가 그룹(MPEG), 공동 영상 전문가 그룹(JPEG), TIFF(Tagged Image File Format), 이동성 네트워크 그래픽(PNG), 도형 교환 포맷(GIF), 및 비트맵 파일 포맷(BMP)을 포함하지만 그에 제한되지 않는 적절한 형식으로 상기 입력 이미지를 저장하도록 구성될 수 있다.
상기 입력 이미지를 수신한 후에, 상기 프로세서는 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정할 수 있다. 일 실시형태에서, 시각 정확도의 영역은 눈의 검출된 시선 방향이 초점화될 수 있는 입력 이미지의 영역에 관련된다. 구체적으로, 시각 정확도의 영역은 입력 이미지 내의 관심 영역(또는 고정점)일 수 있고, 눈의 중심와(fovea) 상에 투영될 수 있다. 또한, 시각 정확도의 영역은 입력 이미지 내의 초점의 영역일 수 있다. 따라서, 시각 정확도의 영역은 입력 이미지가 인간의 시각계에 의해 보일 때, 입력 이미지의 다른 영역들에 비해 훨씬 더 상세하게 분석된 영역에 관련된다는 것이 명백할 수 있다.
또한, 입력 이미지의 시각 정확도의 영역을 결정한 후, 프로세서는 컨텍스트 이미지 및 초점 이미지를 생성하도록 입력 이미지를 처리하도록 구성되며, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 갖는다. 제 2 해상도는 제 1 해상도보다 높다. 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응한다. 또한, 컨텍스트 이미지는 입력 이미지의 저해상도 표현에 해당한다. 따라서, 컨텍스트 이미지에는 입력 이미지의 시각 정확도의 영역과 입력 이미지의 나머지 영역이 포함된다. 보다 구체적으로, 눈의 검출된 시선 방향이 초점화될 수 있는 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 컨텍스트 이미지의 크기는 상기 초점 이미지의 크기보다 크다.
일 실시형태에서, 제 1 해상도 및 제 2 해상도는 각도 해상도로 이해될 수 있다. 구체적으로, 제 2 해상도를 나타내는 각도당 픽셀수(Pixels Per Degree)는 제 1 해상도를 나타내는 각도당 픽셀수보다 높다. 예를 들어, 사용자의 눈의 중심와(fovea)는 2도의 시야에 대응하고, 각도당 57 픽셀수를 나타내는 114 픽셀과 동일한 각도 단면적의 초점 이미지의 투영을 수신한다. 따라서, 초점 이미지에 대응하는 각도 픽셀 크기(angular pixel size)는 2/114 또는 0.017일 것이다. 또한, 이러한 예에서, 눈의 망막은 180도의 시야에 대응하고, 각도당 15 픽셀수를 나타내는 2700 픽셀과 동일한 각도 단면적의 컨텍스트 이미지의 투영을 수신한다. 따라서, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 180/2700 또는 0.067일 것이다. 계산된 바와 같이, 컨텍스트 이미지에 대응하는 각도 픽셀 크기는 초점 이미지에 대응하는 각도 픽셀 크기보다 분명히 훨씬 크다. 그러나, 입력 이미지의 시각 정확도의 영역에 대응하는, 컨텍스트 이미지의 일부에만 상기 초점 이미지가 대응하기 때문에, 상기 초점 이미지에 비해 상기 컨텍스트 이미지는 픽셀들의 총수로 나타내어지는 인지 각도 해상도가 더 클수 있다.
컨텍스트 이미지 및 초점 이미지의 생성과 함께, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다. 구체적으로, 마스킹은 프로세서에 의해 수행되어 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 숨기거나(또는 불투명하게) 할 수 있다. 예를 들어, 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀들은 마스킹을 위해 디밍(또는 검게)될 수 있다. 또한, 초점 이미지는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고, 제 2 해상도는 제 1 해상도보다 높다.
또한, 프로세서는 컨텍스트 이미지를 적어도 하나의 컨텍스트 디스플레이에서 렌더링하고, 초점 이미지를 적어도 하나의 초점 이미지 프로젝터를 통해 적어도 하나의 투영 표면에서 렌더링하도록 구성된다.
또한, 프로세서는 상기 렌더링된 초점 이미지의 투영이 상기 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 이미지 조정 유닛을 제어하여 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 구성된다. 상기 프로세서는 상기 컨텍스트 및 초점 이미지들의 렌더링 및 상기 이미지 조종 유닛의 제어가 실질적으로 동시에 수행되도록 구성된다. 구체적으로, 렌더링된 컨텍스트 이미지의 투영에 대한 초점 이미지의 중첩 투영은 집합적으로 입력 이미지의 투영을 구성할 수 있다. 컨텍스트 및 초점 이미지들은 그의 투영들의 중첩(포개짐) 동안에 시간 지연을 회피하기 위해 실질적으로 동시에 렌더링된다.
상술한 바와 같이, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 렌더링된 초점 이미지의 투영의 각도 폭보다 크다. 이는 렌더링된 초점 이미지가 일반적으로 눈의 중심와(fovea) 상에 및 주변에 투영되는 반면, 렌더링된 컨텍스트 이미지는 상기 중심와가 단지 작은 부분인 눈의 망막에 투영된다는 사실 때문이다. 구체적으로, 렌더링된 컨텍스트 및 초점 이미지들의 결합은 입력 이미지를 구성하고, 눈에 투사되어 그 위에 입력 이미지를 투영할 수 있다.
일 실시형태에서, 본 명세서에서 사용되는 '이미지 조종 유닛(image steering unit)'이라는 용어는 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영을 제어하기 위한 장비(광학 소자, 전기기계 요소 등)에 관한 것이다. 구체적으로, 이미지 조종 유닛은 적어도 하나의 요소/ 구성 요소를 포함할 수 있다. 선택적으로, 이미지 조종 유닛은 또한, 적어도 하나의 투영 표면 상에서 렌더링된 컨텍스트 이미지의 투영을 제어하도록 동작할 수 있다.
전술한 실시형태에서, 이미지 조종 유닛은 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 렌더링된 초점 이미지의 투영을 실질적으로 중첩하여 입력 이미지의 시각 정확도의 영역의 왜곡을 회피한다. 구체적으로, 입력 이미지의 시각 정확도의 영역은 저해상도의 렌더링된 컨텍스트 이미지와 고해상도의 렌더링된 초점 이미지 모두 내에서 표현된다. 동일한 영역의 저해상도 이미지 및 고해상도 이미지의 투영들의 중첩(또는 포개짐)은 동일한 영역의 외관의 왜곡(distortion)을 초래한다. 또한, 고해상도의 렌더링된 초점 이미지는 저해상도의 렌더링된 컨텍스트 이미지와 비교하여 입력 이미지의 시각 정확도의 영역에 속하는 더 많은 정보를 포함할 수 있다. 따라서, 왜곡 없이 상기 렌더링된 고해상도의 초점 이미지를 투영하도록, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역이 마스킹된다.
이전의 실시형태에서 기술된 바와 같이, 프로세서는 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 영역을 마스킹하게 구성될 수 있다. 구체적으로, 상기 마스킹은 디스플레이되는 입력 이미지의 시각 정확도의 영역과 디스플레이되는 입력 이미지의 나머지 영역 사이에 전이 영역층(또는 에지)이 최소화되도록 수행될 수 있다. 디스플레이된 입력 이미지의 시각 정확도의 영역이 초점 이미지의 투영(및 컨텍스트 이미지의 마스킹된 영역)에 대응하는 한편, 디스플레이된 입력 이미지의 나머지 영역은 컨텍스트 이미지의 투영에 대응한다는 것을 이해해야 한다. 구체적으로, 상기 마스킹은, 디스플레이된 입력 이미지가 연속적이게 나타나도록 컨텍스트 이미지와 초점 이미지의 투영들의 중첩(포갬)시에 상기 전이 영역층을 최소화하게 점진적인 계조(gradual gradation)로서 수행되어야만 한다. 예를 들어, 프로세서는 입력 이미지의 시각 정확도의 영역에 대응하는 컨텍스트 이미지의 픽셀을 상당히 디밍할 수 있고, 입력 이미지의 시각 정확도의 영역으로부터 거리가 멀어짐에 따라 픽셀의 디밍(dimming) 양을 점차 감소시킬 수 있다. 렌더링된 컨텍스트 및 초점 이미지들의 포개진(또는 중첩된) 투영들의 배치 및 모양이 부적절하거나 불연속성이 있는 경우, 표시되는 입력 이미지도 부적절할 것이다.
선택적으로, 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 것은 상기 전이 영역에서의 컨텍스트 이미지와 초점 이미지 사이에 역치의 선형 투명도 마스크 블렌드(linear transparency mask blend of inverse values), 사용자의 눈에 의한 자연적 검출이 어려운 형상을 포함하는 스텔스(또는 위장) 패턴 등을 이용하여 수행될 수 있다.
일 실시형태에 따르면, 상기 적어도 하나의 컨텍스트 디스플레이는 멀티-레이어 구조를 포함할 수 있고, 상기 적어도 하나의 투영 표면은 상기 멀티-레이어 구조의 적어도 하나의 레이어에 의해 구현된다. 구체적으로, 적어도 하나의 투영 표면을 구현하는데 사용되는 상기 적어도 하나의 레이어는 적어도 하나의 컨텍스트 디스플레이의 상기 멀티-레이어 구조의 다른 레이어에 기계적으로 결합 및/또는 전기적으로 결합될 수 있다. 보다 구체적으로, 적어도 하나의 투영 표면을 구현하는데 사용되는 적어도 하나의 레이어는 그 위에 초점 이미지의 렌더링을 용이하게 하는 특정 투과율 및 반사율 스펙을 가질 수 있다. 이러한 특정 투과율 및 반사율 스펙은 이하에서 설명되는 바와 같이 초점 이미지의 투영 측면(정면 및/또는 후면)에 의존할 수 있다. 일례에서, 적어도 하나의 투영 표면은 불투명 표면 일 수 있다. 다른 예에서, 적어도 하나의 투영 표면은 반투명 표면일 수 있다.
일 실시형태에서, 초점 이미지는 적어도 하나의 투영 표면의 적어도 하나의 레이어 위에 그 정면으로부터 투영될 수 있다. 이러한 경우에, 적어도 하나의 투영 표면을 구현하기 위한 적어도 하나의 레이어는 초점 이미지의 투영을 실질적으로 반사시키도록 배치될 수 있다. 다른 실시형태에서, 초점 이미지는 상기 적어도 하나의 투영 표면의 적어도 하나의 레이어 위에 그의 후면으로부터 투영될 수 있다. 이러한 경우에, 적어도 하나의 투영 표면을 구현하기 위한 적어도 하나의 레이어는 초점 이미지의 투영이 실질적으로 통과할 수 있도록 배열될 수 있다. 또 다른 실시형태에서, 초점 이미지는 그의 정면 및 후면 모두로부터 상기 적어도 하나의 투영 표면의 적어도 하나의 레이어로 투영될 수 있다. 이러한 경우에, 적어도 하나의 투영 표면을 구현하기 위한 적어도 하나의 레이어는 초점 이미지의 투영을 부분적으로 반사시키고 초점 이미지의 투영을 부분적으로 통과시키도록 배열될 수 있다. 선택적으로, 적어도 하나의 투영 표면을 구현하기 위한 적어도 하나의 레이어는 초점 이미지의 투영을 적어도 부분적으로 흡수하도록 배치될 수 있다.
선택적으로, 적어도 하나의 컨텍스트 디스플레이의 멀티-레이어 구조는 컬러 필터, 캡슐레이션 글라스(encapsulation glass), 기판상에 구축된 백플레인(backplane built on a substrate)(유리, 폴리이미드 등과 같은), 보호 필름, 및 상부 및/또는 하부 편광자과 같은 레이어를 포함하지만, 그에 제한되지는 않는다. 구체적으로, 이러한 레이어의 특성(또는 특성)은 조절 가능할 수 있고 적어도 하나의 컨텍스트 디스플레이의 적어도 하나의 투영 표면상에 초점 이미지의 더 나은 투영을 용이하게 할 수 있다.
일 실시형태에 따르면, 적어도 하나의 투영 표면은 렌더링된 컨텍스트 이미지의 투영이 실질적으로 통과할 수 있도록 배치될 수 있다. 다른 실시형태에 따르면, 적어도 하나의 투영 표면은 렌더링된 컨텍스트 이미지의 투영을 실질적으로 반사시키도록 배치될 수 있다.
일 실시형태에서, 적어도 하나의 투영 표면은 적어도 하나의 컨텍스트 디스플레이의 정면 또는 적어도 하나의 컨텍스트 디스플레이의 후면 상의 광학 코팅에 의해 구현될 수 있다. 구체적으로, 광학 코팅은 초점 이미지를 그 위에 렌더링하기에 적합한 특정 투과율 및 반사율 스펙을 달성하도록 이용될 수 있다. 보다 상세하게는, 광학 코팅의 이러한 특정 투과율 및 반사율 스펙은 광학 코팅이 구현되는 적어도 하나의 컨텍스트 디스플레이의 측면에 의존할 수 있다. 일 실시형태에서, 광학 코팅은 적어도 하나의 컨텍스트 디스플레이의 정면에 구현될 때 초점 이미지의 투영을 실질적으로 반사할 수 있다. 다른 예에서, 광학 코팅은 초점 이미지의 투영이 적어도 하나의 컨텍스트 디스플레이의 후면에 구현될 때에 실질적으로 통과하게 할 수 있다. 선택적으로, 광학 코팅은 적어도 하나의 컨텍스트 디스플레이의 상면에 구현될 수도 있다.
다른 실시형태에서, 적어도 하나의 투영 표면은 편광기 또는 지연기(retarder)에 의해 구현될 수 있다. 구체적으로, 편광기 또는 지연기와 같은 광학 장치의 고유한 특성은 적어도 하나의 투영 표면상에 초점 이미지를 렌더링하기 위한 그의 사용을 용이하게 할 수 있다. 예를 들어, 적어도 하나의 투영 표면은 흡수성 선형 편광기에 의해 구현될 수 있다. 이러한 예에서, 흡수성 선형 편광기는 적어도 하나의 초점 이미지 프로젝터로부터의 초점 이미지의 투영의 편광 방향이 상기 흡수성 선형 편광기의 편광 방향에 대응할 때에 렌더링된 초점 이미지의 투영을 실질적으로 반사시키는 고유의 특성을 가질 수 있다. 또한, 이러한 예에서, 적어도 하나의 초점 이미지 프로젝터로부터의 초점 이미지의 투영의 편광 방향이 흡수성 선형 편광자의 편광 방향에 대응하지 않을 때에 흡수성 선형 편광기는 렌더링된 초점 이미지의 투영을 흡수하는 또 다른 고유의 특성을 가질 수 있다.
본 발명의 일 실시형태에 따르면, 적어도 하나의 컨텍스트 디스플레이는 렌더링된 초점 이미지의 투영이 실질적으로 통과하게 허용하는 픽셀 레이아웃을 갖는 레이어를 포함할 수 있다. 구체적으로, 픽셀 레이아웃은 적어도 하나의 컨텍스트 디스플레이의 픽셀들의 그리드형 배열일 수 있다. 일 실시형태에서, 픽셀 레이아웃은 인접 픽셀들 사이에 반투명 영역이 형성되는 방식으로 배열되는 복수의 픽셀을 포함할 수 있다. 구체적으로, 복수의 픽셀은 그리드형 배열 내에 드문드문 분산될 수 있고, 인접하는 픽셀들 사이에 상당한 이격을 가질 수 있다. 인접하는 픽셀들 간의 이격은 그 사이의 반투명 영역을 구성한다. 따라서, 전술한 픽셀 레이아웃을 갖는 적어도 하나의 컨텍스트 디스플레이의 상기 레이어는 낮은 픽셀 해상도(또는 낮은 픽셀 밀도)를 갖는다. 또한, 전술한 레이어는 렌더링된 초점 이미지의 투영이 실질적으로 이를 통과하게 한다. 구체적으로, 프로세서는 고해상도 초점 이미지의 투영이 상기 레이어의 후면 상에 투영될 때에, 상기 레이어를 통해 투영될 수 있도록 상기 초점 이미지를 처리한다. 보다 구체적으로, 고해상도의 후면 투영된 초점 이미지는 마이크로 렌즈, 마이크로 프리즘 등과 같은 광학 소자를 사용하여 픽셀 레이아웃의 상부에 디스플레이될 수 있다.
일 실시형태에서, 적어도 하나의 컨텍스트 디스플레이는 렌더링된 초점 이미지의 투영이 실질적으로 통과하게 허용하는 광 도파관을 갖는 적어도 하나의 레이어를 포함한다. 구체적으로, 광 도파관은 반투명일 수 있어서, 초점 이미지의 투영이 이를 통과할 수 있다. 선택적으로, 광학 도파관을 갖는 적어도 하나의 레이어는 적어도 하나의 투영 표면과 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치될 수 있다. 일 실시형태에서, 광학 도파관은 마이크로 프리즘, 마이크로 렌즈, 미러, 회절 광학 등과 같은 광학 소자를 더 포함할 수 있다.
일 실시형태에서, 이미지 조종 유닛은 상기 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시키는 적어도 하나의 제 1 액추에이터를 포함할 수 있으며, 여기서, 프로세서는 상기 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제1 액추에이터를 제어하도록 이루어진다. 구체적으로, 적어도 하나의 제 1 액추에이터는 눈의 시선 방향이 한 방향에서 다른 방향으로 이동할 때에 초점 이미지 프로젝터를 움직일 수 있다. 그러한 예에서, 적어도 하나의 초점 이미지 프로젝터 및 적어도 하나의 투영 표면의 배치는 렌더링된 초점 이미지를 눈의 중심와 상에 및 주위로 최적으로 투사할 수 없다. 따라서, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지가 눈의 중심와(fovea) 상에 및 주위에서 투영될 수 있게 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록, 프로세서는 적어도 하나의 제 1 액추에이터를 제어하여 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등)를 생성함으로써 적어도 하나의 제 1 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 1 액추에이터는 초점 이미지 프로젝터를 적어도 하나의 투영 표면에 가깝게 또는 멀리 이동시킬 수 있다. 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 1 액추에이터는 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 기울이고 및/또는 회전시킬 수 있다.
일 실시형태에 따르면, 이미지 조종 유닛은 적어도 하나의 투영 표면과 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 광학 소자 및 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 적어도 하나의 광학 소자를 이동시키기 위한 적어도 하나의 제 2 액추에이터를 포함할 수 있다. 상기 적어도 하나의 광학 소자는 렌즈, 프리즘, 미러, 빔 스플리터 및 광 도파관으로 이루어진 군으로부터 선택된다. 이러한 실시형태에서, 프로세서는 적어도 하나의 투영 표면상의 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 2 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 광학 소자는 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 광 경로를 변화시킬 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 2 액추에이터를 제어할 수 있다.
예를 들어, 프리즘은 투영 표면과 초점 이미지 프로젝터 사이의 광 경로 상에 위치할 수 있다. 구체적으로, 렌더링된 초점 이미지의 투영의 광 경로는 프리즘을 통과할 때 변경되어 상기 투영 표면상의 렌더링된 초점 이미지의 투영의 위치를 조정할 수 있다. 또한, 시선 방향의 이동이 발생하여도 렌더링된 초점 이미지의 투영을 눈의 중심와 상에 및 주위에서 용이하게 하도록, 프리즘은 제 2 액추에이터에 의해 횡 방향 및/또는 측 방향으로 이동되고, 회전되고, 기울어지는, 등 될 수 있다.
일 실시형태에서, 적어도 하나의 투영 표면과 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 배치된 하나 이상의 LC 렌즈와 같은 전자 제어 광학 어셈블리는 상기 적어도 하나의 투영 표면상에서 렌더링된 초점 이미지의 투영의 위치를 조정하도록 사용될 수 있다.
다른 실시형태에 따르면, 이미지 조종 유닛은 적어도 하나의 투영 표면을 이동시키기 위한 적어도 하나의 제 3 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 투영 표면 상에 렌더링된 초점 이미지의 투영의 위치를 조정하도록 적어도 하나의 제 3 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 제 3 액추에이터는 시선 방향의 이동이 발생하더라도 눈의 중심와상에 및 주위에서 상기 렌더링된 초점 이미지의 투영을 용이하게 하도록 상기 적어도 하나의 투영 표면을 움직일 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 3 액추에이터를 제어할 수 있다.
일 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 투영 표면을 적어도 하나의 초점 이미지 프로젝터에 가깝게 또는 멀리 움직일 수 있다. 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 초점 이미지 프로젝터에 대하여 적어도 하나의 투영 표면을 측 방향으로 이동시킬 수 있다. 또 다른 예에서, 적어도 하나의 제 3 액추에이터는 적어도 하나의 투영 표면을 경사 및/또는 회전시킬 수 있다.
일 실시형태에 따르면, 상기 디스플레이 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈, 및 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 적어도 하나의 초점 렌즈를 이동시키기 위한 적어도 하나의 제 4 액추에이터를 포함할 수 있다. 또한, 이러한 실시형태에서, 프로세서는 렌더링된 초점 이미지의 투영의 초점을 조정하도록 적어도 하나의 제 4 액추에이터를 제어하도록 구성된다. 구체적으로, 적어도 하나의 초점 렌즈는 그의 광 경로를 변화시킴으로써 렌더링된 초점 이미지의 투영의 초점을 조정하도록 그의 특수한 특성을 이용할 수 있다. 더 구체적으로, 렌더링된 초점 이미지의 투영의 초점은 디옵터 튜닝(diopter tuning), 비점수차 보정(astigmatism correction) 등을 수용하도록 조정될 수 있다. 보다 구체적으로, 프로세서는 작동 신호(전류, 유압 등과 같은)를 생성함으로써 적어도 하나의 제 4 액추에이터를 제어할 수 있다.
일 실시형태에서, 적어도 하나의 초점 렌즈는 액정 렌즈(LC 렌즈) 또는 다른 전자 제어식 광학 소자를 포함할 수 있다.
일 실시형태에서, 프로세서는 적어도 하나의 투영 표면에 대한 이미지 처리 기능을 구현할 수 있다. 구체적으로, 이미지 처리 기능은 컨텍스트 이미지를 적어도 하나의 컨텍스트 디스플레이에 렌더링하고 적어도 하나의 투영 표면에서 초점 이미지를 렌더링하기 위해 구현될 수 있다. 구체적으로, 이러한 이미지 처리 기능의 구현은 렌더링된 컨텍스트 및 초점 이미지들의 품질을 최적화할 수 있다. 따라서, 적어도 하나의 투영 표면의 특성 및 입력 이미지의 특성을 고려하여 상기 이미지 처리 기능을 선택할 수 있다.
일 실시형태에 따르면, 적어도 하나의 투영 표면에 대한 이미지 처리 기능은 인지된 컨텍스트 이미지 및/또는 초점 이미지 품질을 최적화하기 위한 적어도 하나의 기능을 포함할 수 있으며, 상기 적어도 하나의 기능은 저역 통과 여과, 색 처리 및 감마 보정을 포함하는 군으로부터 선택된다. 일 실시형태에서, 적어도 하나의 투영 표면에 대한 이미지 처리 기능은 렌더링된 컨텍스트 및 초점 이미지들의 결합된 투영들의 경계상에서 인지된 왜곡을 최소화하기 위한 에지 처리(edge processing)를 더 포함할 수 있다.
선택적으로, 전술한 디스플레이 장치는 다른(another) 입력 이미지를 수신하고, 상기 다른 입력 이미지를 처리하여 다른 초점 및 컨텍스트 이미지들을 생성하고, 상기 다른 초점 및 컨텍스트 이미지들을 렌더링하는 한편, 상기 렌더링된 다른 초점 및 컨텍스트 이미지들의 투영들을 결합하도록 사용될 수 있다. 일 예에서, 상기 다른(another) 입력 이미지는 사용자와 관련된 헤드 장착형 가상현실장치의 비디오카메라로부터 수신될 수 있다.
본 설명은 또한 전술한 바와 같은 방법에 관한 것이다. 상기에서 개시된 다양한 실시형태 및 변형 예가 상기 방법에 준용된다. 보다 구체적으로, 렌더링된 초점 이미지의 투영의 위치는 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어하여 적어도 하나의 투영 표면에 대해 초점 이미지 프로젝터를 이동시킴으로써 조정될 수 있다. 렌더링된 초점 이미지의 투영의 위치는 적어도 하나의 초점 이미지에 대해 이미지 조종 유닛의 적어도 하나의 광학 소자를 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정될 수 있으며, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치된다.
다른 실시형태에 따르면, 렌더링된 초점 이미지의 투사 위치는 적어도 하나의 투영 표면을 이동시키기 위해 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함으로써 조정된다. 상기 방법은 또한, 상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함으로써 렌더링된 초점 이미지의 투영의 초점을 조정하는 단계를 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치된다.
도면의 상세한 설명
도 1을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(100)의 예시적인 구조의 블록도가 도시된다. 디스플레이 장치(100)는, 적어도 하나의 투영 표면(104)을 포함하는, 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이(102), 및 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터(106)를 포함한다. 렌더링된 컨텍스트 이미지의 투영과 렌더링된 컨텍스트 이미지의 투영을 결합하여 시각적 장면을 생성하도록 배치가 이루어진다.
도 2를 참조하면, 본 발명의 다른 실시형태에 따른 디스플레이 장치(200)의 예시적인 구조의 블록도가 도시된다. 디스플레이 장치(200)는 적어도 하나의 투영 표면(204)을 포함하는, 컨텍스트 이미지를 렌더링하기 위한 적어도 하나의 컨텍스트 디스플레이(202), 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터(206), 이미지 조종 유닛(208), 시선 방향을 검출하기 위한 수단(210), 및 프로세서(212)를 포함한다. 상기 프로세서(212)는 이미지 조종 유닛(208) 및 시선 방향을 검출하기 위한 수단(210)과 통신 결합된다. 또한, 프로세서(212)는 적어도 하나의 컨텍스트 디스플레이(202), 및 적어도 하나의 초점 이미지 프로젝터(206)에 결합되기도 한다.
도 3을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(300)의 예시적인 구현 예가 도시된다. 도시된 바와 같이, 디스플레이 장치(300)는 적어도 하나의 투영 표면(미도시)을 포함하는 적어도 하나의 컨텍스트 디스플레이(컨텍스트 디스플레이(302)로서 도시된)와, 적어도 2개의 초점 이미지 프로젝터(2개의 초점 이미지 프로젝터(304A, 304B)로 도시된)를 포함하는 적어도 하나의 초점 이미지 프로젝터와, 시선 방향을 검출하기 위한 수단(미도시)과, 프로세서(미도시)와 및 이미지 조종 유닛(미도시)을 포함한다. 본 명세서에 도시된 컨텍스트 디스플레이(302)는 공유 기반으로 사용자의 양 눈을 위해 사용된다. 디스플레이 장치(300)의 프로세서는 컨텍스트 디스플레이(302)에서 컨텍스트 이미지(306)를 렌더링하도록 구성된다. 구체적으로, 컨텍스트 이미지(306)는 사용자의 양 눈을 위한 개별적인 컨텍스트 이미지들에 의해 집합적으로 구성될 수 있다. 또한, 디스플레이 장치(300)의 프로세서는 두 개의 초점 이미지 프로젝터(304A 및 304B)를 각각 통해 적어도 하나의 투영 표면(미도시)에 초점 이미지(두 개의 초점 이미지(308A 및 308B)로 도시됨)를 렌더링하도록 구성된다. 이 경우, 초점 이미지(308A)는 사용자의 좌안에 사용되고, 초점 이미지(308B)는 사용자의 우안에 사용된다. 도시된 바와 같이, 초점 이미지(308A)는 적어도 하나의 투영 표면의 정면으로부터 투영되고, 초점 이미지(308B)는 컨텍스트 디스플레이(302)에 포함된 적어도 하나의 투영 표면의 후면으로부터 투영된다.
도 4를 참조하면, 본 발명의 일 실시형태에 따른 예시적인 컨텍스트 디스플레이(400)의 분해도가 도시되어있다. 도시된 바와 같이, 컨텍스트 디스플레이(400)는 멀티-레이어 구조(레이어들(402, 404, 406, 408 및 410)로 도시된)를 포함한다. 또한, 레이어(402)은 컨텍스트 디스플레이(400)의 정면에 배치되고, 레이어(410)은 컨텍스트 디스플레이(400)의 후면에 배치된다. 컨텍스트 디스플레이(400)는 적어도 하나의 투영 표면을 포함하여, 멀티-레이어 구조의 적어도 하나의 레이어(레이어(402 및 404)으로 도시된)을 통해 구현된다. 구체적으로, 적어도 하나의 투영 표면은 컨텍스트 디스플레이(400)의 정면상의 광학 코팅에 의해 레이어(402) 상에 구현된다. 또한, 적어도 하나의 투영 표면은 레이어(402)에 의해 표현되는 편광기를 통해 구현된다. 상기 레이어(406)는 컬러 필터 또는 캡슐화 글라스를 나타낸다. 레이어(408)는 유리, 폴리이미드 등과 같은 기판 상에 구축된 백플레인을 나타낸다. 또한, 레이어(410)는 하부 편광기, 상부 편광기 또는 보호막 중 어느 하나를 나타낸다. 선택적으로, 레이어(402)는 내 스크래치성이 있어서 컨텍스트 디스플레이(400)를 보호할 수 있는 광학적으로 투명한 하드 코팅을 나타낼 수 있다. 그러한 경우, 적어도 하나의 투영 표면은 도시된 예시적인 컨텍스트 디스플레이(400)의 레이어(404)에 의해 구현된다.
도 5를 참조하면, 본 발명의 실시 예에 따른 예시적인 컨텍스트 디스플레이(도 4의 예시적인 컨텍스트 디스플레이(400)와 같은)의 레이어(500)의 개략도가 도시된다. 도시된 바와 같이, 레이어(500)는 502, 504 및 506으로 도시된 복수의 픽셀을 포함하는 픽셀 레이아웃을 갖는다. 구체적으로, 픽셀 레이아웃은 복수의 픽셀(502, 504 및 506)의 그리드형 배열이다. 복수의 픽셀(502, 504, 506)은 인접 픽셀들 사이에 반투명 영역이 형성되도록 배치되어있다. 그러므로, 도시된 픽셀 레이아웃을 갖는 예시적인 컨텍스트 디스플레이의 레이어(500)는 낮은 픽셀 해상도(또는 낮은 픽셀 밀도)를 갖는다.
도 6을 참조하면, 본 발명의 일 실시형태에 따른, 도 5의 컨텍스트 디스플레이의 레이어(500)의 개략도가 도시된다. 도시된 바와 같이, 레이어(500)는 렌더링된 초점 이미지의 투영이 실질적으로 통과하도록 허용한다. 구체적으로 초점 이미지는 상기 레이어(500)의 후면 및/또는 정면으로부터 투영될 수 있다. 보다 구체적으로, 렌더링된 초점 이미지의 투영은 602, 604, 606, 및 608로 도시된 복수의 픽셀을 포함하여, 상기 복수의 픽셀들은 레이어(500)의 복수의 픽셀들(502,504,506)에 비해 높은 해상도(또는 더 높은 픽셀 밀도)를 갖는다. 구체적으로, 복수의 픽셀(602, 604, 606 및 608)은 복수의 픽셀(502, 504 및 506)의 상부에 도시된다. 일 실시형태에서, 픽셀(606 및 608)은 픽셀(502)의 상부에서 도시된다.
도 7을 참조하면, 본 발명의 일 실시형태에 따른 디스플레이 장치(예컨대,도 1의 디스플레이 장치(100))를 통해 디스플레이하는 방법(700)의 단계들이 도시된다. 단계(702)에서, 컨텍스트 이미지는 적어도 하나의 컨텍스트 디스플레이를 통해 렌더링되고, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이다. 단계(704)에서, 초점 이미지는 적어도 하나의 초점 이미지 프로젝터를 통해 렌더링되고, 여기서 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위이다. 단계(706)에서, 렌더링된 컨텍스트 이미지의 투영과 결합되어 렌더링된 컨텍스트 이미지의 투영이 이루어져 시각적 장면을 생성하도록 배치가 이루어진다.
단계들(702 내지 706)은 단지 예시적인 것이며, 본 명세서의 청구항들의 범위를 벗어나지 않으면서 하나 이상의 단계들이 추가되거나, 하나 이상의 단계들이 제거되거나, 하나 이상의 단계들이 상이한 순서로 제공되는 다른 대안들이 또한 제공될 수 있다. 일 실시형태에서, 방법(700)은 시선 방향을 검출하는 단계와, 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와, 컨텍스트 이미지 및 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며, 상기 제 2 해상도는 제 1 해상도보다 높은, 상기 처리 단계와, 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에 상기 렌더링된 초점 이미지의 상기 투영의 위치를 조정하도록 상기 이미지 조종 유닛을 제어하는 단계를 더 포함한다. 상기 처리 단계는 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와, 입력 이미지의 시각 정확도 영역에 실질적으로 대응하도록 초점 이미지를 생성하는 단계를 포함한다. 또한, 초점 이미지 및 컨텍스트 이미지를 렌더링하고, 이미지 조종 유닛을 제어하는 단계는 실질적으로 동시에 수행된다. 선택적으로, 방법(700)에서, 초점 이미지 프로젝터를 적어도 하나의 투영 표면에 대해 이동시키도록 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어함에 의해 조정될 수 있다. 더 선택적으로, 방법(700)에서, 렌더링된 초점 이미지의 투영의 위치는 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 이미지 조종 유닛의 적어도 하나의 광학 소자를 이동시키도록 상기 이미지 조정 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정될 수 있으며, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 배치된다. 일 실시형태에서, 방법(700)에서, 렌더링된 초점 이미지의 투영의 위치는 적어도 하나의 투영 표면을 이동시키도록 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함에 의해 조정될 수 있다. 다른 예에서, 방법(700)은 적어도 하나의 초점 이미지 프로젝터에 대해 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함에 의해 상기 렌더링된 초점 이미지의 투영의 초점을 조정하는 단계를 포함할 수 있으며, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치된다.
전술한 본 발명의 실시형태들에 대한 변형은 첨부된 청구 범위에 의해 한정된 본 발명의 범위를 벗어나지 않고 가능하다. 본 발명을 기술하고 청구하는데 사용되는 "포함하는", "병합한", "갖는"의 표현은 비 배타적인 방식으로 간주되는 것으로, 즉, 명백히 기술되지 않은 항목, 구성성분 또는 요소가 존재하는 것으로 허용하도록 의도된다. 단수로의 언급은 또한 복수형과 관련되는 것으로 해석되어야 한다.

Claims (18)

  1. 디스플레이 장치에 있어서,
    - 컨텍스트 이미지(context image)를 렌더링(rendering)하기 위한 적어도 하나의 컨텍스트 디스플레이로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위이고, 상기 적어도 하나의 컨텍스트 디스플레이는 적어도 하나의 투영 표면을 포함하는, 상기 적어도 하나의 컨텍스트 디스플레이와;
    - 초점 이미지를 렌더링하기 위한 적어도 하나의 초점 이미지 프로젝터로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도의 범위인, 상기 적어도 하나의 초점 이미지 프로젝터와;
    - 이미지 조종 유닛(image steering unit)과;
    - 시선 방향을 검출하기 위한 수단과;
    - 상기 이미지 조종 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하고, 상기 프로세서는,
    (a) 입력 이미지를 수신하고, 상기 검출된 시선 방향을 사용하여 상기 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
    (b) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고 상기 초점 이미지는 제 2 해상도를 가지며,
    - 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 상기 컨텍스트 이미지의 영역이 마스킹되고,
    - 상기 초점 이미지는 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하고,
    - 상기 제 2 해상도가 상기 제 1 해상도보다 높은, 상기 처리 단계와;
    (c) 상기 적어도 하나의 컨텍스트 디스플레이에서 상기 컨텍스트 이미지를 렌더링하는 단계와;
    (d) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 상기 적어도 하나의 투영 표면에서 상기 초점 이미지를 렌더링하는 단계와;
    (e) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에 상기 렌더링된 초점 이미지의 상기 투영의 위치를 조정하도록 상기 이미지 조종 유닛을 제어하는 단계로 구성되고,
    상기 프로세서는 단계들 (c), (d) 및 (e)를 실질적으로 동시에 수행하도록 구성되고, 상기 렌더링된 초점 이미지의 투영을 상기 렌더링된 컨텍스트 이미지의 투영과 결합하여 시각적 장면을 생성하도록 배치가 이루어지는, 디스플레이 장치.
  2. 제 1 항에 있어서, 상기 적어도 하나의 컨텍스트 디스플레이는 멀티-레이어 구조를 포함하고, 상기 적어도 하나의 투영 표면은 상기 멀티-레이어 구조의 적어도 하나의 레이어를 통해 구현되는, 디스플레이 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 투영 표면은 상기 적어도 하나의 컨텍스트 디스플레이의 정면 또는 상기 적어도 하나의 컨텍스트 디스플레이의 후면 상에 광학 코팅을 통해 구현되는, 디스플레이 장치.
  4. 제 1 항, 제 2 항 또는 제 3 항에 있어서, 상기 적어도 하나의 투영 표면은 편광기 또는 지연기(retarder)을 통해 구현되는, 디스플레이 장치.
  5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 적어도 하나의 컨텍스트 디스플레이는 상기 렌더링된 초점 이미지의 투영이 실질적으로 통과하도록 허용하는 픽셀 레이아웃을 갖는 레이어를 포함하는, 디스플레이 장치.
  6. 제 5 항에 있어서, 상기 픽셀 레이아웃은 인접 픽셀들 사이에 반투명 영역이 형성되도록 배열된 복수의 픽셀을 포함하는, 디스플레이 장치.
  7. 제 1 항 내지 제 6 항 중의 어느 한 항에 있어서, 상기 적어도 하나의 컨텍스트 디스플레이는 상기 렌더링된 초점 이미지의 투영이 실질적으로 통과하게 허용하는 광 도파관을 갖는 적어도 하나의 레이어를 포함하는, 디스플레이 장치.
  8. 제 1 항 내지 제 7 항 중의 어느 한 항에 있어서, 상기 이미지 조종 유닛은 상기 적어도 하나의 투영 표면에 대해 상기 초점 이미지 프로젝터를 이동시키는 적어도 하나의 제 1 액추에이터를 포함하고, 상기 프로세서는, 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 제 1 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  9. 제 1 항 내지 제 8 항 중의 어느 한 항에 있어서, 상기 이미지 조종 유닛은,
    - 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되고, 렌즈, 프리즘, 미러, 빔 스플리터(beam splitter) 및 광 도파관으로 이루어진 군으로부터 선택되는 적어도 하나의 광학 소자와;
    상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 적어도 하나의 광학 소자를 이동시키는 적어도 하나의 제 2 액추에이터를 포함하고,
    상기 프로세서는 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 2 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  10. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 상기 이미지 조종 유닛은 상기 적어도 하나의 투영 표면을 이동시키기 위한 적어도 하나의 제 3 액추에이터를 포함하고, 상기 프로세서는 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 적어도 하나의 제 3 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  11. 제 1 항 내지 제 10 항 중의 어느 한 항에 있어서, 상기 디스플레이 장치는,
    - 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는 적어도 하나의 초점 렌즈와;
    상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 적어도 하나의 초점 렌즈를 이동시키는 적어도 하나의 제 4 액추에이터를 포함하고,
    상기 프로세서는 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하도록 상기 적어도 하나의 제 4 액추에이터를 제어하도록 구성되는, 디스플레이 장치.
  12. 제 1 항 내지 제 11 항 중의 어느 한 항에 있어서, 상기 컨텍스트 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED)계 디스플레이, 유기 LED(OLED)계 디스플레이, 마이크로 OLED계 디스플레이, 및 LCoS(Liquid Crystal on Silicon)계 디스플레이로 이루어진 군으로부터 선택되는, 디스플레이 장치.
  13. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서, 상기 초점 이미지 프로젝터는 LCD(Liquid Crystal Display)계 프로젝터, LED(Light Emitting Diode)계 프로젝터, OLED(Organic LED)계 프로젝터, LCoS(Liquid Crystal on Silicon)계 프로젝터, DLP(Digital Light Processing)계 프로젝터, 및 레이저 프로젝터로 이루어진 군으로부터 선택되는, 디스플레이 장치.
  14. 적어도 하나의 투영 표면을 포함하는 적어도 하나의 컨텍스트 디스플레이와, 적어도 하나의 초점 이미지 프로젝터와, 이미지 조종 유닛과, 시선 방향을 검출하기 위한 수단과, 상기 이미지 조정 유닛 및 상기 시선 방향을 검출하기 위한 수단과 통신 결합된 프로세서를 포함하는 디스플레이 장치를 통해 디스플레이하는 방법으로서, 상기 방법은,
    (i) 적어도 하나의 컨텍스트 디스플레이를 통해 컨텍스트 이미지를 렌더링하는 단계로서, 렌더링된 컨텍스트 이미지의 투영의 각도 폭은 40도 내지 220도 범위인, 상기 컨텍스트 이미지를 렌더링하는 단계와;
    (ii) 상기 적어도 하나의 초점 이미지 프로젝터를 통해 초점 이미지를 렌더링하는 단계로서, 렌더링된 초점 이미지의 투영의 각도 폭은 5도 내지 60도 범위인, 상기 초점 이미지를 렌더링하는 단계와;
    (ⅲ) 시각적 장면을 생성하기 위해 상기 렌더링된 컨텍스트 이미지의 투영과 결합될 상기 렌더링된 초점 이미지의 투영을 준비하는 단계와;
    (iv) 시선 방향을 검출하고, 상기 검출된 시선 방향을 사용하여 입력 이미지의 시각 정확도의 영역을 결정하는 단계와;
    (v) 상기 컨텍스트 이미지 및 상기 초점 이미지를 생성하도록 상기 입력 이미지를 처리하는 단계로서, 상기 컨텍스트 이미지는 제 1 해상도를 갖고, 상기 초점 이미지는 상기 제 1 해상도보다 높은 제 2 해상도를 갖으며, 상기 처리 단계는,
    상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하는 컨텍스트 이미지의 영역을 마스킹하는 단계와;
    - 상기 입력 이미지의 시각 정확도의 영역에 실질적으로 대응하도록 상기 초점 이미지를 생성하는 단계를 포함하는, 상기 처리 단계와;
    (vi) 렌더링된 초점 이미지의 투영이 렌더링된 컨텍스트 이미지의 마스킹된 영역의 투영과 실질적으로 중첩하도록, 상기 적어도 하나의 투영 표면상에서 상기 렌더링된 초점 이미지의 투영의 위치를 조정하도록 상기 이미지 조종 유닛을 제어하는 단계를 포함하고,
    상기 단계들 (i), (ii) 및 (vi)은 실질적으로 동시에 수행되는, 방법.
  15. 제 14 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 투영 표면에 대해 상기 초점 이미지 프로젝터를 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 1 액추에이터를 제어함에 의해 조정되는, 방법.
  16. 제 14 항 또는 제 15 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 초점 이미지 프로젝터에 대해 상기 이미지 조종 유닛의 적어도 하나의 제 2 액추에이터를 제어함에 의해 조정되고, 상기 적어도 하나의 광학 소자는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는, 방법.
  17. 제 14 항, 제 15 항, 또는 제 16 항에 있어서, 상기 렌더링된 초점 이미지의 상기 투영의 위치는 상기 적어도 하나의 투영 표면을 이동시키도록 상기 이미지 조종 유닛의 적어도 하나의 제 3 액추에이터를 제어함으로써 조정되는, 방법
  18. 제 14 항 내지 제 17 항 중의 어느 한 항에 있어서, 상기 적어도 하나의 초점 이미지 프로젝터에 대하여 상기 디스플레이 장치의 적어도 하나의 초점 렌즈를 이동시키도록 상기 디스플레이 장치의 적어도 하나의 제 4 액추에이터를 제어함에 의해 상기 렌더링된 초점 이미지의 상기 투영의 초점을 조정하는 단계를 더 포함하고, 상기 적어도 하나의 초점 렌즈는 상기 적어도 하나의 투영 표면과 상기 적어도 하나의 초점 이미지 프로젝터 사이의 광 경로 상에 위치되는, 방법.
KR1020170160672A 2016-12-01 2017-11-27 디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 이용하여 디스플레이하는 방법 KR20180062953A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US15/366,497 2016-12-01
US15/366,424 2016-12-01
US15/366,424 US9711072B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using focus and context displays
US15/366,497 US9711114B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using projectors
US15/372,973 US9710887B1 (en) 2016-12-01 2016-12-08 Display apparatus and method of displaying using context display and projectors
US15/372,973 2016-12-08

Publications (1)

Publication Number Publication Date
KR20180062953A true KR20180062953A (ko) 2018-06-11

Family

ID=61962213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170160672A KR20180062953A (ko) 2016-12-01 2017-11-27 디스플레이 장치 및 컨텍스트 디스플레이와 프로젝터를 이용하여 디스플레이하는 방법

Country Status (6)

Country Link
EP (1) EP3330773B1 (ko)
JP (2) JP6741643B2 (ko)
KR (1) KR20180062953A (ko)
CN (1) CN107959838B (ko)
HK (1) HK1247485B (ko)
SG (1) SG10201709801UA (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955685B2 (en) * 2018-12-28 2021-03-23 Lightspace Technologies, SIA Volumetric display arrangement and a method for representing content of an image
JPWO2021049473A1 (ko) 2019-09-09 2021-03-18

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0618471B1 (en) * 1993-03-29 2004-02-18 Canon Kabushiki Kaisha Image display apparatus
US20050185281A1 (en) * 2003-12-04 2005-08-25 New York University Eye tracked foveal display by controlled illumination
KR20070093723A (ko) * 2006-03-15 2007-09-19 (주)케이티에프테크놀로지스 영상 오버레이 기능을 가지는 영상 처리 장치, 이를 가지는휴대용 단말기 및 영상 오버레이 방법
US20130050833A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Adjustment of a mixed reality display for inter-pupillary distance alignment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
JP2741063B2 (ja) * 1989-05-02 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 広視野表示装置
US5394203A (en) * 1994-06-06 1995-02-28 Delco Electronics Corporation Retracting head up display with image position adjustment
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US5956180A (en) * 1996-12-31 1999-09-21 Bass; Robert Optical viewing system for asynchronous overlaid images
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2005202221A (ja) * 2004-01-16 2005-07-28 Toshiba Corp 表示装置
JP4765024B2 (ja) * 2004-12-13 2011-09-07 国立大学法人東北大学 光出射方向変換機能を有するフィルムを用いたスクリーンおよびプロジェクションディスプレイシステム光学系
JP4735234B2 (ja) * 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
US8269692B2 (en) * 2007-11-20 2012-09-18 Panasonic Corporation Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP5515405B2 (ja) * 2009-05-15 2014-06-11 セイコーエプソン株式会社 映像処理装置、映像表示装置および映像処理方法
US8638498B2 (en) * 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
JP2014059432A (ja) * 2012-09-18 2014-04-03 Seiko Epson Corp 画像表示システム
TWI548079B (zh) * 2013-04-16 2016-09-01 友達光電股份有限公司 透明顯示器及透明顯示面板
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0618471B1 (en) * 1993-03-29 2004-02-18 Canon Kabushiki Kaisha Image display apparatus
US20050185281A1 (en) * 2003-12-04 2005-08-25 New York University Eye tracked foveal display by controlled illumination
KR20070093723A (ko) * 2006-03-15 2007-09-19 (주)케이티에프테크놀로지스 영상 오버레이 기능을 가지는 영상 처리 장치, 이를 가지는휴대용 단말기 및 영상 오버레이 방법
US20130050833A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Adjustment of a mixed reality display for inter-pupillary distance alignment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:RESEARCH REPORT(2012.10) *

Also Published As

Publication number Publication date
JP2018113675A (ja) 2018-07-19
CN107959838A (zh) 2018-04-24
JP6741643B2 (ja) 2020-08-19
SG10201709801UA (en) 2018-07-30
HK1247485B (zh) 2019-11-29
EP3330773A1 (en) 2018-06-06
CN107959838B (zh) 2019-03-08
EP3330773B1 (en) 2020-06-24
JP2019106723A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
KR101977903B1 (ko) 디스플레이 장치 및 프로젝터를 이용하여 디스플레이하는 방법
US9710887B1 (en) Display apparatus and method of displaying using context display and projectors
CN103885181B (zh) 近眼视差屏障显示器
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
WO2018100240A1 (en) Display apparatus image renderers and optical combiners
EP3548991A1 (en) Gaze-tracking system and method of tracking user's gaze
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
CN110088662B (zh) 成像***和产生背景图像和聚焦图像的方法
EP3330773B1 (en) Display apparatus and method of displaying using context display and projectors
US20230084541A1 (en) Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement
CN109963145B (zh) 视觉显示***及方法，以及头戴显示装置
EP4345531A1 (en) Eye tracking system with in-plane illumination
CN117724240A (zh) 具有面内照明的眼睛追踪***

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application