KR20180066212A - 디스플레이에 있어서 그리고 디스플레이에 관한 개선 - Google Patents

디스플레이에 있어서 그리고 디스플레이에 관한 개선 Download PDF

Info

Publication number
KR20180066212A
KR20180066212A KR1020187013445A KR20187013445A KR20180066212A KR 20180066212 A KR20180066212 A KR 20180066212A KR 1020187013445 A KR1020187013445 A KR 1020187013445A KR 20187013445 A KR20187013445 A KR 20187013445A KR 20180066212 A KR20180066212 A KR 20180066212A
Authority
KR
South Korea
Prior art keywords
display
image
light component
light
light components
Prior art date
Application number
KR1020187013445A
Other languages
English (en)
Other versions
KR102600906B1 (ko
Inventor
사이먼 트리탈
Original Assignee
배 시스템즈 피엘시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배 시스템즈 피엘시 filed Critical 배 시스템즈 피엘시
Publication of KR20180066212A publication Critical patent/KR20180066212A/ko
Application granted granted Critical
Publication of KR102600906B1 publication Critical patent/KR102600906B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0266—Reduction of sub-frame artefacts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

사용자가 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 방법이 제공된다. 이미지는 사전 설정된 상대적인 타이밍을 가진 2개 이상의 광 성분에 의해 형성된다. 수신된 이미지 데이터가 이미지 내의 구성요소로서 표시될 피처의 하나 이상의 광 성분을 정의한다. 예를 들어, 사용자의 눈의 응시 방향에 대한 디스플레이의 방위의 변화율을 나타내는 레이트 데이터가 연관된 트래커 시스템으로부터 수신된다. 수신된 레이트 데이터는, 수신된 레이트 데이터와 사전 설정된 상대적인 타이밍에 따라 광 성분에 대한 결정된 위치에 필요한 각각의 조정을 결정하는 것을 포함하여, 피처의 하나 이상의 광 성분 각각을 표시하기 위한 디스플레이 상의 위치를 결정하기 위해 사용된다. 하나 이상의 광 성분 각각의 결정된 위치가, 각각의 결정된 위치에 광 성분을 표시하기 위한 표시 장치에 출력된다.

Description

디스플레이에 있어서 그리고 디스플레이에 관한 개선
본 발명은 시청자에게 표시용 이미지를 생성하기 위한 디스플레이 방법과 장치에 관한 것이다. 상세하게는 그러나 비제한적으로, 본 발명은, 상기 디스플레이와 시청자의 응시 방향의 상대적인 움직임이 있는 경우 디스플레이 휘도를 증가시키고 또한 디스플레이 '플리커(flicker)'를 감소시키는 방식으로, 디스플레이 상에서 보기 위한 이미지를 생성하는 방법과 장치를 제공한다. 특히, 본 발명은 실질적으로 투명한 헤드 또는 헬멧 마운티드 디스플레이(HMD) 시스템에 적용될 수 있다.
이미지 리프레시 구간, 예를 들어 60Hz 디스플레이의 경우 디스플레이 장치의 화소가 광을 방출하는 중인 16.667ms의 구간의 비율(듀티 사이클)을 증가시킴으로써 HMD 시스템에서 표시용 이미지의 휘도의 증가를 달성하려고 시도하는 것이 공지되어 있다. 예를 들어, 디지털 디스플레이 시스템에서, 이것은 사용되는 펄스 폭 변조(pulse width modulation, PWM) 방식이 화소가 이미지 리프레시 구간의 더 큰 부분 동안 광 펄스를 방출하도록 데 필요하다는 것을 의미한다. 디스플레이 조명 소스, 예를 들어 발광 다이오드(LED)의 달성 가능한 휘도의 제한, 그리고 광 효율의 제한을 고려하면, 이미지 리프레시 구간 동안 총 광 펄스 지속시간을 늘리는 것이 이미지 휘도를 높이기 위한 유일한 옵션일 수 있다.
또한, 지속 기간을 늘림으로써 디스플레이 플리커를 감소시키거나 또는 이미지 리프레시 구간 동안 방출되는 광 펄스의 수를 증가시키려는 것도 공지되어 있다.
하지만, HMD 내의 화소에 의해 광 펄스가 방출될 수 있는 전체 지속 시간을 증가시키는 것은, 예를 들어 생성된 이미지가 표시되는 동안 HMD와 시청자의 응시 방향이 상대적으로 움직이는 경우에 불필요한 디스플레이 아티팩트(display artefact)를 초래하는 것으로 알려져 있다. 특히, 이렇게 상대적으로 움직이는 동안 시청자가 디스플레이의 영역 위에서, 생성되는 이미지의 '번짐(smearing)'을 인식할 수 있다. 이 문제는 시청자가 머리 움직임과 상관없이 소위 '공간 안정화된(space-stabilised)' 심볼이 표시되는 중인 외부 장면을 보고 있는 경우에 특히 뚜렷하고, 공간 안정화된 심볼은 외부 장면 내의 지점으로의 시선(line of sight)에 대해 디스플레이 내에서 고정된 위치에 중첩되어 보이기 위한 것이다. 이러한 이유로, 이미지 번짐 현상의 발생을 줄이기 위해 가능한 한 짧은 주기로 화소가 빛을 방출하는 것이 일반적이지만, 달성 가능한 최대 화소 휘도에 대한 제한과 관련되어 있고 또한 디스플레이 플리커 효과를 볼 확률이 높아진다.
본 발명의 제1 양태에 따르면, 사용자가 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 방법이 제공된다. 상기 이미지는 사전 설정된 상대적인 타이밍을 가진 2개 이상의 광 성분에 의해 형성되고, 상기 표시 장치를 제어하기 위한 방법은,
(i) 상기 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 광 성분을 정의하는 이미지 데이터를 수신하는 단계;
(ii) 상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하는 단계;
(iii) 상기 수신된 레이트 데이터와 상기 사전 설정된 상대적인 타이밍에 따라 상기 광 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 광 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하는 단계; 및
(iv) 상기 각각의 결정된 위치에 상기 광 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 광 성분 각각의 결정된 위치를 출력하는 단계를 포함한다.
이 방법에 의하면, 상기 디스플레이와 시청자의 눈의 응시 방향이 상대적으로 움직이는 동안 이미지 번짐 또는 다중 이미지 효과의 문제를 초래하지 않고 디스플레이 휘도가 증가될 수 있고 또한 표시되는 이미지 리프레시의 유효 레이트도 증가될 수 있다.
상대적인 움직임이 없는 경우 상기 피처가 표시되었을 위치가 다르면, 이미지 내부에서 피처의 복수의 광 성분 각각을 표시할 위치를 결정하는 때, 가능한 축, 즉 방위각(azimuth), 또는 고도(elevation), 또는 롤(roll)에 있어서의 축 중 임의의 축에 대해 디스플레이와 시청자의 눈의 응시 방향의 상대적인 움직임이 보상될 수 있다. 이런 방식으로, 이미지 리프레시 구간 내에서 복수의 광 성분이 사용되어 필요한 휘도 레벨을 얻을 수 있으며, 각각의 광 성분은 각각의 광 성분이 표시될 시간에 디스플레이 상에서 정확히 위치한 것으로 인식될 것이다.
예시적인 실시예에서, 단계 (iii)에서, 상기 2개 이상의 광 성분이 서로 다르면, 상기 2개 이상의 광 성분 중 하나가 기준 광 성분으로서 선택되어, 상기 선택된 기준 광 성분의 타이밍에 대한 상기 광 성분의 타이밍을 이용하여 상기 각각의 조정이 결정된다. 이는 광 성분 중 하나에 대해 디스플레이 상의 위치를 결정할 때 조정이 필요하지 않다는 점에서 처리 장점을 가진다.
상기 2개 이상의 서로 다른 광 성분은 순차적으로 표시될 3개의 광 성분을 포함하고, 상기 선택된 기준 광 성분은 상기 3개의 광 성분 중에서 표시될 제2 광 성분이다. 각각의 컴포넌트 이미지의 광 성분이 시간상 균등하게 이격되어 있는 경우, 제1 성분에 필요한 조정은 제3 성분에 필요한 조정과 단순한 관계를 가지고 있으며, 따라서 처리 시간이 감소된다.
다른 예시적인 실시예에서, 단계 (iii)에서, 상기 하나 이상의 광 성분을 표시하기 위한 위치를 결정하는 단계는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고, 상기 디스플레이 상의 위치를 결정하는 단계를 포함한다. 이 예에서, 각각의 조정을 결정하는 것은, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 광 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정하는 것을 포함한다.
예시적인 실시예에서, 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타낸다.
본 발명의 특정한 적용에서, 상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의할 수 있도록, 중요한 롤 움직임의 기회가 제한될 수 있다. 이로 인해 디스플레이 상에 피처의 광 성분을 위치시킬 때 레이트 데이터의 2개의 성분만이 고려될 수 있다. 특히, 단계 (iii)에서, 각각의 조정을 결정하는 것은, 상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 광 성분이 표시되었을 위치로부터의 선형 변위를 결정하는 것을 포함한다. 여기서, 상기 선형 변위는, 상기 광 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 방위의 상기 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 방위의 상기 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함한다. 선형 시프트의 계산은 회전에 대한 조정보다 위치 계산을 더 단순하게 하며, 제로 롤 레이트를 가정하여 가능할 수 있다.
예시적인 실시예에서, 상기 2개 이상의 광 성분은 각각의 3개의 위상으로 표시되는 광 성분을 포함하고, 상기 위상은 상기 사전 설정된 상대적인 타이밍을 가진다.
다른 예시적인 실시예에서, 단계 (iii)에서, 상기 피처의 하나 이상의 광 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하는 단계는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하는 단계를 더 포함한다. 이는 광 성분을 표시하기 위한 보다 정밀하게 위치시킬 수 있게 하며, 이미지 투사의 타입이 공간 안정화된 심볼의 인식된 위치에 미치는 영향이 인식된다.
예시적인 실시예에서, 상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정된다. 이러한 트래커는, 디스플레이가 움직이는 동안 외부에 보이는 피처에 응시를 고정적으로 유지하는 사용자로 인해, 또는 눈의 응시 방향의 변화로 인해, 또는 2개의 조합으로 인해 디스플레이와 응시 방향의 상대적인 움직임이 결정될 수 있게 한다.
예시적인 실시예에서, 상기 디스플레이는 시준된 이미지를 표시하도록 되어 있는 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)이다. 이러한 적용 예에서, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출될 수 있다.
본 발명의 제2 양태에 따르면, 제1 양태의 표시 장치를 제어하기 위한 방법과 동등한 장점과 혜택을 가진, 사용자가 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 장치가 제공된다. 상기 이미지는 사전 설정된 상대적인 타이밍을 가진 2개 이상의 광 성분에 의해 형성되고, 상기 표시 장치를 제어하기 위한 장치는,
상기 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 광 성분을 정의하는 이미지 데이터를 수신하기 위한 입력;
상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하기 위한 입력; 및
이미지 프로세서를 포함한다. 상기 이미지 프로세서는,
(i) 상기 수신된 레이트 데이터와 상기 사전 설정된 상대적인 타이밍에 따라 상기 광 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 광 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하고;
(ii) 상기 각각의 결정된 위치에 상기 광 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 광 성분 각각의 결정된 위치를 출력하도록 구성된다.
상기 장치의 예시적인 실시예에서, 단계 (i)에서, 상기 2개 이상의 광 성분이 서로 다르면, 상기 2개 이상의 광 성분 중 하나가 기준 광 성분으로서 선택되어, 상기 이미지 프로세서가 상기 선택된 기준 광 성분의 타이밍에 대한 상기 광 성분의 타이밍을 이용하여 상기 각각의 조정을 결정하도록 구성된다.
상기 장치의 예시적인 실시예에서, 상기 2개 이상의 서로 다른 광 성분은 순차적으로 표시될 3개의 광 성분을 포함하고, 상기 선택된 기준 광 성분은 상기 3개의 광 성분 중에서 표시될 제2 광 성분이다.
상기 장치의 다른 예시적인 실시예에서, 상기 2개 이상의 광 성분은 3개의 광 성분을 포함하고, 상기 사전 설정된 상대적인 타이밍은 상기 3개의 광 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의한다.
상기 장치의 예시적인 실시예에서, 단계 (i)에서, 상기 이미지 프로세서는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고 상기 디스플레이 상의 위치를 결정함으로써, 상기 하나 이상의 광 성분을 표시하기 위한 위치를 결정하도록 구성된다. 이 예에서, 상기 이미지 프로세서는, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 광 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정함으로써 상기 각각의 조정을 결정하도록 구성된다.
상기 장치의 다른 예시적인 실시예에서, 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타낸다.
상기 장치의 예시적인 실시예에서, 상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위의 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의한다. 이 가정은, 단계 (i)에서, 상기 이미지 프로세서가, 상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 광 성분이 표시되었을 위치로부터의 선형 변위를 결정함으로써 각각의 조정을 결정할 수 있게 하며, 상기 선형 변위는 상기 광 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 방위의 상기 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 방위의 상기 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함한다.
제1 양태에 대해 말하자면, 상기 2개 이상의 광 성분은 각각의 3개의 위상으로 표시되는 광 성분을 포함하고, 상기 위상은 상기 사전 설정된 상대적인 타이밍을 가진다.
상기 장치의 다른 예시적인 실시예에서, 단계 (i)에서, 상기 이미지 프로세서는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하여 상기 피처의 하나 이상의 광 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하도록 구성된다.
상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정된다.
본 발명의 제2 양태의 특정한 적용 예에서, 상기 디스플레이는 시준된 이미지를 표시하도록 되어 있는 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)이다. 이 적용 예에서, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출된다.
본 발명의 제3 양태에 따르면, 헤드 또는 헬멧 마운티드 디스플레이(HMD) 시스템이 제공된다. 상기 HMD 시스템은 헤드 또는 헬멧 마운티드 디스플레이 상에 표시하기 위한 이미지를 생성하기 위한 표시 장치; 및 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 이미지 프로세서를 포함한다.
본 발명의 제4 양태에 따르면, 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체, 또는 컴퓨터 판독가능 매체에 접근하기 위한 수단을 포함하고, 디지털 프로세서 상에 로딩되어 실행되는 경우, 상기 컴퓨터 프로그램 코드는 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된다.
본 발명의 제5 양태에 따르면, 본 발명의 제1 양태에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 프로그램된 이미지 프로세서가 제공된다.
이하, 첨부 도면을 참조하여 본 발명의 예시적인 실시예에 대해 더 상세하게 설명할 것이다.
도 1a는 주어진 프레임 구간 또는 이미지 리프레시 구간 내에서 적절한 지속시간과 휘도의 시퀀스 광 펄스 또는 이미지 컴포넌트를 이용하여 화소를 생성하기 위한 공지된 방법을 나타낸 도면이다.
도 1b는 화소의 표시된 성분이 감지되는 위치 상의 표시에 대해 눈 움직임이 미치는 공지된 영향을 나타낸 도면이다.
도 2는 헤드 또는 헬멧 마운티드 디스플레이(HMD)에서 공간 안정화된 심볼을 포함하는 이미지를 생성하기 위한 공지된 프로세스의 단계를 나타내는 흐름도이다.
도 3 및 도 3a는 본 발명의 예시적인 실시예에 따른 개선된 이미지 생성 프로세스를 나타낸 흐름도이다.
도 4a는 HMD 이미지 영역의 범위 내에서 이미지 성분을 생성하는 것이 본 발명의 예시적인 실시예에 의해 어떻게 변경될 수 있는지를 나타낸 도면이다.
도 4b는 본 발명의 예시적인 실시예에 따른, 도 4a에 도시된 변형 예에 속한 HMD 이미지 영역을 보는 경우 시청자가 인식하는 것을 나타낸 도면이다.
도 5는 본 발명의 예시적인 실시예가 구현될 수 있는 전형적인 HMD 시스템의 구성 요소를 나타낸 도면이다.
표시 장치에 의해 출력된 이미지가 바이저의 내측 표면 위에 투사되어 시청자(viewer)의 눈 쪽으로 반사되거나 또는 도파로를 통해 전달될 수 있고 또한 외부 장면의 사용자의 시야 위에 중첩(overlay)되어 보이게끔 시선(line of sight)을 따라 출력될 수 있도록, 공지된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD) 시스템은 이미지 프로세서의 제어 하에 있는 디지털 표시 장치, 및 사용자의 시선에서 외부 장면 쪽으로 사용자의 한쪽 눈이나 다른쪽 눈의 전방에 위치하는 헬멧 바이저(helmet visor) 또는 도파로 형태의 투명한 결합기를 포함한다. 표시 장치는 표시 장치의 타입에 따라, 예를 들어 하나 이상의 조명 광원으로부터의 광을 반사하거나, 또는 방출하거나 또는 투과시키기 위해 개별적으로 통제 가능한 각각의 화소 크기의 소자(element)를 가진 디지털 마이크로미러 장치(digital micro-mirror device, DMD) 또는 실리콘 액정(Liquid Crystal on Silicon, LCoS) 표시 장치를 포함할 수 있다. 광이 동일한 세기이지만 다양한 지속시간의 광의 별개의 펄스의 사전 정의된 순차적 조합의 형태로 표시 장치로부터 각각의 화소 위치에 출력될 수 있다. 눈은 이미지 리프레시 구간 - 예시적인 60Hz 디스플레이 리프레시 레이트의 경우 16.667ms - 동안 각각의 화소 위치에 출력되는 별개의 광 펄스를 통합하고, 이미지 리프레시 구간 동안 각각의 출력된 펄스의 총 지속시간에 의해 결정되는 휘도의 화소를 인식한다.
물론, 당업자에게 알려져 있는 이미지 리프레시 구간 동안 디스플레이 내의 화소에 의해 출력되는 요구된 레벨의 광을 얻기 위한 다른 방법이 이용 가능할 수 있을 것이다. 컬러 디스플레이의 경우, 대응하는 표시 장치는 시청자가 인식하고자 하는 컬러에 의해 결정되는 상대적 지속시간의 이미지 리프레시 기간 동안 적색 광, 녹색 광, 및 청색 광의 펄스를 순차적으로 방출하도록 제어될 것이다.
하지만, 전술한 바와 같이, 화소로 하여금 적절한 지속시간의 광을 방출하도록 하기 위해 어떤 방법이 사용되든 간에, 디스플레이 이미지 영역에 대해 사용자의 눈이 상대적으로 움직이는 경우, 총 지속시간이 길수록, 시청자가 다중 이미지를 인식하는 것을 포함하여 이미지 번짐 효과(image smearing effect)를 인식할 확률이 높다. 이러한 상대적인 움직임은, 눈이 외부 장면에 보이는 피처에 고정된 응시를 유지하는 동안(고정된 응시 방향이 관성 공간 내의 고정된 피처에 대한 것인 경우, 전정안반사(vestibulo-ocular reflex)), 외부 장면 내의 다른 피처 쪽으로 응시 방향을 바꾸거나(단속성 안구 운동(saccadic eye movement)), 또는 머리의 움직임 및 그에 따른 디스플레이의 움직임 쪽으로 응시 방향을 바꾸기 위해 눈 자체를 움직이기 때문일 수 있다.
본 발명의 예시적인 실시예는, 모노크롬 디스플레이에서 전술한 번짐 현상 또는 다중 이미지 효과를 초래하지 않으면서 표시 장치 내의 화소에 의한 전체 광 출력을 증가시키고 또한 디스플레이 플리커의 발생을 감소시키는 방법을 제공한다. 본 발명은, 지속적인 조명의 구간이든 또는 기존의 펄스폭 변조(pulse width modulation, PWM) 방식에 따른 광 펄스의 세트를 포함하는 구간이든 간에, 이미지 리프레시 구간을, 이미지의 '광 성분' 또는 이미지의 심볼 또는 이미지 내부의 피처가 표시될 수 있는 별개의 위상 또는 펄스 구간으로 분할함으로써 화소가 광을 방출할 수 있는 이미지 리프레시 구간의 비율을 높이도록 표시 장치를 제어하는 방법을 제공하며, 따라서 PWM 방식은 각각의 광 성분에 대해 반복된다. 도 1을 참조하여 간략하게 설명할 것인데, 전술한 번짐 효과를 방지하기 위해 각각의 광 성분은 본 발명에 따른 수정된 처리 대상으로, 그렇지 않으면 번짐 효과가 계속 발생할 것이다.
먼저 도 1a를 참조하면, 디스플레이의 이미지 영역 내부에서 3개의 인접한 화소들(화소(1), 화소(2), 및 화소(3))의 그룹 내의 화소(2)에 대해서, 이 예에서는 실질적으로 동일한 지속시간의 컴포넌트 광 펄스(1), 광 펄스(2), 광 펄스(3)가 각각 표시되는 이미지 리프레시 구간이 3개의 위상으로 예시적으로 분할되는 것을 나타낸 도면이다. 이 도면에서는, 시청자가 화소(2)가 펄스(1), 펄스(2), 펄스(3)의 총 지속시간이 나타내는 휘도의 화소라고 인식할 수 있도록, 펄스(1), 펄스(2), 및 펄스(3)이 방출되고 있는 구간 동안 디스플레이에 대한 눈의 응시 방향의 변화가 없다고 가정한다.
도 1b를 참조하면, 디스플레이에 대한 눈 움직임의 효과가 펄스(2)와 펄스(3)로 하여금 이들 펄스가 생성되는 시간에 의도한 화소 위치로부터 변위되어 보이게 한다는 것을 알 수 있다. 이 예에서는, 이러한 변위의 결과가 눈이 화소(2)와 화소(3)을 커버하는 디스플레이의 영역 내의 펄스(1), 펄스(2), 및 펄스(3)으로부터의 상이한 조합의 광을 통합하는 것이며, 시청자가 그 영역 위에서 3개의 컴포넌트 광 펄스의 변위의 정도에 따라 화소(2)를 위한 광이 희미해진 것을 인식한다. 화소(2)는 더 이상 의도한 휘도를 가진 것으로 보이지 않으며, 시청자는 3개의 펄스가 인식되는 변위된 위치에서 위치적 중첩의 정도에 따라, 펄스(1) 단독, 펄스(1)과 펄스(2), 펄스(2)와 펄스(3), 및 펄스(3) 단독의 조합으로 인해 광 레벨의 범위가 달라지는 것을 본다.
도 1에 도시된 3개의 컴포넌트 광 펄스가 서로 다른 컬러이면, 광 펄스의 변위의 효과가 화소(2)를 대상으로 하는 색의 분리로서 인식될 것이며, 시청자는 디스플레이 상의 각각의 위치에서 펄스 컬러의 중첩하는 조합에 따라 상이한 컬러의 범위를 보게 된다.
특히, 머리 움직임과 관계없이, 디스플레이 시스템이 소위 '공간 안정화된' 심볼을 표시하는 중인 경우 도 1b에 도시된 이러한 문제가 발생하는데, '공간 안정화된' 심볼은 외부에 보이는 장면 내의 지점으로의 시선에 대해 공간에 고정된 것처럼 디스플레이에 나타내기 위한 것이다. 공간에 고정된 것처럼 나타내기 위해서는, 연관된 트래커 시스템에 의해 제공되는 디스플레이 방위 데이터를 이용하여 디스플레이 내에서 공간 안정화된 심볼을 지속적으로 재배치함으로써 시청자의 머리 또는 헬멧의 움직임 및 그에 따른 시청자의 응시 방향에 대한 디스플레이의 움직임을 보상해야 한다. 시청자의 시선은, 머리가 움직이는 동안 관성 공간에서 볼 수 있는 피처에 시선이 고정되어 유지되는 경향이 있고(심볼이 정렬되는 지점과 반드시 같지는 않음), 공간 안정화된 심볼의 재배치된 화소를 표시할 때 발생되는 광 펄스 심볼이 시청자의 눈의 망막 상의 다른 지점에서 수신될 수 있으며, 결과적으로 도 1b에 도시된 효과가 인식된다.
본 발명의 예시적인 실시예에 따르면, 복수의 별개의 위상 또는 이미지 리프레시 구간의 선택된 부분 위의 펄스 구간 동안 이미지 번짐 현상 또는 다중 이미지 효과를 방지하는 방식으로 방출되는 광 펄스를 이용하여 이미지를 생성하기 위한 방식이 제공된다.
본 발명을 고려하여, 생성된 이미지에 심볼 또는 다른 피처를 위치시키는 공지된 방법에 대해 도 2를 참조하여 먼저 설명할 것이고, 본 발명에 의해 제공된 방법에 대한 개선에 대해 도 3 및 도 3a를 참조하여 설명할 것이다.
먼저 도 2를 참조하면, 공지된 프로세스의 단계를 나타내는 흐름도가 제공되며, 이 프로세스는 HMD가 표시하기 위한 고정된 심볼과 공간 안정화된 심볼을 포함하는 컬러 이미지를 생성하기 위한 것이다. 이 프로세스는 관성 참조 프레임(inertial frame of reference)에 대한 디스플레이의 방위를 결정하는 단계 10에서 시작한다. 디스플레이가 헤드 또는 헬멧에 움직이지 않게 고정된다고 가정하면, 이 단계는 예를 들어, 본 출원인에 의해 출원 중인 영국 특허출원 제GB1516120.1호에 기술된 바와 같은 헤드 또는 헬멧 트래커 시스템에 의해 수행될 수 있다. 단계 10에서 결정된 방위 데이터는, 현재의 이미지 리프레쉬 구간 동안 각각의 공간 안정화된 심볼의 디스플레이의 이미지 영역에서 필요한 위치를 계산하기 위해 단계 15에서 사용된다. 생성된 심볼을 결정된 위치에 표시하기 위해, 각각의 심볼이 단계 20에서 '드로잉'되어, 이미지 리프레시 구간 동안 디스플레이의 이미지 영역에서 각각의 화소의 필요한 휘도를 결정하는 데이터 세트를 생성한다. 드로잉된 심볼을 정의하는 데이터 세트가 이미지 저장소(25)에 저장된다.
디스플레이의 이미지 영역 내에서 고정된 위치에 표시될 필요가 있는 임의의 심볼이 위치되어 단계 30에서 드로잉될 수 있으며, 결과 데이터 세트가 이미지 저장소 (25)에 저장될 수 있다.
단계 35에서, 이미지 저장소(25)의 내용이 출력되어 비디오 데이터를 생성하기 위해 사용되고, 단계 20에서 정의되는 결정된 화소 특성을 단계 30에서 정의된 특성과 결합한다. 그 다음에, 단계 40에서 시청자에게 보이는 디스플레이 상에 나타나도록, 생성된 비디오 데이터가 디스플레이 시스템의 디스플레이 장치에 출력되어 이미지 리프레쉬 주기 동안 이미지를 생성한다. 그 다음에, 이 프로세스가 다음 이미지 리프레시 구간 동안 단계 10에서 다시 시작된다.
관성 공간 내의 지점으로의 시선에 정렬된 것처럼 보이는 데 필요한 심볼의 위치를 단계 15에서 계산하는 공지된 기법에서, 연관된 트래커 시스템에 의해 단계 10에서 결정된 바와 같이, 관성 공간 내의 HMD의 방위를 회전 행렬([HW])로 나타낼 수 있다.
Figure pct00001
여기서, a, e, 및 r은 각각 방위(azimuth), 고도(elevation), 및 롤(roll)에 있어서의 오일러 각이다.
이 행렬([HW])은 관성 공간 내의 지점으로의 공지된 시선 벡터(P W )를 HMD의 기준 프레임에 정의된 지점으로의 시선 벡터(P H )로 변환하는 것을 정의하고 있다. 따라서,
Figure pct00002
벡터(P W )는 일반적으로 관련된 시스템으로부터 알려져 있을 것이다. 예를 들어, 이 피처가 공지된 중간 지점이면, 사용자의 상대적인 위치와 그에 따른 관성 공간 내의 디스플레이의 위치는 GPS 또는 다른 소스로부터 알려져 있을 것이다. 단계 15에서, 결정된 시선 벡터(P H )는 다음 수식에 따라 표시 좌표로 변환될 수 있다.
Figure pct00003
여기서, (X D ,Y D )는 디스플레이 좌표이고, x H , y H , z H 는 벡터 P H 의 성분이며, S는 디스플레이용 스케일링 팩터이다.
본 발명의 발명자들은, HMD 배향에 있어서의 변화율 및 기준 위상으로서 선택된 다른 위상 중 선택된 하나에 대한 위상의 타이밍에 기초하여 각각의 광 성분에 대해 회전 행렬([H'H]) 형태의 행렬([HH])에 대한 조정이 계산될 수 있도록, 트래커 시스템으로부터 보통 이용 가능하거나 또는 트래커 시스템으로부터 최근에 수신된 방위 데이터로부터 도출될 수 있는 HMD의 방위에 있어서의 변화율이 심볼 위치 결정의 계산에 입력될 수 있음을 인식하였다. 그 다음에, 수식 (1)을 다음과 같이 수정하여, 조정 행렬([H'H])이 조정된 시선 벡터(P' H )를 계산하는 데 사용될 수 있다.
Figure pct00004
그 다음에, 주어진 광 성분에 적용 가능한 조정된 벡터(P' H )가 선택된 기준 위상의 광 성분에 대한, 디스플레이 상의 광 성분의 조정된 위치를 계산하는 데 사용될 수 있다. 이 계산에서, 벡터(P' H )의 성분은 수식 (2)에서의 미조정된 벡터(P H )의 성분을 대체하여 광 성분의 표시 위치를 제공한다. 미조정된 행렬 [HW]을 이용하여 수식 (1)과 수식 (2)에 따라 계산되는 선택된 기준 위상에 대해서는 표시되는 위치의 조정이 필요하지 않다.
각각의 광 성분이 디스플레이에서 각각의 광 성분의 각각의 조정된 방향(P' H ), 또는 선택된 기준 위상의 경우 미조정된 방향(P H )으로 정렬되어 보일 수 있도록, 계산된 위치는 심볼의 각각의 광 성분을 드로잉하기 위해 사용된다. 따라서, 심볼의 광 성분은 디스플레이가 상대적으로 움직이는 동안 디스플레이 내에서 사용자의 추정되는 고정된 응시 방향에 정렬되어 보인다.
편리하게, 본 발명의 이 예시적인 실시예에서, 선택된 기준 위상의 광 성분, 이 예에서는 제2 위상의 광 성분(도 1의 예에서, 펄스(2))이 3개의 광 펄스의 순서로 디스플레이에 나타나도록 예상되는 시간에 회전 행렬 [HW]이 동기화될 수 있도록, 트래커 시스템이 예측 능력을 포함할 수 있다. 이를 통해 심볼이 의도한 시선과 더 정확히 정렬되게 한다. 하지만, 동기화의 부족 자체가 심볼의 광 성분의 인식된 정렬을 달성하는 데 영향을 미친다고 예상되지 않는다. 보다 중요하게는, 레이트 데이터가 광 성분 중 적어도 하나의 성분, 예컨대 선택된 기준 위상을 표시하는 기대 시간에 동기화되면, 광 성분이 특히 상대적인 움직임의 레이트가 우연히 그 시간에 빠르게 바뀌는 중인 디스플레이에서 보다 정확하게 정렬되어 보이게 될 것이라고 가정할 수 있다.
선택된 기준 위상의 광 펄스의 경우, 매트릭스 [HW]에 대한 조정이 필요하지 않으며, 디스플레이에 심볼을 위치시키는 데 수식 (1)이 적용된다. 하지만, 제1 위상 광 성분에 대한 조정 회전 행렬([H'H])은 다음과 같이 근사화될 수 있다.
Figure pct00005
여기서,
Figure pct00006
이고,
Figure pct00007
이며,
Figure pct00008
는 제1 위상의 광 펄스와 제2 위상의 광 펄스 사이의 시간이고, r x , r y , 및 r z 은 HMD 기준 프레임 축을 따라 분해된 초당 라디안의 HMD 회전율이다.
유사하게, 또한
Figure pct00009
이라고 가정하면, 즉, 제1 제2 위상 광 성분과 제2 위상 광 성분 간의 펄스 간격과 제3 위상 광 성분과 제2 위상 광 성분 간의 펄스 간격이 크기는 같지만 부호가 반대라고 가정하면, 제3 위상 광 성분의 펄스에 대한 [H'H]는 단순히 제1 위상 광 성분에 대한 [H'H]의 전치행렬이다.
제1 위상이 기준 위상으로서 선택되면, 조정 회전 행렬([H'H])이 제1 위상의 펄스의 타이밍에 대한 이후의 제2 위상과 제3 위상의 펄스의 타이밍에 기초하여 결정될 것이다.
일반적으로, 파일럿 헬멧의 설계와 항공기 조종석의 경계를 고려할 때, 머리 회전은 수평 성분과 수직 성분만을 포함한다. 이러한 상황에서, 롤 레이트(r x )가 0이라고 가정하는 전술한 계산에 대한 단순화가 가능하다. 이러한 단순화는, 전술한 회전 조정 방법보다는 공간 안정화된 심볼에 대한 디스플레이에서의 조정된 위치를 결정하기 위해 더 단순한 변위 방법을 채택할 수 있는 기회를 제공한다.
수평 위치와 수직 위치에 필요한 변위는, 서로 다른 광 성분에 대한 펄스의 상대적인 타이밍 및 트래커 시스템으로부터 각각 수신되는 HMD 방위(r y, r z )에 있어서의 방위각와 고도 변화율을 이용하여, 위의 회전 조정 방법과 유사하게 다음 수식에 따라 결정될 수 있다.
수평 위치에서의 시프트 =
Figure pct00010
수직 위치에서의 시프트 =
Figure pct00011
여기서,
s는 디스플레이의 중심 화소의 각도 크기(라디안)이고,
Figure pct00012
는 교정에 필요한 시간 차이(초), 실제로는 트래커 시스템이 동기화된 기준 시점, 예를 들어 전술한 바와 같이 제2 광 성분을 표시하는 시간과 다른 성분들 각각의 펄스를 표시하는 시간 사이의 시간 차이이며,
r y 와 r z 은 HMD 축에서의 조정된 자이로 레이트(gyro rate)로부터 획득되는 HMD 회전율(초당 라디안 단위)이며,
Sym x 와 Sym y 는 단계 15에서 계산된 심볼의 사전 시프트된 x와 y 표시 위치이다.
수학식 (4)와 수학식 (5)에서, HMD 내의 이미지 투사가 예를 들어, 방위각(A z )에서의 심볼의 수평 표시 위치가 tan(A z )에 비례하는 평평한 표면 투사라고 가정한다. 구형 투사에 의해 이미지가 투사되면, 제수 cos2 항이 1이라는 값을 취한다고 가정할 수 있는 수식 (4)와 수식 (5)를 다음과 같이 단순화할 수 있다.
수평 위치에서의 시프트 =
Figure pct00013
수직 위치에서의 시프트 =
Figure pct00014
이하, 도 2를 참조하여 앞에서 설명한 프로세스에 대한 개선에 대해 도 3 및 도 3a를 참조하여 설명할 것이며, 이 개선은 본 발명의 예시적인 실시예에 따라 HMD에서 공간 안정화된 심볼의 광 성분을 위치시키기 위한 전술한 기법을 구현한다.
도 3 및 도 3a를 참조하면, 주어진 이미지 리프레시 구간에 관해, 예컨대 전술한 바와 같이 회전 행렬([HW]) 형태로 공지된 트래커 시스템을 이용하여 HMD의 방위를 결정하는 데 있어서 개선된 과정이 단계 50에서 시작한다. 단계 55에서, HMD의 방위에 있어서의 변화율도 트래커 시스템으로부터 수신된 방위 데이터의 최근 이력을 사용하여 보다 국지적으로 HMD 트래커 시스템에 의해 결정된다.
단계 60에서, 제2 위상의 광 성분에 대한 제1 위상의 광 성분의 상대적인 타이밍을 제공하는, 저장소(65)로부터 판독된 사전 설정된 정보와 함께, 단계 55로부터 결정된 레이트가 사용되어, HMD 방위에 대한 회전의 조정, 예컨대 표시될 공간 안정화된 심볼의 제1 위상 성분에 적용 가능한, 전술한 바와 같은 회전 행렬([H'H])을 결정한다. 유사하게, 단계 70에서, 제1 위상의 광 성분에 대한 제3 위상의 광 성분의 상대적인 타이밍을 제공하는 저장소(65)로부터 판독된 사전 설정된 정보와 함께, 단계 55로부터 결정된 레이트가 사용되어, 표시될 공간 안정화된 심볼의 제3 위상 성분에 적용 가능한 회전의 조정을 결정한다. 단계 75와 단계 80에서, 결정된 회전의 조정([H'H])은 제1 위상 성분과 제3 위상에 대해 단계 50에서 결정된 HMD 방위([HW])에 각각 적용된다.
그 다음에, 제1 위상 성분에 대해 단계 75에서 결정된 조정된 HMD 방위가, 저장소(90)로부터 판독되는, 공간 안정화된 심볼이 정렬될 관성 공간 내의 지점으로의 알려진 방향을 정의하는 이미 결정된 데이터와 함께 단계 85에서 사용되어, 심볼의 제1 위상 성분을 표시하기 위한 HMD 이미지 영역 상의 위치를 계산한다. 유사하게, 단계 95에서, 제3 위상 성분에 대해 단계 80에서 결정된 조정된 HMD 방위가, 저장소(90)로부터 판독되는, 관성 공간 내의 피처로의 방향을 정의하는 이미 결정된 데이터와 함께 사용되어, 심볼의 제3 위상 성분을 표시하기 위한 HMD 이미지 영역 상의 위치를 계산한다.
단계 50에서 결정된 HMD 방위가 단계 100에서 사용되어, 공간 안정화된 심볼의 '기준' 제2 위상 광 성분을 표시하기 위한 위치를 계산한다. 이어서, 단계 85, 단계 95, 및 단계 100에서 결정된 위치는 도 2에 도시된 공지된 과정의 단계 20에서와 같이, 심볼의 제1 위상 성분, 제3 위상 성분, 및 제2 위상 성분을 드로잉하기 위해 단계 105, 단계 110 및 단계 115에서 각각 사용된다. 공간 안정화된 심볼을 표시하는 데 관련된 화소의 특성을 정의하는 데이터는 이미지 저장소(120)에 저장된다.
HMD의 이미지 영역에서 고정된 위치에 드로잉될 임의의 심볼의 위치는 단계 125에서 계산되고, 고정된 심볼의 광 성분이 단계 130에서 드로잉된다. 결과 데이터는 이미지 저장소(120)에 저장된다.
이미지 리프레시 구간에 대한 화소 특성을 정의하는 데 필요한 모든 데이터를 축적한 후, HMD의 표시 장치에 이미지를 생성하기 위해, 이미지 저장소(120)의 내용이 단계 135에서 판독되어 단계 140에서 사용됨으로써, 사용될 비디오 데이터를 생성한다. 그 다음에, 다음 이미지 리프레시 구간 동안 단계 50에서 이 프로세스가 다시 시작된다.
이하, 전술한 개선된 이미지 생성 과정을 구현하는 효과에 대해 도 4를 참조하여 설명할 것이다.
도 4a, 그리고 추가로 도 1a를 참조하면, 3개의 위상의 광 성분에 대한 표시 위치를 결정하기 위해 전술한 기술을 적용한 결과는 예시적인 상대적 이동 속도로 알 수 있다. 이 예에서, 실질적으로 상대적인 움직임이 없는 도 1a에 도시된 위치 설정과 비교하여, 공간 안정화된 심볼의 화소(2)에 대한 의도된 제1 위상 광 성분과 제3 위상 광 성분 각각의 결정된 위치가 제2 '기준' 위상 광 성분의 우측(150)과 좌측(155)으로 각각 변위된 것을 알 수 있을 것이다. 도 4a에서, 디스플레이상의 선택된 '기준' 제2 위상 광 성분의 위치가 본 발명에 의한 도 1a의 표시된 위치와 비교하여 바뀌지 않은 것을 알 수 있다. 물론, 일반적으로 제1 광 성분과 제3 광 성분은 단계 60과 단계 70에서 결정된 회전 조정에 따라 각각 변위될 것이고, 도시된 예에서와 같이, HMD의 상대적 움직임의 방향과 눈 응시 방향이 실질적으로 방위 내에 있지 않으면, HMD의 이미지 영역을 가로 질러 이 성분들의 2차원 벡터 변위가 발생한다.
이하, 도 4b 및 추가적으로 도 1b를 참조하면, MD와 응시 방향의 상대적인 이동 중에 시청자가 재배치된 광 성분이 공간 안정화된 심볼의 화소(2)에 미치는 영향을 인식하는 것이 도시되어 있다. 알 수 있는 바와 같이, 화소(2)의 위치로부터 어느 정도(160) 전체적으로 약간 변위되어 있지만, 시청자는 HMD의 이미지 영역 내에 광 펄스(1), 광 펄스(2), 및 광 펄스(3)이 함께 배치되어 있다고 인식하며, 시청자가 의도된 바와 같이 요구된 휘도의 화소(2)를 인식한다. 이러한 상대적인 움직임 동안 표시되는 화소의 인식된 위치에서의 부분적인 시프트(160)(도 4b에 변위(160)로서 표시됨)는 심볼과 전체적인 이미지에 대한 시청자의 인식을 크게 손상시키지 않는 것으로 밝혀졌다.
본 발명의 예시적인 실시예는 디스플레이에 대한 눈 움직임의 표시를 제공하는 트래커 데이터에 접근하는 임의의 헤드 또는 헬멧 기반 디지털 디스플레이 시스템에 구현될 수 있다. 이하, 본 발명의 실시예를 구현할 수 있는 예시적인 헬멧 장착 디스플레이 시스템에 대해 도 5를 참조하여 개략적으로 설명할 것이다.
도 5를 참조하면, 도 5는 예컨대 헬멧 트래커 시스템의 컴포넌트가 장착되고 또한 헬멧 마운티드 디스플레이, 이 예에서 파일럿(205)의 눈(220)의 전방에 위치하는 실질적으로 투명한 도파로 디스플레이(215)를 나타낸 도면이다. 트래커 시스템은 헬멧(210) 위에 장착된 하나 이상의 관성 센서(225)를 포함할 수 있고, 관성 센서(225)는 트래커 시스템 프로세서(230)에 데이터를 제공하도록 배치된다. 트래커 시스템은, 헬멧(210)의 외피 안에 통합되어 있고 또한 트래킹 시스템 프로세서(230)에 의해 광 펄스를 방출하도록 제어 가능한 발광 다이오드(LED)(235)의 배치를 포함하는 광학 헬멧 트래커를 포함할 수 있다. 광학 헬멧 트래커는 또한 공지된 고정된 위치에 헬멧 마운티드 LED(235)로부터의 광을 검출하고 또한 대응하는 신호를 트래커 시스템 프로세서(230)에 송신하도록 배치된 하나 이상의 카메라(240)의 배열(그 중 하나가 도 5에 도시되어 있음)을 포함한다.
트래커 시스템 프로세서(230)는, 헬멧(210)의 방위, 따라서 관성 공간 내의 디스플레이(215)의 방위를 결정하거나, 또는 파일럿(205)이 주행 중일 수 있는 예(도 5에 도시되지 않음)에 대해서, 항공기에 대한 디스플레이(215)의 방위를 결정하기 위해 관성 센서(225)와 광학 헬멧 트래커 시스템의 카메라(240)로부터 수신되는 데이터를 해석한다. 또한, 트래커 시스템 프로세서(230)는 이러한 데이터 입력으로부터 헬멧의 방위에 있어서의 변화율과 이에 따른 디스플레이(215)의 방위를 결정하고, 표시 방위와 변화율 데이터를 이미지 생성기(245)에 출력할 수 있다. 이미지 발생기(245)는, 외부 세계의 투명한 도파관(215)을 통해 조종사의 시야에 중첩되어 보이도록 헬멧 마운티드 디스플레이(215)를 보는 파일럿에게 표시하기 위한 공간 안정화된 이미지를 포함하는 이미지를 생성하도록 되어 있다.
디스플레이(215)의 이미지 영역에 대한 눈(220) 또는 파일럿의 응시 방향이 움직이는 동안 이미지 번짐 또는 다중 이미지 효과가 발생하는 것을 줄일 목적으로 서로 다른 공간 안정화된 심볼의 광 성분을 위치시키는 경우, 이미지 생성기(245)는 트래커 시스템 프로세서(230)로부터의 데이터를 이용하여, 헬멧 마운티드 디스플레이(215)의 이미지 영역에 대한 파일럿의 눈(220) 또는 응시 방향의 검출된 움직임을 고려하기 위해 전술한 기법을 구현하도록 배열되어 있을 수 있다.
예를 들어, 항공기 상에서 사용될 수 있는 헤드 또는 헬멧 마운티드 디지털 디스플레이 시스템과 관련하여 본 발명의 예시적인 실시예에 대해 설명하였다. 하지만, 전술한 기술을 포함하는 개선된 컬러 이미지 생성기의 동작 원리는 관련 기술 분야에서 통상의 지식을 가진 자에게 명백한 바와 같이, 시청자의 눈과 이미지의 상대적인 움직임을 보상하기 위해 더 광범위하게 적용됨으로써, 생성된 이미지에서 색 번짐이 인지되는 효과를 방지하거나 또는 실질적으로 감소시킨다. 이러한 눈 움직임을 정의하는 정보는, 시청자의 눈의 실제 변위를 추적하기 위한 헤드 트래커 또는 헬멧 트래커 또는 눈 트래커에 의해 제공될 수 있으며, 따라서 디스플레이의 이미지 영역에 대한 시선을 추적할 수 있다. 트래킹 데이터 중 어떤 소스도 전술한 본 발명의 예시적인 실시예에 사용될 수 있다.

Claims (34)

  1. 사용자가 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 방법으로서,
    상기 이미지는 사전 설정된 상대적인 타이밍을 가진 2개 이상의 광 성분에 의해 형성되고,
    상기 표시 장치를 제어하기 위한 방법은,
    (i) 상기 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 광 성분을 정의하는 이미지 데이터를 수신하는 단계;
    (ii) 상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하는 단계;
    (iii) 상기 수신된 레이트 데이터와 상기 사전 설정된 상대적인 타이밍에 따라 상기 광 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 광 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하는 단계; 및
    (iv) 상기 각각의 결정된 위치에 상기 광 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 광 성분 각각의 결정된 위치를 출력하는 단계
    를 포함하는 표시 장치를 제어하기 위한 방법.
  2. 제1항에 있어서,
    단계 (iii)에서, 상기 2개 이상의 광 성분이 서로 다르면, 상기 2개 이상의 광 성분 중 하나가 기준 광 성분으로서 선택되어, 상기 선택된 기준 광 성분의 타이밍에 대한 상기 광 성분의 타이밍을 이용하여 상기 각각의 조정이 결정되는, 표시 장치를 제어하기 위한 방법.
  3. 제2항에 있어서,
    상기 2개 이상의 서로 다른 광 성분은 순차적으로 표시될 3개의 광 성분을 포함하고, 상기 선택된 기준 광 성분은 상기 3개의 광 성분 중에서 표시될 제2 광 성분인, 표시 장치를 제어하기 위한 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사전 설정된 상대적인 타이밍은 상기 3개의 광 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의하는, 표시 장치를 제어하기 위한 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    단계 (iii)에서, 상기 하나 이상의 광 성분을 표시하기 위한 위치를 결정하는 단계는,
    상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선(line of sight)에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고, 상기 디스플레이 상의 위치를 결정하는 단계
    를 포함하는, 표시 장치를 제어하기 위한 방법.
  6. 제5항에 있어서,
    단계 (iii)에서, 각각의 조정을 결정하는 것은,
    각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 광 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정하는 것
    을 포함하는, 표시 장치를 제어하기 위한 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타내는, 표시 장치를 제어하기 위한 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위에 있어서 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의하는, 표시 장치를 제어하기 위한 방법.
  9. 제8항에 있어서,
    단계 (iii)에서, 각각의 조정을 결정하는 것은,
    상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 광 성분이 표시되었을 위치로부터의 선형 변위를 결정하는 것 - 상기 선형 변위는, 상기 광 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함하고 있음 -
    을 포함하는, 표시 장치를 제어하기 위한 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 2개 이상의 광 성분은 각각의 3개의 위상으로 표시되는 광 성분을 포함하고, 상기 위상은 상기 사전 설정된 상대적인 타이밍을 가진, 표시 장치를 제어하기 위한 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    단계 (iii)에서, 상기 피처의 하나 이상의 광 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하는 단계는,
    상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하는 단계
    를 더 포함하는, 표시 장치를 제어하기 위한 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템(eye tracker system)으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정되는, 표시 장치를 제어하기 위한 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 디스플레이는 시준된 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)인, 표시 장치를 제어하기 위한 방법.
  14. 제7항 또는 제8항에 있어서,
    상기 디스플레이는 시준된 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(HMD)이고, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출되는, 표시 장치를 제어하기 위한 방법.
  15. 사용자가 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 장치로서,
    상기 이미지는 사전 설정된 상대적인 타이밍을 가진 2개 이상의 광 성분에 의해 형성되고,
    상기 표시 장치를 제어하기 위한 장치는,
    상기 이미지 내의 구성요소로서 표시될 피처(feature)의 하나 이상의 광 성분을 정의하는 이미지 데이터를 수신하기 위한 입력;
    상기 사용자의 눈의 응시 방향에 대한 상기 디스플레이의 방위(orientation)의 변화율을 나타내는 레이트 데이터(rate data)를 수신하기 위한 입력; 및
    이미지 프로세서
    를 포함하고,
    상기 이미지 프로세서는,
    (i) 상기 수신된 레이트 데이터와 상기 사전 설정된 상대적인 타이밍에 따라 상기 광 성분에 대한 결정된 위치에 필요한 각각의 조정(adjustment)을 결정하는 것을 포함하여, 상기 피처의 하나 이상의 광 성분 각각을 표시하기 위한 상기 디스플레이 상의 위치를 결정하고;
    (ii) 상기 각각의 결정된 위치에 상기 광 성분을 표시하기 위한 상기 표시 장치에 상기 하나 이상의 광 성분 각각의 결정된 위치를 출력하도록 구성된, 표시 장치를 제어하기 위한 장치.
  16. 제15항에 있어서,
    단계 (i)에서, 상기 2개 이상의 광 성분이 서로 다르면, 상기 2개 이상의 광 성분 중 하나가 기준 광 성분으로서 선택되어, 상기 이미지 프로세서가 상기 선택된 기준 광 성분의 타이밍에 대한 상기 광 성분의 타이밍을 이용하여 상기 각각의 조정을 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  17. 제16항에 있어서,
    상기 2개 이상의 서로 다른 광 성분은 순차적으로 표시될 3개의 광 성분을 포함하고, 상기 선택된 기준 광 성분은 상기 3개의 광 성분 중에서 표시될 제2 광 성분인, 표시 장치를 제어하기 위한 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 2개 이상의 광 성분은 3개의 광 성분을 포함하고, 상기 사전 설정된 상대적인 타이밍은 상기 3개의 광 성분을 표시하는 시간들 사이의 동일한 시간 간격을 정의하는, 표시 장치를 제어하기 위한 장치.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 피처가 관성 공간 내의 지점으로의 사전 설정된 시선(line of sight)에 정렬되어 보일 수 있도록, 관성 공간 내에서 상기 디스플레이의 방위를 나타내는 데이터를 수신하고 상기 디스플레이 상의 위치를 결정함으로써, 상기 하나 이상의 광 성분을 표시하기 위한 위치를 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  20. 제19항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 각각의 조정을 상기 수신된 방위 데이터에 적용한 후에 상기 광 성분의 위치가 결정될 수 있도록, 상기 디스플레이의 방위를 나타내는 상기 수신된 데이터에 대한 상기 각각의 조정을 결정함으로써 상기 각각의 조정을 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 관성 공간 내에서 상기 디스플레이의 방위의 변화율을 측정하고, 상기 측정된 비율은 상기 사용자의 응시 방향에 대한 상기 디스플레이의 상대적인 움직임의 비율을 나타내는, 표시 장치를 제어하기 위한 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 디스플레이의 기준 프레임 내의 롤 축(roll axis) 주위에서 상기 디스플레이의 방위에 있어서 변화가 없다고 가정하고 또한 상기 사용자의 응시 방향이 관성 공간 내에서 실질적으로 고정되어 있다고 가정하면, 상기 수신된 레이트 데이터는 상기 디스플레이의 기준 프레임으로 분해되는, 방위각(azimuth)에 있어서 그리고 고도(elevation)에 있어서 상기 디스플레이의 방위의 변화율을 정의하는, 표시 장치를 제어하기 위한 장치.
  23. 제22항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 디스플레이와 상기 사용자의 응시 방향의 상대적인 움직임이 없었다면 상기 광 성분이 표시되었을 위치로부터의 선형 변위를 결정함으로써 각각의 조정을 결정하도록 구성되고, 상기 선형 변위는 상기 광 성분을 표시하기 위한 상기 디스플레이를 가로지르는 순 선형 변위를 제공하기 위해, 고도에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 고도의 변위와 결합되는, 방위각에 있어서 상기 방위의 수신된 변화율을 이용하여 결정되는 변위로서 상기 디스플레이를 가로지르는 방위각의 변위를 포함하는, 표시 장치를 제어하기 위한 장치.
  24. 제15항 내지 제23항 중 어느 한 항에 있어서,
    상기 2개 이상의 광 성분은 각각의 3개의 위상으로 표시되는 광 성분을 포함하고, 상기 위상은 상기 사전 설정된 상대적인 타이밍을 가진, 표시 장치를 제어하기 위한 장치.
  25. 제15항 내지 제24항 중 어느 한 항에 있어서,
    단계 (i)에서, 상기 이미지 프로세서는, 상기 이미지 투사가 평평한 표면 투사인지 또는 구형 투사인지 여부를 고려하여 상기 피처의 하나 이상의 광 성분 각각에 대한 상기 디스플레이 상의 위치를 결정하도록 구성된, 표시 장치를 제어하기 위한 장치.
  26. 제15항 내지 제25항 중 어느 한 항에 있어서,
    상기 수신된 레이트 데이터는 상기 디스플레이와 연관된 아이 트래커 시스템(eye tracker system)으로부터 수신되거나, 또는 상기 디스플레이와 연관된 아이 트래커 시스템에 의한 출력으로부터 결정되는, 표시 장치를 제어하기 위한 장치.
  27. 제15항 내지 제26항 중 어느 한 항에 있어서,
    상기 디스플레이는 시준된 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD)인, 표시 장치를 제어하기 위한 장치.
  28. 제21항 또는 제22항에 있어서,
    상기 디스플레이는 시준된 이미지를 표시하도록 구성된 헤드 또는 헬멧 마운티드 디스플레이(HMD)이고, 상기 레이트 데이터는 헤드 또는 헬멧 트래커 시스템으로부터 수신되거나, 또는 헤드 또는 헬멧 트래커 시스템으로부터 도출되는, 표시 장치를 제어하기 위한 장치.
  29. 헤드 또는 헬멧 마운티드 디스플레이(head or helmet-mounted display, HMD) 시스템으로서,
    헤드 또는 헬멧 마운티드 디스플레이 상에 표시하기 위한 이미지를 생성하기 위한 표시 장치; 및
    제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 이미지 프로세서
    를 포함하는 헤드 또는 헬멧 마운티드 디스플레이(HMD) 시스템.
  30. 컴퓨터 프로그램 제품으로서,
    컴퓨터 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체, 또는 컴퓨터 판독가능 매체에 접근하기 위한 수단을 포함하고,
    디지털 프로세서 상에 로딩되어 실행되는 경우, 상기 컴퓨터 프로그램 코드는 제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 구성된 컴퓨터 프로그램 제품.
  31. 이미지 프로세서로서,
    제1항 내지 제14항 중 어느 한 항에 따른 표시 장치를 제어하기 위한 방법을 구현하도록 프로그램된 이미지 프로세서.
  32. 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 방법으로서,
    실질적으로, 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 표시 장치를 제어하기 위한 방법.
  33. 디스플레이 상에서 보기 위한 이미지를 생성하도록 표시 장치를 제어하기 위한 장치로서,
    실질적으로, 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 표시 장치를 제어하기 위한 장치.
  34. 헤드 또는 헬멧 마운티드 디스플레이 시스템으로서,
    실질적으로, 첨부 도면을 참조하여 본 명세서에서 설명된 바와 같은 그리고 첨부 도면에 도시된 바와 같은 헤드 또는 헬멧 마운티드 디스플레이 시스템.
KR1020187013445A 2015-10-13 2016-10-03 디스플레이에 있어서 그리고 디스플레이에 관한 개선 KR102600906B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1518113.4 2015-10-13
GBGB1518113.4A GB201518113D0 (en) 2015-10-13 2015-10-13 Improvements in and relating to displays
PCT/GB2016/053069 WO2017064469A1 (en) 2015-10-13 2016-10-03 Improvements in and relating to displays

Publications (2)

Publication Number Publication Date
KR20180066212A true KR20180066212A (ko) 2018-06-18
KR102600906B1 KR102600906B1 (ko) 2023-11-09

Family

ID=55130988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013445A KR102600906B1 (ko) 2015-10-13 2016-10-03 디스플레이에 있어서 그리고 디스플레이에 관한 개선

Country Status (7)

Country Link
US (1) US10473937B2 (ko)
EP (2) EP4296829A3 (ko)
KR (1) KR102600906B1 (ko)
AU (2) AU2016337278A1 (ko)
ES (1) ES2973125T3 (ko)
GB (2) GB201518113D0 (ko)
WO (1) WO2017064469A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518113D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518110D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
WO2019012522A1 (en) * 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
US11528953B2 (en) * 2020-05-19 2022-12-20 Rockwell Collins, Inc. Display embedded visor helmet mounted display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764202A (en) 1995-06-26 1998-06-09 Cae Electronics Ltd. Suppressing image breakup in helmut mounted displays which use temporally separated bit planes to achieve grey scale
US20060146189A1 (en) * 2003-02-14 2006-07-06 Koninklijke Philips Electronics N.V. Processing signals for a color sequential display
US7593026B2 (en) 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US9389419B2 (en) 2008-08-14 2016-07-12 Honeywell International Inc. Near-to-eye display artifact reduction system and method
JP5353361B2 (ja) * 2009-03-26 2013-11-27 ブラザー工業株式会社 カラー画像表示装置
WO2011018655A2 (en) 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
US20140247286A1 (en) * 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US9407797B1 (en) 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9230473B2 (en) 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
JP6415608B2 (ja) 2014-03-03 2018-10-31 アイウェイ ビジョン エルティーディー． 目用投影システム
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518113D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518110D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data

Also Published As

Publication number Publication date
WO2017064469A1 (en) 2017-04-20
EP4296829A2 (en) 2023-12-27
KR102600906B1 (ko) 2023-11-09
EP3363011B1 (en) 2023-12-20
US10473937B2 (en) 2019-11-12
GB2543948A (en) 2017-05-03
US20190072768A1 (en) 2019-03-07
GB2543948B (en) 2020-05-20
AU2022206781B2 (en) 2024-06-13
GB201518113D0 (en) 2015-11-25
ES2973125T3 (es) 2024-06-18
AU2016337278A1 (en) 2018-04-26
AU2022206781A1 (en) 2022-08-18
GB201616786D0 (en) 2016-11-16
EP3363011A1 (en) 2018-08-22
EP4296829A3 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
KR102600905B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
KR102600906B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
AU2021200916B2 (en) Display system and method
EP3281406B1 (en) Retina location in late-stage re-projection
KR20220002334A (ko) 일정한 밝기를 유지하기 위한 동적 광 출력 조정을 갖는 디스플레이 시스템
KR102580633B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
CN113412442A (zh) 控制***和渲染管道
US10990167B1 (en) Display apparatus and method using projection matrices to generate image frames

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant