KR20020059651A - 시선추적기능이 있는 개인용 디스플레이 - Google Patents

시선추적기능이 있는 개인용 디스플레이 Download PDF

Info

Publication number
KR20020059651A
KR20020059651A KR1020027005417A KR20027005417A KR20020059651A KR 20020059651 A KR20020059651 A KR 20020059651A KR 1020027005417 A KR1020027005417 A KR 1020027005417A KR 20027005417 A KR20027005417 A KR 20027005417A KR 20020059651 A KR20020059651 A KR 20020059651A
Authority
KR
South Korea
Prior art keywords
light
eye
image
user
response
Prior art date
Application number
KR1020027005417A
Other languages
English (en)
Other versions
KR100703930B1 (ko
Inventor
존 알. 루이스
네나드 네스트로빅
Original Assignee
마이크로비젼, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로비젼, 인코퍼레이티드 filed Critical 마이크로비젼, 인코퍼레이티드
Publication of KR20020059651A publication Critical patent/KR20020059651A/ko
Application granted granted Critical
Publication of KR100703930B1 publication Critical patent/KR100703930B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Signal Processing (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

디스플레이장치는 사용자의 눈에 정렬된 이미지 소스, 눈위치 검출기, 및 결합기를 포함한다. 눈 위치 검출기는 사용자의 눈에서 반사된 광을 감시하여 동공위치를 확인한다. 이미지 소스의 광이 동공에 대해 정렬되지 않으면, 물리적 위치조정기구가 상기 이미지소스와 상기 빔 결합기의 상대적 위치들을 조절하여, 상기 이미지소스의 광이 상기 동공에 대해 병진이동됨으로써 디스플레이를 동공에 정렬시킨다. 한 실시예에서, 위치조정기는 압전 위치조정기이고 다른 실시예에서 위치조정기는 서보기구 또는 형상기억합금이다.

Description

시선추적기능이 있는 개인용 디스플레이{PERSONAL DISPLAY WITH VISION TRACKING}
사용자에게 도형 화상이나 비디오 화상의 시각적 디스플레이를 제공하는 다양한 기술들이 가능하다. 예컨대, 텔레비젼과 컴퓨터 모니터와 같은 음극선관 타입의 디스플레이(CRT)는 아주 흔한 것이다. 그러한 장치들은 몇가지 제한들이 있다. 예컨대 CRT는 부피가 크고 전력소모가 상당하므로 휴대하거나 머리에 착용하기에는 바람직하지 않게된다.
액정 디스플레이나 전계방출 디스플레이와 같은 평판 디스플레이는 부피가 더 적고 전력소모도 더 적다. 그러나 전형적인 평판 디스플레이는 수인치 정도의 스크린을 사용한다. 그러한 스크린은 디스플레이가 사용자 시야의 조그만 부분만을 차지하도록 하는 응용이나 머리착용식 응용의 경우에 사용이 제한된다.
보다 최근에는, 부분 즉 확대 투시응용을 위해 매우 작은 디스플레이가 개발되었다. 그러한 응용의 경우에, 디스플레이의 일부가 사용자의 시야에 위치고정되고, 도 1에 도시한대로 사용자 시야(44)의 어떤 영역(42)을 차지하는 화상을 보여준다. 사용자는 표시된 화상(46)과 배경정보(48)를 둘다 보게된다.
이러한 디스플레이가 갖는 한가지 난제는 배경정보의 여러지역들을 보기 위하여 사용자의 눈이 움직임에 따라 사용자의 시야가 이동한다는 것이다. 시야가 이동하면서 영역(42)의 위치가 시야(44)에 대해 변화한다. 영역(42)가 배경정보(48)에 대해 고정되어 있는 경우에 이런 이동은 바람직할 수 있다. 그러나, 화상이 사용자 시야의 고정장소에 있어야 하는 응용에 있어서는 이런 이동이 바람직하지 않을 수 있다. 화상이 시야내에서 움직이는 경우에도 표시장치의 광학소자들은 이 광학소자들에 대한 사용자 동공의 모든 장소 즉 방향들에서 적절한 화상을 제공하지 못한다.
소형 디스플레이의 한예는 여기에 참고로 병합되는 VIRTUAL RETINAL DISPLAY라는 명칭으로 Furness 외에게 허여된 미국특허 제 5,467,104 호에 개시된 바와 같은 주사방식 디스플레이이다. 주사방식 디스플레이에서, 스캐닝 미러 또는 음향광학 스캐너와 같은 스캐너는 변조된 광빔을 투시자의 망막위에 주사한다. 이 주사된 광은 투시자의 동공을 통해 눈에 들어가 각막과 수정체에 의해 망막위에 맺힌다. 도 2에 관련하여 설명되듯이 그러한 디스플레이는 투시자의 눈이 움직일때 문제가 있다.
도 2에 도시한대로, 주사방식 디스플레이(50)는 투시자의 눈(52)이 투시하도록 위치고정된다. 디스플레이(50)는 4개의 주요부분들을 포함하고, 각 부분이 이하 상세히 설명된다. 첫째, 제어전자장치(54)는 컴퓨터, 텔레비젼 수상기, 비디오카세트 플레이어, 또는 유사장치와 같은 이미지 소스(56)로 부터의 영상신호 VIM에 응답하여 디스플레이(50)의 동작을 제어하는 전기신호들을 제공한다.
디스플레이(50)의 두번째 부분은 영상신호 VIM내 정보에 대응하는 변조를 갖는 변조된 광빔(53)을 출력하는 광원(57)이다. 이 광원은 발광다이오드(LED)와 같은 직접변조식 광 이미터이거나, 음향-광학 변조기와 같은 외부 변조기에 의해 간접적으로 변조되는 연속 광 이미터일 수도 있다.
디스플레이(50)의 세번째 부분은 가는줄무늬패턴(raster pattern)과 같은 2차원 주사패턴을 통해 광원(57)의 변조된 광을 주사하는 스캐닝 조립체(58)이다. 그러한 스캐닝 조립체의 일예는 여기에 참고로 병합되는 MINIATURE OPTICAL SCANNER FOR A TWO-AXIS SCANNING SYSTEM 이라는 명칭으로 Melville 외에게 허여된 미국특허 제 5,557,444 호에 개시된 것과 같은 기계적으로 공진하는 스캐너이다. 그러나, 음향-광학 스캐너와 같은 다른 주사조립체들이 그러한 디스플레이에 사용될수도 있다.
광학장치(60)는 디스플레이(50)의 4번째 부분을 형성한다. 도 2의 실시예에서 이미징 광학장치(60)는 눈(52)이 투시하기에 적절하게 주사빔(53)을 성형하고 촛점조정하는 1쌍의 렌즈(62)(64)를 포함한다. 주사빔(53)은 동공(65)을 통해 눈(52)에 들어가 망막(59)에 부딪친다. 주사변조광이 망막(59)에 부딪칠때 투시자가 영상을 인지한다.
도 3에 도시된 대로, 디스플레이(50)는 투시자가 축선을 벗어나 볼때 문제를갖는다. 투시자의 눈(52)이 돌아갈때 투시자의 동공(65)이 그 중심위치에서 벗어난다. 이런 회전위치에서 이미징 광학장치(56)의 주사빔중 모두 또는 일부가 동공(65)에 들어가지 않을수 있다. 결과적으로 투시자의 망막(59)이 주사광의 모두를 받지 않는다. 그래서 투시자는 전체 영상을 인지하지 못한다.
이와 같은 문제에 대한 한가지 해법은 주사된 유효빔의 단면적을 확장하는 광학장치를 사용하는 것이다. 이 확장된 빔의 일부가 동공(65)에 부딪쳐서 투시자에게 보인다. 이러한 방법은 유효 투시각을 개선할 수 있고 투시자가 주사 영상을 확실히 인지하도록 도움이 되지만, 투시자가 받는 광의 세기는 빔 반경의 제곱에 비례하여 감소된다.
(발명의 개요)
디스플레이 장치는 사용자 눈의 위치 또는 방향을 추적하고 이미지 소스의 위치 또는 방향을 적극적으로 조정하거나 중간 부품을 조작하여 광이 사용자의 동공에 확실하게 들어가게 하거나 사용자 시야에 가상 영상의 인지된 장소를 제어한다. 한 실시예에서 디스플레이는 배경으로 부터의 광과 이미지 소스로 부터의 광을 받아들이는 빔 결합기(beam combiner)를 포함한다. 이 결합기로 부터의 결합광은 사용자의 동공을 통해 받아져서 망막에 부딪친다. 사용자는 가상영상과 배경의 결합인 영상을 인지한다.
배경의 광과 이미지 소스의 광 외에, 추가적인 광이 사용자의 눈에 부딪친다. 이 추가광은 이미지 소스가 제공하는 광의 일부이거나, 별도 광원에 의해 제공될수도 있다. 양호하게는 이 추가광이 빔 결합기의 광과 정렬된다. 이 추가광이 이미지 소스가 아닌 소스로부터 나오는 경우, 양호하게는 이 추가광은 보이지 않는 파장에 있다.
추가광의 일부가 사용자 눈에 의해 반사되거나 산란되고 이 반사 또는 산란부분은 추가광이 동공을 통해 눈에 들어오는지 여부 또는 추가광이 눈의 나머지 지역에 부딪치는지 여부에 일부 의존한다. 그래서 이 반사 또는 산란광은 추가광이 사용자의 동공에 정렬된지를 표시한다.
한 실시예에서, 검출기의 이미지 필드가 빔 결합기를 나오는 광과 정렬된다. 이 검출기는 추가광의 반사부분을 받아 반사광의 양을 표시하는 전기신호를 위치제어기에 제공한다.
한 실시예에서, 검출기는 저해상도 CCD 어레이이고, 위치 제어기는 검출기의 신호들에 응답하여 조절 데이터를 제공하는 메모리내 룩업테이블과 전자제어기를 포함한다. 이 룩업테이블의 데이터는 검출기와 이미지 소스 둘을 지탱하는 기판에 물리적으로 결합되어 있는 압전 위치조정기구를 구동시킨다.
검출기가 상기 반사된 추가광의 장소 변이를 표시할때 제어기는 룩업테이블에 억세스하여 위치조정 데이터를 검색한다. 이 검색된 데이터에 응답하여 압전 위치조정기구는 기판을 이동시켜 이미지 소스 및 검출기를 동공에 재정렬시킨다.
다른 실시예에서, CCD 어레이는 다수의 이격된 검출기들을 포함하는 4분원 타입 검출기(quadrant-type detector)로 대체된다. 이 검출기들의 출력이 주사빔을 동공에 일치시키는 서치기능을 실현하는 제어회로를 구동시킨다.
한 실시예에서, 1보다 큰 배율을 갖는 이미징 광학장치는 이미지 소스의 광과 추가광을 사용자의 눈에 보내는데 도움을 준다.
이미지 소스와 검출기의 물리적 이동이 있으면 이미지 소스의 광이 눈에 부딪치는 장소의 이동은 훨씬 더 크게된다. 그래서 압전 위치조정기구가 조금만 움직여도 동공위치는 더 크게 움직일 수 있다.
이 발명은 디스플레이에 관한 것이고, 더 자세히 말하자면 투시자의 눈 방향에 감응하여 화상을 생성하는 디스플레이에 관한 것이다.
도 1은 이미지 소스 광과 배경 광의 결합에 의해 사용자가 인지한 결합영상의 개략도,
도 2는 사용자의 동공과 정렬된 주사빔을 보여주는 스캐너와 사용자 눈의 개략도,
도 3은 사용자의 동공과 오정렬된 주사빔을 보여주는 스캐너와 사용자 눈의 개략도,
도 4는 위치조정빔과 검출기를 포함하는 이 발명의 한 실시예에 따른 디스플레이의 개략도,
도 5는 사슬(tether)을 포함하는 머리착용식 스캐너의 실측도,
도 6은 빔위치에 대한 눈의 변위와 위치조정빔의 대응 반사를 보여주는 도 4 디스플레이의 개략도,
도 7a는 도 4 위치에서 검출기에 부딪치는 반사광의 개략도,
도 7b는 도 6 위치에서 검출기에 부딪치는 반사광의 개략도,
도 8은 도 6의 오정렬을 교정하도록 조절된 이미지 소스와 위치조정빔을 보여주는 도 2 디스플레이의 개략도,
도 9는 기판에 결합된 형상기억합금기반 위치조정기를 보여주는 디스플레이 일부의 상세도,
도 10은 도 4 디스플레이내 이미지 소스로 사용하기에 적합한 주사시스템의 개략도,
도 11은 4개의 별도 광학 검출기들을 포함하는 위치 검출기의 평면도,
도 12a∼c는 단일 반사광학장치와 이동광학소스를 이동하는 디스플레이의 개략도,
도 13은 도 2 디스플레이에 사용할 이축선 MEMS 스캐너의 평면도,
도 14는 출구 동공확장기와 이동 광 이미터를 포함하는 디스플레이의 다른 실시예의 개략도,
도 15a는 동공위에 중심이 맞추어진 9출구 동공들을 나타내는 개략도,
도 15b는 도 15a 동공의 이동과 출구 동공어레이의 대응 이동을 나타내는 개략도이다.
도 4에 도시한대로, 이 발명에 따른 가상망막 디스플레이(70)는 제어전자장치(72), 광원(74), 스캐닝 조립체(58), 및 이미징 광학장치(78)를 포함한다. 도 2의 실시예와 같이, 이 광원은 직접적 또는 간접적으로 변조될수 있고, 이미징 광학장치(78)은 곡선형 부분 투과미러(62,64)로 형성되고, 이 미러들(62,64)은 배경(8)에서 수신된 광과 스캐닝 조립체(58)의 광을 결합시켜 투시자의 눈(52)에 결합입력을 생성시킨다. 광원(74)은 텔레비젼 수상기, 컴퓨터, CD-ROM 플레이어, 비디오카세트 플레이어, 또는 유사한 장치등 영상신호소스(56)의 영상 신호 VIM에 따라 변조된 광을 방출한다. 광원(74)는 레이저 다이오드 또는 마이크로레이저와 같은 간섭광 이미터를 이용할수 있거나, 발광 다이오드와 같은 비간섭 소스를 사용할 수도 있다. 또한 광원(74)은 직접 변조되거나, 음향광학 변조기와 같은 외부 변조기가 사용될 수도 있다. 당업자라면 LCD 판넬 및 전계방출 디스플레이와 같은 다양한 다른 이미지 소스가 사용될 수도 있음을 이해할 것이다. 그러나, 그러한 이미지 소스들은 양호한 실시예에 개시된 이미지 소스보다 통상적으로 질량이 더 크고 부피가 많이 나가므로 바람직하지 않다. 이와 같이 질량이 크면 도 6∼8과 관련하여 후술하는 바와 같이 신속하게 이미지 소스들을 재배치하기가 더 곤란하다. 더우기, 배경(80)이 여기서는 "현실세계(real-world)" 배경으로 제시되어 있지만, 배경광은 차단되거나 동일한 또는 상이한 타입의 다른 광원에 의해 생성될 수도 있다.
소자들이 개략적으로 제시되고 있지만, 당업자라면 도 5에 도시한대로 머리착용식 디스플레이(67)와 같은 헬멧이나 유사한 프레임에 부착하도록 부품들의 크기와 형상이 정해진다는 것을 이해할 것이다. 이 실시예에서, 디스플레이(67)의 제 1 부분(71)이 머리지탱 프레임(73)에 장착되고 제 2 부분(75)이 예컨대 허리벨트에 따로 지지된다. 부분(71)(75)는 제 2 부분에서 제 1 부분으로 광학 및 전기신호들을 운반하는 광섬유 및 전자 사슬(77)에 의해 링크된다. 섬유결합된 스캐너 디스플레이의 일예는 여기에 참고로 병합된 VIRTUAL RETINAL DISPLAY WITH FIBER OPTICPOINT SOURCE 라는 명칭으로 Furness 외에게 허여된 미국특허 제 5,596,339 호에 있다. 당업자라면 많은 응용들에서 광섬유가 배제될수 있도록 광원이 스캐닝 조립체(58)에 직접 결합될 수 있다는 것을 이해할 것이다.
도 4의 디스플레이(70)를 다시 보면, 이것은 통상 머리에 착용되므로 사용자의 눈(52)이 이미징 광학장치(78)에 대해 사실상 고정된 장소에 있는 것이 보통이다. 명확성을 위해서 이 명세서에서는 디스플레이(70)의 조작을 설명하는데 있어서 머리운동을 논하지 않는다. 당업자라면 사용자의 눈구멍이 눌리는 세안용컵(eye cup)을 지닌 고정 투시장치가 디스플레이(70)에 의해 형성되는 경우와 같이 디스플레이(70)가 머리착용식 응용들이 아닌 곳에 사용될수 있다는 것을 이해할 것이다. 또한, 어떤 응용에서는 사용자의 머리는 상대운동하지 않게 되어있다. 그러한 응용에서는, 알려진 머리추적 시스템이 사용자의 머리위치를 추적하여 대충 위치조정할수 있다.
이미징 광학장치(78)는 주사된 광을 스캐닝 조립체(58)에서 사용자의 눈(52)을 향해 조사하여 확대하며, 여기서 광이 동공(65)을 통과해서 망막(59)에 부딪치면 가상의 영상을 생성한다. 그와 동시에, 배경(80)의 광이 미러(62),(64) 및 동공(65)을 통과하여 사용자의 망막(59)에 부딪치면 "실제(real)"의 영상을 생성한다. 사용자의 망막(59)이 주사빔과 배경(80)에서 모두 광을 받기 때문에, 사용자는 도 1에 도시한 대로, 투명하게 보이는 가상의 영상과 조합된 영상을 인지한다. 부분 또는 전체 반사 미러들(62,64)로 부터 사용자가 광을 용이하게 획득하기 위하여 이미징 광학장치(78)는 주사광 빔의 유효수치 구경을 증대시키는출구동공확대기(exit pupil expander)도 포함할 수 있다. 이 출구동공확대기는 빔(53) 표현의 명료성을 위해 그림에서 생략된다.
광원(74)의 광 외에, 이미징 광학장치(78)는 광원(74)과 함께 공통기판(85)에 의해 지지되는 적외선 광원(92)에서 위치표시빔(locator beam)(90)을 받기도 한다. 표현을 분명히 하기 위해 위치표시빔(90)이 상이한 광학경로를 따르는 것으로 도시되어 있지만, 적외선 광원(92)은 실제로 광원(74)에 인접하여 위치하고, 그래서 광원(74)의 광과 적외선 광원(92)의 광이 대략 동일 선상에 있다. 그러므로, 이미징 광학장치(78)의 출력은 적외선 광원(92)의 광을 포함한다. 당업자라면 적외선 광원(92)과 광원(74)이 물리적으로 인접한 것으로 도시되어 있지만 다른 실장들도 용이하게 실현가능하다는 것을 이해할 것이다. 예컨대, 빔 분할기와 방향조정 광학장치를 이용하여 위치표시 빔(90)을 광원(74)의 광위에 중첩시킴으로써 적외선 광원(92)이 광원(74)에서 물리적으로 분리될 수 있다.
이제 도 6∼9를 참조하면서 눈 위치의 추적을 설명한다. 도 6에 도시한 대로, 사용자의 눈(52)이 이동할때 동공(65)이 광원(74) 및 적외선 광원(92)의 광과 정렬되지 않는다. 광원(74) 및 적외선 광원(92)의 광 모두 또는 그 일부가 동공(65)에 들어가지 않거나, 어떤 방향에서 동공에 들어가더라도 동공(65)이 이 광을 망막(59)의 중심으로 보내지 않게된다. 그 대신에, 광원(74,92)의 광중 일부가 눈의 비동공 부분(96)에 부딪친다. 아시다시피, 눈의 비동공 부분(96)은 동공(65)의 반사성과 다르며 통상 그 보다 더 높은 반사성을 갖는다. 결국, 비동공 부분(96)은 광원(74,92)의 광을 이미징 광학장치(78) 쪽으로 다시 반사시킨다. 이미징 광학장치(78)는 광원들(74,92)에 인접하여 기판(85)에 위치고정된 광학 검출기(98)를 향해 이 반사광을 다시 보낸다. 이 실시예에서, 검출기(98)는 적외선 광에 민감한 시판되는 CCD 어레이이다. 후술하는 바와 같이, 어떤 응용들에서는 다른 타입의 검출기들이 바람직할 수 있다.
도 7a에 도시한 대로, 광원들(74,92)의 광이 동공에 들어오도록 사용자의 눈이 위치고정될때(즉, 눈이 도 4에 도시한 대로 위치고정될때), 검출기(98)의 중심지역(100)은 이미징 광학장치(78)의 저레벨 광을 받는다. 사용자의 동공에서 저휘도 영역을 여기서는 동공 새도우(pupil shadow)(106)라 한다. 눈(52)이 도 6에 도시한 위치로 이동할 때, 동공 새도우는 도 7b에 도시한 대로 검출기(88)에 대해 이동한다.
동공 새도우(106)의 위치를 표시하는 검출기 데이터는 마이크로프로세서 또는 적용업무 특정 집적회로(ASIC)과 같은 전자 제어기(108)에 입력된다. 이 데이터에 응답하여 제어기(108)는 메모리장치(110)내 룩업테이블을 억세스하여, 광원(74)에 대한 적절한 위치조정값을 나타내는 위치조정 데이터를 검색한다. 이 위치조정 데이터는 실험적으로 정해지거나 눈(52)과 스캐닝 조립체(58)의 알려진 형상에 기초하여 계산될 수 있다.
검색된 위치조정 데이터에 응답하여, 제어기(110)가 X 및 Y 드라이버(112,114)를 활성화시켜 기판(85)에 결합된 각각의 압전 위치조정기(116, 118)에 전압을 제공한다. 아시다시피, 압전물질은 전기장이 걸리면 변형되어 전압을 물리적 운동으로 변환한다. 그러므로, 각각의 드라이버들(112)(114)로 부터 인가된 전압들에 의해 압전 위치조정기들(116)(118)은 도 8의 화살(120)과 화살(122)로 표시한대로 광원(74)(92)를 이동시킨다.
도 8에 도시한 대로, 광원(74,92)의 위치를 이동시키면, 광원(74)(92)의 광이 사용자의 눈에 부딪치는 장소가 이동되고, 그래서 다시한번 광이 동공에 들어간다. 동공 새도우(106)는 도 7a에 도시한 위치로 되돌아간다. 당업자라면 압전 위치조정기(116)의 변형은 보여주기 위해 도 8에서 과장되어 있다는 것을 이해할 것이다. 그러나, 미러들(62)(64)이 1보다 큰 배율을 갖기 때문에, 기판(85)의 위치가 조금만 바뀌어도 광원(74)의 광이 눈에 도달하는 장소는 더 크게 이동될 수 있다. 그래서, 압전 위치조정기들(112)(114)는 눈의 많은 위치들에 대해 충분한 빔이동을 일으킬수 있다. 훨씬 더 큰 빔이동이 바람직한 경우에는 압전 위치조정기(112)(114) 대신에 전자 서보기구와 같은 여러가지 다른 위치조정기들이 사용될 수 있다. 대안으로, 등원자(equiatomic) 니켈-티타늄 합금과 같은 형상기억합금기반 위치조정기(113)가 사용되어 기판을 도 9에 도시한대로 다시 위치시킬수 있다. 위치 조정기들(113)이 도 9에 도시한 대로 나선상으로 위치고정되거나 다른 적절한 구성을 취할수 있다. 당업자라면 이해하듯이, 특히 스캐너(70)의 비교적 큰 이동을 제공하는 기구로 위치조정기들(116,118)이 형성되는 곳에서는 이미징 광학장치들(78)이 반드시 확대를 요구하는 것은 아니다.
도 10은 스캐닝 조립체(58)로 사용하기 적합한 기계적 공진 스캐너(200)의 한 실시예를 보여준다. 이 공진 스캐너(200)는 수평 스캐너(201)를 주요한 수평 주사요소로서 포함하고, 이 수평 스캐너는 스프링판(204)에 장착된 이동미러(202)를포함한다. 미러(202)와 스프링판(204)의 치수와 이 스프링판(204)의 물성은 미러(202)와 스프링판(204)이 1-100㎑ 정도의 고유진동주파수를 갖도록 선택된다. 미러(202)에 장치된 강자성 물질은 1쌍의 전자기 코일(206)(208)에 의해 구동되어 미러(202)에 기동력을 제공함으로써 진동을 개시하고 유지한다. 구동전자장치(218)는 코일(206)(208)을 활성화시키는 전기신호를 제공한다.
수평 스캐너(201)와 매우 유사하게 구성된 수직 스캐너(220)에 의해 수직 주사가 제공된다. 이 수평 스캐너(201)와 유사하게, 수직 스캐너(220)는 구동 전자장치(218)의 전기 신호에 응답하여 1쌍의 코일(224)(226)에 의해 구동되는 미러(222)를 포함한다. 그러나, 진동속도가 수직주사에 비해 훨씬 더 낮기 때문에 수직 스캐너(220)는 통상 공진하지 않는다. 미러(222)는 수평 스캐너(201)의 광을 받아 약 30-100㎐에서 수직 편향을 일으킨다. 유리하게는, 주파수가 낮을수록 미러(222)가 미러(202)보다 상당히 더 클 수 있게되므로 수직 스캐너(220)의 위치조정에 대한 구속이 저감된다.
작동시에, 이미지 소스(56)(도 8)에 의해 구동되는 광원(74)은 영상신호에 따라 변조되는 광빔을 출력한다. 그와 동시에, 구동 전자장치(218)가 코일들(206),(208),(224),(226)을 활성화시켜 미러들(202)(222)을 진동시킨다. 변조된 광빔이 진동하는 미러(202)에 부딪치고, 미러(202)의 순시각에 대응하는 각도만큼 수평으로 편향된다. 이 편향된 광은 수직 미러(222)에 부딪치고, 수직 미러(222)의 순시각에 대응하는 수직 각도로 편향된다. 광학빔의 변조는 수평 및 수직 주사와 동기화되어 미러들의 위치 각각에서 빔 칼라 및 세기가 원하는 가상의영상에 대응한다. 그러므로, 빔은 사용자의 망막위에 직접 가상의 영상을 "그린다". 당업자라면 스캐너(200)의 몇가지 부품들이 명료한 표현을 위해 생략되었다는 것은 이해할 것이다. 예컨대, 수직 및 수평 스캐너들(201)(220)은 통상적으로 프레임에 대한 상대적 위치들이 고정되어 장착된다. 또한, 스캐너(200)는 빔을 보내는 하나 이상의 선회 미러들을 포함하고 있어 빔이 여러차례 각각의 미러에 부딪쳐 주사의 각도범위를 증가시킨다.
도 11은 위치검출기(88)의 한가지 실현을 보여주는데, 여기서 CCD 어레이가 4개의 검출기들(88A-88D)로 대체되며 각각의 검출기는 가상영상의 4분면 각각에 정렬된다. 사용자의 눈(52)이 가상영상과 정렬되지 않을때 동공 새도우(106)가 도 10에 쇄선으로 표시된 바와 같이 이동한다. 이런 위치에서 하나이상의 검출기들(88A-88D)에 의해 접수된 광의 세기는 떨어진다. 위치조정기(116)(118)의 전압은 주사된 광을 사용자의 눈(52)에 재정렬하도록 변화될 수 있다. 유리하게는, 이 실시예에서 4개의 4분면의 출력들은, 적절히 증폭될때 각자의 위치 조정기들(114,116)을 구동시켜 광 이미터(74)를 재배치하는 에러신호들을 형성할 수 있다.
도 8의 디스플레이(70)의 다른 실시예는 광원(74)과 스캐너(76)의 위치를 제 3 축선을 따라 제어하는 제 3 위치조정기(128)에 의해 제공되는 Z축 조정이다. X 및 Y 위치조정기들(114)(116)과 마찬가지로 제 3 위치조정기(128)은 대응하는 구동기(130)를 통해 전자제어기(108)에 의해 제어되는 압전 위치조정기이다.
도 8에 보이는대로, 사용자의 눈(52)이 축선밖의 물체를 보기위해 돌아가고 X 및 Y 위치조정기들(116,118)이 광원(74)의 위치를 조정할때 스캐너(76)와 제 1미러(64) 사이의 거리는 제 1 미러(64)와 눈(52) 사이의 거리와 마찬가지로 약간 변한다. 결국 주사빔으로 정의되는 화상평면은 원하는 장소에서 멀어지게 이동할 수 있고, 그렇게 인지된 영상은 왜곡될 수 있다. 그러한 이동은 좌안 서브시스템과 우안 서브시스템간의 변동차이로 인하여 양안 시스템에 유효 비점수차(effective astigmatism)를 발생할 수도 있다. 상대적 위치들의 이동을 보상하기 위하여, 메모리(110)의 위치조정 데이터에 응답하여 제어기(108)는 제 3 위치조정기(128)를 활성화시킴으로써 광원(74)의 Z축 위치를 조절한다. 적절한 위치조정 데이터가 실험적으로 결정될수 있거나 광학 모델링을 통해 해석적으로 개발될 수 있다.
당업자라면 제어기(108)가 제 3 위치조정기(128)를 통해 주사빔(53)의 초점을 조절할 수도 있다는 것을 이해할 것이다. 초점을 조정하면 제어기는 눈의 운동, 온도 변화, 압력 변화 또는 기타의 영향으로 생긴 스캐닝 조립체(76), 미러들(62,64) 및 눈(52)의 상대적 위치 변화를 보상할 수 있게 된다. 또한, 제어기(108)는 Z축 위치를 조절하여 다른 사용자에게 머리착용식 디스플레이를 적응시킬수 있다.
이 명세서의 실시예들은 3개의 직교축을 따라 위치조정하는 것으로 설명되지만, 이 발명은 그렇게 제한되지 않는다. 첫째, 다른 각도의 운동에 물리적 위치조정이 가해질 수 있다. 예컨대, 회전 위치조정기들이 여러개의 축선을 중심으로 미러(62,64), 광원(74) 또는 기판(85)를 회전시켜 회전 위치조정제어를 제공할 수 있다. 이러한 실시예에 의해 제어기 운전기록(controller log)이 가상영상의 위치(즉, 도 1의 영역(42))를 설정할수 있게 된다. 가상영상의 위치를 제어함으로써 제어기(108)는 영역(42)을 이동시켜 사용자의 시야변화를 추적할수 있다. 그래서 영역(42)은 사용자의 시야에서 사실상 고정된 위치에 유지될 수 있다. 회전 자유도외에 당업자라면 3개의 축선이 직교축선에 제한되지 않는다는 것을 이해할 것이다.
여기서 기술된 실시예들은 2개의 미러들(62,64)을 포함하지만, 당업자라면 어떤 응용에는 더 복잡하거나 덜 복잡한 광학 구조가 바람직하다는 것을 이해할 것이다. 예컨대, 도 12a-c에 도시한대로, 단일 반사경(300)이 사용자의 눈(52)에 광을 반사시키는데 사용될 수 있다. 스캐닝 조립체(58)에서 동공(65)까지의 광경로(302)를 추적함으로써 스캐닝 조립체(58)의 대응위치와 각도방향이 도 12a-c에 도시한 대로 각각의 눈 위치에 대해 결정될 수 있다.
이렇게 결정된 위치와 방향이 디지털식으로 저장되고, 검출된 눈 위치에 응답하여 검색된다. 스캐닝 조립체(58)는 이렇게 검색된 눈 위치와 방향으로 이동된다. 예컨대, 도 12b에 도시한대로 눈의 시야가 중심에 맞추어질때 스캐닝 조립체(58)의 중심도 맞추어진다. 도 12a에 도시한대로 시야가 좌측으로 이동하면 스캐닝 조립체(58)가 보상을 위해 우측으로 이동된다.
검출된 눈 위치에 응답하여 이동되는 크기와 중량을 저감하기 위하여 스캐닝 조립체(58)의 크기와 중량을 저감하는 것이 바람직하다. 이 크기와 중량을 저감하는 한가지 방법은 기계적 공진 스캐너들(200,220) 대신에, 여기에 참고로 병합된 MICROMACHINED HINGE HAVING AN INTEGRAL TORSION SENSOR 라는 명칭으로 Neukermans 외에게 허여된 미국특허 제 5,629,790 호에 개시된 것과 같은 미소전자기계적(MEMS) 스캐너를 사용하는 것이다. 여기에 개시되고 도 13에 도시한대로, 이축선 스캐너(400)가 실리콘기판(402)에 형성된다. 이축선 스캐너(400)는 미러(404)를 선회가능 지지대(408)에 연결하는 양측 만곡부(406)에 의해 지지되는 미러(404)를 포함한다. 만곡부(406)는 비틀어 돌릴 수 있도록 되어있어, 미러(404)가 지지대(408)에 대해 만곡부(406)로 정의된 축선을 중심으로 선회할수 있게 한다. 한 실시예에서 미러(404)의 선회운동에 의해 스캐너(400)의 수평주사가 정의된다.
제 2 쌍의 양 만곡부(412)가 지지대(408)를 기판(402)에 결합시킨다. 만곡부(412)는 비틀어 휘어질 수 있도록 되어있어, 지지대(408)가 기판(402)에 대해 선회하도록 한다. 미러(404), 지지대(408) 및 만곡부들(406,412)의 질량과 치수를 선택함에 있어서, 미러(404)가 높은 Q에서 10-40㎑로 수평으로 공진하고, 어떤 응용에서는 더 낮은 주파수가 좋지만 지지대(408)가 바람직하게는 60㎐ 이상의 주파수로 선회하도록 정해진다. 예컨대, 다수의 빔들이 사용되는 경우 10㎐ 또는 그 이하의 수직 주파수가 허용가능하다.
양호한 실시예에서, 미러(404)위의 플레이트(414)와 베이스(도시안됨)위의 도체 사이에 전기장을 인가함으로써 미러(404)가 선회된다. 이런 방법은 용량성 구동(capacitive drive)라 하는데, 플레이트(414)가 커패시터의 한개 판으로 작용하고 베이스상의 도체가 두번째 판으로 작용하기 때문이다. 판들 사이에 전압이 증가함에 따라 전기장이 미러(404)에 힘을 가하여 미러(404)가 만곡부(406)를 중심으로 선회하게 된다. 판들에 인가된 전압을 주기적으로 변화시킴으로써 미러(404)가 주기적으로 주사할 수 있게된다. 양호하게는, 미러(404)의 기계적 공진 주파수로 전압이 변하므로, 미러(404)의 진동에 전력소모가 적다.
지지대(408)는 특별한 응용의 조건들에 의존하여 자기적으로 또는 용량적으로 선회될수 있다. 양호하게는 지지대(408)와 만곡부(412)의 크기를 정함에 있어 지지대(408)가 60㎐와 같이 원하는 리프레시 속도(refresh rate) 이상의 주파수들에 잘 응답하도록 한다.
도 14에 도시한 이 발명의 다른 실시예는 스캐닝 조립체(58)와 눈(52) 사이에 위치한 회절성 출구 동공 확대기(diffractive exit pupil expander)(450)을 포함한다. 여기에 참고로 병합되고 VIRTUAL RETINAL DISPLAY WITH EXPANDED EXIT PUPIL 라는 명칭으로 Kollin 외에게 허여된 미국특허 제 5,701,132 호에 개시한 대로, 각 스캔 위치(452,454)에서 출구 동공 확대기(450)는 주사빔을 다수의 공통장소들에 보내어 다수의 출구 동공(456)을 정의한다. 예컨대, 도 15a에 도시한 대로, 출구 동공 확대기(450)는 9개 별도 출구 동공(456)을 생성할수 있다. 사용자의 동공(65)이 하나이상의 정의된 출구동공(456)을 받을때 사용자는 원하는 영상을 볼수 있다.
도 15b에 도시한 대로, 사용자의 눈이 이동하면, 동공(65)은 여전히 하나이상의 출구 동공(456)에서 광을 받는다. 그래서 동공(65)이 출구 동공들(456)에 대해 이동하는 경우에도 사용자가 계속해서 영상을 인지한다. 그럼에도 불구하고 스캐닝 조립체(58)(도 12a-12c)는 도 14의 화살(458)과 도 15b의 화살(460)으로 표시한 바와 같이 이동하여 출구 동공들(456)의 어레이와 사용자의 동공(65)을 중심조정한다. 동공(65)에 대해 어레이를 다시 중심조정함으로써 동공(65)에 대한 결합을 보존하면서 출구동공들(456)의 갯수가 저감될수 있다.
이 발명이 예시적인 실시예들로 설명되었지만, 여기에 개시된 구조와 방법상의 변동이 이 발명의 개념과 범주를 벗어나지 않고 가능하다. 예컨대, 다양한 부품들의 위치조정이 변화될 수 있다. 재배치의 일예에서, 검출기(88)와 적외선 광원(92)이 광원(74)에서 분리되어 장착될 수 있다. 이런 실시예에서는 검출기(98)와 적외선 광원(92)이 고정된 장소에 장착되거나 별개의 위치조정기들에 의해 구동될 수 있다. 또한, 어떤 응용에서는 적외선 광원(92)을 배제하는 것이 바람직할 수 있다. 그런 실시예에서는 검출기(98)가 광원(74)에서 나오는 반사 가시광을 감시할 것이다. 또한 적외선 광빔과 주사 광빔이 통상적인 빔분할 기술을 사용하여 동축이 될수도 있다. 또 다른 실시에에서, 압전 위치조정기들(116,118)이 미러(64)에 또는 중간렌즈(121)에 결합되어 광원(74)의 "가상" 운동을 일으킬수도 있다. 이런 실시예에서 미러(64) 또는 렌즈(121)가 병진이동하면 눈에 대한 광원(74)의 명목위치가 이동하게된다. 렌즈(121)의 위치 또는 유효초점거리를 이동시킴으로써 렌즈(121)에 의해 디스플레이는 스캐너(200,400)에서 눈(52)까지 명시거리를 변화시킨다. 예컨대, 렌즈(121)는 석영과 같은 전자광학물질로 형성되거나 이를 포함할수 있다. 스캐너(200,400)의 각 위치에 대해 전자광학물질(electro-optic material) 양단의 전압을 변화시킴으로써 유효초점거리가 변화될수 있다. 더우기, 수평 스캐너들(200)(400)이 양호하게는 스캐닝 주파수에서 기계적으로 공진하는 것으로 개시되고 있지만, 어떤 응용에서는 스캐너(200)가 비공진일수 있다. 예컨대, 스캐너(200)가 "일필(stroke)" 또는 "달필(calligraphic)" 스캐닝에 사용되는 경우 비공진 스캐너가 바람직할 것이다. 당업자라면 이해하듯이, 여기에 단일 광원이 개시되지만 여기에 개시된 원리와 구조는 다수의 광원을 갖는 디스플레이에도 응용가능하다. 실제로, 도 14의 출구동공확대기(450)는 몇개의 광원들을 사용하는 것과 효과적으로 근사하다. 더우기, 예시적 실시예에서 시선을 추적하기 위해 동공 새도우(pupil shadow)가 이용되지만, 이 발명의 범위내에서 다른 접근방법이 있을수 있다. 예컨대 이 발명에 개시된 실시예들에 사용하기 적합한 "섬광(glint)" 기술로 알려진 반사기술은 시선을 추적하기 위해 홍채(iris)의 기저(fundus)에 상을 비출수 있다. 따라서 이 발명은 첨부한 청구범위에 의해서만 한정된다.

Claims (47)

  1. 제 1 장소로 부터 광을 방출하는 단계;
    이 광을 영상에 대응하는 패턴으로 변조하는 단계;
    위치조정 빔을 생성하는 단계;
    이 위치조정 빔을 눈을 향해 제 1 경로를 따라 보내는 단계;
    눈에서 반사된 광의 일부를 광검출기로 받는 단계;
    상기 받은 반사광에 응답하여 전기신호를 발생하는 단계;
    상기 전기 신호에 응답하여 동공위치를 확인하는 단계; 및
    상기 전기 신호에 응답하여 상기 제 1 장소를 물리적으로 재배치하는 단계를 포함하는 눈이 투시할 영상을 생성하는 방법.
  2. 청구항 1 에 있어서,
    이미지 소스가 상기 광을 생성하고, 상기 전기신호에 응답하여 상기 제 1 장소를 물리적으로 재배치하는 단계는 상기 이미지 소스를 상기 사용자의 눈에 대해 물리적으로 재배치하는 것을 포함하는 방법.
  3. 청구항 2 에 있어서,
    상기 이미지 소스를 물리적으로 재배치하는 단계는 상기 이미지 소스에 결합된 압전 위치조정기를 활성화시키는 것을 포함하는 방법.
  4. 청구항 3 에 있어서,
    상기 이미지 소스를 물리적으로 재배치하는 단계는 상기 이미지 소스에 결합된 형상기억합금을 활성화시키는 것을 포함하는 방법.
  5. 청구항 1 에 있어서,
    상기 광검출기는 검출기 어레이를 포함하고, 상기 받은 반사광에 응답하여 전기 신호를 발생하는 단계는 상기 검출기 어레이에서 데이터를 출력하는 것을 포함하는 방법.
  6. 청구항 1 에 있어서,
    상기 위치 조정 빔은 적외선 빔인 방법.
  7. 청구항 1 에 있어서,
    상기 전기 신호를 발생하는 단계는
    상기 검출기 어레이에서 데이터를 출력하는 단계;
    메모리에 저장된 데이터를 검색하는 단계; 및
    상기 검색된 데이터에 응답하여 상기 전기 신호를 발생하는 단계를 포함하는 방법.
  8. 청구항 1 에 있어서,
    상기 방출된 광의 일부가 상기 위치조정 빔을 형성하는 방법.
  9. 청구항 1 에 있어서,
    상기 광을 방출하는 단계는 이미지 소스로 상기 광을 생성하고 안내 광학장치로 상기 광을 안내하는 것을 포함하고, 상기 전기신호에 응답하여 상기 제 1 장소를 물리적으로 재배치하는 단계는 상기 안내 광학장치와 상기 이미지 소스의 상대적 위치조정을 물리적으로 변화시키는 것을 포함하는 방법.
  10. 청구항 9 에 있어서,
    상기 안내광학장치는 렌즈인 방법.
  11. 청구항 10 에 있어서,
    상기 안내광학장치는 선회 반사경을 더 포함하는 방법.
  12. 사용자가 인지할 영상신호에 응답하여 영상을 생성하는 방법에 있어서,
    상기 영상신호에 응답하는 상기 영상에 대응하는 광을 제 1 위치로 부터 방출하는 단계;
    상기 영상에 대응하는 상기 방출된 광을 상기 사용자의 눈을 향해 보내는 단계;
    상기 영상에 대응하는 상기 방출된 광을 상기 사용자의 눈을 향해 보내는 동안 눈 위치를 결정하는 단계; 및
    상기 결정된 눈위치에 응답하여 상기 제 1 위치를 조정하여 상기 방출된 광을 상기 사용자의 동공을 향해 보내는 단계;를 포함하는 영상 생성 방법.
  13. 청구항 12 에 있어서,
    상기 눈 위치를 결정하는 단계는
    광의 추적빔을 방출하는 단계;
    상기 광의 추적빔을 상기 사용자의 눈을 향해 보내는 단계; 및
    상기 사용자의 눈에서 반사된 광을 감시하는 단계를 포함하는 방법.
  14. 청구항 13 에 있어서,
    상기 광의 추적빔을 방출하는 단계는 사실상 상기 제 1 위치에서 상기 추적빔을 방출하는 단계를 포함하는 방법.
  15. 청구항 12 에 있어서,
    상기 사용자의 눈에서 반사된 광을 감시하는 단계는
    상기 제 1 위치에 인접하게 광검출기를 위치고정하는 단계와,
    상기 검출기로 상기 반사된 광의 일부를 받는 단계를 포함하는 방법.
  16. 청구항 12 에 있어서,
    상기 사용자의 눈을 향해 상기 영상에 대응하는 상기 방출된 광을 보내는 단계는 상기 방출된 광을 스캐너로 주사하는 것을 포함하는 방법.
  17. 청구항 16 에 있어서,
    상기 광의 추적빔을 상기 사용자의 눈을 향해 보내는 단계는 상기 추적빔을 상기 스캐너로 주사하는 것을 포함하는 방법.
  18. 디스플레이 장치에서 광 소스와 눈의 정렬을 확인하는 방법에 있어서,
    추적 소스의 광을 눈위에 투사하는 단계;
    눈 위의 다수의 장소들로 부터 반사된 광을 받는 단계;
    상기 받은 반사광에 대응하는 전기신호들을 발생하는 단계;
    상기 전기신호들에 응답하여, 눈의 다른 영역에 대해 감소된 반사성을 갖는 눈의 어떤 영역을 확인하는 단계; 및
    상기 감소된 반사성 영역에 대한 상기 광 소스의 중심조정에 대응하는 기준영역과 상기 감소된 반사성의 확인된 영역을 비교하는 단계를 포함하는 광 소스와 눈의 정렬을 확인하는 방법.
  19. 청구항 18 에 있어서,
    상기 광 소스에 대해 사실상 고정된 위치에 상기 추적 소스를 정렬시키는 단계를 더 포함하는 방법.
  20. 청구항 18 에 있어서,
    상기 눈위 다수의 장소들로 부터 반사된 광을 받는 단계는 상기 눈위 다수의 장소들로 부터 반사된 광을 광검출기로 받는 것을 포함하는 방법.
  21. 청구항 20 에 있어서,
    상기 광검출기는 2차원 검출기 어레이인 방법.
  22. 청구항 21 에 있어서,
    상기 2차원 검출기 어레이는 CCD 어레이인 방법.
  23. 청구항 20 에 있어서,
    상기 광검출기는 다수의 집적된 검출기들을 포함하는 방법.
  24. 눈에 가상의 영상을 정렬시키는 방법에 있어서,
    제 1 조의 광경로들을 따라 제 1 장소로부터 상기 눈으로 영상 광을 보내어 상기 가상의 영상을 생성하는 단계;
    광의 추적빔이 상기 눈에서 반사되도록 상기 추적빔을 상기 눈을 향해 보내는 단계;
    상기 추적빔의 반사된 부분을 광검출기로 받는 단계;
    상기 반사된 부분의 접수에 응답하여 전기신호를 발생하는 단계;
    상기 전기신호에 응답하여, 동공에 대응하는 상기 반사된 부분의 영역을 확인하는 단계;
    상기 동공에 들어오는 영상광의 양을 증가시키는 제 1 장소의 조절을 결정하는 단계; 및
    상기 결정된 조절에 응답하여 상기 제 1 장소를 조절하는 단계;를 포함하는 눈에 가상의 영상을 정렬시키는 방법.
  25. 청구항 24 에 있어서,
    상기 디스플레이는 상기 영상 광을 발생하는 이미지 소스와 상기 전기 신호를 발생하는 검출기를 포함하고, 상기 이미지 소스와 검출기가 공통의 지지체에 장착되는 방법.
  26. 청구항 25 에 있어서,
    상기 결정된 조절에 응답하여 상기 제 1 조의 광 경로들을 조절하는 단계는 상기 지지체를 이동시키는 것을 포함하는 방법.
  27. 청구항 26 에 있어서,
    상기 지지체를 이동시키는 단계는 압전 위치조정기를 활성화시키는 것을 포함하는 방법.
  28. 청구항 27 에 있어서,
    상기 지지체를 이동시키는 단계는 형상기억합금을 활성화시키는 것을 포함하는 방법.
  29. 사용자의 눈이 투시할 영상을 발생하는 가상 디스플레이에 있어서,
    사용자의 눈을 향한 경로를 따라 상기 영상에 대응하는 패턴으로 광을 방출하도록 작동하는 이미지 소스;
    사용자의 눈에 정렬되고, 눈의 동공에 대해 예정된 위치를 갖는 선택된 눈 모양에 대응하는 반사성을 갖는 사용자 눈 영역의 장소를 검출하도록 작동하며, 상기 검출된 장소를 표시하는 신호를 발생하는 광 검출기; 및
    상기 광 검출기에 결합된 제어 입력과 상기 이미지 소스에 결합된 위치조정 출력을 갖는 위치조정기구로서, 상기 검출된 장소를 표시하는 상기 신호에 응답하여 상기 광 경로를 상기 동공에 이동시키는 방향으로 상기 이미지 소스를 물리적으로 재배치하는 위치조정기구;를 포함하는 가상 디스플레이.
  30. 청구항 29 에 있어서,
    상기 위치조정기구는 전기적으로 작동되는 위치 조정기이고, 상기 검출된 장소를 표시하는 신호는 전기 신호인 디스플레이.
  31. 청구항 29 에 있어서,
    상기 이미지 소스는 상기 위치조정기구에 의해 상대적인 재배치를 하도록 구성된 광 이미터와 이미징 광학장치를 포함하는 디스플레이.
  32. 청구항 29 에 있어서,
    상기 이미지 소스와 검출기는 공통 지지체에 장착되는 디스플레이.
  33. 청구항 29 에 있어서,
    상기 위치조정기구는 상기 공통 지지체에 결합되어 상기 공통 지지체를 물리적으로 변위시키는 디스플레이.
  34. 청구항 29 에 있어서,
    상기 이미지 소스가 망막스캐너인 디스플레이.
  35. 청구항 29 에 있어서,
    상기 이미지 소스에 정렬된 제 1 입력과 제 2 입력을 갖는 빔 결합기를 더 포함하고, 상기 빔 결합기는 상기 제 1 및 제 2 입력들의 광을 조사하여 상기 결합된 광을 사용자의 망막에 제공하도록 작동하는 디스플레이.
  36. 눈 위치 추적을 포함하는 디스플레이 장치에 있어서,
    제 1 스캐너;
    상기 눈에 정렬된 빔 선회 광학장치;
    베이스에 장착되고, 이미지 소스의 광을 눈까지 보내도록 선택된 각도로 상기 빔 선회 광학장치에 정렬된 이미지 소스;
    상기 눈에 정렬된 광학 소스;
    상기 눈에 정렬되고, 상기 눈의 선택된 영역에 대한 상기 광학 소스의 정렬을 표시하는 전기 신호를 출력하도록 응답하는 검출기; 및
    상기 베이스에 결합디고 상기 검출기의 전기신호에 응답하여 상기 베이스와 상기 빔 선회 광학장치의 상대적 위치들을 물리적으로 조절하는 위치조정기구;를 포함하는 디스플레이 장치.
  37. 청구항 36 에 있어서,
    상기 이미지 소스가 망막 스캐너인 디스플레이 장치.
  38. 청구항 36 에 있어서,
    상기 위치조정기구는 압전 위치조정기인 디스플레이 장치.
  39. 청구항 36 에 있어서,
    상기 위치조정기구는 서보기구인 디스플레이장치.
  40. 청구항 36 에 있어서,
    상기 위치조정기구는 형상기억합금을 포함하는 디스플레이 장치.
  41. 청구항 36 에 있어서,
    상기 빔 선회 광학장치는 빔 결합기를 포함하는 디스플레이 장치.
  42. 청구항 41 에 있어서,
    상기 빔 결합기는 광 확대기를 포함하는 디스플레이 장치.
  43. 청구항 42 에 있어서,
    상기 광 확대기는 미러인 디스플레이 장치.
  44. 청구항 40 에 있어서,
    상기 빔 결합기는 빔 분할기를 포함하는 디스플레이 장치.
  45. 청구항 36 에 있어서,
    상기 광 소스, 상기 빔 선회 광학장치, 및 상기 위치 조정기구를 지탱하는 머리 장착식 구조물을 더 포함하는 디스플레이 장치.
  46. 유도된 영상에 따라 변조된 광빔을 방출하도록 작동하고, 위치 입력에 응답하여 상기 광빔의 유효위치를 변화시키는 이동 광원; 상기 방출된 광빔을 받도록 위치 고정되고, 상기 받은 광빔에 응답하여 다수의 출구 빔들을 방출하도록 감응하는 출구동공확대기; 사용자의 눈위치를 검출하도록 배향되고, 상기 검출된 눈위치에 대응하는 전기신호를 출력하도록 구성되는 눈 추적기; 및, 상기 눈 추적기에 결합되어 상기 전기신호를 받는 전기적 입력을 구비하는 위치 조정기로서, 상기 광원에 다시 결합되고, 상기 전기 신호에 응답하여 상기 위치 입력을 제공하도록 작동하는 위치 조정기;를 포함하는 디스플레이 장치.
  47. 청구항 46 에 있어서,
    상기 출구동공확대기는 회절소자인 디스플레이 장치.
KR1020027005417A 1999-10-29 1999-10-29 시선추적기능이 있는 개인용 디스플레이 KR100703930B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1999/025512 WO2001033282A1 (en) 1999-10-29 1999-10-29 Personal display with vision tracking

Publications (2)

Publication Number Publication Date
KR20020059651A true KR20020059651A (ko) 2002-07-13
KR100703930B1 KR100703930B1 (ko) 2007-04-05

Family

ID=22273938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027005417A KR100703930B1 (ko) 1999-10-29 1999-10-29 시선추적기능이 있는 개인용 디스플레이

Country Status (8)

Country Link
EP (1) EP1230575B1 (ko)
JP (1) JP2003513333A (ko)
KR (1) KR100703930B1 (ko)
AU (1) AU1458900A (ko)
CA (1) CA2388015C (ko)
DE (1) DE69923480T2 (ko)
MX (1) MXPA02004256A (ko)
WO (1) WO2001033282A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR100845274B1 (ko) * 2006-11-06 2008-07-09 주식회사 시공테크 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
KR20150093054A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
WO2018093102A1 (ko) * 2016-11-16 2018-05-24 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312765B2 (en) 1998-08-05 2007-12-25 Microvision, Inc. Display system and method for reducing the magnitude of or eliminating a visual artifact caused by a shift in a viewer's gaze
GB2372683A (en) * 2001-02-23 2002-08-28 Ibm Eye tracking display apparatus
WO2004049037A1 (ja) * 2002-11-27 2004-06-10 Brother Kogyo Kabushiki Kaisha 画像表示装置
DE102005052424A1 (de) 2005-11-03 2007-05-10 Robert Bosch Gmbh Projektionsanzeige
JP2010230893A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd ヘッドマウントディスプレイ装置
DE102010041344B4 (de) * 2010-09-24 2020-10-29 tooz technologies GmbH Anzeigevorrichtung mit augengesteuerter Eingabeschnittstelle
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
WO2013164665A1 (en) * 2012-05-03 2013-11-07 Nokia Corporation Image providing apparatus, method and computer program
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US9468373B2 (en) 2013-09-24 2016-10-18 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9781360B2 (en) 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
DE102014204845A1 (de) * 2014-03-17 2015-09-17 Bayerische Motoren Werke Aktiengesellschaft Dynamische Wellenlängenanpassung von Eye-Tracking Beleuchtungen
JP6333007B2 (ja) * 2014-03-18 2018-05-30 パイオニア株式会社 虚像表示装置
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US9787576B2 (en) 2014-07-31 2017-10-10 Microsoft Technology Licensing, Llc Propagating routing awareness for autonomous networks
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
CN105589201A (zh) * 2016-02-02 2016-05-18 张国斌 一种轻小型大视场近眼显示光学***
JP2018124575A (ja) * 2018-04-24 2018-08-09 パイオニア株式会社 虚像表示装置
BR112021001382A2 (pt) * 2018-08-01 2021-04-20 Huawei Technologies Co., Ltd. aparelho e método de exibição de retina
EP3982189B1 (en) * 2019-06-18 2024-06-26 Sony Group Corporation Image display device and display device
CN112241068A (zh) 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
KR20210052091A (ko) 2019-10-31 2021-05-10 삼성전자주식회사 다중 깊이 표현이 가능한 디스플레이 장치
CN114035323B (zh) * 2021-10-29 2022-09-23 歌尔光学科技有限公司 一种用于眼球追踪的显示面板及智能眼镜

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596339A (en) * 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
US5727098A (en) * 1994-09-07 1998-03-10 Jacobson; Joseph M. Oscillating fiber optic display and imager
US6046720A (en) * 1997-05-07 2000-04-04 University Of Washington Point source scanning apparatus and method
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR100845274B1 (ko) * 2006-11-06 2008-07-09 주식회사 시공테크 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
KR20150093054A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
WO2018093102A1 (ko) * 2016-11-16 2018-05-24 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치

Also Published As

Publication number Publication date
WO2001033282A1 (en) 2001-05-10
KR100703930B1 (ko) 2007-04-05
CA2388015C (en) 2007-01-09
AU1458900A (en) 2001-05-14
CA2388015A1 (en) 2001-05-10
MXPA02004256A (es) 2003-08-20
EP1230575B1 (en) 2005-01-26
DE69923480D1 (de) 2005-03-03
JP2003513333A (ja) 2003-04-08
EP1230575A1 (en) 2002-08-14
DE69923480T2 (de) 2006-02-16

Similar Documents

Publication Publication Date Title
KR100703930B1 (ko) 시선추적기능이 있는 개인용 디스플레이
US6396461B1 (en) Personal display with vision tracking
US6937221B2 (en) Scanned beam display
US7190329B2 (en) Apparatus for remotely imaging a region
US6714331B2 (en) Scanned imaging apparatus with switched feeds
US7071931B2 (en) Image capture device with projected display
EP1225470B1 (en) Image display apparatus and system
US20020075210A1 (en) Low light viewer with image simulation
US7982765B2 (en) Apparatus, system, and method for capturing an image with a scanned beam of light
US20180284441A1 (en) Wide field head mounted display
US20030142086A1 (en) Image projecting device
KR20040020864A (ko) 주파수 가변 공진 스캐너 및 그 제조 방법
WO2021113154A1 (en) Folded-beam, low-obliquity beam scanner
CN112543886A (zh) 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置
JPH11109278A (ja) 映像表示装置
EP1226464B1 (en) Linked scanner imaging system and method
EP1226569B1 (en) Low light viewer with image simulation
JPH11109279A (ja) 映像表示装置
EP1330673B1 (en) Frequency tunable resonant scanner with auxiliary arms
EP1226718A1 (en) Scanning beam image display
EP1655629A2 (en) Point source scanning apparatus and method
JPH06125516A (ja) 網膜ディスプレー装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110217

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee