KR102445475B1 - 홀로그래픽 프로젝션 - Google Patents

홀로그래픽 프로젝션 Download PDF

Info

Publication number
KR102445475B1
KR102445475B1 KR1020200099190A KR20200099190A KR102445475B1 KR 102445475 B1 KR102445475 B1 KR 102445475B1 KR 1020200099190 A KR1020200099190 A KR 1020200099190A KR 20200099190 A KR20200099190 A KR 20200099190A KR 102445475 B1 KR102445475 B1 KR 102445475B1
Authority
KR
South Korea
Prior art keywords
image
sub
pixel
pixels
sampling window
Prior art date
Application number
KR1020200099190A
Other languages
English (en)
Other versions
KR20210023697A (ko
Inventor
크리스마스 제미슨
웬지로우 미갈
가브리라 니쿠
Original Assignee
듀얼리타스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 듀얼리타스 리미티드 filed Critical 듀얼리타스 리미티드
Publication of KR20210023697A publication Critical patent/KR20210023697A/ko
Application granted granted Critical
Publication of KR102445475B1 publication Critical patent/KR102445475B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/28—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique superimposed holograms only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2223—Particular relationship between light source, hologram and observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655—Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • G03H2001/303—Interleaved sub-holograms, e.g. three RGB sub-holograms having interleaved pixels for reconstructing coloured holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/20—2D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/20—2D object
    • G03H2210/22—2D SLM object wherein the object beam is formed of the light modulated by the SLM
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/10—Shape or geometry
    • G03H2225/12—2D SLM
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/62—Sampling aspect applied to sensor or display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

홀로그래픽 프로젝터는 이미지 처리 엔진, 홀로그램 엔진, 디스플레이 엔진 및 광원을 포함한다. 이미지 처리 엔진은 프로젝션을 위한 소스 이미지를 수신하고 소스 이미지에 기초하여 주 이미지로부터 복수의 부 이미지를 생성하도록 형성된다. 소스 이미지는 화소를 포함한다. 각각의 부 이미지는 소스 이미지보다 적은 화소를 포함할 수 있다. 복수의 부 이미지는 주 이미지를 샘플링 함으로써 생성된다. 홀로그램 엔진은 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을, 계산과 같은 방식으로, 결정하도록 형성된다. 디스플레이 엔진은 디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 형성된다. 광원은 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하도록 형성된다. 주 이미지는 소스 이미지와 중간 이미지로 구성되는 그룹에서 선택된다.

Description

홀로그래픽 프로젝션{Holographic Projection}
본 발명은 이미지 프로세서 및 프로젝터에 관한 것이다. 보다 구체적으로, 본 발명은 홀로그래픽 프로젝터, 홀로그램 프로젝션 시스템 및 홀로그램 프로젝션을 위한 이미지 프로세서에 관한 것이다. 본 발명은 또한 타겟 이미지(target image)를 홀로그래픽 프로젝션하는 방법 및 비디오 이미지를 홀로그래픽 프로젝션하는 방법에 관한 것이다. 일부 실시예는 헤드업 디스플레이에 관한 것이다.
물체에서 산란된 빛은 진폭 및 위상 정보를 포함한다. 이러한 진폭 및 위상 정보는 예컨대 잘 알려진 간섭 기술에 의해 감광성 플레이트 상에 캡쳐 되어 홀로그래픽 기록 또는 간섭 줄무늬를 포함하는 "홀로그램"을 형성할 수 있다. 홀로그램은 원래 객체를 나타내는 2 차원 또는 3 차원 홀로그래픽 재구성(reconstruction) 또는 재생(replay) 이미지를 형성하기에 적절한 광을 조광함으로써 구성될 수 있다.
컴퓨터 생성 홀로그래피(computer-generated holography)는 수치적으로 간섭 프로세스(interference process)를 시뮬레이션 할 수 있다. 컴퓨터 생성 홀로그램 "CGH"는 프레넬(Fresnel) 또는 푸리에(Fourier) 변환과 같은 수학적 변환에 기초한 기술에 의해 계산될 수 있다. 이러한 유형의 홀로그램은 프레넬 또는 푸리에 홀로그램으로 지칭될 수 있다. 푸리에 홀로그램은 객체의 푸리에 도메인 표현 또는 객체의 주파수 도메인 표현으로 간주될 수 있다. CGH는 또한 예컨대 가간섭성 광선 추적(coherent ray tracing) 또는 포인트 클라우드 기법(point cloud technique)에 의해 계산될 수 있다.
CGH는 입사광의 진폭 및/또는 위상을 변조하도록 형성된 공간 광 변조기, "SLM", 상에 인코딩 될 수 있다. 광 변조는 예컨대 전기적으로 어드레스 가능한 액정, 광학적으로 어드레스 가능한 액정 또는 마이크로 미러를 사용하여 달성될 수 있다.
SLM은 셀들(cells) 또는 요소들(elements)로 지칭될 수 있는 복수의 개별적으로 어드레싱 가능한 화소들을 포함할 수 있다. 광 변조 방식은 이진(binary), 다중 레벨(multilevel) 또는 연속(continuous)일 수 있다. 대안적으로, 이 장치는 연속적일 수 있으며(즉, 화소로 구성되지 않은), 이에 따라 광 변조는 장치 전체에 걸쳐서 연속적일 수 있다. 공간 광 변조기는 변조 광이 공간 광 변조기로부터 반사되어 출력된다는 점에서 반사형(reflective)일 수 있다. 공간 광 변조기는 변조 광이 공간 광 변조기를 투과하여 출력된다는 점에서 투과형(transmissive)일 수도 있다.
기재된 기술을 이용하여 이미징을 위한 홀로그래픽 프로젝터가 제공될 수 있다. 이러한 프로젝터는 예를 들어, 헤드업 디스플레이 "HUD" 및 근안 장치(near-eye devices)를 포함하는 헤드마운트 디스플레이 "HMD"에 적용된다.
홀로그래픽 프로젝터는 이미지를 재생 평면의 재생 필드에 프로젝트 한다. 기재된 기술을 사용할 때, 프로젝션 된 이미지는 본 명세서에서 "SLM 화소"로 지칭되는 SLM의 화소 상에 디스플레이 된 홀로그램으로부터 형성된다. 따라서, SLM 화소는 본 명세서에서 "홀로그램 화소"로 지칭되는 홀로그램의 화소를 디스플레이 한다. 프로젝트 된 이미지는 본 명세서에서 "이미지 화소"로도 지칭되는 "이미지 스폿(image spot)"으로 형성된다. 이미지 화소는 크기가 한정되어 있으며 재생 필드의 인접한 이미지 화소는 서로 간섭하거나 흐릿(blur)해질 수 있다. 이것을 본 명세서에서는 화소 누화(pixel crosstalk)라고 지칭한다. 화소 누화 문제는 이미지 품질 저하를 초래한다.
또한, 홀로그램 엔진은 소스 이미지로부터 디스플레이하기위한 홀로그램을 결정하는데 시간이 걸린다. 예를 들어, 홀로그램은 적어도 하나의 푸리에 변환(Fourier transform)을 사용하여 계산된 푸리에 홀로그램 일 수 있다. 홀로그램을 계산하는 데 걸리는 시간은 홀로그램이 SLM에 기록될 수 있는 속도 및 따라서 일련의 소스 이미지가 비디오 스트림으로서 프로젝션 될 수 있는 속도(여기서는 "프레임 레이트(frame rate)"라고 함)를 제한할 수 있다. 따라서 수용할 수 있는 수준의 비디오 프레임 속도로 이미지를 프로젝트 하기가 어려울 수 있다.
본 개시는 재생 평면상에서 소스 이미지의 홀로그래픽 재구성의 해상도를 최적화하기 위해 시간 인터레이싱(time interlacing)을 구현하는 기술에 관한 것이다. 본 명세서에 개시된 일부 실시예는 업 스케일링(upscale) 된 이미지의 이미지 샘플링 또는 서브-샘플링(sub-sampling)을 포함하고, 일부 실시예는 홀로그래픽 재구성을 이미징 하는데 사용되는 광학 시스템에 의해 야기되는 왜곡(warp)을 효율적으로 보상하는 것을 포함한다.
본 명세서는 개선된 홀로그램 프로젝션 시스템 및 방법을 개시한다.
본 발명의 양태들은 첨부된 독립 청구항들에서 정의된다.
본 명세서에는 프로젝션에 의해 타겟 이미지를 홀로그래픽으로 재구성하도록 구성된 홀로그래픽 프로젝터가 개시된다. 홀로그래픽 프로젝터는 이미지 처리 엔진, 홀로그램 엔진, 디스플레이 엔진 및 광원을 포함한다. 이미지 처리 엔진은 소스 이미지 또는 타겟 이미지를 수신하도록 구성될 수 있다. 이미지 프로세싱 엔진은 소스 이미지를 형성하기 위해 타겟 이미지를 업 스케일링 하도록 구성될 수 있다. 소스 이미지는 화소를 포함한다. 이미지 처리 엔진은 소스 이미지에 기초한 주 이미지(primary image)를 샘플링함으로써 복수의 부 이미지(secondary image)를 생성하도록 구성된다. 예를 들어, 주 이미지는 소스 이미지 및 소스 이미지로부터 도출된 중간 이미지를 포함하는 그룹으로부터 선택될 수 있다. 각각의 부 이미지는 소스 이미지보다 적은 화소를 포함할 수 있다. 홀로그램 엔진은 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 계산하는 등의 방법으로 결정하도록 구성된다. 디스플레이 엔진은 디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 구성된다. 각각의 홀로그램은 디스플레이 장치 상에 차례로 디스플레이 될 수 있다. 대안적으로 또는 추가적으로, 2개 이상의 디스플레이 장치 또는 동일한 디스플레이 장치 내의 2개 이상의 구역 또는 영역이, 실질적으로 동시에 2개 이상의 각각의 홀로그램을 디스플레이 하기 위해 제공될 수 있다. 광원은 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하도록 형성된다.
소스 이미지를 형성하기위한 타겟 이미지의 업 스케일링은 소스 이미지의 각각의 인접한 화소 그룹에서 타겟 이미지의 각 화소 값을 반복하는 단계를 포함할 수 있으며, 여기서 타겟 이미지의 각 화소와, 이에 대응되는, 화소 값이 동일한 소스 이미지의 화소 그룹 사이에는 위치 대응이 존재한다.
각각의 부 이미지는 샘플링 윈도우의 복수의 위치에서 주 이미지의 대응하는 그룹의 화소로부터 계산된 복수의 화소를 포함할 수 있다. 각각의 부 이미지의 화소 값 각각은 복수의 샘플링 윈도우 위치 중 각각 하나의 위치에서 샘플링 윈도우 내에 속하는 주 이미지의 복수의 화소를 포함하는 대응하는 그룹으로부터 계산될 수 있다. 특정 부 이미지를 생성하기 위한 샘플링 윈도우의 복수의 위치는, 각각의 x 및 y 방향으로 가장 가까운 이웃한 샘플링 윈도우 위치로부터 각각의 샘플링 윈도우가 분리된, 서양장기판(checkerboard) 패턴을 포함할 수 있다. 대안적으로, 특정 부 이미지를 생성하기 위한 샘플링 윈도우의 복수의 위치는 (서로 닿아 인접하되 겹치지 않는 상태로) 서로 인접(contiguous)할 수 있다. 제1 부 이미지를 생성하기 위한 샘플링 윈도우의 복수의 위치는, 동일한 소스 이미지 또는 타겟 이미지의 다른 부 이미지인, 제2 부 이미지를 생성하기 위한 샘플링 윈도우의 복수의 위치와 상이할 수 있다. 예를 들어, 제1 부 이미지를 생성하기 위해 사용되는 서양장기판 패턴은 제2 부 이미지를 생성하기 위해 사용되는 서양장기판 패턴의 반대 패턴일 수 있다. 예를 들어, 제2 부 이미지를 생성하기 위해 사용되는 복수의 샘플링 윈도우 위치는 제1 부 이미지를 생성하기 위해 사용되는 복수의 위치로부터, 예컨대 대각 오프셋 된(diagonally offset), 오프셋 된 위치일 수 있다. 부 이미지의 화소 각각의 화소 값을 생성하기 위해, 동일한 크기 및 형상의 샘플링 윈도우가 사용될 수 있다. 동일한 소스 이미지 또는 타겟 이미지의 주 이미지 및 부 이미지의 화소 각각의 화소 값을 생성하기 위해, 동일한 크기 및 형상의 샘플링 윈도우가 사용될 수 있다.
본 명세서에서 본 발명자들은 주 이미지를 샘플링 함으로써 복수의 부 이미지를 도출하는 방법을 개시하였다. 주 이미지는 소스 이미지 또는 소스 이미지로부터 도출된 이미지(여기서는 "중간 이미지")에 해당할 수 있다. 홀로그램은 부 이미지 각각에 대해 결정되고 디스플레이 된다. 따라서, 대응하는 복수의 홀로그래픽 재구성이 동시에 또는 순차적으로 재생 평면 상에 형성된다. 홀로그래픽 재구성은, 관찰자가 보는 프로젝션 된 이미지가 서로 차례대로 형성된 다수의 홀로그래픽 재구성으로부터 형성된 것인지 및/또는 복수의 디스플레이 영역 또는 복수의 디스플레이로부터 디스플레이 된 홀로그램에 의해 형성된 것인지를 구분할 수 없는 수준의 육안 통합 시간(integration time of human eye) 내에 형성된다. 따라서, 프로젝트 된 이미지는 소스 이미지를 충실하고 완벽하게 재구성한 것으로 나타난다. 샘플링 기술이 적용됨에 따라, 부 이미지 각각은 주 이미지보다 해상도가 낮을 수 있다. 주 이미지가 충분히 높은 해상도를 갖는 경우, 소스 이미지의 완전한 홀로그래픽 재구성이 되도록 의도한 해상도를 제공할 수 있다.
일 양태에 따르면, 홀로그래픽 프로젝터가 제공되며, 홀로그래픽 프로젝터는 타겟 이미지를 프로젝트 하도록 구성된다. 홀로그래픽 프로젝터는 타겟 이미지로부터 도출된 주 이미지를 샘플링 함으로써 복수의 부 이미지를 생성하도록 구성된 이미지 처리 엔진을 포함하고, 각각의 부 이미지는 주 이미지보다 적은 화소를 포함할 수 있다. 홀로그래픽 프로젝터는 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 구성된 홀로그램 엔진 및 디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 구성된 디스플레이 엔진을 더 포함한다. 홀로그램은 동일한 디스플레이 장치 및/또는 다른 각각의 디스플레이 장치 및/또는 공통 디스플레이 장치의 다른 각각의 구역 또는 영역에 차례로 디스플레이 될 수 있다. 홀로그래픽 프로젝터는 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하도록 형성된 광원을 더 포함한다. 각각의 부 이미지는 샘플링 윈도우의 복수의 위치에서 주 이미지의 대응하는 그룹의 화소로부터 계산된 복수의 화소를 포함할 수 있고, 각각의 부 이미지의 화소 값 각각은 복수의 샘플링 윈도우 위치 중 각각 하나의 위치에서 샘플링 윈도우 내에 속하는 주 이미지의 복수의 화소를 포함하는 대응하는 그룹으로부터 계산될 수 있다. 제1 부 이미지를 생성하기 위해 사용되는 샘플링 윈도우의 복수의 위치들 중 적어도 일부는 제2 부 이미지를 생성하기 위해 사용되는 샘플링 윈도우의 복수의 위치들 중 적어도 일부와 상이할 수 있다.
일 양태에 따르면, 홀로그래픽 프로젝터가 제공되며, 홀로그래픽 프로젝터는 타겟 이미지를 프로젝트 하도록 구성된다. 홀로그래픽 프로젝터는 타겟 이미지로부터 도출된 주 이미지를 샘플링 함으로써 복수의 부 이미지를 생성하도록 구성된 이미지 처리 엔진을 포함하고, 각각의 부 이미지는 주 이미지보다 적은 화소를 포함할 수 있다. 홀로그래픽 프로젝터는 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 구성된 홀로그램 엔진 및 하나 이상의 디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 구성된 디스플레이 엔진을 더 포함한다. 홀로그램은 동일한 디스플레이 장치 및/또는 다른 각각의 디스플레이 장치 및/또는 공통 디스플레이 장치의 다른 각각의 구역 또는 영역에 차례로 디스플레이 될 수 있다. 홀로그래픽 프로젝터는 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하도록 형성된 광원을 더 포함한다. 각각의 부 이미지는 복수의 화소를 포함하고, 이들 각각은 샘플링 윈도우의 복수의 위치 각각에서 주 이미지 화소의 대응하는 그룹으로부터 계산될 수 있다.
이 양태에 따르면, 샘플링은, 샘플링 윈도우의 복수의 위치 중 각각 하나에서 샘플링 윈도우 내에 속하는 주 이미지의 화소 그룹 각각의 화소 값을 개별적으로 가중(weighting)함으로써, 부 이미지의 화소 각각과 주 이미지의 화소 그룹 각각 사이에 위치 대응이 존재하도록 부 이미지의 각 화소의 화소 값을 계산하는 단계를 포함할 수 있다. 제1 부 이미지를 계산하기 위해 제1 샘플링 윈도우 위치 세트가 사용될 수 있고, 복수의 부 이미지 내에서 각각의 제2 부 이미지를 계산하기 위해, 상이한 제2 샘플링 윈도우 위치 세트가 사용될 수 있다. 제1 샘플링 윈도우 위치 세트는 제2 샘플링 윈도우 위치 세트로부터, 예컨대 대각 오프셋 형태로, 오프셋 될 수 있다. 제1 및 제2 홀로그래픽 재구성이 인터레이스(interlace) 되도록, 제1 부 이미지에 대응되는 홀로그램을 디스플레이 하고 조광하여 형성되는 제1 홀로그래픽 재구성은, 제2 부 이미지에 대응되는 홀로그램을 디스플레이 하고 조광하여 형성되는 제2 홀로그래픽 재구성에 대해 재생 평면 상에서 공간적으로 옮겨질 수 있다.
일 양태에 따르면, 홀로그래픽 프로젝터가 제공되며, 홀로그래픽 프로젝터는 타겟 이미지를 프로젝트 하도록 구성되며, 홀로그래픽 프로젝터는 타겟 이미지로부터 도출된 주 이미지를 샘플링 함으로써 복수의 부 이미지를 생성하도록 구성된 이미지 프로세싱 엔진을 포함하고, 각각의 부 이미지는 주 이미지보다 적은 화소를 포함할 수 있다. 타겟 이미지의 업 스케일 된 버전을 포함하는 주 이미지는 소스 이미지를 포함하거나 소스 이미지로부터 도출될 수 있다. 홀로그래픽 프로젝터는 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 구성된 홀로그램 엔진 및 디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 구성된 디스플레이 엔진을 더 포함할 수 있다. 홀로그램은 동일한 디스플레이 장치 및/또는 다른 각각의 디스플레이 장치 및/또는 공통 디스플레이 장치의 다른 각각의 구역 또는 영역에 차례로 디스플레이 될 수 있다. 홀로그래픽 프로젝터는 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하도록 형성된 광원을 더 포함한다.
이 양태에 따르면, 각각의 부 이미지는, 샘플링 윈도우의 복수의 위치 중 각각 하나에서 샘플링 윈도우 내에 속하는 주 이미지의 각각의 화소 그룹으로부터 부 이미지의 화소 각각의 화소 값을 계산하는 것을 포함하는 샘플링에 의해 샘플링 윈도우의 복수의 위치에서 대응되는 주 이미지의 화소 그룹으로부터 계산되되, 부 이미지의 화소 각각과 주 이미지의 화소 그룹 각각 사이에 위치 대응이 존재하도록 형성된, 복수의 화소를 포함할 수 있다. 타겟 이미지의 해상도와 소스 이미지의 해상도 사이에는 제1 비율이 있을 수 있고, 부 이미지들 각각의 해상도와 소스 이미지의 해상도 사이에는 상이한 제2 비율이 있을 수 있다. 다르게 표현하면; 타겟 이미지에 대응하는 홀로그램의 화소 수와 소스 이미지에 대응하는 홀로그램의 화소 수 사이에는 제1 비율이 있을 수 있고, 부 이미지들 각각에 대응하는 홀로그램 각각의 화소 수와 소스 이미지에 대응하는 홀로그램의 화소 수 사이에는 상이한 제2 비율이 있을 수 있다. 따라서, 타겟 이미지의 해상도와 하나 이상의 부 이미지의 해상도 사이에는 원하는 또는 필요한 순 비율(net ratio)이 얻어질 수 있다.
본 명세서에 기술된 접근법은 해당 분야에 상당한 기술적 기여를 제공한다. 첫째, 프로젝트 된 이미지의 품질이 향상된다. 둘째, 프로젝트 된 이미지가 업데이트 될 수 있는 속도(즉, 프레임 레이트)가 증가된다. 셋째, 보다 유연한 홀로그래픽 프로젝터가 제공된다. 이러한 기술적 기여는 다음 단락에서 각각 설명된다.
먼저, 본 명세서에 개시된 접근법은 상이한 시간에 또는 상이한 각각의 디스플레이 장치(또는 공통의 디스플레이 장치의 상이한 각각의 구역 또는 섹션)에 상이한 이미지 화소를 디스플레이 함으로써 화소 누화가 관리될 수 있게 한다. 보다 구체적으로, 상이한 그룹의 이미지 스폿은 상이한 시간에 또는 상이한 각각의 디스플레이 장치(또는 공통의 디스플레이 장치의 상이한 각각의 구역 또는 섹션)에 디스플레이 된다. 예를 들어, 제1 시간에 형성된 (제1 부 이미지에 대응하는) 제1 홀로그래픽 재구성은 이미지 프레임의 제1 그룹의 이미지 화소(예를 들어, 복수의 제1 샘플링 윈도우 위치에서 주 이미지를 샘플링하여 형성되는 화소 또는 하나 건너 하나씩의 이미지 화소)를 포함할 수 있고, 제2 시간에 (제2 부 이미지에 대응하는) 제2 홀로그래픽 재구성은 남은 이미지 화소(또는 상이한 복수의 제2샘플링 윈도우 위치에서 주 이미지를 샘플링하여 형성되는 화소)를 포함하는 제2 그룹을 디스플레이 함으로써 이미지 프레임의 빈 곳을 채울 수 있다. 제1 및 제2 그룹(예를 들어, 인접한 화소 그룹)의 이미지 화소가 동시에 디스플레이 되지 않기 때문에, 화소 간 간섭 및 화소 누화가 감소된다. 따라서, 본 발명자들은 화소 누화를 관리함으로써 이미지 품질을 향상시키기 위한, 복수의 홀로그래픽 재구성들을 (시간 및/또는 공간에서) 인터레이싱하는 기술을 개시하였다.
본 개시에서, 새로운 접근법은 복수의 부 이미지 각각을 얻기 위해 복수의 상이한 방식으로 고해상도 소스 이미지를 샘플링 함으로써 구현된다. 따라서, 타겟 이미지를 "업 스케일링"하여 소스 이미지를 형성하고, 소스 이미지 또는 소스 이미지에 기초한 중간 이미지를 샘플링 함으로써, 화소 누화를 관리하면서 동시에 원하는 해상도의 인터레이스 홀로그래픽 재구성을 얻을 수 있다.
둘째로, 본 발명자들은 실시간(즉, 비디오 레이트) 프로세싱에 적합한 접근법을 본 명세서에 개시하였다. 구체적으로, 홀로그램은 비디오의 프레임 시간 내에 결정되고 디스플레이 될 수 있다. 이러한 기술적인 기여는 각각의 부 이미지가 소스 이미지보다 적은 화소를 가질 수 있기 때문에 달성된다. 각각의 소스 이미지를 재구성하기 위해 더 많은 홀로그램이 필요하지만, 부 이미지가 소스 이미지보다 적은 수의 화소를 가질 때, 각각의 개별 홀로그램은 훨씬 더 빨리 결정될 수 있다. 예를 들어, 푸리에 변환 방법을 사용하여 2x개 화소를 포함하는 하나의 홀로그램을 계산하는 것보다 x개 화소를 포함하는 2개의 홀로그램을 계산하는 것이 더 빠르다. 따라서, 본 발명자들은 수용할 수 있는 수준의 비디오 프레임 레이트에서 홀로그래픽 프로젝션을 가능하게 하기 위해 소스 이미지에 대응하는 홀로그램 계산 속도를 증가시키는 기술을 개시하였다.
본 명세서에 개시된 새로운 접근법의 이들 및 다른 장점은 다음의 상세한 설명으로부터 추가로 이해될 것이다.
본 명세서에서 "타겟 이미지"라는 용어는 본 명세서에서 설명된 홀로그래픽 시스템으로의 입력을 지칭하기 위해 사용된다. 즉, 타겟 이미지는 홀로그래픽 시스템이 홀로그래픽 재생 평면 상에 프로젝션 해야 할 이미지이다. 타겟 이미지는 비디오 레이트로 프로젝트 될 일련의 이미지와 같은 일련의 이미지 중 하나일 수 있다.
본 명세서에서 "소스 이미지"라는 용어는 타겟 이미지로부터 도출된 이미지를 지칭하기 위해 사용된다. 소스 이미지는 타겟 이미지와 동일하거나 혹은 타겟 이미지의 업 스케일 된 버전 일 수 있다. 즉, 소스 이미지는 타겟 이미지보다 많은 화소를 포함할 수 있다. 임의의 업 스케일링 기술이 사용될 수 있다. 일부 실시예들에서, 업 스케일링은 상세한 설명에서 설명된 바와 같이, 타겟 이미지의 화소 값을 반복하는 것을 포함한다. 이들 실시예에서, 계산 엔진은 반복을 나타내는 간단한 매핑 방식을 사용할 수 있다.
본 명세서에서 용어 "왜곡(warping)"은 홀로그래픽 재구성을 이미징 하는데 사용되는 광학 릴레이 시스템과 같은 광학 시스템의 광학에 의해 이미지가 왜곡되는 프로세스를 지칭하기 위해 사용된다. 광학 시스템은 불균일한 광학 파워를 갖는 요소를 포함할 수 있다. "왜곡 맵(warping map)"은 광학 시스템에 의해 이미지가 어떻게 변경(예를 들어, 왜곡)되는지를 기술/정의하는 수학적 함수 또는 매핑 방식이다. 구체적으로, 왜곡 맵은 광학 시스템에 의해 이미지의 불연속 점(예를 들어, 화소 또는 화소 영역)이 어떻게 변화(예를 들어, 이격/이동)되는지를 기술한다. 본 명세서에 개시된 홀로그래픽 시스템은 왜곡 맵을 사용하여 발생할 왜곡을 예측/모델링/추정할 수 있다. 본 명세서에 개시된 일부 기술은 왜곡 맵 (또는 왜곡 맵의 쌍 - 예를 들어 x 및 y-왜곡 맵)을 필요로 한다. 왜곡 맵(들)이 결정/계산되는 프로세스는 본 명세서에 개시된 발명과 관련이 없지만, 독자의 이해를 돕기 위해 간략하게 예를 들어 설명한다. 광학 시스템이 각각의 홀로그래픽 재구성 및 각각의 이미지를 시각-상자(eye-box) 영역 내에서 볼 수 있는 예에서, 왜곡 맵 쌍은 복수의 시각-상자 위치에 대해 정의될 수 있다.
본 명세서에서 "주 이미지"라는 용어는 (1) 소스 이미지 또는 (2) 소스 이미지로부터 도출된 중간 이미지를 지칭하기 위해 사용된다. 실시예들의 설명에서, 용어 "중간 이미지"는 본 명세서에서 왜곡 맵에 따라 소스 이미지로부터 도출된 이미지를 지칭하기 위해 사용된다. 구체적으로, 용어 "중간 이미지"는 본 명세서에서 왜곡된 버전의 소스 이미지, 즉 왜곡 맵 또는 한 쌍의 왜곡 맵을 사용하여 왜곡 후의 소스 이미지를 지칭하는데 사용되며, 왜곡 맵(들)은 대응되는 광학 시스템에 의해 발생된 왜곡을 특징 짓는다.
본 명세서에서 용어 "부 이미지"는 주 이미지로부터 도출된 복수의 이미지 중 하나를 지칭하기 위해 사용된다. 각각의 부 이미지는 주 이미지를 서브-샘플링("샘플링"이라고도 지칭되고, "언더-샘플링(under-sampling)"이라고도 지칭될 수 있음)에 의해 형성된다. 각각의 부 이미지는 소스 이미지보다 적은 화소를 포함할 수 있다. 부 이미지의 각각의 화소 값은 주 이미지의 여러 화소 값으로부터 계산될 수 있고, 선택적으로, 상세한 설명에서 기술한 바와 같은 가중치 기술이 사용될 수 있다. 특히, 타겟 이미지로부터 소스 이미지를 형성하는데 사용되는 업 스케일링 프로세스는 주 이미지로부터 각각의 부 이미지를 형성하는데 사용되는 서브-샘플링 기술과 상이하다. 부 이미지는 각각 주 이미지와 다르지만, 선택적으로, 주 이미지와 동일한 수의 화소 또는 더 많은 화소를 가질 수 있다. 부 이미지가 소스 이미지보다 적은 화소를 갖는 경우, 부 이미지의 화소는 소스 이미지의 각 화소로부터의 기여를 포함할 수 있다. 각각의 부 이미지에 대응하는 홀로그램이 계산된다.
"홀로그램"이라는 용어는 객체에 대한 진폭 정보 또는 위상 정보, 또는 그들의 몇몇 조합들을 포함하는 기록을 지칭하는데 사용된다. "홀로그래픽 재구성(holographic reconstruction)"이란 용어는 홀로그램을 조광하여 형성되는 물체의 광학적 재구성을 지칭하는 용어이다. "재생 평면(replay plane)"이라는 용어는 홀로그래픽 재구성이 완전히 형성되는 공간 내의 평면을 지칭한다. "재생 필드(replay field)"라는 용어는 공간 광 변조기로부터 공간-변조된 광을 수신할 수 있는 재생 평면의 부 영역(sub-area)을 지칭한다. "이미지", "재생 이미지" 및 "이미지 영역(image region)"이라는 용어는 홀로그래픽 재구성을 형성하도록 광에 의해 조광되는 재생 필드의 영역을 가리킨다. 일부 실시예들에서, "이미지"는 "이미지 화소"로 지칭될 수 있는 불연속적인 스폿들(discrete spots)을 포함할 수 있다.
"인코딩", "쓰기(writing)" 또는 "어드레싱(addressing)"은 각각의 화소의 변조 레벨을 개별적으로 결정하는 복수의 제어값을 SLM의 복수의 화소들에 제공하는 프로세스를 기술하는 데 사용된다. SLM의 화소들은 복수의 제어 값을 수신하는 것에 응답하여 광 변조 분포를 "디스플레이"하도록 구성될 수 있다. 따라서, SLM은 홀로그램을 "디스플레이"한다고 할 수 있으며, 홀로그램은 광 변조 값 또는 레벨의 배열로 간주될 수 있다.
수용 가능한 품질의 홀로그래픽 재구성은 원래 객체와 관련된 위상 정보만을 포함하는 "홀로그램"으로부터 형성될 수 있음이 밝혀졌다. 이러한 홀로그래픽 기록은 위상-한정 홀로그램으로 지칭될 수 있다. 일부 실시예들은 단지 예로서 위상-한정 홀로그램과 관련된다. 실시예들은 위상-한정 홀로그램에 관련되나 본 발명은 진폭-한정 홀로그래피에도 동등하게 적용 가능하다.
본 발명은 또한 원래 객체와 관련된 진폭 및 위상 정보를 사용하여 홀로그래픽 재구성을 형성하는데 동일하게 적용 가능하다. 일부 실시예에서, 이것은 원래 객체와 관련된 진폭 및 위상 정보를 모두 포함하는 소위 완전-복소 홀로그램을 사용하는 복소 변조에 의해 달성된다. 이러한 홀로그램은 홀로그램의 각 화소에 할당된 값(그레이 레벨)이 진폭 및 위상 성분을 갖기 때문에 완전-복소 홀로그램으로 불릴 수 있다. 각 화소에 할당된 값(그레이 레벨)은 진폭 및 위상 성분을 갖는 복소수로 표현될 수 있다. 일부 실시 예에서, 완전-복소 컴퓨터 생성 홀로그램이 계산된다.
위상 값, 위상 성분, 위상 정보, 또는 간단히, 컴퓨터 생성 홀로그램 또는 공간 광 변조기의 화소들의 위상을 "위상-지연"의 약자로서 참조할 수 있다. 즉, 기술된 임의의 위상 값은 사실 그 화소에 의해 제공된 위상 지연의 양을 나타내는 숫자 (예를 들어, 0 내지 2π 범위인)이다. 예를 들어, 공간 광 변조기의 화소가 위상 값 π/2를 갖는 것으로 기술된다면, 이는 전달된 광의 위상을 π/2 라디안만큼 변경할 것이다. 일부 실시예들에서, 공간 광 변조기의 화소 각각은 복수의 가능한 변조 값들(예를 들어, 위상 지연 값들)에서 동작 가능하다. "그레이 레벨"이란 용어는 복수의 이용 가능한 변조 레벨을 지칭하는데 사용될 수 있다. 예를 들어, "그레이 레벨"이란 용어는 상이한 위상 레벨들이 상이한 그레이 정도를 제공하지 않더라도, 편의상 위상-한정 변조기의 복수의 가용 위상 레벨을 지칭하는데 사용될 수 있다. "그레이 레벨"이란 용어는 또한 복소 변조기에서 복수의 가용 복소 변조 레벨을 지칭하는데 사용될 수 있다.
상이한 구성 및 구성의 그룹이 후술하는 상세한 설명에 개별적으로 개시될 수 있지만, 임의의 구성 또는 구성의 그룹의 임의의 특징은 임의의 구성 또는 구성 그룹의 임의의 다른 특징 또는 특징들의 조합과 결합될 수 있다. 즉, 본 개시에 개시된 특징들의 모든 가능한 조합 및 순열이 고려된다.
구체적인 구성은 다음의 도면을 참조하여 단지 예로서 설명된다:
도 1은 스크린 상에 홀로그래픽 재구성을 생성하는 반사형 SLM을 나타내는 개략도이다.
도 2a는 예시적인 Gerchberg-Saxton 타입 알고리즘의 제1 반복을 도시한다.
도 2b는 Gerchberg-Saxton 형 알고리즘의 두 번째 및 후속 반복을 도시한다.
도 2c는 Gerchberg-Saxton 형 알고리즘의 대안적인 두 번째 및 후속 반복을 도시한다.
도 3은 반사형 LCOS SLM의 개략도이다.
도 4는 일 실시예에 따른 홀로그래픽 프로젝터에 의한 프로젝션을 위해 소스 이미지로부터 도출된 각각의 부 이미지로부터 홀로그램 쌍을 결정하기위한 예시적인 기술을 도시한다.
도 5는 일 실시예들에 따른, 도 4의 예시적인 기술의 일반화에 기초하여, 한 쌍의 홀로그램을 순차적으로 디스플레이 함으로써 생성된 홀로그래픽 재구성을 도시한다.
도 6은 예시적인 소스 이미지를 도시한다.
도 7a는 일 실시예에 따라 제1 부 이미지를 도출하기 위해, 도 6의 소스 이미지를 샘플링 하는 예시적인 기술을 도시한다.
도 7b는 일 실시예에 따라 제1 부 이미지에 대해 대각 오프셋 된 제2 부 이미지를 도출하기 위해, 도 6의 소스 이미지를 샘플링 하는 예시적인 기술을 도시한다.
도 8은 도 7a 및 도 7b의 샘플링 기술에 사용하기 위한 예시적인 커널을 도시한다.
도 9는 일 실시예에 따라 도 7b 및 도 7b의 제1 및 제2 부 이미지 각각에 대해 결정된 제1 및 제2 홀로그램의 디스플레이에 의해 형성되고, 대각 오프셋 되어 제1 및 제2 시간 인터레이스 된 홀로그래픽 재구성을 도시한다.
도 10a는 예시적인 소스 이미지를 도시한다.
도 10b는 중간 이미지로 지칭되는 예시적인 왜곡된 이미지를 도시한다.
도 11a는 일 실시예에 따른 제1 부 이미지를 결정하기 위한, 도 10b의 중간 이미지의 샘플링을 도시한다.
도 11b는 일 실시예에 따른 제1 부 이미지를 도시한다.
도 12는 도 11a의 일부를 확대한 도면을 도시한다.
도 13a는 일 실시예에 따라, 제2 부 이미지를 결정하기 위한, 도 10b의 중간 이미지의 샘플링을 도시한다.
도 13b는 일 실시예에 따른 제2 부 이미지를 도시한다.
도 14는 예시적인 변위 맵을 도시한다.
도 15는 다른 예시적인 변위 맵을 도시한다.
도 16은 일부 실시예에 따른 프로젝션을 위한 타겟 이미지 및 타겟 이미지의 업 스케일링 된 버전을 도시한다.
도 17a는 업 스케일링 된 타겟 이미지를 서브-샘플링하기 위한 서양장기판 접근법을 도시한다.
도 17b 및 17c는 홀로그래픽 재생 필드를 이미지화 하는 광학 시스템의 광학계에 의해 서양장기판의 상이한 영역이 어떻게 왜곡되는지를 도시한다.
도 18은 일부 실시예에 따른 서브-샘플링을 위한 샘플링 윈도우를 도시한다.
도 19는 실시예들에 따른 홀로그래픽 프로젝터를 도시한 개략도이다.
도면에서, 동일한 참조 번호는 동일하거나 유사한 부분을 지칭한다.
본 발명은 다음에 설명되는 구성에 제한되지 않으며, 첨부된 청구 범위의 전체 범위로 확장한다. 즉, 본 발명은 다른 형태로 실시될 수 있으며 설명의 목적으로 제시된 기재된 구성에 한정되는 것으로 해석되어서는 안된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
다른 구조물의 상부/하부 또는 상/하에 형성된 구조물이라고 기술된 경우, 구조물들이 서로 접촉하는 경우 및 제3의 구조물이 그 사이에 배치되는 경우를 포함하는 것으로 해석되어야 한다.
시간 관계를 기술함에 있어서, 사건의 시간 순서가 예를 들어 "후", "후속", "다음", "전" 등으로 기술될 때, 본 개시는 별도로 규정하지 않는 한은 연속적 및 비연속적 사건을 포함하는 것으로 간주되어야 한다. 예를 들어, 그 기재가 "막(just)", "바로(immediate)" 또는 "직접(direct)"라는 기재가 사용되지 않는 한, 비연속적 경우를 포함하는 것으로 간주되어야 한다.
"제1", "제2" 등의 용어는 다양한 요소를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 요소들은 이들 용어에 의해 제한되지 않는다. 이 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 제1요소는 제2요소로 지칭될 수 있고, 유사하게, 제2요소는 첨부된 청구 범위를 벗어남 없이 제1요소로 지칭될 수 있다.
상이한 구성의 특징들은 부분적으로 또는 전체적으로 서로 연결되거나 결합될 수 있으며, 다양한 형태로 서로 상호 작용할 수 있다. 어떤 구성은 서로 독립적으로 수행될 수도 있고, 서로 연계되어 함께 수행될 수도 있다.
광학 구성
도 1은 컴퓨터 생성 홀로그램이 단일 공간 광 변조기 상에 인코딩 되는 실시예를 도시한다. 컴퓨터 생성 홀로그램은 재구성을 위한 객체의 푸리에 변환이다. 따라서 홀로그램은 객체의 푸리에 도메인 또는 주파수 도메인 또는 스펙트럼 도메인 표현이라고 말할 수 있다. 일 실시예에서, 공간 광 변조기는 실리콘 장치, "LCOS", 상의 반사형 액정이다. 홀로그램은 공간 광 변조기 상에 인코딩 되고, 홀로그래픽 재구성은 재생 필드, 예컨대 스크린 또는 디퓨저와 같은 수광 부재 또는 스크린에 형성된다.
예컨대 레이저나 레이저 다이오드 같은 광원(110)은 콜리메이팅 렌즈(Collimating Lens, 111)를 통해 SLM(140)에 조광하도록 배치된다. 콜리메이팅 렌즈는 광이 SLM 상에 전체적으로 평면 파면으로 입사되도록 만든다. 도 1에서, 파면의 방향은 (예컨대, 투명층의 평면 대비 완전 직각으로부터 2˚ 또는 3˚정도 떨어진) 약간 오프노멀(Off-Normal)하다. 그러나, 다른 실시예들에서, 전체적으로 평면인 파면은 법선 방향으로 입사되고, 입력 및 출력 광경로를 분리하기 위한 빔 스플리터 배치(beam splitter arrangement)가 사용된다. 도 1에 도시된 실시예에서, 이러한 배치는, 광원으로부터 오는 광이 SLM의 후방면의 미러에 반사되며 출사 파면(Exiting Wavefront, 112)을 형성하기 위해 광 변조층과 상호작용하게 한다. 출사 파면(112)은 스크린(125)에 초점이 맞춰진 푸리에 변환 렌즈(120)를 포함하는 광학계에 적용된다. 더욱 상세하게, 푸리에 변환 렌즈(120)는 SLM(140)으로부터 출사되는 변조된 광의 빔을 전달받아 스크린(125)에 홀로그래픽 재구성을 생성하기 위해 주파수-공간 변환을 수행한다.
특히, 이러한 유형의 홀로그래피에서 홀로그램의 각 화소는 전체 재구성에 기여한다. 재생 필드의 특정 지점(또는 이미지 화소)과 특정 광 변조 요소(또는 홀로그램 화소) 간에는 일대일 상관 관계가 없다. 다르게 표현하면, 광 변조 층을 나가는 변조된 광은 재생 영역을 가로 질러 분배된다.
이 실시예들에서, 공간 상에서의 홀로그래픽 재구성의 위치는 푸리에 변환 렌즈의 굴절(포커싱) 파워(dioptric(focusing) power)에 의해 결정된다. 도 1에 도시된 실시예에서, 푸리에 변환 렌즈는 물리적 렌즈이다. 즉, 푸리에 변환 렌즈는 광학적 푸리에 변환 렌즈이며 푸리에 변환은 광학적으로 수행된다. 어떤 렌즈라도 푸리에 변환 렌즈 역할을 할 수 있지만, 수행되는 푸리에 변환의 정확도는 렌즈의 성능에 좌우된다. 통상의 기술자는 렌즈를 사용하여 광학적 푸리에 변환을 수행하는 방법을 이해한다.
홀로그램 계산
일부 실시예에서, 컴퓨터 생성 홀로그램은 푸리에 변환 홀로그램, 또는 단순히 푸리에 홀로그램 또는 푸리에 기반 홀로그램이고, 여기서 이미지는 양의 렌즈의 푸리에 변환 특성을 이용하여 파-필드(far-field)에서 재구성된다. 푸리에 홀로그램은 재생면의 원하는 광 필드를 푸리에 변환하여 렌즈 평면에 오도록 계산된다. 컴퓨터 생성 푸리에 홀로그램은 푸리에 변환을 사용하여 계산될 수 있다.
푸리에 변환 홀로그램은 게르흐버그-색스톤(Gerchberg-Saxton)과 같은 알고리즘을 사용하여 계산될 수 있다. 또한, 게르흐버그-색스톤 알고리즘은 공간영역(예컨대, 사진)의 진폭-한정 정보로부터 푸리에 도메인의 홀로그램(즉, 푸리에 변환 홀로그램)을 계산하는 데 사용될 수 있다. 객체에 관한 위상 정보는 공간영역 내의 진폭-한정 정보로부터 "얻어질(retrieved)" 수 있다. 몇몇 실시예들에서, 컴퓨터-생성 홀로그램은 게르흐버그-색스톤 알고리즘 또는 그 변형 알고리즘을 이용해 진폭-한정 정보로부터 계산된다.
게르흐버그-색스톤 알고리즘은, 각각의 평면 A와 B에서 광빔(light beam) IA(x, y) 및 IB(x, y)의 강도 단면(intensity cross-sections)이 각각 단일 푸리에 변환으로 상호 연관되어 있는 상황을 고려한다. 주어진 강도 단면에서, 평면 A 및 B에서의 각각의 위상 분포에 대한 근사치인 ΨA(x, y) 및 ΨB(x, y) 가 구해진다. 게르흐버그-색스톤 알고리즘은 반복 프로세스(iterative process)를 따름으로써 이 문제에 대한 해결책을 찾는다. 더욱 상세하게, 게르흐버그-색스톤 알고리즘은 공간 영역과 푸리에(스펙트럼 또는 주파수) 영역 사이에서 IA(x, y) 및 IB(x, y)를 대표하는 데이터 세트(진폭 및 위상)를 반복적으로 전달하면서(repeatedly transferring) 공간적 및 스펙트럼 제약(constraints)을 반복적으로 적용한다. 스펙트럼 영역 내 상응하는 컴퓨터 생성 홀로그램이 이 알고리즘의 1 회 이상의 반복을 통해 얻어진다. 이 알고리즘은 입력 이미지를 나타내는 홀로그램을 생성하도록 구성되고 수렴된다. 홀로그램은 진폭-한정 홀로그램, 위상-한정 홀로그램 또는 완전-복소 홀로그램(fully-complex hologram)일 수 있다.
일부 실시예에서, 위상-한정 홀로그램은 영국 특허 제2,498,170호 또는 제2,501,112호에 기술된 바와 같은 게르흐버그-색스톤 알고리즘에 기초한 알고리즘을 사용하여 계산되며, 이 특허들은 그 전체로서 원용되어 본 명세서에 통합된다. 그러나, 여기에 개시된 실시예는 단지 예시로서 위상-한정 홀로그램을 계산하는 것을 설명한다. 이들 실시예에서, 게르흐버그-색스톤 알고리즘은 알려진 진폭 정보 T[x, y]를 발생시키는 데이터 세트의 푸리에 변환의 위상 정보 Ψ[u, v]를 검색하는데, 여기서 진폭 정보 T[x, y]는 대상 이미지 (예컨대, 사진)를 나타낸다. 진폭과 위상은 푸리에 변환에서 본질적으로 결합되므로, 변환된 크기와 위상에는 계산된 데이터 세트의 정확성에 대한 유용한 정보가 포함된다. 따라서, 알고리즘은 진폭 및 위상 정보 모두에 대한 피드백을 반복적으로 사용할 수 있다. 그러나, 이들 실시예에서, 위상 정보 Ψ[u, v]만이 홀로그램으로서 사용되어 이미지 평면에서 타겟 이미지의 홀로그래픽 표현을 형성한다. 홀로그램은 위상 값들의 데이터 세트(예를 들어, 2D 어레이)이다.
다른 실시예에서, 게르흐버그-색스톤 알고리즘에 기초한 알고리즘은 완전-복소 홀로그램을 계산하는데 사용된다. 완전-복소 홀로그램은 크기 성분 및 위상 성분을 갖는 홀로그램이다. 홀로그램은 복소 데이터 값들의 어레이를 포함하는 데이터 세트(예를 들어, 2D 어레이)이고, 각각의 복소 데이터 값은 크기 성분 및 위상 성분을 포함한다.
일부 실시예에서, 알고리즘은 복소 데이터를 처리하고, 푸리에 변환은 복소 푸리에 변환이다. 복소 데이터는 (i) 실수 성분 및 허수 성분 또는 (ii) 크기 성분 및 위상 성분을 포함하는 것으로 간주될 수 있다. 일부 실시예에서, 복소 데이터의 2개의 성분은 알고리즘의 다양한 단계에서 다르게 처리된다.
도 2a는 위상-한정 홀로그램을 계산하기 위한 일부 실시예에 따른 알고리즘의 제1반복을 도시한다. 알고리즘에 대한 입력은 화소 또는 데이터 값의 2D 어레이를 포함하는 입력 이미지(210)이며, 여기서 각 화소 또는 데이터 값은 크기 또는 진폭 값이다. 즉, 입력 이미지(210)의 각 화소 또는 데이터 값은 위상 성분을 갖지 않는다. 따라서, 입력 이미지(210)는 크기-한정 또는 진폭-한정 또는 세기-한정 분포로 간주될 수 있다. 이러한 입력 이미지(210)의 일례는 프레임의 시간적 시퀀스를 포함하는 비디오 또는 사진의 한 프레임이다. 알고리즘의 제1반복은 랜덤 위상 분포(또는 랜덤 위상 시드)(230)를 사용하여, 초기 복소 데이터 세트(starting complex data set)의 각각의 데이터 요소가 크기 및 위상을 포함하도록, 입력 이미지의 각 화소에 랜덤 위상 값을 할당하는 단계를 포함하는 데이터 형성 단계(202A)에서 시작한다. 초기 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다.
제1프로세싱 블록(250)은 초기 복소 데이터 세트를 수신하고 복소 푸리에 변환을 수행하여 푸리에 변환된 복소 데이터 세트를 형성한다. 제2프로세싱 블록(253)은 푸리에 변환된 복소 데이터 세트를 수신하여 홀로그램(280A)을 출력한다. 일부 실시예에서, 홀로그램(280A)은 위상-한정 홀로그램이다. 이들 실시예에서, 제2프로세싱 블록(253)은 각각의 위상 값을 양자화하고 홀로그램(280A)을 형성하기 위해 각 진폭 값을 1로 설정한다. 각 위상 값은 위상-한정 홀로그램을 "디스플레이"하는데 사용될 공간 광 변조기의 화소 상에 표현될 수 있는 위상 레벨에 따라 양자화된다. 예를 들어, 공간 광 변조기의 각 화소가 256 개의 상이한 위상 레벨을 제공하면, 홀로그램의 각 위상 값은 256 개의 가능한 위상 레벨 중 하나의 위상 레벨로 양자화된다. 홀로그램(280A)은 입력 이미지를 나타내는 위상-한정 푸리에 홀로그램이다. 다른 실시예에서, 홀로그램(280A)은 수신된 푸리에 변환된 복소 데이터 세트로부터 유도된 복소 데이터 값(각각 진폭 성분 및 위상 성분을 포함함)의 어레이를 포함하는 완전-복소 홀로그램이다. 일부 실시예에서, 제2프로세싱 블록(253)은 홀로그램(280A)을 형성하기 위해 복수의 허용 가능한 복소 변조 레벨 중 하나로 각각의 복소 데이터 값을 제한한다. 제한 단계는 복소수 평면에서 각 복소 데이터 값을 가장 가까운 허용 복소수 변조 레벨로 설정하는 단계를 포함할 수 있다. 홀로그램(280A)은 스펙트럼 또는 푸리에 또는 주파수 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다. 일부 실시예에서, 알고리즘은 이 시점에서 정지한다.
그러나, 다른 실시예에서, 알고리즘은 도 2a의 점선 화살표로 나타낸 바와 같이 계속된다. 즉, 도 2a의 점선 화살표를 따르는 단계는 선택적이다(즉, 모든 실시예에 필수적인 것은 아님).
제3프로세싱 블록(256)은 제2프로세싱 블록(253)으로부터 수정된 복소 데이터 세트를 수신하고, 역 푸리에 변환된 복소 데이터 세트를 형성하기 위해 역 푸리에 변환을 수행한다. 역 푸리에 변환된 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다
제4프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트를 수신하고, 진폭 값(211A)의 분포 및 위상 값(213A)의 분포를 추출한다. 선택적으로, 제4프로세싱 블록(259)은 진폭 값들(211A)의 분포를 평가한다. 구체적으로, 제4프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트의 진폭 값(211A)의 분포를, 당연히 진폭 값의 분포인, 입력 이미지(510)와 비교할 수 있다. 진폭 값들(211A)과 입력 이미지(210)의 분포 사이의 차이가 충분히 작으면, 제4프로세싱 블록(259)은 홀로그램(280A)이 허용 가능한 것으로 결정할 수 있다. 즉, 진폭 값들(211A)의 분포와 입력 이미지(210)의 차이가 충분히 작으면, 제4프로세싱 블록(259)은 홀로그램(280A)이 입력 이미지(210)를 충분히 정확하게 나타내는 것으로 결정할 수 있다. 일부 실시예들에서, 비교 과정에서 역 푸리에 변환된 복소 데이터 세트의 위상 값(213A)의 분포는 무시된다. 진폭 값들(211A) 및 입력 이미지(210)의 분포를 비교하기위한 임의의 수의 상이한 방법들이 이용될 수 있으며, 본 개시는 임의의 특정 방법에 제한되지 않음을 이해할 것이다. 일부 실시예들에서, 평균 제곱 차이가 계산되고, 평균 제곱 차이가 임계값 보다 작은 경우, 홀로그램(280A)은 수용 가능한 것으로 간주된다. 제4프로세싱 블록(259)이 홀로그램(280A)이 수용 가능하지 않다고 결정하면, 알고리즘의 추가 반복이 수행될 수 있다. 그러나, 이러한 비교 단계는 필수적인 것은 아니며, 다른 실시예에서, 수행된 알고리즘의 반복 횟수는 미리 결정되거나 미리 설정되거나 사용자 정의된다.
도 2b는 알고리즘의 두 번째 반복 및 알고리즘의 임의의 반복을 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 처리 블록을 통해 피드백 된다. 제1반복에서, 데이터 형성 단계(202A)는 입력 이미지(210)의 진폭 값들의 분포를 랜덤 위상 분포(230)와 결합하여 제1복소 데이터 세트를 형성한다. 그러나, 두 번째 및 후속 반복에서, 데이터 형성 단계(202B)는 (i) 알고리즘의 이전 반복으로부터의 위상 값(213A)의 분포와 (ii) 입력 이미지(210)의 진폭 값들의 분포를 합하여 복소 데이터 세트를 형성하는 단계를 포함한다.
도 2b의 데이터 형성 단계(202B)에 의해 형성된 복소 데이터 세트는 도 2a를 참조하여 기술된 것과 동일한 방식으로 처리되어 제2반복 홀로그램(280B)을 형성한다. 따라서 여기에서 프로세스의 설명은 반복되지 않는다. 알고리즘은 제2반복 홀로그램(280B)이 계산되면 중단될 수 있다. 그러나, 알고리즘의 임의의 수의 추가 반복이 수행될 수 있다. 제3프로세싱 블록(256)은 제4프로세싱 블록(259)이 요구되거나 더 많은 반복이 요구되는 경우에만 요구된다는 것을 이해할 것이다. 출력 홀로그램(280B)은 일반적으로 반복마다 개선된다. 그러나 실제로는, 측정 가능한 개선이 관찰되지 않거나, 처리 시간의 증가라는 부정적 효과가 추가 반복을 수행하는 긍정적 이점 보다 커지는 시점이 도달한다. 따라서, 알고리즘은 반복적이고 수렴적으로 기술된다.
도 2c는 두 번째 및 후속 반복의 대안적인 실시예를 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백 된다. 진폭 값(211A)의 분포는 대안적인 진폭 값의 분포를 위해 소거된다. 이 대안적인 실시예에서, 대안적인 진폭 값의 분포는 이전 반복의 진폭 값(211)의 분포로부터 도출된다. 특히, 프로세싱 블록(258)은 이전 반복의 진폭 값들 (211)의 분포로부터 입력 이미지(210)의 진폭 값들의 분포를 감산하고, 그 차이를 이득 계수 α만큼 스케일링하고, 입력 이미지(210)로부터 스케일링 된 차분을 감산한다. 이는 다음의 방정식에 의해 수학적으로 표현되며, 아래 첨자 텍스트 및 숫자는 반복 횟수를 나타낸다.
Figure 112020083196812-pat00001
여기서:
F'는 역 푸리에 변환이고;
F는 순방향 푸리에 변환이고;
R[x, y]는 제3프로세싱 블록(256)에 의해 출력된 복소 데이터 세트이고;
T[x, y]는 입력 또는 대상 이미지이고;
∠는 위상 성분이고;
Ψ는 위상-한정 홀로그램(280B)이고;
η는 진폭 값(211B)의 새로운 분포이며;
α는 이득 계수이다.
이득 계수 α는 고정되거나 가변적일 수 있다. 일부 실시예에서, 이득 계수 α는 입력 타겟 이미지 데이터의 크기 및 속도(rate)에 기초하여 결정된다. 일부 실시예에서, 이득 계수 α는 반복 횟수에 의존한다. 일부 실시예에서, 이득 계수 α는 단지 반복 횟수의 함수이다.
도 2c의 실시예는 다른 모든 면에서 도 2a 및 도 2b의 실시예와 동일하다. 위상 전용 홀로그램 Ψ(u, v)는 주파수 또는 푸리에 도메인에서의 위상 분포를 포함한다고 말할 수 있다.
일부 실시예에서, 푸리에 변환은 홀로그래픽 데이터에 렌즈를 나타내는 데이터를 포함하여 계산에 의해 수행된다. 즉, 홀로그램은 객체를 나타내는 데이터 뿐만 아니라 렌즈를 나타내는 데이터를 포함한다. 이러한 실시예에서, 도 1의 물리적 푸리에 변환 렌즈(120)는 생략될 수 있다. 컴퓨터 생성 홀로그램 분야에서 렌즈를 나타내는 홀로그래픽 데이터를 계산하는 방법은 알려져 있다. 렌즈를 나타내는 홀로그래픽 데이터는 소프트웨어 렌즈로 지칭될 수 있다. 예를 들어, 위상-한정 홀로그래픽 렌즈는 그 굴절률 및 공간적으로 변하는 광 경로 길이로 인해 렌즈의 각각의 포인트에 의해 야기되는 위상 지연을 계산함으로써 형성될 수 있다. 예를 들어, 볼록 렌즈 중심에서의 광경로 길이는 렌즈 가장자리에서의 광경로 길이보다 길다. 진폭-한정 홀로그래픽 렌즈는 프레넬 존 플레이트(Fresnel zone plate)에 의해 형성될 수 있다. 또한, 컴퓨터 생성 홀로그램의 기술 분야에서, 렌즈를 나타내는 홀로그래픽 데이터를, 객체를 나타내는 홀로그래픽 데이터와 결합함으로써 그 홀로그램의 푸리에 변환이 물리적 푸리에 렌즈의 필요없이 수행될 수 있는 방법이 알려져 있다. 일부 실시예에서, 렌즈 효과 데이터는 간단한 벡터 합산과 같은 단순 합산에 의해 홀로그래픽 데이터와 결합된다. 일부 실시예에서, 푸리에 변환을 수행하기 위해 소프트웨어 렌즈와 함께 물리적 렌즈가 사용된다. 대안적으로, 다른 실시예들에서, 홀로그래픽 재구성이 파-필드(far-field)에서 발생하도록 푸리에 변환 렌즈는 모두 생략된다. 다른 실시예에서, 홀로그램은 그레이팅(grating) 데이터, 즉 빔 스티어링(beam steering)과 같은 그레이팅의 기능을 수행하도록 형성된 데이터를 포함할 수 있다. 다시, 컴퓨터 생성 홀로그래피의 분야에서 그러한 홀로그래픽 데이터를 계산하고 이것을 객체를 나타내는 홀로그래픽 데이터와 결합시키는 방법은 알려져 있다. 예를 들어, 위상-한정 홀로그래픽 그레이팅은 블레이즈 된(brazed) 그레이팅의 표면 상의 각 포인트에 의해 야기된 위상 지연을 모델링함으로써 형성될 수 있다. 진폭-한정 홀로그래픽 그레이팅은 객체를 나타내는 진폭-한정 홀로그램에 간단히 중첩(superimposed)되어 진폭-한정 홀로그램의 각도 스티어링(angular steering)을 제공할 수 있다.
일부 실시예에서, 푸리에 변환은 물리적 푸리에 변환 렌즈 및 소프트웨어 렌즈에 의해 공동으로 수행된다. 즉, 푸리에 변환에 기여하는 일부 광 파워는 소프트웨어 렌즈에 의해 제공되고, 푸리에 변환에 기여하는 나머지 광 파워는 물리적 광학 또는 광학들에 의해 제공된다.
일부 실시예에서, 이미지 데이터를 수신하고 알고리즘을 사용하여 실시간으로 홀로그램을 계산하도록 구성된 실시간 엔진이 제공된다. 일부 실시예에서, 이미지 데이터는 일련의 이미지 프레임을 포함하는 비디오이다. 다른 실시예에서, 홀로그램은 사전 계산되고, 컴퓨터 메모리에 저장되며, SLM 상에 디스플레이 하기 위해 필요에 따라 호출된다. 즉, 일부 실시예에서, 소정의 홀로그램의 저장소가 제공된다.
실시예는 푸리에 홀로그래피 및 게르흐버그-색스톤 타입 알고리즘에 관한 것이다. 본 개시는 포인트 클라우드 방법에 기초한 것과 같은 다른 기술에 의해 계산된 프레넬 홀로그래피 및 홀로그램에도 동등하게 적용 가능하다.
광 변조
공간 광 변조기는 컴퓨터 생성 홀로그램을 디스플레이 하는데 사용될 수 있다. 홀로그램이 위상-한정 홀로그램인 경우, 위상을 변조하는 공간 광 변조기가 필요하다. 홀로그램이 완전-복소 홀로그램인 경우, 위상 및 진폭을 변조하는 공간 광 변조기가 사용될 수 있거나 위상을 변조하는 제1공간 광 변조기 및 진폭을 변조하는 제2공간 광 변조기가 사용될 수 있다.
일부 실시예에서, 공간 광 변조기의 광 변조 소자(즉, 화소)는 액정을 포함하는 셀이다. 즉, 일부 실시예에서, 공간 광 변조기는 광학 능동 소자가 액정인 액정 장치이다. 각각의 액정 셀은 복수의 광 변조 레벨을 선택적으로 제공하도록 구성된다. 즉, 각 액정 셀은 어느 한 시점에서 복수의 가능한 광 변조 레벨들로부터 선택된 하나의 광 변조 레벨에서 동작하도록 구성된다. 각각의 액정 셀은 복수의 광 변조 레벨 중에서 다른 광 변조 레벨로 동적으로 재구성 가능하다. 일부 실시예에서, 공간 광 변조기는 실리콘(LCOS) 공간 광 변조기 상의 반사형 액정이지만, 본 발명은 이러한 유형의 공간 광 변조기에 한정하지 않는다.
LCOS 장치는 작은 개구(예를 들어, 폭이 수 센티미터) 내의 조밀한 어레이의 광 변조 소자 또는 화소를 제공한다. 화소는 통상 약 10미크론 이하이어서 수 도(a few degrees) 수준의 회절각을 가지며, 이는 광학 시스템이 콤팩트 할 수 있다는 것을 의미한다. LCOS SLM의 작은 개구를 적절하게 조광하는 것은 다른 액정 장치의 큰 개구를 조광하는 것보다 용이하다. LCOS 장치는 통상 반사형이므로 LCOS SLM의 화소를 구동하는 회로를 반사 표면 아래에 묻을 수 있다. 결과적으로 개구율이 높아진다. 즉, 화소는 밀집되어 있어 화소 간에 낭비되는 공간(dead space)이 거의 없음을 의미한다. 이는 재생 필드에서의 광학 노이즈를 감소시키므로 유리하다. LCOS SLM은 화소가 광학적으로 편평하다는 이점을 갖는 실리콘 후면을 사용한다. 이 점은 위상 변조 장치에서 특히 중요하다.
단지 예시로서, 적합한 LCOS SLM이 도 3을 참조하여 아래와 같이 기술된다. LCOS 소자는 단결정 실리콘 기판(302)을 사용하여 형성된다. 이는 간극(301a)에 의해 이격되며 기판의 상부 표면에 배치된 사각 평면형 알루미늄 전극(301)의 2차원 어레이를 가진다. 전극(301) 각각은 기판(302)에 매설된 회로(302a)를 통해 형성될 수 있다. 각각의 전극들은 각각의 평면 미러를 형성한다. 배향층(Alignment Layer, 303)이 전극 어레이 상에 배치되고, 액정층(304)은 배향층(303)에 배치된다. 제2배향층(305)은 액정층(304)에 배치되고, 예컨대, 유리로 된 평면 투명층(306)은 제2배향층(305)에 배치된다. 예컨대 ITO로 된 단일 투명 전극(307)은 투명층(306)과 제2배향층(305) 사이에 배치된다.
사각 전극(301) 각각은, 투명전극(307) 영역 상부와 중간에 개재되는 액정물질과 함께, 종종 화소로 지칭되는 제어 가능한 위상 변조 소자(308)를 형성한다. 유효 화소 영역, 즉 충전율은 화소(301a) 사이의 공간까지 고려하여 광학적으로 활성인 총 화소의 비율이다. 각각의 전극(301)에 인가된 투명전극(307)에 대한 전압을 제어함으로써, 위상 변조된 요소의 액정 물질의 특성은 변화될 수 있고, 따라서 그에 입사되는 입사광에 가변 지연을 제공한다. 이렇게 함으로써 파면(wavefront)에 위상-한정 변조가 가해지는 한편 어떤 진폭 효과도 발생하지 않는다.
전술한 LCOS SLM는 공간적으로 변조된 광을 반사에 의해 출력한다. 반사형 LCOS SLM은 신호 라인, 게이트 라인 및 트랜지스터가 거울 면 아래에 있으며, 높은 충전율(일반적으로 90 % 이상) 및 고해상도를 얻을 수 있는 이점이 있다. 반사형 LCOS 공간 광 변조기를 사용하는 또 다른 이점은 투과형 장치가 사용되는 경우에 필요한 것보다 요구되는 액정 층 두께가 절반일 수 있다는 것이다. 이것은 액정의 스위칭 속도를 크게 향상시킨다(움직이는 비디오 이미지의 프로젝션을 위한 주요 이점). 그러나, 본 발명의 개시 내용은 투과형 LCOS SLM을 사용하여 동일하게 구현될 수 있다.
소스 이미지에서 다수의 홀로그램 생성
다음의 실시예들은 (1) 타겟 이미지로부터 소스 이미지를 계산하는 단계; (2) 소스 이미지로부터 주 이미지를 결정하는 단계; (3) 주 이미지로부터 복수의 부 이미지를 결정하는 단계; 및 (4) 각각의 부 이미지에 대응하는 홀로그램을 계산하는 단계를 포함할 수 있는 특정 기술에 관한 것이다. 이들 기술에 따르면, 타겟 이미지에 대응하는 복수의 홀로그램이 계산된다. 일부 실시예에서(예를 들어, 타겟 이미지는 충분히 높은 해상도를 가진다), 소스 이미지는 타겟 이미지와 동일하다. 일부 실시예에서(예를 들어, 왜곡은 무시된다), 주 이미지는 소스 이미지와 동일하다. 단계 (1)은 업 스케일링을 포함할 수 있다. 단계 (3)은 샘플링 또는 서브-샘플링을 포함한다. 업 스케일링 및 서브-샘플링 프로세스는 서로 다르다. 즉, 서로 간에 단순한 역전 또는 도치 관계가 성립되지 않는다. 따라서, 타겟 이미지의 해상도와 부 이미지의 해상도 사이에 의도된 비율이 얻어질 수 있다.
종래의 기술에 따르면, 타겟 이미지에 대응하는 단일 홀로그램이 계산된다. 홀로그램은 HDMI 프레임 일 수 있는 데이터 프레임에서 공간 광 변조기의 디스플레이 엔진으로 전송된다. 이미지에 대해 결정된 홀로그램의 크기(즉, 홀로그램 화소의 수)는 공간 광 변조기의 크기(즉, SLM 화소의 수)보다 작을 수 있다. 따라서, 디스플레이 될 때, 홀로그램은 SLM의 표면 영역의 일부(즉, 일부 SLM 화소)만을 차지할 수 있다. 이 경우, 더 많은 SLM 화소를 사용하기 위해 타일링 방식에 따라 SLM의 화소에 홀로그램을 기록하기 위한 타일링 엔진이 구현될 수 있다.
일부 실시예에서, 프로젝션을 위한 타겟 이미지는 증가된 수의 화소를 갖는 소스 이미지를 형성하기 위해 "업 스케일링" 된다. 따라서, (화소 수의 관점에서) 해상도가 증가된다. 이미지의 업 스케일링은 화소의 수가 x 방향 및 y 방향 모두에 곱해지기 때문에 화소 수를 2의 거듭 제곱만큼 증가시킬 수 있다. 예를 들어, 이미지는 x 및 y 방향에서 4만큼 업 스케일링 될 수 있다. 예를 들어, 각각의 개별 화소는 업 스케일링 된 이미지에서 (즉, 동일한 화소 값을 갖는) 4 x 4 화소 어레이로 복제될 수 있다. 결과적으로, n x m의 화소 어레이를 포함하는 이미지는, 이미지의 오버 샘플링 또는 업 스케일 버전을 형성하는 4n x 4m의 화소 어레이를 얻기 위해, "업 스케일링"또는 "오버 샘플링"된다. 오버 샘플링/업 스케일링 된 이미지는 후술하는 바와 같이 소스 이미지로서 사용될 수 있다. 타겟 이미지를 업 스케일링 하는 보다 복잡한 방법이 사용될 수 있다.
서양장기판 방식을 사용한 서브-샘플링
도 4는 일 실시예에 따라 주 이미지로부터 도출된 각각의 부 이미지 1 및 2(또는 제1 부 이미지 및 제2 부 이미지로도 표현될 수 있음)로부터 한 쌍의 홀로그램 H1 및 H2를 결정하기위한 예시적인 기술을 도시한다. 본 개시의 이 섹션에서 설명된 실시예들에서, 주 이미지는 소스 이미지이다. 다음 설명에서는 간결성을 위해 (주 이미지 대신) 소스 이미지로 지칭한다.
도 4를 참조하면, 4 x 8 어레이의 이미지 화소를 포함하는 예시적인 소스 이미지(도면의 상단에 도시 됨)가 (예를 들어 이미지 처리 엔진에 의해) 처리되어 "바둑판" 레이아웃 또는 패턴을 기반으로 부 이미지 1 및 2의 쌍(중간에 도시 됨)을 생성한다. 부 이미지 1은 제1 서양장기판 패턴으로 소스 이미지의 이미지 화소를 하나 건너 하나씩 사용하고, 나머지 화소는 "0"으로 채워 생성된다. 따라서, 부 이미지 1은 (1, 1), (1, 3) … (2, 2), (2, 4) … (3, 1), (3, 3) … 및 (4, 2) … (4, 8) 위치에서의 소스 이미지의 이미지 화소를 포함한다. 부 이미지 2는 부 이미지 1에 대해 반대 또는 역의 관계인 소스 이미지의 이미지 화소를 사용하여 생성된다. 따라서, 부 이미지 2는 제1 서양장기판 패턴과 반대인(즉, 역의 관계인) 제2 서양장기판 패턴으로 소스 이미지의 이미지 화소를 하나 건너 하나씩 사용하고, 나머지 화소는 "0"으로 채워 생성된다. 따라서, 부 이미지 2는 (1, 2), (1, 4) … (2, 1), (2, 3) … (3, 2), (3, 4) … 및 (4, 1) … (4, 7)위치에서의 소스 이미지의 이미지 화소를 포함한다. 각각의 부 이미지 1 및 2는 (예를 들어, 홀로그램 엔진에 의해) 처리되어 (도면의 하단에 도시된) 대응하는 홀로그램 H1, H2를 결정한다. 상술한 알고리즘과 같은 임의의 적절한 방법이 홀로그램을 계산하는데 사용될 수 있다.
도 5는 실시예들에 따른, 도 4에 도시된 예시적인 기술의 일반화에 기초하여 홀로그램 H1 및 H2를 순차적으로 디스플레이 함으로써 생성된 홀로그래픽 재구성을 도시한다.
특히, 도 5는 제1 서양장기판 패턴인 (도면의 좌측에 도시된) 부 이미지 1에 대응하는 제1 홀로그램 H1의 제1 홀로그래픽 재구성에 의해 형성된 이미지 스팟의 서브 세트를 도시한다. 도 5는 제1 서양장기판 패턴의 반대 또는 역인 제2 서양장기판 패턴인 (도면의 중앙에 도시된) 부 이미지 2에 대응하는 제2 홀로그램 H2의 제2 홀로그래픽 재구성에 의해 형성된 이미지 스팟의 서브 세트를 도시한다. 부 이미지 1은 소스 이미지의 화소(또는 화소의 그룹/클러스터)를 제1 서양장기판 패턴으로 샘플링하고(예를 들어, 홀수 번 행에 홀수 번 화소를, 짝수 번 행에 짝수 번 화소를 샘플링), (샘플링 하지 않은) 화소는 모두 "0"으로 채움으로써 도출된다. 부 이미지 2는 소스 이미지의 화소(또는 화소의 그룹/클러스터)를 제2 서양장기판 패턴으로 샘플링하고(예를 들어, 홀수 번 행에 짝수 번 화소를, 짝수 번 행에 홀수 번 화소를 샘플링), (샘플링 하지 않은) 화소는 모두 "0"으로 채움으로써 도출된다. 도 5는 또한 육안 통합 시간 내에 제1 및 제2 홀로그래픽 재구성을 순차적으로 형성함으로써 관찰자에게 나타나는 (도면의 우측에 도시된) 결합된 홀로그래픽 재구성을 도시한다.
서양장기판 방식의 접근법을 사용함으로써, 도 5에 도시된 각각의 개별 홀로그래픽 재구성의 이미지 스폿(또는 "이미지 화소") 사이의 간격은 H1 및 H2에서 홀로그램 화소의 수를 감소시킴으로써 두 배만큼 증가된다. 각각의 홀로그래픽 재구성의 공간 해상도(재생 필드에서의 이미지 스폿의 밀도)는 2배 감소된다고 말할 수 있다. 2개의 홀로그래픽 재구성은, 하나의 재구성의 이미지 스폿들이 다른 재구성의 이미지 스폿들 사이의 빈공간을 채우기 위해 어느 하나의 홀로그래픽 재구성을 다른 것에 대해 이동시키도록 위상-램프(phase-ramp) 또는 (상술한 바와 같은) 소프트웨어 격자 기능을 사용함으로써 (예를 들어, 추가함으로써) 시간에 따라 서로 인터레이스 될 수 있다. 이는 인접한 이미지 스폿들 사이의 임의의 중첩을 방지하는 데 도움이 되기 때문에 유리하다(즉, "화소 누화"를 감소 또는 방지한다). 상술한 바와 같이, 인접한 이미지 스폿 또는 이미지 화소의 중첩은 관찰자에게 입자감(grain)/잡음으로 나타나는 간섭을 만들 수 있다. 제1 및 제2 홀로그래픽 재구성을 동시에 하지 않고 순차적으로 형성하여, 제1 및 제2 홀로그램(H1 및 H2)의 디스플레이를 시간 인터레이스 함으로써, 이 간섭을 최소화할 수 있다.
실시예들에서, 각각의 홀로그램(H1 및 H2)은 대응하는 홀로그래픽 재구성이 육안 통합 시간 내에 형성될 수 있을 정도로 빠른 속도로 SLM에 순차적으로 기록되어 SLM 상에 디스플레이 될 수 있다. 따라서, 홀로그래픽 재구성이 형성되는 재생 필드를 보는 관찰자는 차례로 형성된 복수의 홀로그래픽 재구성에 대응하는 동적으로 변화하는 프로젝트 된 이미지가 아니라 단일의 프로젝트 된 이미지를 보게 된다. 따라서, 프로젝트 된 이미지는 소스 이미지를 충실하고 완벽하게 재구성한 것으로 sk나타난다.
대안적으로, 홀로그램(H1 및 H2)은, 예를 들어, 홀로그래픽 재생 평면을 향해 각각의 SLM으로부터 상이한 각각의 광 경로를 제공함으로써, 대응하는 홀로그래픽 재구성들이 홀로그래픽 재생 평면의 공통 영역에 형성될 수 있도록 배치되어, 실질적으로 동시에 2개의 상이한 각각의 SLM에 기록되고, 따라서 디스플레이 될 수 있다. 따라서, 홀로그래픽 재구성이 형성되는 재생 필드를 보는 관찰자는 상이한 각각의 SLM으로부터 형성된 복수의 홀로그래픽 재구성에 대응하는 2개의 별개의 프로젝트 된 이미지가 아니라 단일의 프로젝트 된 이미지를 보게 된다. 따라서 프로젝트 된 이미지는 소스 이미지를 충실하고 완벽하게 재구성한 것으로 나타난다.
통상의 기술자라면, 도 4 및 도 5가 소스 이미지로부터 2개의 부 이미지를 생성하는 것을 도시하지만, 3개 이상의 부 이미지를 생성하고 대응하는 홀로그램을 계산하는 것이 가능하다는 것을 이해할 것이다. 이것은 소스 이미지의 샘플링 된 이미지 화소들(또는 화소들의 그룹/클러스터들) 사이의 간격(샘플링 되지 않은 화소들의 수)을 증가시킴으로써 "서양장기판 방식"을 사용하여 달성될 수 있고, 따라서 서양장기판 패턴의 수를 증가시킨다. 예를 들어, 소스 이미지로부터 3개의 부 이미지를 생성하기 위해 3개의 서양장기판 패턴(각 행의 3번째 화소마다 샘플링 하는 각각의 서양장기판 패턴)이 사용될 수 있다.
상술한 서양장기판 방식의 접근법은 주 이미지로부터 복수의 부 이미지를 생성하기 위한 임의의 적절한 기술과 함께 사용될 수 있다. 이러한 기술의 예가 아래에 제공된다.
커널을 이용한 서브-샘플링
도 6 내지 도 9는 소위 "커널(kernels)"을 사용하여 부 이미지를 생성하는 기술을 도시한다. 특히, 커널은 고해상도 이미지의 화소를 직접 샘플링(또는 "서브-샘플링")하여 복수의 부 이미지를 도출하는데 사용된다. 본 개시의 이 섹션에서 설명된 실시예들에서, 각각의 부 이미지는 소스 이미지보다 더 적은 화소를 포함한다. 그러나, 소스 이미지와 동일한 수의 화소, 또는 소스 이미지보다 훨씬 많은 화소를 갖는 부 이미지를 생성하기 위해 샘플링이 사용되는 다른 실시예들도 고려된다. 본 개시의 이 섹션에서 설명된 실시예들에서, 주 이미지는 또한 소스 이미지와 동일하다. 다음 설명에서는 간결성을 위해 (주 이미지 대신) 소스 이미지로 지칭한다.
도 6은 도 16a 및 도 16b를 참조하여 후술되는 바와 같이 홀로그래픽 프로젝터에 의한 프로젝션을 위한 업 스케일링 된 "타겟 이미지"일 수 있는 고해상도 소스 이미지의 예를 도시한다. 특히, 소스 이미지(600)는 n 개의 행 및 m 개의 열을 포함하는 n x m 개의 화소 어레이(P)를 포함한다. 어레이의 화소 수는 홀로그래픽 프로젝터에 의해 프로젝트 된 이미지(홀로그래픽 재구성)의 원하는 해상도보다 높은 해상도를 갖는다. 예를 들어, 소스 이미지는 원하는 해상도의 최소 2배, 예를 들어 원하는 해상도의 4배 또는 8배의 해상도를 가질 수 있다. 이러한 방식으로, 샘플링(서브-샘플링)이 수행될 때, 후술되는 바와 같이, 소스 이미지의 홀로그래픽 재생은 고해상도 소스 이미지에 비해 해상도가 감소되더라도 원하는 해상도를 갖는다. 따라서, 타겟 이미지는 소스 이미지를 생성하기 위해 "오버 샘플링(over-sampled)" 또는 "업 스케일링" 되고, 이것은 소스 이미지가 이미지(홀로그래픽 재구성)의 원하는 순 해상도(net resolution)를 달성하기 위해 "샘플링 된" 또는 "서브-샘플링 된" 것으로 말할 수 있다. 도 6 내지 도 9에 따르면, 샘플링은 커널을 사용하여 수행된다.
도 7a는 제1 부 이미지를 도출하기 위해 도 6의 소스 이미지를 샘플링 하는 예시적인 기술을 도시하고, 도 7b는 제1 부 이미지에 대해 대각 오프셋 된, 제2 부 이미지를 도출하기 위해 도 6의 소스 이미지를 샘플링 하는 예시적인 기술을 도시한다.
도 7a를 참조하면, 소스 이미지(700)는 소위 "커널"을 사용하여 샘플링 되어 제1 부 이미지(750A)를 도출한다. 커널은 이동 샘플링 윈도우로 간주될 수 있다. 도 8은 일반 커널(800) 및 특정 커널(800')의 예를 도시한다. 도시된 예에서, 커널은 4 x 4 화소 어레이(화소 그룹)에 대한 샘플링 윈도우를 포함한다. 여기 개시된 방법에 따르면, 커널은 소스 이미지의 화소로부터 하나 이상의 부 이미지를 생성하기 위한 샘플링 윈도우로서 작용한다. 생성될 각각의 부 이미지에 대해, 커널은 소스 이미지의 연속(contiguous)하는 (즉, 인접하되 겹치지 않는) 4 x 4 어레이/화소 그룹을 오버레이(overlay)하는 일련의 샘플링 윈도우 위치로 점진적으로 이동된다. 커널은 소스 이미지의 인접한 4 x 4 화소 어레이에서 작동한다고 할 수 있다. 각각의 연속 샘플링 윈도우 위치에 대해, 커널은 현재 위치에서 4 x 4 샘플링 윈도우 내에 있는 소스 이미지의 16 개의 화소 값 P를 나타내는, 부 이미지(750A)에 사용될 서브-샘플링 된 단일 화소 값 A를 결정하도록 동작한다. 소스 이미지 내의 샘플링 윈도우 위치는 특정 화소 값을 발생시키며, 부 이미지 내의 해당 화소 값이 할당된 화소의 위치와 대응된다.
비 제한적인 예로서, 도 7a(도면의 상단)는 제1 샘플링 윈도우 위치(710A)에서 커널에 의해 샘플링 된 소스 이미지의 화소 P11 내지 P44를 도시하며, 화소 P11에서 시작하여 화소의 4 x 4 어레이(소스 이미지의 왼쪽 상단)를 커버한다. 제1 샘플링 윈도우 위치에서 해당 배열의 16 개 화소는 서브-샘플링 된 이미지의 왼쪽 상단(부 이미지, 도면 하단)에서 화소 값 A11을 도출하는 데 사용된다. 이 예에서는 소스 이미지에 12 개의 연속된 샘플링 윈도우 위치가 있다.
아래 기술하는 바와 같이, 커널은 소스 이미지의 4 x 4 화소 어레이에서 각각의 화소에 대해 커널 가중치 K에 따라 가중된 16 개의 화소 각각의 화소 값 P에 기초하여, 샘플링 윈도우 위치에서 부 이미지의 화소에 대한 화소 값 A를 결정할 수 있다. 따라서, 커널은 대응하는 복수의 화소 값을 결정하고, 샘플링(예를 들어, 서브-샘플링) 된 부 이미지(750A)를 도출하고도록 각각의 샘플링 윈도우 위치에서 동작한다. 도 7b에서, 샘플링 된 이미지(750A)는 화소 A가 3 x 4 어레이로 배열된 12 개의 화소를 포함하며, 여기서 각각의 화소 값 A는 소스 이미지 상의 12 개의 연속적인 샘플링 윈도우 위치 중 하나에 대응한다.
도 8은 도 7a에서 사용될 수 있는 4 x 4 화소 어레이에 대한 샘플링 윈도우를 포함하는 예시적인 커널(800')을 도시한다.
커널(800)은 4 x 4 화소 어레이 크기(즉, 4 x 4 화소 어레이 커널 크기)의 샘플링 윈도우를 위한 일반 커널이다. 커널(800)은 4 x 4 어레이의 커널 화소를 포함하며, 각각의 커널 화소는 샘플링 윈도우에서 소스 이미지의 4 x 4 화소의 대응 화소의 화소 값 P에 대한 가중치 K를 정의한다. 각각의 샘플링 윈도우 위치에서, (부 이미지에 대한) 서브-샘플링 된 화소 값 A는 (소스 이미지로부터) 커널-가중 화소 값 P의 평균으로서 결정될 수 있다. 따라서, 커널(800)은 제1 샘플링 윈도우 위치에서 소스 이미지의 화소 값 P11 내지 P44에 대응하는 커널 가중치 K11 내지 K44를 정의하고, 언더-샘플링 된 이미지의 화소 값 A11은 1/16 x ((K11xP11) + (K22xP22) + … (K44xP44))로 결정된다.
커널(800')은 예시적인 실시예에서 화소 커널에 대한 커널 가중치(K)를 정의하는 일반 커널(800)의 예를 도시한다. 특히, 커널 중심의 커널 화소의 가중치는 "3"인 반면, 커널 주변의 커널 화소의 가중치는 "1"이다. 따라서, 소스 이미지의 내측에서 샘플링 된 화소의 화소 값 P(즉, 샘플링 윈도우의 중심에 있는 화소)는 소스 이미지의 외측의 샘플 화소의 화소 값 P보다 더 큰 가중치를 갖는다. 통상의 기술자라면 알 수 있는 바와 같이, 애플리케이션 요구 사항에 따라 커널 가중치 값은 많은 변형이 가능하다. 또한, 샘플링 윈도우에 대응하는 임의의 커널 형상 및 크기(배열, 종횡비 및 커널 화소의 수)는 애플리케이션 요구 사항에 따라 선택될 수 있다. 예를 들어, 커널 가중치는 최적의 앤티 앨리어싱(antialiasing) 결과를 얻도록 선택될 수 있다.
도 7b를 참조하면, 소스 이미지(700)는 제2 부 이미지(750B)를 도출하기 위해 상술한 도 7a의 샘플링과 동일한 커널을 사용하여 샘플링 된다. 따라서, 소스 이미지(700)의 인접한 4 x 4 화소 어레이는 인접한 샘플링 윈도우 위치에서 언더-샘플링 된다. 그러나, 제2 부 이미지(750B)를 도출하기 위해 사용된 샘플링 윈도우 위치는 제1 부 이미지(750A)를 도출하기 위해 도 7a에서 사용된 샘플링 윈도우 위치로부터 대각 오프셋 되되 부분적으로 중첩된다. 특히, 도 7b에서, 제1 샘플링 윈도우 위치(710b)는 2 x 2 화소 위치(즉, 각 방향으로 2개의 화소)만큼 대각 오프셋 되어, 이는 도 7a의 제1 샘플링 윈도우 위치(710A)의 2 x 2 화소 위치의 오른쪽 아래 사분면과 겹친다. 따라서, 도 7b(도면의 상단)는 화소 B11 내지 B34(도면의 하단)를 포함하는 서브-샘플링 된 이미지(부 이미지)의 화소 값 B11을 도출하도록, 화소 P33(소스 이미지의 왼쪽 상단에서 2 x 2 화소 오프셋)에서 시작하는 제1 샘플링 윈도우 위치(710B)에서 커널에 의해 샘플링 된 소스 이미지의 화소 P33 내지 P66을 도시한다.
따라서, (4 x 4 어레이 커널 화소를 포함하는 커널에 의한) 샘플링 방식을 사용하여 소스 이미지를 샘플링 함으로써 소스 이미지에 대응하는 복수의 부 이미지가 생성된다. 각각의 부 이미지는 소스 이미지보다 적은 화소를 포함할 수 있다. 각각의 부 이미지의 화소 각각은 소스 이미지 내에서 복수의 화소로부터의 기여(예를 들어, 화소 값의 가중 평균을 포함할 수 있는)를 포함할 수 있다. 또한, 도 7a 및 도 7b에 도시된 예에서, 각각의 부 이미지는 각각의 다른 부 이미지와 동일한 수의 화소(3 x 4 화소 어레이)를 갖는다. 복수의 부 이미지 각각에 대해 홀로그램이 결정되고, 각각의 홀로그램은 디스플레이 장치 상에 디스플레이 되어 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 재생 평면 상에 형성한다. 홀로그램은 공통 장치(즉, 동일한 장치)에 의해 차례로 디스플레이 될 수 있거나, 또는 2 개의 서로 다른 각각의 디스플레이 장치에 의해 또는 동일한 디스플레이 장치의 2 개의 서로 다른 구역 또는 영역에 의해 실질적으로 동시에 디스플레이 될 수 있다.
상술한 바와 같이, 홀로그램이 차례로 디스플레이 될 때, 복수의 홀로그램 각각은 육안 통합 시간 내에 디스플레이 장치 상에 차례로 디스플레이 되어, 재생 평면에서의 홀로그래픽 재구성이 "인터레이스"되어, 소스/타겟 이미지의 충실하고 완전한 재구성으로 나타난다.
재생 필드 상에서 인지되는 홀로그래픽 재구성의 해상도를 증가시키기 위해, 제2 홀로그램의 홀로그래픽 재구성은 제1 홀로그램의 홀로그래픽 재구성에 비해 재생 평면 상에서 공간적으로 이격된다. 특히, 제1 및 제2 홀로그램을 디스플레이 함으로써 형성된 홀로그래픽 재구성 사이의 공간 변위는 대각 오프셋을 포함하여, 제2 홀로그래픽 재구성의 이미지 스팟은 제1 홀로그래픽 재구성의 이미지 스팟 사이의 빈 공간(gaps)을 채운다. 이 기술은 본 명세서에서 "대각 인터레이싱"으로 지칭된다. 일부 실시예들에서, 이것은 재생 평면 상에서 대응하는 재생 필드를 공간적으로 이격시키기 위해 홀로그램들 중 적어도 하나에 (앞에서 격자 함수라고도 지칭한 바 있는) 위상-램프를 추가함으로써 달성된다.
도 9는 관찰자에 의해 관찰되는 바와 같이, 대각 인터레이싱을 사용하여 제1 및 제2 홀로그램을 디스플레이 함으로써 형성된 재생 평면에서의 결합/통합 홀로그래픽 재구성을 도시한다. 특히, 도 9는 제1 부 이미지로부터 도출된 제1 홀로그램을 디스플레이 함으로써 형성된 제1 홀로그래픽 재구성의, 빈 원으로 도시된, 이미지 스폿 및 제2 부 이미지로부터 도출된 제2 홀로그램을 디스플레이 함으로써 형성된 제2 홀로그래픽 재구성의, 해칭된 원으로 도시된, 이미지 스팟을 포함한다. 제2 홀로그래픽 재구성의 이미지 스폿은 화살표 X로 표시되는 대각 오프셋에 의해 제1 홀로그래픽 재구성의 이미지 스폿에 대해 재생 평면에서 공간적으로 이격된다. 제1 및 제2 홀로그래픽 재구성은 서로에 대해 대각 오프셋(diagonally offset)된 것이라고 말할 수 있다. 특히, 제2 홀로그래픽 재구성은 대각선 방향(예를 들어, 45 도)으로 제1 홀로그래픽 재구성의 이미지 스폿이 제1 홀로그램의 이미지 스팟들 사이의 빈 공간을 채울 수 있는 거리만큼 제1 홀로그래픽 재구성에 대해 공간적으로 이격된다. 예를 들어, 도 9에 도시된 바와 같이, 제2 홀로그래픽 재구성의 각각의 이미지 스폿은 제1 홀로그래픽 재구성의 최대 4 개의 이미지 스팟의 중앙에 위치된다. 따라서, 재생 평면에서의 결합/통합 홀로그래픽 재구성은 증가된 화소 밀도(재생 필드에서의 이미지 스폿 수)를 갖는다.
통상의 기술자라면 알 수 있는 바와 같이, 제1 및 제2 홀로그래픽 재구성의 대각 변위는 디스플레이 장치가 재생 필드의 위치를 변경하도록 제어함으로써 달성될 수 있다. 이것은 때때로 "빔 스티어링(beam steering)"으로 지칭되는 재생 평면 상의 재생 필드의 위치를 변경하기위한 (예를 들어, x 및 y 위상 램프를 사용하는) 공지된 기술을 사용하여 달성될 수 있다. 각 방향으로의 변위량은 제1 및 제2 부 이미지 사이의 변위에 대응하도록 선택된다.
따라서, 소스 이미지에 대응하는 복수의 홀로그래픽 재구성의 "대각 인터레이싱"을 위한 간단한 기술이 제공되며, 여기서 각각의 홀로그래픽 재구성은 서양장기판 패턴의 이미지 스폿을 갖는다. 각각의 홀로그래픽 재구성은 소스 이미지에 대응하는 단일 홀로그래픽 재구성보다 더 적은 이미지 스폿 따라서 더 낮은 이미지 스폿 밀도/해상도를 가지며, 다른 시간 및/또는 다른 디스플레이 장치 또는 공통 디스플레이 장치 내의 다른 구역 또는 영역에 디스플레이 된다. 이는 화소 간 간섭 및 화소 누화 문제를 감소시킨다. 또한, 재생 평면상에서 재생 필드를 이동시킴으로써 각각의 홀로그래픽 재구성의 이미지 스폿이 대각 방향으로 이격되어, 하나의 홀로그래픽 재구성의 이미지 스폿이 다른 홀로그래픽 재구성의 이미지 스폿 사이의 서양장기판 패턴의 빈 공간을 채우고, 결합/통합 홀로그래픽 재구성은 더 높은 이미지 스폿 밀도를 가지며, 따라서 개별 홀로그래픽 재구성 중 어느 것보다 높은 해상도를 갖는다.
왜곡 보정을 포함하는 중간 이미지 서브-샘플링
도 10 내지 도 15는 부 이미지를 생성하기위한 대안적인 기술을 도시한다. 이 기술은 소위 "왜곡(warping)"을 보상하도록 고해상도 소스 이미지로부터 도출된 주 이미지의 화소를 샘플링(또는 "서브-샘플링") 한다. 샘플링 프로세스는 복수의 부 이미지를 도출하여, 각각의 부 이미지는 주 이미지보다 적은 화소를 포함할 수 있다. 의심의 여지를 없애기 위해, 본 개시의 이 섹션에서 설명된 실시예들에서, 주 이미지는 소스 이미지와 동일하지 않다. 기본 이미지는 왜곡 맵 또는 왜곡 맵 쌍(예: x 및 y)에 따라 소스 이미지에서 도출된 중간 이미지이다.
도 10a는 16개의 화소를 포함하는 예시적인 소스 이미지를 도시한다. 소스 이미지는 도 16a 및 도 16b를 참조하여 아래에 설명된 바와 같이, 프로젝션을 위한 타겟 이미지의 업 스케일 버전일 수 있다. 헤드업 디스플레이와 같은 일부 시스템에서는 홀로그래픽 재구성의 이미지(예: 가상 이미지)가 형성된다. 헤드업 디스플레이의 예에서, 홀로그래픽 재구성의 이미지는 이미지가 보여 질 수 있는 공간의 영역인 소위 시각-박스(eye-box)로부터 볼 수 있다. 재생 필드의 이미지는 광학 파워를 갖는 광학계 및/또는 이미지 컴바이너(image combiner)를 포함할 수 있는 광학 릴레이 시스템과 같은 광학 시스템에 의해 형성될 수 있다. 광학 시스템에 의해 형성된 이미지는 왜곡될 수 있다. 왜곡은 각 화소의 개별 변위(x 및 y)를 고려하여 모델링 될 수 있다. 헤드업 디스플레이와 같은 실제 응용에서, 이러한 왜곡은 재생 평면으로부터 시각-박스까지의 광학 경로에서 확대 광학, 자유 광학, 윈드스크린 등으로 인해 발생할 수 있다. 이 현상은 "왜곡(warping)"이라 알려져 있다.
통상적으로, 이미지 전처리는 왜곡의 영향을 보상하기 위해 사용된다. 특히 소스 이미지는, 예를 들어 왜곡 방지 맵을 이용하여, 알려진/측정된 왜곡 효과를 보상한다. 따라서, 전처리 된 이미지 또는 "왜곡되지 않은 이미지"는 왜곡 효과에 역인 효과를 갖는 왜곡(예를 들어, 변위된 화소)을 효과적으로 포함하여, 소스 이미지의 전처리 된 버전이 프로젝션 된다.
도 10b는 본 개시에 따른 중간 이미지의 예를 도시하며, 중간 이미지는 소스 이미지를 왜곡함으로써 형성된다. 도 10b에 도시된 바와 같이, 16 개의 이미지 화소 각각의 위치는 도 10a의 소스 이미지에서의 각각의 위치와 비교하여 x-y 평면에서 이동된다. 중간 이미지에서 화소의 위치는 왜곡에 의해 야기된 x 방향 및 y 방향으로의 이동을 설정함으로써 결정될 수 있다. 이는 시각-박스에서 다시 재생 평면으로의 레이 트레이싱 계산에 의해, 또는 시각-박스에서의 실제 변위를 측정하기 위해 카메라를 사용하고 결과를 보간 함으로써 결정될 수 있다. (왜곡 맵에 대해서는 아래에 더 상세히 설명된다.)
본 개시의 이 섹션에서 설명된 실시예들에서, 도 10b에 도시된 바와 같이 왜곡된 이미지(즉, 소스 또는 타겟 이미지가 아닌 중간 이미지)가 샘플링(예를 들어, 서브-샘플링)되어 복수의 부 이미지를 생성한다. 종래 기술에서와 같이, 제1 및 제2 부 이미지를 생성하기위한 샘플링 프로세스는 후술하는 바와 같이 부분 중첩을 갖는 대각 오프셋을 포함한다. 부 이미지는 소스 이미지가 아닌 중간 이미지(즉, 왜곡된 이미지)로부터 계산되기 때문에, 홀로그램을 계산하는데 사용되는 부 이미지는, 소스 이미지를 이용하는 경우 광학 시스템이 소스 이미지에 주는, 왜곡 효과를 효과적으로 보상한다. 따라서, "대각 인터레이싱" 기술은 상술한 바와 같은 장점 뿐만 아니라, 재생 평면 상에 홀로그래픽 재구성을 이미징 하도록 형성된 광 릴레이 시스템에 의해 야기되는 왜곡을 동시에 보상하는 추가적인 이점을 갖는다.
도 11a를 참조하면, 도 10b의 왜곡된 이미지는 대칭 배열된 4 개의 원형 샘플링 윈도우의 그룹을 사용하여 샘플링 되며, 도시된 배열에서는 왜곡된 이미지 전체를 오버레이 하여 제1 부 이미지의 화소 값을 결정한다. 이 예에서, 각각의 부 이미지는 단지 2 x 2 화소를 갖지만, 통상의 기술자라면 이 방법이 임의의 수의 화소로 스케일-업 될 수 있다는 것을 이해할 것이다. 각 샘플링 창은 서브-샘플링 된 이미지의 단일 화소에 해당한다. 따라서, 이 예의 샘플링은 화소 수를 16(소스 및 중간 이미지)에서 4(각 부 이미지)로 감소시킨다. 도 11b는 도 11a에 도시된 샘플링으로부터 도출된 화소 값 C11, C12, C21, C22를 갖는 4 개의 화소를 포함하는 제1 부 이미지를 도시한다. 도 12는 도 11a의 좌측 상단 원에 대응하는 제1 샘플링 윈도우의 확대도를 도시한다. 제1 샘플링 윈도우는 화소 값 P1, P2, P5, P6 및 P9를 갖는 5 개의 동일하지 않은 간격의 화소 그룹을 샘플링 한다. 도 11a에 도시된 바와 같이, 다른 샘플링 윈도우는 서로 다른 수의 불균일한 화소의 그룹을 샘플링 한다. 예시된 예에서, 각 스폿의 강도는 가우스 분포를 갖는 것으로 가정된다.
따라서, "내측 화소"(즉, 샘플링 윈도우의 중심 근처에 위치한)의 화소 값 P는 높은 가중치(예를 들어 "5")를 가지며, "외측 화소"의 화소 값 P(즉, 샘플링 윈도우의 가장자리 근처에 위치한)는 가우스 분포(Gaussian distribution)에 따라 가중치가 (예를 들어, "1") 낮다. 따라서, 제1 샘플링 윈도우 내의 왜곡된 이미지의 화소를 나타내는 부 이미지의 단일 서브-샘플링 된 화소 값 C11이 계산될 수 있다. 예를 들어, 화소 값 C11은 가중 화소 값 P1, P2, P5, P6 및 P9의 합 또는 평균과 같은 화소 값 P1, P2, P5, P6 및 P9의 함수로서 계산될 수 있다. 일부 실시예들에서, 가중 기법은 각각의 화소의 세기가 샘플링 윈도우의 중심으로부터 가우스 분포에 따라 감소한다고 가정한다. 따라서, 이 기술은 샘플링 윈도우의 중심으로부터 각 화소의 거리를 측정하고 거리에 기초하여 그 화소에 할당된 값을 가중하는 (커널 방법과 같은) 단계를 포함할 수 있다. 예를 들어, 각각의 화소의 그레이 레벨은 (가우스 분포에 기초하여) 거리를 나타내는 계수로 곱해질 수 있다. 거리가 임계 값보다 작은 경우 화소는 샘플링 윈도우 내에 포함될 수 있다. 일부 화소들은 부 이미지의 하나 이상의 화소를 계산하는데 포함될 수 있다. 일부 화소들은 제1 부 이미지 및 제2 부 이미지에 대한 화소의 계산에 포함될 수 있다. 도시된 샘플링 윈도우는 원형이지만 다른 형상도 사용될 수 있다.
도 13a는 제2 부 이미지를 결정하기 위한 도 10b의 왜곡된 이미지의 샘플링을 도시한다. 특히, 왜곡된 이미지는 도 11a에서와 같이 동일한 그룹의 4 개의 대칭으로 배열된 원형 샘플링 윈도우(원으로 표시됨)를 사용하여 서브-샘플링 된다. 그러나, 제2 부 이미지를 도출하는데 사용되는 샘플링 윈도우 그룹의 위치는 제1 부 이미지를 도출하기 위해도 11a에서 사용된 샘플링 윈도우 그룹의 위치로부터 대각 오프셋 되되, 부분적으로 겹친다. 도 13b는 도 13a에 도시된 샘플링으로부터 도출된 4 개의 화소 값 D11, D12, D21, D22를 포함하는 제2 부 이미지를 도시한다. 제2 부 이미지의 각 화소 값 D는 도 11a 및 도 12를 참조하여 상술한 바와 같이, 제1 부 이미지의 화소 값 C가 결정되는 것과 동일한 방식으로 가우스 분포를 가정함으로써 결정된다.
왜곡 맵
도 14는 소스 이미지(예를 들어, 도 10a)에 대응하는 왜곡된 중간 이미지(예를 들어, 도 10b)를 결정하는데 사용될 수 있는 예시적인 변위 맵을 도시한다. 특히, 이 맵은 재생 필드의 영역에 대응하고 점(dots)은 재생 필드의 특정 위치에 대응한다. 아래쪽 화살표는 왜곡으로 인한 화소의 음의 변위를 나타내고, 위쪽 화살표는 왜곡으로 인한 화소의 양의 변위를 나타내며, 각 화살표의 길이는 변위의 크기를 나타낸다. 도 14는 한 방향으로의 휨으로 인한 변위(예: x 방향의 변위)를 나타낸다. 다른 방향(예를 들어, y 방향의 변위)에 대해 다른 변위 맵이 필요하다는 것이 이해될 것이다. 따라서, 각각의 변위 맵은 왜곡된 이미지를 도출하기 위해 소스/타겟 이미지 내의 각각의 위치에 기초하여 화소의 변위 크기 및 방향(x 및 y 방향으로)을 결정하는데 사용될 수 있다. 상술한 바와 같이, 변위 맵은 레이 트레이싱(ray tracing) 등에 의해 결정될 수 있다. 일부 실시예들에서, 변위 맵은 점들의 어레이(array)를 프로젝션 하고, 광학 시스템에 의해 형성된 이미지에서 각각의 점의 변위를 측정하기 위해 카메라를 사용함으로써 생성된다. 일부 실시예들에서, 이 프로세스는 광학 시스템의 이미지 평면(예를 들어, 가상 이미지 평면) 상에 왜곡되지 않은 점 어레이를 보여주는 스크린을 배치하고, 카메라를 사용하여 광학 시스템의 위치로부터 각각의 광 점(light dot)의 실제 변위를 측정하는 단계를 포함한다. 예를 들어, 위치를 보정하기 위한 점의 이동을 위해 위상-램프 함수의 기울기를 결정함으로써, 가변 위상 램프(소프트웨어 격자) 기능은 측정 과정의 일부로 사용될 수 있다. 독자는 이러한 과정이 정확한 위치 결정 및 교정이 필요하다는 것을 이해할 것이다. 프로세스의 상세한 설명은 본 개시의 범위를 벗어나지만, 그럼에도 불구하고 통상의 기술자의 능력 내에 있다. 본 명세서에 개시된 기술은 왜곡 맵을 필요로 한다. 이러한 왜곡 맵이 어떻게 형성되는지는 본 개시의 기술과 관련이 없다. 통상의 기술자라면 영상 분야에서 이미지 보정을 위해 왜곡 맵이 제공되는 것은 일반적이라는 것을 이해할 것이다.
도 14의 변위 측정은 재생 평면 상의 특정 지점에만 관련된 정보를 제공한다는 것이 이해될 것이다. 일부 실시예들에서, 도 14로부터 완전한 왜곡 맵을 도출하기 위해 보간이 사용된다. 따라서, 모든 화소들, 예를 들어, 도 10a의 P1 내지 P16은 각각의 왜곡된 위치에 매핑 될 수 있다.
도 15는 소스 이미지에 대응하는 왜곡된 중간 이미지를 결정하는데 사용될 수 있는 완전한 왜곡 맵의 예를 도시한다. 특히, 이 맵은 재생 필드의 영역에 대응하는 표면을 나타내고, 표면 좌표(상/하 또는 z-방향)는 그 위치에서의 왜곡에 의해 야기된 변위 방향 및 크기에 대응한다. 도 15는 왜곡으로 인한 한 방향으로의 변위(예: x 방향의 변위)를 보여준다. 다른 방향(예를 들어, y 방향의 변위)에 대해 다른 변위 맵이 필요하다는 것이 이해될 것이다. 따라서, 각각의 왜곡 맵은 소스/타겟 이미지 내의 각각의 위치에 기초하여 (x 및 y 방향으로의) 화소의 변위 크기 및 방향을 결정하기 위해 사용될 수 있으며, 이는 본 명세서에서 개시된 바와 같은 왜곡을 보상하는 방법의 기초가 되는 왜곡된 이미지로서 사용될 수 있다. 상술한 바와 같이, 왜곡 맵은 실제 측정 및 보간에 의해 결정될 수 있다.
독자가 이해할 수 있는 바와 같이, (예를 들어, 키가 크거나 작은 관찰자, 다른 시청 위치 등을 수용하기 위해) 대응하는 복수의 시각-박스 위치에 대해 복수의 쌍(x 및 y)의 왜곡 맵이 제공될 수 있다. 따라서, 구현 예들은 시선 추적 데이터에 응답하여 주 이미지를 서브-샘플링 하는데 사용하기 위해 복수의 왜곡 맵 중 하나를 선택할 수 있다.
따라서, 샘플링 방식(원형 샘플링 윈도우)을 사용하여 중간 이미지를 샘플링(예를 들어, 서브-샘플링) 함으로써 복수의 부 이미지가 생성된다. 이 예에서 각각의 부 이미지는 중간 이미지보다 적은 화소를 포함하지만, 각각의 부 이미지가 중간 이미지와 동일한 수의 화소를 갖거나 더 많은 화소를 갖는 다른 예가 고려된다. 또한, 도 11b 및 도 13b에 도시된 바와 같이, 이 예에서 각각의 부 이미지는 각각의 다른 부 이미지와 동일한 수의 화소(2 x 2 화소 어레이)를 갖는다. 복수의 부 이미지 각각에 대해 홀로그램이 결정되고, 각각의 홀로그램이 디스플레이 장치 상에 디스플레이 되어, 재생 평면 상에 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성한다. 각각의 홀로그램은 디스플레이 장치 상에 차례로 디스플레이 될 수 있다. 대안적으로 또는 추가적으로, 둘 이상의 디스플레이 장치(또는 동일한 디스플레이 장치 내의 둘 이상의 구역 또는 영역)가 제공되어 둘 이상의 개별 홀로그램을 동시에 디스플레이 할 수 있다.
복수의 홀로그램이 각각 디스플레이 장치 상에 디스플레이 될 때, 그것들은 육안 통합 시간 내에 디스플레이 되어, 재생 평면에서의 홀로그래픽 재구성이 "대각 인터레이스"되고 소스 이미지의 충실하고 완전한 재구성으로 나타난다. 따라서, 제2 부 이미지에 대응하는 제2 홀로그램의 홀로그래픽 재구성은 제1 부 이미지에 대응하는 제1 홀로그램의 홀로그래픽 재구성에 비해 재생 평면 상에서 공간적으로 이격된다. 특히, 제1 및 제2 홀로그램을 디스플레이 함으로써 형성된 홀로그래픽 재구성 사이의 공간 변위는 대각 오프셋을 포함한다. 이것은 상술한 바와 같이 달성될 수 있다. 각 방향에서의 변위량은 제1 및 제2 부 이미지 사이의 변위에 대응하도록 선택된다.
복수의 홀로그램 각각이 상이한 각각의 SLM 상에(또는 동일한 SLM의 상이한 각각의 구역 또는 영역 내에), 실질적으로 동시에, 디스플레이 될 때, 대응하는 홀로그래픽 재구성들은 실질적으로 중첩될 수 있다. 즉, 홀로그래픽 재구성은 실질적으로 동시에 재생 평면의 공통 영역에 형성될 수 있고, 상술한 바와 같이 "대각 인터레이스" 될 수 있다. 따라서, 홀로그래픽 재구성이 형성되는 재생 필드를 관찰하는 관찰자는 상이한 각각의 SLM으로부터 형성된 복수의 홀로그래픽 재구성에 대응하는 2 개의 별개의 프로젝트 된 이미지가 아니라 단일의 프로젝트 된 이미지를 보게 된다. 따라서 프로젝트 된 이미지는 소스 이미지를 충실하고 완벽하게 재구성한 것으로 나타난다. 따라서, 선택적으로 소스 이미지의 왜곡된 버전(즉, 중간 이미지)을 서브-샘플링 함으로써 왜곡을 보상하는 한편, 소스 이미지에 대응하는 복수의 홀로그래픽 재구성의 "대각 인터레이싱" 기술이 여기에 개시된다. 인터레이싱으로 인해, 각각의 홀로그래픽 재구성은 전체 소스 이미지에 대응하는 단일 홀로그래픽 재구성보다 더 적은 이미지 스폿, 따라서 더 낮은 이미지 스폿 밀도/해상도를 갖는다. 이는 화소 간 간섭 및 화소 누화 문제를 줄이다. 각각의 홀로그래픽 재구성의 이미지 스팟이 대각으로 이격되기 때문에, 재생 평면 상에서 재생 필드를 이동시킴으로써, 하나의 홀로그래픽 재구성의 이미지 스폿이 다른 홀로그래픽 재구성의 이미지 스폿 사이의 빈 공간을 채우기 때문에, 장치에서 인식되는 해상도는 인터레이스 프로세스에 의해 감소되지 않는다.
따라서, 홀로그래픽 프로젝션 방법이 여기에 개시된다. 이 방법은 프로젝션을 위한 소스 이미지를 수신하며, 소스 이미지는 화소를 포함한다. 이 방법은 소스 이미지로부터 복수의 부 이미지를 생성하며, 각각의 부 이미지는 소스 이미지보다 적은 화소를 포함할 수 있다. 각각의 부 이미지는 주 이미지를 샘플링 함으로써 생성되며, 주 이미지는 소스 이미지 및 중간 이미지 중 하나를 포함한다. 이 방법은 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 계산한다. 이 방법은 SLM과 같은 디스플레이 장치에 각각의 홀로그램을 디스플레이 한다. 각각의 홀로그램은 디스플레이 장치 상에 차례로 디스플레이 될 수 있다. 대안적으로 또는 추가적으로, 둘 이상의 디스플레이 장치(또는 공통 디스플레이 장치를 갖는 둘 이상의 영역 또는 구역)가 제공되어 둘 이상의 개별 홀로그램을 동시에 디스플레이 할 수 있다. 이 방법은 디스플레이 동안 각각의 홀로그램을 조광하여 재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성한다.
더 작은 홀로그램의 홀로그래픽 재구성은 동일한 재생 필드 크기에서 더 적은 이미지 스폿을 갖기 때문에, 이미지 스폿의 밀도 및 따라서 이미지 해상도는 더 큰 홀로그램보다 낮다. 더욱이, 화소 균일성을 향상시키기 위해, 선택된 타일링(tiling) 방식에 맞춰 더 작은 홀로그램의 더 많은 타일들을 디스플레이 하면 신호 대 잡음비(SNR: signal-to-noise ratio)를 더 높일 수 있다.
더 작은 홀로그램과 더 큰 홀로그램 사이의 이들 및 다른 차이의 결과로, 더 큰 홀로그램과 비교하여 더 작은 홀로그램에 대해 상이한 갱신율(refresh rate)을 사용하는 것이 적절할 수 있다. 예를 들어, (선택된 타일링 방식에 따라 더 낮은 해상도 및 잠재적으로 더 높은 SNR을 갖는) 더 작은 홀로그램이 생성되는 소스 이미지의 일부는, (높은 해상도 및 낮은 SNR을 갖는) 더 큰 홀로그램을 생성하는 소스 이미지의 일부보다 더 빠른 속도 또는 서브-프레임 속도로 갱신(refresh)될 수 있다. 예를 들어, 이동 차량에 사용하기위한 HUD(head-up display) 애플리케이션에서, (시청자 가까이에 나타나는) "니어-필드(near field)"에는 객체를 비교적 낮은 해상도이지만 비교적 높은 갱신율로 디스플레이 하고, "파-필드(far field)"에는 객체를 비교적 높은 해상도이지만 상대적으로 낮은 갱신율로 디스플레이 하는 것이 바람직할 수 있다. 또는, 반대의 경우일 수도 있다. 통상의 기술자라면 이해할 수 있는 바와 같이, 본 개시에 따른 다른 변형이 가능하다.
일부 실시예에서, 홀로그래픽 프로젝터 및 광학 릴레이 시스템을 포함하는 헤드업 디스플레이와 같은 디스플레이 장치가 제공된다. 광학 릴레이 시스템은 각각의 홀로그래픽 재구성의 가상 이미지를 형성하도록 형성된다. 일부 실시예들에서, 타겟 이미지는 타겟 이미지의 제1 영역에서 니어-필드 이미지 컨텐츠를, 타겟 이미지의 제2 영역에서 파-필드 이미지 컨텐츠를 포함한다. 홀로그래픽 적으로 재구성된 니어-필드 콘텐츠의 가상 이미지는 시야면(viewing plane)(예를 들어, 시각-박스)으로부터 제1 가상 이미지 거리에 형성되고, 홀로그래픽 적으로 재구성된 파-필드 콘텐츠의 가상 이미지는 시야면으로부터, 제1 가상 이미지 거리보다 큰, 제2 가상 이미지 거리에 형성된다. 일부 실시예들에서, 복수의 홀로그램 중 하나의 홀로그램은 니어-필드에서 사용자에게 디스플레이 될 타겟 이미지의 (예를 들어, 속도 정보와 같은) 이미지 컨텐츠에 대응하고, 복수의 홀로그램 중 다른 홀로그램은 파-필드로 프로젝트 될 타겟 이미지의 (예를 들어, 랜드마크 표식 또는 내비게이션 표식과 같은) 이미지 컨텐츠에 대응된다. 파-필드에 표시하는 이미지 컨텐츠는 니어-필드에 표시하는 이미지 컨텐츠보다 더 자주 갱신될 수 있다. 또는, 반대의 경우일 수도 있다.
본 명세서에 개시된 접근법은 다수의 자유도, 따라서 보다 유연한 홀로그래픽 프로젝터를 제공한다. 예를 들어, 부 이미지가 소스 이미지로부터 도출되는 방법을 정의하는 기술은 동적으로 변화될 수 있다. 특히, 주 이미지는 복수의 시각-박스 위치에 대한 왜곡 맵 또는 왜곡 맵 쌍을 제공함으로써 시선 추적 데이터에 응답하여 동적으로 변경될 수 있다. 왜곡 맵(들)을 사용하여 중간 이미지(즉, 왜곡된 이미지)가 실시간으로 형성될 수 있다. 다음 섹션에서 설명되는 실시예들에서, 이미지 처리 엔진은 애플리케이션 요건 및/또는 시선 추적 데이터와 같은 제어 신호에 의해 지시되는 외부 인자에 기초하여 소스 이미지로부터 부 이미지를 도출하는데 사용되는 방식을 동적으로 변경할 수 있다. 또한, 상이한 타일링 방식이 사용될 수 있다. 디스플레이 엔진(또는 그 타일링 엔진)은 애플리케이션 요건 및/또는 제어 신호에 의해 지시되는 외부 요인에 따라 홀로그램을 디스플레이 하는데 사용되는 타일링 방식을 동적으로 변경할 수 있다. 이러한 유연성은 실제 상용되는 프로젝터에서 매우 유용하며, 동적으로 변화하는 환경에서 다른 소스 이미지를 디스플레이 할 수 있다. 예를 들어, 홀로그래픽 프로젝터는 움직이는 차량에 배치될 수 있다.
왜곡(warping) 맵 기반 샘플링
도 16 내지 도 18은 다른 예에 따라 부 이미지를 생성하기 위한 기술을 도시한다. 이 기술은 또한 주 이미지를 형성하는 고해상도 이미지(예를 들어, "업 스케일링 된"또는 "오버-샘플링 된" 이미지)의 화소를 샘플링(또는 "서브-샘플링")한다. 서브-샘플링 프로세스는 소스 이미지로부터 복수의 부 이미지를 도출하여, 각각의 부 이미지가 소스/주 이미지보다 적은 화소를 포함할 수 있다. 의심의 여지를 없애기 위해, 본 개시의 이 섹션에서 설명된 실시예들에서, 주 이미지는 소스 이미지와 동일하다. "업 스케일링 된 이미지"라는 용어는 본 개시의 이 섹션에서 소스/주 이미지를 지칭하기 위해 사용된다.
특히, 이들 실시예에서, 주 이미지의 화소 그룹을 서브-샘플링 하는 데 사용되는 샘플링 윈도우 위치는 왜곡 맵(들)에 기초하여 결정된다.
도 16a는 16 개의 화소를 포함하는 예시적인 타겟 이미지(1600)를 도시한다. 타겟 이미지(1600)는 화소 "1" 내지 "16"을 갖는 4 x 4 화소 어레이를 포함한다. 도 16b는 타겟 이미지(1600)(여기서는 "업 스케일링 된 이미지")의 오버 샘플링 된 버전(1610)을 도시한다. 업 스케일링 된 이미지(1610)는 x-방향 및 y-방향 모두에서 4 배만큼 오버 샘플링(또는 업 스케일링) 되었다. 특히, 타겟 이미지의 각 화소는 업 스케일링 된 이미지(1610)에서 동일한 화소 값의 4 x 4 어레이(여기서는 "블록")에서 반복되거나 복제된다. 따라서, 업 스케일링 된 이미지(1610)는 16 x 16 화소 어레이의 64 개의 화소를 포함한다. 16 x 16 화소 어레이는 동일한 화소의 16 블록을 포함하며, 각 블록의 화소는 소스 이미지(1600)의 각각의 화소를 복제한다.
상술한 바와 같이, 재생 평면(예를 들어, 디퓨저(diffuser)) 상에 형성되는 홀로그래픽 재구성을 관찰자의 시각-박스를 향해 이미징 하는 광학 릴레이 시스템의 구성 요소들로 인해 왜곡(화소의 변위에 의한 이미지 왜곡)이 발생될 수 있다. 도 14 및 도 15에 도시된 바와 같이, 변위 또는 왜곡 맵은 왜곡에 의해 야기된 화소의 변위를 결정하는데 사용될 수 있다.
이에 따라, 왜곡 현상에 의해 야기되는 x 및 y 방향에서의 화소 변위가 알려져 있기 때문에, 변위 위치는 왜곡 현상을 보상하기 위한 서브-샘플링의 목적으로 이용될 수 있다. 따라서, 이 기술은 왜곡 현상을 보상하기 위해 변위된(이격된) 화소 위치에서 업 스케일링 된 (소스) 이미지(1610)의 화소 그룹(예를 들어, 4 x 4 화소 어레이를 포함하는 블록)을 샘플링(또는 서브-샘플링) 한다.
도 17a를 참조하면, 업 스케일링 된 이미지(1610)는 상술한 바와 같이 서양장기판 방식 접근법을 사용하여 복수의 부 이미지를 도출하기 위해 서브-샘플링 된다. 특히, 제1 서양장기판 패턴(도면에서 어두운 음영 부분)으로 배열된 8 개의 블록(4 x 4 화소 어레이)의 제1 세트는 제1 부 이미지를 도출하기 위해 서브-샘플링 되도록 선택되고, 제1 서양장기판 패턴과 역 또는 반대인 제2 서양장기판 패턴(도면에서 밝은 음영 부분)으로 배열된 8개의 화소 블록(4 x 4)의 제2 세트는 제2 부 이미지를 도출하기 위해 서브-샘플링 되도록 선택된다. 도 17b는 변위/왜곡 맵에 의해 결정된 바와 같이, 제1 서양장기판 패턴에 따른 제1 화소 블록 세트 각각의 변위를 도시한다. 유사하게, 도 17c는 변위/왜곡 맵에 의해 결정된 제2 서양장기판 패턴에 따른 제2 화소 블록 세트 각각의 변위를 도시한다. 각각의 경우에, 화소 블록(4 x 4 화소 어레이)은 정의된 양만큼 x 및 y 방향으로 변환된다. 예를 들어, 변위/왜곡 맵은 샘플링 위치(예를 들어, 이미지 샘플링을 위한 샘플링 윈도우의 시작 위치)를 결정하는데 사용될 수 있는 왜곡된 이미지에서의 좌표 세트를 정의하는데 사용될 수 있다. 따라서, 예를 들어, 왜곡 맵은 업 스케일링 된 이미지(1610)에서 화소 "1"의 블록이 광학 릴레이 시스템에 의해 x 방향 및 y 방향(도면의 아래쪽 및 오른쪽)으로 변위됨을 나타낼 수 있다.
업 스케일링 된 이미지(1610)는 도 17b 및 17c에 도시된 변위(이격) 위치에 대응하는 샘플링 윈도우 위치 세트에서 4 x 4 화소 어레이에 대한 샘플링 윈도우를 사용하여 샘플링 된다. 도 17b의 이격된 위치에서의 샘플링으로부터 제1 부 이미지를 얻고, 도 17c의 이격된 위치에서의 샘플링으로부터 제2 부 이미지를 얻는다. 따라서, 각각의 부 이미지의 각 화소에 대한 단일 샘플링 된 화소 값은 대응하는 샘플링 윈도우 내에 속하는 업 스케일링 된 이미지(1610)의 화소의 화소 값으로부터 도출된다. 예를 들어, 단일 서브-샘플링 된 화소 값은 이격된 위치에서 샘플링 윈도우 내에 포함된 업 스케일링 된 이미지(1610)의 화소의 화소 값의 (가중치 되지 않은) 평균으로서 결정될 수 있다.
통상의 기술자라면 이해할 수 있듯이, 샘플링 윈도우 위치가 미리 정의될 수 있는 본 명세서에 개시된 다른 기술과 달리, 여기서의 샘플링 윈도우 위치는 광학 릴레이 시스템에 대한 변위/왜곡 맵에 기초하여 계산된다. 왜곡 맵(들)은 시각-박스 위치의 함수일 수 있고, 따라서 샘플링 윈도우 위치는 동적으로 변할 수 있다.
따라서, 도 17b 및 도 17c에 도시된 샘플링 방식을 사용하여, 각각 소스 이미지에 대응하는 화소의 4 x 2 어레이를 포함하는 제1 및 제2 부 이미지가 생성된다. 제1 및 제2 부 이미지는 샘플링 방식(즉, 샘플링 윈도우의 위치)에 의해 왜곡 현상을 자동으로 보상한다. 본 명세서에 기술된 바와 같이, 제1 및 제2 홀로그램(H1 및 H2)은 제1 및 제2 부 이미지를 사용하여 계산된다. 제1 홀로그램(H1) 및 제2 홀로그램(H2)은 공간 광 변조기 상에 육안 통합 시간 내에 "대각 인터레이싱"에 의해 디스플레이 될 수 있다. 대안적으로, 이들은 2 개의 상이한 각각의 SLM 상에, 또는 공통 SLM 내의 2 개의 상이한 영역 또는 구역 상에 실질적으로 동시에 디스플레이 될 수 있고, 재생 필드의 공통 영역 상에 그들 각각의 홀로그래픽 재구성을 생성하여 서로 실질적으로 중첩되도록 조사될 수 있다. 따라서, 재생 평면 상에서 홀로그래픽 재구성의 대각 인터레이싱에 의해 형성된 통합 홀로그래픽 재구성이 광학 릴레이 시스템의(즉, 재생 평면에서 시각-박스 영역 사이의) 왜곡 효과를 보상하기 때문에, 타겟 이미지의 충실한 재구성이 홀로그래픽 프로젝터의 시각-박스 영역에 나타난다.
도 17a 내지 17c와 관련하여 상술한 예에서, 부 이미지를 도출하는데 서양장기판 방식 접근법이 사용되며, 종래의 서양장기판 샘플링 위치는 왜곡 맵에 의해 왜곡된다; 부 이미지를 도출하기 위한 커널 기반 접근법에도 유사한 기술이 적용될 수 있다. 즉, 광학 시스템이 소스 이미지에 부가할 수 있는 이미지 왜곡을 보상하는 왜곡 보정이 내장된 부 이미지를 도출하는데 사용하기 위한 '왜곡된' 샘플링 윈도우 위치의 세트를 도출하기 위해, 왜곡 맵이 본 명세서 도 6 내지 도 9에 예시된 커널에 의해 채택된 것과 같은 복수의 '왜곡되지 않은' 인접한 샘플링 윈도우 위치에 적용될 수 있다.
도 18은 샘플링 윈도우(1800) 또는 '커널'로 오버레이 된 업 스케일 된 이미지(1610)의 일부 예를 나타낸다. 이 업 스케일링 된 이미지(1610)는 2 x 2 타겟 이미지(또는 그 자체가 도시되지 않은 '원본 소스 이미지')의 업 스케일링 된 버전이며, x 및 y 방향 모두에서 4 배로 오버 샘플링(또는 업 스케일링)되었다. 상술한 바와 같이, 샘플링 윈도우(1800)는 업 스케일링 된 이미지(1610)의 화소의 블록(4 x 4 어레이)을 캡처한다. 도 18은 제1 '왜곡된' 샘플링 윈도우 위치에서의 샘플링 윈도우(1800)를 도시하며, 이는 업 스케일 된 이미지(1610) 내의 화소 "1"의 제1 블록의, 변위/왜곡 맵을 이용하여 계산되는, 변위에 대응한다(따라서, 제1 '왜곡되지 않은' 샘플링 윈도우 위치의 변위에 대응한다). 따라서, 샘플링 윈도우(1800)는 화소 "1"의 블록의 화소들에 더하여 화소 "2", "3" 및 "4"의 3 개의 인접한 블록의 화소들을 오버레이 한다. 도시된 예에서, 이러한 제1 왜곡된 샘플링 윈도우 위치에서의 샘플링 윈도우(1800)을 사용하여, 업 스케일 된 이미지(1610)의 샘플링 윈도우에 포함된 화소의 화소 값의 평균(예를 들어, 16 개 화소의 합산 값을 16으로 나눈 값 또는 1/16 ((3x1)+(1x2)+(9x3)+(3x4)으로 계산된 값)으로 부 이미지의 제1 화소 값을 결정한다. 부 이미지에 대한 다른 화소 값은 각각의 다른 왜곡된 샘플링 윈도우 위치에서 샘플링 윈도우 내에 속하는 화소로부터 계산될 수 있다.
이 예에서, 업 스케일링 된 이미지(1610)는 2 x 2 타겟 이미지(미도시)의 업 스케일링 된 버전이며, 이는 x 및 y 방향 모두에서 4 배로 오버 샘플링(또는 업 스케일링)되고, 샘플링 윈도우 또는 '커널'은, 모든 샘플링 윈도우 위치에서, 부 이미지의 단일 화소 값을 생성하는 4 x 4 배열이다. 따라서, 커널에 의한 샘플링은 x 방향과 y 방향 모두에서 4 배로 업 스케일 된 이미지를 효과적으로 축소(downscale)한다. 결과적으로, 샘플링 된(즉, 부(secondary)) 이미지의 단일 화소는 원본 소스 이미지(1600) (즉, 오버 샘플링/업 스케일링 이전)의 단일 화소에 대응한다. 따라서, 원본 소스 이미지(1600)의 해상도가 유지된다. 이것은 단지 하나의 예 일 뿐이며, 원본 소스 이미지의 해상도와 여기서 도출된 부 이미지의 해상도 사이에 의도하는 순 비율(net ratio)을 달성하기 위해 원본 소스 이미지의 업 스케일링에 다른 스케일링이 적용될 수 있고/있거나 다른 크기 또는 모양의 샘플링 윈도우가 사용될 수 있음을 이해할 것이다.
또한, 구현 예들은 왜곡을 보상하기위한 다른 기술보다 메모리 및 프로세싱 자원의 보다 효율적인 소비를 위해 최적화될 수 있다. 특히, 업 스케일링 된 이미지를 도출하기 위한 오버 샘플링 기술은 입력 이미지의 화소를 복제하기 때문에, 업 스케일링 된 이미지의 개별 화소 값은 메모리에 저장될 필요가 없다. 예를 들어, 4096 x 4096 화소의 업 스케일 이미지를 도출하기 위해 샘플링 된 1024 x 1024 화소의 입력 이미지를 고려할 수 있다. 업 스케일링 된 이미지를 메모리에 저장하는 것은 바람직하지 않게 메모리 사용량을 16 배 증가시킬 것이다. 그러나 업 스케일 된 이미지를 저장하는 대신 간단한 메모리 효율적인 어드레싱(addressing) 방식을 생성할 수 있다. 특히, 업 스케일링 된 이미지의 각 화소는 16 개의 가능한 주소, X에서 4개 및 Y에서 4 개(4 x 4 화소 어레이에 해당)를 가질 것이다. 따라서, 업 스케일링 된 이미지에서 동일한 화소의 각 블록 또는 4 x 4 어레이를 식별하기 위해 4 비트 맵핑 방식의 2 개의 최상위 비트에 기초한 어드레싱 방식이 사용될 수 있다. 따라서, 서브-샘플링 프로세스에서 사용될 수 있는, 화소들에 대한 이진(binary) 맵핑 방식을 사용함으로써 메모리 자원 사용이 최소화된다. 또한, 본 명세서에 기술된 바와 같은, 4의 거듭 제곱, 2의 거듭 제곱으로 오버 샘플링 된 고해상도 이미지를 샘플링 하는 기술은 이진 산술을 이용한 간단한 계산에 의해 수행된다. 예를 들어, (4 x 4 화소 어레이의 샘플링 윈도우에 포함된) 16 개 화소의 화소 값을 합산하는 경우, 예를 들어 이진 가산기를 사용함으로써 빠르고 효율적으로 수행될 수 있는, 간단한 이진 프로세싱에 의해 수행된다. 마찬가지로, 샘플링 윈도우 내에서 16 개 화소의 화소 값의 평균을 결정하는 경우, 예를 들어 4 개 최하위 비트를 폐기함으로써 빠르고 효율적으로 수행될 수 있는, 간단한 이진 프로세싱에 의해 수행된다. 통상의 기술자라면, 주 이미지를 서브-샘플링 하여 복수의 부 이미지를 생성하기 위해 상술한 기술에 대해 많은 변형 및 수정이 이루어질 수 있음을 이해할 것이다. 예를 들어, 대각 인터레이싱을 위해 대각 오프셋을 갖는 샘플링 윈도우 위치가 기술되었으나, 한 방향(예를 들어, x 또는 y 방향)으로의 방향 오프셋이 사용될 수도 있다.
본 명세서에 기술된 모든 실시예에서, 커널 및/또는 샘플링 윈도우의 크기 및 형상은 도시되고 설명된 특정 예와 상이할 수 있다. 커널 또는 샘플링 윈도우는 일반적인 기하학적 모양으로 구성될 필요는 없으며 주/소스 이미지의 화소 구성과 유사한 크기나 모양을 가질 필요도 없고, 생성된 부 이미지에서의 화소의 구성과 유사한 크기 또는 형상을 가질 필요도 없다. 예를 들어, 본 명세서의 도 11a, 도 12 및 도 13a에 도시된 바와 같은 원형 커널/샘플링 윈도우는 다른 각각의 실시예에서 사용될 수 있다. 주어진 위치에서 하나 이상의 화소(또는 화소 위치)를 커널 또는 샘플링 윈도우와 연관시키기 위해 임의의 적절한 수학적 규칙 또는 매핑 방식이 적용될 수 있다. 커널 또는 샘플링 윈도우는, 적어도 일부 방식에서, 이미지(또는 이미지의 일부) 또는 샘플링 하는 화소를 부분적으로 오버레이 하거나 포함할 수 있다.
시스템 개략도
도 19는 실시예들에 따른 홀로그래픽 시스템을 도시한 개략도이다. 공간 광 변조기(SLM, 940)는 제어기(930)로부터 수신된 홀로그램을 디스플레이 하도록 형성된다. 작동시, 광원(910)은 SLM(940) 상에 디스플레이 된 홀로그램을 조광하고, 홀로그래픽 재구성은 재생 평면(925)상의 재생 필드에 형성된다. 제어기(930)는 이미지 소스(920)로부터 하나 이상의 이미지를 수신한다. 예를 들어, 이미지 소스(920)는 단일 정지 이미지를 캡처하도록 구성된 스틸 카메라(still camera) 또는 움직이는 이미지의 일련의 동영상을 캡처하도록 구성된 비디오 카메라와 같은 이미지 캡처 장치일 수 있다.
제어기(930)는 이미지 프로세싱 엔진(950), 홀로그램 엔진(960), 데이터 프레임 생성기(980) 및 디스플레이 엔진(990)을 포함한다. 이미지 프로세싱 엔진(950)은 이미지 소스(920)로부터 소스 이미지를 수신한다. 이미지 프로세싱 엔진(950)은 본 명세서에 기술된 바와 같은 정의된 방식으로 소스 이미지에 기초하여 주 이미지로부터 복수의 부 이미지를 생성하는 부 이미지 생성기(955)를 포함한다. 이미지 프로세싱 엔진(950)은 제어 신호를 수신하거나 그렇지 않으면 부 이미지를 생성하는 방식을 결정할 수 있다. 따라서, 각각의 부 이미지는 소스 이미지보다 더 적은 화소를 포함할 수 있다. 이미지 프로세싱 엔진(950)은 소스 이미지를 기본 이미지로 사용하여 복수의 부 이미지를 생성할 수 있다. 소스 이미지는 타겟 이미지의 업 스케일링 된 버전 일 수 있거나, 이미지 프로세싱 엔진은 본 명세서에 설명된 바와 같이 업 스케일링을 수행할 수 있다. 또는, 이미지 프로세싱 엔진(950)은 소스 이미지를 처리하여 중간 이미지를 결정하고 중간 이미지를 주 이미지로서 사용할 수 있다. 예를 들어, 중간 이미지는 본 명세서에 설명된 "왜곡된 이미지"일 수 있다. 왜곡된 이미지는 각각의 홀로그래픽 재구성을 이미징 하도록 형성된 광학 릴레이 시스템에 의해 야기되는 이미지 왜곡을 나타내는 소스 이미지의 화소 각각에 대한 변위 값(예를 들어, x- 및 y-방향의)을 포함하는 변위 맵을 이용하여 결정될 수 있다. 이미지 프로세싱 엔진(950)은 본 명세서에 설명된 바와 같이 주 이미지를 샘플링 함으로써 복수의 부 이미지를 생성할 수 있다. 이미지 프로세싱 엔진(950)은 제1 부 이미지 및 제2 부 이미지를 결정할 수 있고, 여기서 제1 부 이미지의 각 화소의 화소 값은 주 이미지의 제1 화소 그룹으로부터 계산되고, 제2 부 이미지의 각 화소의 화소 값은 주 이미지의 제2 화소 그룹으로부터 계산된다. 일부 구현 예들에서, 제2 화소 그룹을 선택하기 위해 사용되는 샘플링 윈도우는 제1 화소 그룹을 선택하기 위해 사용되는 샘플링 윈도우로부터 오프셋 되고/되거나 부분적으로 오버랩 된다. 다른 구현 예들에서, 각각의 경우, 샘플링 윈도우 위치는 서양장기판 패턴으로 배열될 수 있고, 각각의 부 이미지에 대해 다른 서양장기판 패턴이 사용된다. 일부 구현 예들에서, 제1 및 제2 화소 그룹을 선택하기 위한 샘플링 윈도우 위치는 변위 맵을 사용하여 결정된다. 이미지 프로세싱 엔진(950)은 복수의 부 이미지를 홀로그램 엔진(960)으로 전달한다.
홀로그램 엔진(960)은 본 명세서에 설명된 바와 같이 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 형성된다. 홀로그램 엔진(960)은 복수의 홀로그램을 데이터 프레임 생성기(980)로 전달한다. 데이터 프레임 생성기(980)는 본 명세서에 설명된 바와 같이 복수의 홀로그램을 포함하는 데이터 프레임(예를 들어, HDMI 프레임)을 생성하도록 형성된다. 특히, 데이터 프레임 생성기(980)는 복수의 홀로그램 각각에 대한 홀로그램 데이터 및 각 홀로그램의 시작을 나타내는 포인터를 포함하는 데이터 프레임을 생성한다. 데이터 프레임 생성기(980)는 데이터 프레임을 디스플레이 엔진(990)으로 전달한다. 디스플레이 엔진(990)은 복수의 홀로그램 각각을 SLM(940) 상에 디스플레이 하도록 형성된다. 홀로그램은 차례로 디스플레이 될 수 있고/있거나 SLM(940)은 실제로 2개 또는 둘 이상의 개별 홀로그램을 실질적으로 동시에 디스플레이 하기 위한 둘 이상의 SLM을 포함할 수 있고/있거나 둘 이상의 홀로그램이 SLM(940)의 둘 이상의 별개의 영역 또는 구역에 실질적으로 동시에 디스플레이 될 수 있다. 디스플레이 엔진(990)은 홀로그램 추출기(992), 타일링 엔진(970) 및 소프트웨어 광학계(994)를 포함한다. 디스플레이 엔진(990)은 홀로그램 추출기(992)를 사용하여 데이터 프레임으로부터 각각의 홀로그램을 추출하고 본 명세서에 설명된 바와 같이 타일링 엔진(970)에 의해 생성된 타일링 방식에 따라 홀로그램을 타일링 한다. 특히, 타일링 엔진(970)은 타일링 방식을 결정하기위한 제어 신호를 수신할 수 있거나, 또는 홀로그램에 기초하여 타일링을 위한 타일링 방식을 결정할 수 있다. 디스플레이 엔진(990)은 본 명세서에 설명된 바와 같이, 재생 평면 상의 재생 필드의 위치를 이동시키기 위해 소프트웨어 광학계(994)를 사용하여 위상 램프 함수(소프트웨어 격자 함수로서 소프트웨어 렌즈로 지칭되기도 하는)를 선택적으로 추가할 수 있다. 따라서, 각각의 홀로그램에 대해, 디스플레이 엔진(990)은 본 명세서에 설명된 바와 같이 대응하는 타일링 방식에 따라 복수의 홀로그램의 각각의 홀로그램을 디스플레이하기 위해 구동 신호를 SLM(940)에 출력하도록 형성된다.
제어기(930)는 본 명세서에 기술된 바와 같이 부 이미지 생성기(955)가 부 이미지를 생성하는 방법을 동적으로 제어할 수 있다. 제어기(930)는 홀로그램에 대한 갱신율을 동적으로 제어할 수 있다. 본 명세서에 기술된 바와 같이, 갱신율은 이미지 소스(920)로부터 이미지 프로세싱 엔진(950)에 의해 수신되는 일련의 다음 소스 이미지로부터 홀로그램 엔진에 의해 홀로그램을 재계산하는 주기로 간주될 수 있다. 본 명세서에 설명된 바와 같이, 동적으로 제어 가능한 특징 및 파라미터는 제어 신호에 의해 지시된 외부 인자에 기초하여 결정될 수 있다. 제어기(930)는 그러한 외부 인자와 관련된 제어 신호를 수신할 수 있거나, 또는 그러한 외부 인자를 결정하고, 그에 따른 제어 신호를 생성하기 위한 모듈을 포함할 수 있다.
통상의 기술자라면 이해할 수 있는 바와 같이, 제어기(930)의 상술한 특징은 소프트웨어, 펌웨어 또는 하드웨어 및 이들의 임의의 조합으로 구현될 수 있다.
추가 기능
실시예는 단지 예로서 전기적으로 활성화된 LCOS 공간 광 변조기를 지칭한다. 본 개시의 교시는, 예컨대 임의의 전기적으로 활성화된 SLM, 광학적으로 활성화된 SLM, 디지털 마이크로 미러 디바이스 또는 마이크로 전자 기계적 디바이스와 같은 본 발명에 따른 컴퓨터 생성 홀로그램을 표시할 수 있는 임의의 공간 광 변조기 상에서 동일하게 구현될 수 있다.
일부 실시예에서, 광원은 레이저 다이오드와 같은 레이저이다. 일부 실시 형태에서, 수광 표면은 디퓨저(diffuser) 표면 또는 디퓨저와 같은 스크린이다. 본 발명의 홀로그래픽 프로젝션 시스템은 향상된 헤드업 디스플레이(HUD) 또는 헤드마운트 디스플레이를 제공하도록 사용될 수 있다. 일부 실시예에서, HUD를 제공하도록 홀로그래픽 프로젝션 시스템을 포함하는 차량이 제공된다. 차량은 자동차, 트럭, 밴, 트럭, 오토바이, 기차, 비행기, 보트 또는 선박과 같은 운송 수단일 수 있다.
홀로그래픽 재구성의 품질은 화소화 된 공간 광 변조기를 사용함에 따른 회절 특성에 의한 결과로서 소위 0차(zero order) 문제에 의해 영향을 받을 수 있다. 이러한 0차 광은 "잡음"으로 간주될 수 있으며, 예를 들어 SLM으로부터의 경면 반사광 및 다른 원하지 않는 광을 포함한다.
푸리에 홀로그래피의 예에서, 이러한 "잡음"는 푸리에 렌즈의 초점 위치에 초점을 맞추어 홀로그래픽 재구성의 중심에 밝은 지점을 만든다. 0차 광은 단순히 차단될 수 있지만, 밝은 스폿을 어두운 스폿으로 교체하는 것을 의미할 것이다. 일부 실시예는 0차 광의 평행화된(collimated) 광선 만을 제거하는 각도 선택 필터를 포함한다. 또한, 실시예는 유럽특허 제2,030,072 호에 개시된 0차(zero-order)를 관리하는 방법을 포함하며, 상기 특허는 그 전체로서 원용되어 본 명세서에 통합된다.
홀로그래픽 재생 필드의 크기(즉, 홀로그래픽 재구성의 물리적 또는 공간적 크기)는 공간 광 변조기의 화소 간격(즉, 공간 광 변조기의 인접한 광 변조 요소들 또는 화소들 사이의 거리)에 의해 결정된다. 재생 필드에서 형성될 수 있는 가장 작은 피쳐(feature)는 "해상도 요소", "이미지 스폿" 또는 "이미지 화소"이라고 부를 수 있다. 일반적으로, 공간 광 변조기의 화소 각각은 사각 형상을 갖는다. 사각 개구(aperture)의 푸리에 변환은 싱크함수(sinc function)이므로 각각의 이미지 화소는 싱크함수이다. 보다 구체적으로는, 재생 필드 상의 각 이미지 화소의 공간 강도 분포는 싱크함수이다. 각각의 싱크함수는 피크-강도(peak-intensity) 주 회절 차수 및 주 차수로부터 반경 방향으로 확장되는 일련의 감소-강도(decreasing-intensity) 고차 회절 차수를 포함하는 것으로 간주될 수 있다. 각각의 싱크함수의 크기(즉, 각 싱크함수의 물리적 또는 공간적 범위)는 공간 광 변조기의 크기(즉, 광 변조 요소의 배열 또는 공간 광 변조기 화소에 의해 형성되는 개구의 물리적 또는 공간적 범위)에 의해 결정된다. 구체적으로, 광 변조 화소들의 어레이에 의해 형성된 개구가 클수록, 이미지 화소들은 작아진다. 작은 이미지 화소를 갖는 것이 일반적으로 바람직하다.
일부 실시예에서, "타일링"기술은 이미지 품질을 증가시키기 위해 구현된다. 특히, 일부 실시예는 홀로그래픽 재구성으로 보내지는 신호 내용의 양을 최대화하면서 이미지 화소의 크기를 최소화하기 위해 타일링 기술을 구현한다.
일부 실시예에서, 공간 광 변조기에 기록된 홀로그래픽 패턴은 적어도 하나의 전체 타일(즉, 완전한 홀로그램) 및 타일의 적어도 하나의 부분(즉, 홀로그램의 화소의 인접한 서브 세트)을 포함한다.
홀로그래픽 재구성은 공간 광 변조기에 의해 정의된 전체 윈도우의 0차 또는 주 회절 차수 내에서 생성된다. 제1 및 후속 차수는 이미지와 겹치지 않도록 충분히 이격되어 공간 필터를 사용하여 차단될 수 있는 것이 바람직하다.
실시예들에서, 홀로그래픽 재구성은 컬러이다. 본 명세서에 개시된 예에서, 3 개의 상이한 컬러 광원 및 3 개의 대응하는 SLM이 복합 컬러를 제공하기 위해 사용된다. 이들 예는 공간적으로 분리된 컬러, "SSC(spatially-separated colour)"로 지칭될 수 있다. 본 개시 내용을 포함하는 변형 예에서, 각각의 컬러에 대한 상이한 홀로그램은 동일한 SLM의 상이한 영역에 디스플레이 된 다음 합성 컬러 이미지를 형성하기 위해 결합된다. 그러나, 통상의 기술자라면 본 개시의 장치 및 방법 중 적어도 일부가 복합 컬러 홀로그램 이미지를 제공하는 다른 방법에 동일하게 적용될 수 있음을 이해할 것이다.
이러한 방법 중 하나로 프레임 순차 색상(FSC: Frame Sequential colour) 방법이 알려져 있다. 예시적인 FSC 시스템에서, 3 개의 레이저(적색, 녹색 및 청색)가 사용되며, 각각의 레이저는 단일 SLM에서 연속적으로 발사되어 비디오의 각 프레임을 생성한다. 관찰자가 3 개의 레이저에 의해 형성된 이미지의 조합으로부터 다색 이미지를 볼 정도로 충분히 빠른 속도로 컬러가 (적색, 녹색, 청색, 적색, 녹색, 청색 등) 순환된다. 따라서 각 홀로그램은 색상별로 구분된다. 예를 들어 초당 25 프레임의 비디오에서 첫 번째 프레임은 초당 1/75 초 동안 빨간색 레이저를 발사한 다음, 초당 1/75 초 동안 녹색 레이저를 발사하고, 최종적으로 청색 레이저는 1/75 초 동안 발사될 것이다. 그런 다음 빨간색 레이저로 시작하여 다음 프레임이 생성되는 방식이다.
FSC 방식의 장점은 각 컬러에 대해 전체 SLM이 사용된다는 것이다. 이는 SLM의 모든 화소가 각각의 컬러 이미지로 사용되기 때문에 생성된 세가지 색 이미지의 화질이 손상되지 않을 것을 의미한다. 반면, FSC 방법의 단점은, 각 레이저가 단지 1/3 시간을 사용하기 때문에 생성된 전반적인 이미지가 SSC 방법에 의해 생성된 이미지보다 1/3 배 정도로 어둡다는 것이다. 이러한 단점은 레이저를 오버드라이브(overdriving)하거나 보다 강한 레이저를 사용함으로써 잠재적으로 해결될 수 있으나, 이는 더 많은 전력을 요구하고, 고비용을 수반하며, 시스템이 덜 콤팩트 하게 된다.
SSC 방법의 장점은 3 개의 레이저가 동시에 발사되어 이미지가 밝아진다는 것이다. 그러나 공간 제한으로 인해 하나의 SLM 만 사용해야하는 경우 SLM의 표면적을 세 부분으로 나눌 수 있으며 실질적으로 세 개의 개별 SLM처럼 작동한다. 이것의 단점은 각각의 단색 이미지에 대해 이용 가능한 SLM 표면적의 감소로 인해 각각의 단색 이미지의 품질이 저하된다는 것이다. 따라서 다색 이미지의 품질이 저하된다. 사용 가능한 SLM 표면적의 감소는 SLM의 더 적은 화소가 사용될 수 있음을 의미하므로 결과적으로 이미지의 품질이 저하된다. 해상도가 낮아짐에 따른 이미지 품질 저하를 의미한다. 실시예는 영국특허 제2,496,108호에 개시된 개선된 SSC 방법을 이용하며, 상기 특허는 그 전체로서 원용되어 본 명세서에 통합된다.
일부 실시예는 2D 홀로그래픽 재구성을 단지 예로서 기술한다. 다른 실시예에서, 홀로그래픽 재구성은 3D 홀로그래픽 재구성이다. 즉, 일부 실시예에서, 각각의 컴퓨터 생성 홀로그램은 3D 홀로그래픽 재구성을 형성한다.
여기에 설명된 방법 및 프로세스는 컴퓨터 판독가능 매체 상에 구현될 수 있다. 용어 "컴퓨터 판독가능 매체"는 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리와 같이 데이터를 일시적으로 또는 영구적으로 저장하도록 구성된 매체를 포함한다. 또한, "컴퓨터 판독가능 매체"라는 용어는 하나 이상의 프로세서에 의해 실행될 때, 기계가 여기에 기재된 방법론 중 하나 이상을 전체적으로 또는 부분적으로 수행하게 하는 명령들을 기계의 수행 지령으로서 저장할 수 있는 어떤 매체 혹은 다중의 매체의 조합을 포함하는 것으로 간주되어야 한다.
"컴퓨터 판독가능 매체"라는 용어는 또한 클라우드 기반 스토리지 시스템을 포함한다. "컴퓨터 판독가능 매체"라는 용어는 솔리드-스테이트 메모리 칩, 광학 디스크, 자기(magnetic) 메모리의 예시적인 형태의 하나 이상의 유형 및 비 일시적 데이터 저장소(예를 들어, 데이터 볼륨)를 포함하지만, 디스크 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 일부 예시적인 실시예에서, 실행을 위한 명령어는 캐리어 매체에 의해 전달될 수 있다. 이러한 캐리어 매체의 예는 일시적인 매체(예를 들어, 명령을 전달하는 전파 신호)를 포함한다.
첨부된 청구 범위의 범주를 벗어나지 않으면서 다양한 수정 및 변형이 이루어질 수 있음은 통상의 기술자에게 명백할 것이다. 본 개시는 첨부된 청구 범위 및 그 등가물의 범위 내의 모든 변경 및 변형을 포함한다.

Claims (30)

  1. 타겟 이미지를 프로젝트 하도록 형성된 홀로그래픽 프로젝터에 있어서,
    상기 타겟 이미지로부터 도출된 주 이미지를 샘플링 하여 복수의 부 이미지를 생성하도록 형성된 이미지 프로세싱 엔진;
    복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 형성된 홀로그램 엔진;
    디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하도록 형성된 디스플레이 엔진; 및
    재생 평면 상에 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하기 위해, 디스플레이 동안 각각의 홀로그램을 조광하도록 형성된 광원을 포함하되,
    상기 각각의 부 이미지는 대응하는 주 이미지의 화소 그룹으로부터 계산되는 복수의 화소를 포함하고;
    상기 각각의 부 이미지의 화소 값 각각은, 복수의 샘플링 윈도우 위치 중 각각의 하나에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 복수의 화소를 포함하는 대응 그룹으로부터 계산되는 홀로그래픽 프로젝터.
  2. 제1항에 있어서,
    상기 디스플레이 엔진은 상기 디스플레이 장치 상에 각각의 홀로그램을 차례로 디스플레이 하도록 형성되고;
    또는, 상기 디스플레이 장치는 상기 디스플레이 장치의 상이한 각각의 영역 상에 각각의 홀로그램을 실질적으로 동시에 디스플레이 하도록 형성되고;
    또는, 복수의 디스플레이 장치가 제공되되, 상기 디스플레이 엔진은 상기 복수의 디스플레이 장치 내의 서로 다른 각각의 디스플레이 장치 상에 각각의 홀로그램을 실질적으로 동시에 디스플레이 하도록 형성되는 홀로그래픽 프로젝터.
  3. 제1항 또는 제2항에 있어서,
    상기 부 이미지 각각은 상기 주 이미지보다 적은 화소를 갖는 홀로그래픽 프로젝터.
  4. 제1항에 있어서,
    상기 주 이미지는 소스 이미지 및 중간 이미지를 포함하는 그룹으로부터 선택되되,
    상기 소스 이미지는 업 스케일 된 타겟 이미지이고, 상기 중간 이미지는 왜곡된(warped) 소스 이미지 인 홀로그래픽 프로젝터.
  5. 제1항에 있어서,
    상기 샘플링은, 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 화소 그룹으로부터 부 이미지의 각각의 화소의 화소 값을 계산하되, 상기 부 이미지의 각각의 화소와 상기 각각의 샘플링 윈도우 사이에 위치 대응이 존재하는 홀로그래픽 프로젝터.
  6. 제5항에 있어서,
    상기 부 이미지의 각각의 화소 값은, 각각의 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 화소 그룹의 화소 값을 개별적으로 가중함(weighting)으로써 계산되는 홀로그래픽 프로젝터.
  7. 제6항에 있어서,
    상기 주 이미지 내의 각각의 화소 그룹의 각각의 화소 값에 주어지는 가중치는 상기 샘플링 윈도우의 중심으로부터 상기 화소의 거리에 따라 감소하는 홀로그래픽 프로젝터.
  8. 제6항에 있어서,
    제1 부 이미지의 각각의 화소의 화소 값은 제1 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 제1 화소 그룹으로부터 계산되고, 제2 부 이미지의 각각의 화소의 화소 값은 제2 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 제2 화소 그룹으로부터 계산되는 홀로그래픽 프로젝터.
  9. 제8항에 있어서,
    상기 제1 샘플링 윈도우 위치 세트는 상기 제2 샘플링 윈도우 위치 세트로부터 대각 오프셋(diagonally offset) 된 홀로그래픽 프로젝터.
  10. 제8항에 있어서,
    상기 제2 화소 그룹에 대한 샘플링 윈도우는 상기 제1 화소 그룹에 대한 샘플링 윈도우와 부분적으로 오버랩 되는 홀로그래픽 프로젝터.
  11. 제4항에 있어서,
    상기 이미지 프로세싱 엔진은 중간 이미지를 상기 주 이미지로서 형성하기 위해 변위 맵을 사용하여 상기 소스 이미지를 프로세싱 하도록 형성되되, 상기 변위 맵은, 각각의 홀로그래픽 재구성의 이미지를 형성하도록 형성된 광학 릴레이 시스템에 의해 야기되는 이미지 왜곡을 나타내는, 상기 소스 이미지의 화소 각각에 대한 변위 값을 포함하는 홀로그래픽 프로젝터.
  12. 제11항에 있어서,
    상기 샘플링은, 대응하는 샘플링 윈도우 위치 세트에서 샘플링 윈도우 내에 속하는 상기 중간 이미지의 각각의 화소 그룹으로부터 부 이미지의 각각의 화소의 화소 값을 계산하되, 상기 부 이미지의 각각의 화소와 상기 각각의 샘플링 윈도우 사이에 위치 대응이 존재하는 홀로그래픽 프로젝터.
  13. 제4항에 있어서,
    상기 부 이미지의 화소 그룹의 각각의 화소에 부여된 가중(weighting)은 가우스 함수에 따라 상기 샘플링 윈도우의 중심으로부터의 거리에 따라 감소하고, 선택적으로 상기 샘플링 윈도우는 원형인 홀로그래픽 프로젝터.
  14. 제4항에 있어서,
    상기 부 이미지의 각각의 화소 값을 계산하기 위해 사용되는 상기 샘플링 윈도우의 상기 샘플링 윈도우 위치는 각각의 홀로그래픽 재구성의 이미지를 형성하도록 형성되는 광학 릴레이 시스템에 의해 야기되는 변위에 기초하여 결정되고, 선택적으로 변위는 변위 맵을 이용하여 결정되는 홀로그래픽 프로젝터.
  15. 제14항에 있어서,
    상기 부 이미지의 각각의 화소 값은 상기 각각의 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 화소 그룹의 화소 값의 평균과 같은 함수에 기초하여 계산되는 홀로그래픽 프로젝터.
  16. 제1항에 있어서,
    상기 복수의 부 이미지는 제1 부 이미지 및 제2 부 이미지를 포함하고;
    상기 제1 부 이미지의 화소의 화소 값은 제1 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 제1 화소 블록 세트로부터 계산되고, 상기 제2 부 이미지의 화소의 화소 값은 제2 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 제2 화소 블록 세트로부터 계산되고;
    상기 주 이미지의 제1 화소 블록 세트는 제1 서양장기판 패턴으로 형성되고, 상기 주 이미지의 제2 화소 블록 세트는, 상기 제1 서양장기판 패턴과 반대되는, 제2 서양장기판 패턴으로 형성되며;
    선택적으로, 상기 제1 샘플링 윈도우 위치 세트는 상기 주 이미지의 제1 화소 블록 세트의 이동된 위치에 대응하고, 상기 제2 샘플링 윈도우 위치 세트는 상기 주 이미지의 제2 화소 블록 세트의 이동된 위치에 대응하는 홀로그래픽 프로젝터.
  17. 제1항에 있어서,
    상기 부 이미지의 수는 2보다 큰 홀로그래픽 프로젝터.
  18. 제1항에 있어서,
    상기 복수의 홀로그램의 홀로그램 각각은 각각의 다른 홀로그램에 대해 소정의 속도 및 소정의 위치에 디스플레이 됨으로써, 상기 홀로그래픽 재구성은 육안 통합 시간 내에 형성되는 홀로그래픽 프로젝터.
  19. 제1항에 있어서,
    상기 홀로그래픽 재구성이 인터레이스 되도록, 제1 부 이미지에 대응하는 홀로그램을 디스플레이 함으로써 형성되는 제1 홀로그래픽 재구성은 제2 부 이미지에 대응하는 홀로그램을 디스플레이 함으로써 형성되는 제2 홀로그래픽 재구성에 대해 상기 재생 평면 상에서 공간적으로 옮겨지고,
    선택적으로, 상기 제1 홀로그래픽 재구성 및 상기 제2 홀로그래픽 재구성은 서로에 대해 상기 재생 평면 상에서 대각 오프셋 되는 홀로그래픽 프로젝터.
  20. 타겟 이미지의 재구성을 홀로그래픽 프로젝션 하는 방법으로서,
    상기 타겟 이미지로부터 주 이미지를 샘플링 함으로써 복수의 부 이미지를 생성하는 단계;
    복수의 홀로그램을 형성하도록 각각의 부 이미지에 대응하는 홀로그램을 계산하는 단계;
    디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하는 단계; 및
    재생 평면 상의 각각의 부 이미지에 대응하는 홀로그래픽 재구성을 형성하기 위해 디스플레이 동안 각각의 홀로그램을 조광하는 단계를 포함하되,
    상기 복수의 부 이미지를 생성하는 단계는,
    상기 각각의 부 이미지에 대해, 샘플링 윈도우의 복수의 위치에서 상기 주 이미지의 대응하는 화소 그룹으로부터 복수의 화소를 계산하는 단계를 포함하고;
    상기 각각의 부 이미지의 각각의 화소 값은, 복수의 샘플링 윈도우 위치 중 각각의 하나에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 복수의 화소를 포함하는 대응 그룹으로부터 계산되는 방법.
  21. 제20항에 있어서,
    디스플레이 장치 상에 각각의 홀로그램을 디스플레이 하는 단계는,
    상기 디스플레이 장치 상에 각각의 홀로그램을 차례로 디스플레이 하는 단계; 또는
    상기 디스플레이 장치의 상이한 각각의 영역 상에 실질적으로 동시에 각각의 홀로그램을 디스플레이 하는 단계; 또는
    복수의 디스플레이 장치 내에서 상이한 각각의 디스플레이 장치 상에 실질적으로 동시에 각각의 홀로그램을 디스플레이 하는 단계 중 하나 또는 하나 이상을 포함하는 방법.
  22. 제20항 또는 제21항에 있어서,
    생성된 상기 부 이미지 각각은 상기 주 이미지보다 적은 화소를 갖는 방법.
  23. 제21항에 있어서,
    프로젝션을 위한 상기 타겟 이미지를 수신하는 단계; 및
    상기 타겟 이미지보다 많은 화소를 갖는 소스 이미지를 형성하도록 상기 타겟 이미지를 업 스케일링 하는 단계로서, 상기 주 이미지는 상기 소스 이미지로부터 도출되는, 단계를 더 포함하는 방법.
  24. 제23항에 있어서,
    업 스케일링은, 상기 소스 이미지의 각각의 인접한 화소 그룹에서 상기 타겟 이미지의 각각의 화소 값을 반복하는 단계로서, 상기 타겟 이미지의 각각의 화소와, 동일한 화소 값을 가지는 상기 소스 이미지의 대응하는 화소 그룹 사이에는 위치 대응이 존재하는, 단계를 포함하는 방법.
  25. 제24항에 있어서,
    상기 주 이미지는 상기 소스 이미지인 방법.
  26. 제23항에 있어서,
    상기 주 이미지로서 중간 이미지를 형성하도록 변위 맵을 이용하여 상기 소스 이미지를 프로세싱 하는 단계로서, 상기 변위 맵은, 각각의 홀로그래픽 재구성의 이미지를 형성하도록 형성되는 광학 릴레이 시스템에 의해 야기되는 이미지 왜곡을 나타내는, 상기 소스 이미지의 각각의 화소에 대한 변위 값을 포함하는, 단계를 더 포함하는 방법.
  27. 제20항에 있어서,
    상기 부 이미지의 각각의 화소 값은 상기 각각의 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 화소 그룹의 상기 화소 값을 개별적으로 가중함으로써 계산되는 방법.
  28. 제27항에 있어서,
    제1 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 제1 화소 그룹으로부터 제1 부 이미지의 각각의 화소의 화소 값을 계산하는 단계; 및
    제2 샘플링 윈도우 위치 세트에서 상기 샘플링 윈도우 내에 속하는 상기 주 이미지의 각각의 제2 화소 그룹으로부터 제2 부 이미지의 각각의 화소의 화소 값을 계산하는 단계를 포함하되,
    상기 제2 샘플링 윈도우 위치 세트는 상기 제1 샘플링 윈도우 위치 세트로부터 대각 오프셋 되고/되거나 상기 제2 샘플링 윈도우 위치 세트에서 각각의 샘플링 윈도우는 상기 제1 샘플링 윈도우 위치 세트에서 대응하는 샘플링 윈도우와 부분적으로 오버랩 되는 방법.
  29. 삭제
  30. 삭제
KR1020200099190A 2019-08-23 2020-08-07 홀로그래픽 프로젝션 KR102445475B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1912168.0 2019-08-23
GB1912168.0A GB2586512B (en) 2019-08-23 2019-08-23 Holographic projection

Publications (2)

Publication Number Publication Date
KR20210023697A KR20210023697A (ko) 2021-03-04
KR102445475B1 true KR102445475B1 (ko) 2022-09-19

Family

ID=68108942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099190A KR102445475B1 (ko) 2019-08-23 2020-08-07 홀로그래픽 프로젝션

Country Status (7)

Country Link
US (2) US11765328B2 (ko)
EP (1) EP3783442B1 (ko)
KR (1) KR102445475B1 (ko)
CN (1) CN112415880B (ko)
GB (1) GB2586512B (ko)
MX (1) MX2020008789A (ko)
MY (1) MY195785A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2586511B (en) * 2019-08-23 2021-12-01 Dualitas Ltd Holographic projector
GB2587400B (en) * 2019-09-27 2022-02-16 Dualitas Ltd Hologram display using a liquid crystal display device
GB2595696B (en) * 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming
CN112212807B (zh) * 2020-10-14 2022-03-01 福建师范大学 基于单幅频谱强度图像动态采样进行迭代的相位加速读取方法和读取装置
GB2604402B (en) * 2021-03-05 2023-08-23 Envisics Ltd Head-up display
GB2604890B (en) * 2021-03-17 2024-01-31 Envisics Ltd Image projection
CN113066029B (zh) * 2021-03-31 2023-03-17 杭州三坛医疗科技有限公司 一种图像矫正方法及装置
US11328634B1 (en) * 2021-09-07 2022-05-10 Himax Display, Inc. Projection device and method with liquid crystal on silicon panel
CN114880953B (zh) * 2022-06-10 2023-08-11 中国科学院光电技术研究所 一种四台阶相位型菲涅尔波带片的快速波前复原方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006212698A (ja) * 2005-02-07 2006-08-17 Ricoh Co Ltd 加工方法、加工装置、回折光学素子の加工方法、回折光学素子、フォトニック結晶の加工方法、フォトニック結晶、及びインクジェットプリンタのヘッド
JP2007206356A (ja) * 2006-02-01 2007-08-16 Olympus Corp 映像表示システム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0880110B1 (en) * 1997-05-22 2006-11-08 Nippon Telegraph And Telephone Corporation Method and apparatus for displaying computer generated holograms
EP1720359A2 (en) * 1997-05-28 2006-11-08 Nippon Telegraph and Telephone Corporation Method and apparatus for transmitting or processing images
US7568445B2 (en) 2000-11-17 2009-08-04 Lockheed Martin Corporation System and method for the holographic deposition of material
US7031518B2 (en) * 2002-07-01 2006-04-18 Xerox Corporation Segmentation method and system for Multiple Raster Content (MRC) representation of documents
KR100601256B1 (ko) * 2004-03-12 2006-07-14 주식회사 대우일렉트로닉스 홀로그래픽 디지털 데이터 시스템의 재생 방법 및 재생 장치
US20050280894A1 (en) * 2004-04-02 2005-12-22 David Hartkop Apparatus for creating a scanning-column backlight in a scanning aperture display device
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
GB0718633D0 (en) * 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
GB2455523B (en) * 2007-12-11 2010-02-03 Light Blue Optics Ltd Holographic image display systems
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
NL2003845A (en) 2008-12-19 2010-06-22 Asml Netherlands Bv Lithographic apparatus, and patterning device for use in a lithographic process.
CN101939703B (zh) * 2008-12-25 2011-08-31 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8587703B2 (en) * 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
US8760542B2 (en) * 2010-08-11 2014-06-24 Inview Technology Corporation Compensation of compressive imaging measurements based on measurements from power meter
WO2012147271A1 (ja) * 2011-04-27 2012-11-01 パナソニック株式会社 表示装置
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2496108B (en) 2011-10-26 2015-03-04 Two Trees Photonics Ltd Image production
GB2499579B (en) * 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
GB2554575B (en) 2014-05-16 2018-09-26 Two Trees Photonics Ltd Diffuser for head-up display
GB2526159B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Diffuser for head-up display
GB2526275B (en) 2014-05-16 2017-12-13 Two Trees Photonics Ltd Display for reducing speckle
GB2526158B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Imaging device for moving a virtual image
WO2017115079A1 (en) 2015-12-30 2017-07-06 Daqri Holographics Ltd Dynamic holography printing device
EP3295256B1 (en) 2015-12-30 2023-11-08 Dualitas Ltd. Dynamic holography focused depth printing method
GB2547929B (en) * 2016-03-03 2018-02-21 Daqri Holographics Ltd Display system
GB2547926B (en) 2016-03-03 2020-04-29 Dualitas Ltd Display system
EP3485322A4 (en) * 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
CN106154800B (zh) * 2016-09-09 2018-12-25 京东方科技集团股份有限公司 全息显示装置及其全息显示方法
US10847068B2 (en) 2016-10-27 2020-11-24 Dualitas Ltd Method of operating a display driver
KR20180052357A (ko) * 2016-11-10 2018-05-18 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치
ES2730558T3 (es) * 2016-12-02 2019-11-11 Dualitas Ltd Proyector holográfico
CN106940486B (zh) * 2017-04-25 2022-06-24 京东方科技集团股份有限公司 一种显示装置及其显示方法
GB2567409B (en) 2017-08-02 2020-08-26 Envisics Ltd A display device and system
GB2567410B (en) 2017-08-02 2020-08-19 Envisics Ltd A display device and system
EP3438727B1 (en) 2017-08-02 2020-05-13 Envisics Ltd. Display device
GB2565834B (en) 2017-08-25 2020-05-20 Dualitas Ltd Display system
CN108287414B (zh) * 2017-12-28 2021-07-13 上海慧希电子科技有限公司 图像显示方法及其存储介质和***
GB2569206B (en) 2018-05-25 2019-12-04 Dualitas Ltd A method of displaying a hologram on a display device comprising pixels
CN108762033B (zh) * 2018-05-28 2022-12-09 江苏慧光电子科技有限公司 成像方法和光学***及其存储介质、芯片与组合
GB2569208B (en) 2018-07-19 2019-12-04 Envisics Ltd A head-up display
KR20200053319A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
KR20200053320A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 홀로그래픽 디스플레이 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006212698A (ja) * 2005-02-07 2006-08-17 Ricoh Co Ltd 加工方法、加工装置、回折光学素子の加工方法、回折光学素子、フォトニック結晶の加工方法、フォトニック結晶、及びインクジェットプリンタのヘッド
JP2007206356A (ja) * 2006-02-01 2007-08-16 Olympus Corp 映像表示システム

Also Published As

Publication number Publication date
GB2586512A (en) 2021-02-24
GB2586512B (en) 2021-12-08
US11765328B2 (en) 2023-09-19
MX2020008789A (es) 2021-02-24
EP3783442A1 (en) 2021-02-24
MY195785A (en) 2023-02-20
KR20210023697A (ko) 2021-03-04
GB201912168D0 (en) 2019-10-09
US20210084270A1 (en) 2021-03-18
CN112415880B (zh) 2022-04-26
EP3783442B1 (en) 2023-12-13
US20230308620A1 (en) 2023-09-28
CN112415880A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
KR102445475B1 (ko) 홀로그래픽 프로젝션
KR102453726B1 (ko) 홀로그램 프로젝터
CN112558452B (zh) 全息投影
CN113009710B (zh) 用于在多个平面上形成图像的投影仪
KR102241604B1 (ko) 홀로그래픽 프로젝션을 위한 디스플레이 장치에의 픽셀 매핑
KR102512258B1 (ko) 홀로그래픽 이미지 정렬
WO2019243096A1 (en) Holographic projector
KR20210119889A (ko) 프로젝션
KR102575670B1 (ko) 디스플레이 장치 및 시스템
US20230116373A1 (en) Holographic Projection
US20220299940A1 (en) Image Projection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant