KR102248266B1 - 홀로그램 데이터를 계산하기 위한 장치 및 방법 - Google Patents

홀로그램 데이터를 계산하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102248266B1
KR102248266B1 KR1020167000171A KR20167000171A KR102248266B1 KR 102248266 B1 KR102248266 B1 KR 102248266B1 KR 1020167000171 A KR1020167000171 A KR 1020167000171A KR 20167000171 A KR20167000171 A KR 20167000171A KR 102248266 B1 KR102248266 B1 KR 102248266B1
Authority
KR
South Korea
Prior art keywords
hologram
sub
segment
calculating
image element
Prior art date
Application number
KR1020167000171A
Other languages
English (en)
Other versions
KR20160018669A (ko
Inventor
엔리코 즈샤우
Original Assignee
시리얼 테크놀로지즈 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시리얼 테크놀로지즈 에스.에이. filed Critical 시리얼 테크놀로지즈 에스.에이.
Publication of KR20160018669A publication Critical patent/KR20160018669A/ko
Application granted granted Critical
Publication of KR102248266B1 publication Critical patent/KR102248266B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • G03H2001/0858Cell encoding wherein each computed values is represented by at least two pixels of the modulator, e.g. detour phase coding
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605Arrangement of the sub-holograms, e.g. partial overlapping
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45Representation of the decomposed object
    • G03H2210/452Representation of the decomposed object into points
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 홀로그램 디스플레이를 이용해서 3차원 장면의 홀로그램 데이터를 3차원 장면을 묘사하기 위한 공간 광변조기(SLM)에서 코딩하고 계산하기 위한 장치와 방법에 관한 것이다. 특히 본 발명은 또한 3차원 장면의 객체점에 대해 2D-서브홀로그램(2D-SH)의 최적화된 계산을 위한 장치와 방법 및 홀로그램의 실시간 계산을 위한 파이프라인에 관한 것이다. 본 발명의 과제는, 선행기술에 공개된 방법에 비해 3차원 장면을 묘사하기 위한 홀로그램의 계산 시간을 단축하고 및/또는 이러한 홀로그램의 계산 복잡성을 줄이는 것이다. 이는 공간 광변조기(SLM)의 영상 소자(BE)를 포함하는 객체점의 2D-서브홀로그램(2D-SH)이 하프 1D-서브홀로그램(1D-SH)을 포함하고, 각각의 영상 소자(BE)의 반경이 결정되고, 동일하거나 유사한 반경을 갖는 하프 1D-서브홀로그램(1D-SH)의 적어도 하나의 영상 소자(BE)에 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)가 전자 회로에 의해 고정적으로 할당되는 방법과 장치, 홀로그램을 코딩하기 위한 방법 및 FPGA 및/또는 ASIC 기반의 파이프라인에 의해 해결된다.

Description

홀로그램 데이터를 계산하기 위한 장치 및 방법{DEVICE AND METHOD FOR CALCULATING HOLOGRAPHIC DATA}
본 발명은 예를 들어 홀로그램 디스플레이를 이용해서 3차원 장면(3D 장면)과 객체를 묘사하기 위해 사용될 수 있는 홀로그램 데이터를 코딩하고 계산하기 위한 방법 및 하드웨어 아키텍처를 포함하는 장치에 관한 것이다.
특히 본 발명은 또한 홀로그램 디스플레이를 위한 3차원 장면의 객체점에 대해 2D-서브홀로그램의 최적화된 계산을 위한 장치, 공간 광변조기(SLM; Spatial light Modulator)를 위한 3차원 장면의 객체점에 대해 2D-서브홀로그램을 계산하기 위한 방법, 3차원 장면의 홀로그램을 공간 광변조기에서 코딩하기 위한 장치와 방법 및, 홀로그램의 실시간 계산을 위한 파이프라인에 관한 것이다.
이러한 홀로그램 디스플레이 및 홀로그램 데이터를 계산하기 위한 계산 방법은 예를 들어 하기 간행물들에 공개되어 있다: WO 2004/044659 A2, WO 2006/066919 A1, WO 2007/118842 A1, WO 2007/135165 A1, WO 2008/025839 A1, WO 2008/138979 A1 및 WO 2011/121130 A9. 상기 간행물들의 내용은 여기에 전체적으로 포함된다. 상기 간행물에 특히 용어 서브홀로그램과 그것의 의미가 상세히 설명되어 있고, 하기에서 이것이 참조된다. 또한 상기 간행물에 1D- 및 2D 코딩, 즉 (서브)홀로그램의 1차원 또는 2차원 코딩이 무엇인지 기술되어 있다.
기존의 해결 방법들은 예를 들어, 서브홀로그램 계산 시 대칭, 특히 거울 대칭을 이용하는 것에 기초하고, 즉 2D-서브홀로그램의 사분의 일(즉 1/4)에 대한 홀로그램 값만이 계산되면 된다. 나머지 3개의 사분의 일의 값들은 명시적으로 계산되지 않고, 2D-서브홀로그램의 제 1 사분의 일의 계산된 값들이 나머지 3개의 사분의 일의 값들을 결정하는데 이용되고, 즉 2D-서브홀로그램의 제 1 사분의 일의 계산 결과의 값들이 2D-서브홀로그램의 메인축을 따라 제 1 사분의 일의 값들의 상응하는 거울 반사에 의해 형성되고 또는 복제된다. 거울 대칭이란 적어도 하나의 축대칭 및/또는 점대칭일 수 있고, 이 경우 점대칭은 특히 서브홀로그램(SH)의 중심점이 관련될 수 있다.
그러나 이로 인해 1D 코딩에 비해 복잡성이 상당히 높고, 예를 들어 이러한 2D 코딩 시 복잡성은, 특히 홀로그램 묘사에 이용되는 공간 광변조기(Spatial Light Modulator(SLM))의 영상 소자들의 피치(픽셀피치, 2개의 영상 소자의 중심점들의 간격) 및 묘사할 장면 깊이에 따라 팩터 100 이상 더 높다. 피치란 특히, 공간 광변조기의 하나의 영상 소자의 크기(픽셀 크기)와 인접한 2개의 영상 소자들의 간격(픽셀 간격)으로부터 주어지는 크기이다.
계속해서 선행기술에 따른 2D-서브홀로그램의 계산을 위한 이러한 방법이 설명된다:
2D-서브홀로그램의 제 1 사분의 일의 각각의 영상 소자마다 위상과 진폭이 계산되고, 상기 위상과 진폭에 따라 3차원 장면의 묘사를 위해 사용된 광이 공간 광변조기에 의해 변조될 수 있고 또는 영향을 받을 수 있다. 위상은 이 경우 특히 공간 광변조기와 묘사할 객체점 사이의 거리 또는 간격 및 영상 소자들의 피치, (픽셀피치;px,py)와 같은 파리미터로부터 주어지고, 이 경우 px 는 x 방향으로 영상 소자들의 피치이고, py 는 y 방향으로 영상 소자들의 피치이다. 공간 광변조기와 묘사할 객체점 사이의 거리는 하기에서 포커스(F)라고 한다. 극좌표 진폭과 위상의 계산에 이어 계속해서 매우 계산 집중적인 단계, 즉 실수- 및 허수값들을 갖는 데카르트적 공간으로 위상과 진폭의 변환이 실시된다. 이는 축적, 즉 합계 홀로그램에서 계산된 2D-서브홀로그램과 다른 2D-서브홀로그램의 오버레이(overlay)를 가능하게 한다.
도 1은 선행기술에 따른 2D-서브홀로그램의 계산 및 묘사할 3차원 장면의 전체 홀로그램의 생성을 위한 계산 과정에 관한 간단한 개관을 제공하고, 이 경우 전술한 파라미터 외에 또한 관련 영상 소자의 위상값 φ, 진폭값 A, 이용된 광의 파장 λ, 서브홀로그램 폭 SHw, 서브홀로그램 높이 SHh 및 객체점의 명도 b(brightness)가 있다.
대칭 이용은, 영상 소자(x, y)의 위치가 위상 계산에 2차식으로 관여함으로써 제공된다. 도 2는 이를 한 번 더 도시한다.
2D-서브홀로그램으로 홀로그램 계산을 위한 다른 근거는 예를 들어 전술한 간행물에 언급되어 있으므로 여기에서 다시 설명되지 않는다.
본 발명의 과제는, 전술한 문제들이 해결되도록 전술한 방식의 장치와 방법을 제공하고 개선하는 것이다. 특히 선행기술에 공개된 방법에 비해 3차원 장면의 묘사를 위한 홀로그램의 계산 시간이 단축되고 및/또는 이러한 홀로그램의 계산 복잡성이 감소되어야 한다. 3차원 장면의 묘사는 여기에서 3차원 장면의 재구성과 관련해서 파악될 수 있다.
상기 과제는 본 발명에 따라, 청구항 제 1 항, 제 6 항, 제 7 항, 제 14 항, 제 15 항, 제 22 항 및 제 23 항의 교리에 의해 그리고 상기 청구항들에 종속하는 다른 청구항들에 따른 상기 교리의 바람직한 실시예 및 개선예에 의해 해결된다.
청구항 제 1 항에 따라 상기 과제는, 2D-서브홀로그램을 계산하기 위한 장치에 의해 해결된다. 이러한 2D-서브홀로그램은 홀로그램 디스플레이를 이용해서 3차원 장면의 객체점을 묘사하기 위해 이용된다. 묘사할 3차원 장면의 모든 객체점의 2D-서브홀로그램은, 이후에 상기 서브홀로그램의 오버레이에 의해 묘사할 3차원 장면의 전체 홀로그램(또한 간단히 홀로그램이라 함)을 생성하기 위해 필요하다.
3차원 장면의 객체점을 묘사하기 위한 홀로그램 디스플레이는 영상 소자들의 매트릭스를 갖는 공간 광변조기를 포함한다. 상기 영상 소자들은 픽셀, 셀 또는 픽셀 셀이라고도 한다. 이 경우 하나의 영상 소자는 다수의 서브 영상 소자들을 포함할 수 있다. 이러한 경우에 영상 소자는 마크로 셀에 해당한다. 계산될 2D-서브홀로그램은 공간 광변조기(SLM)의 영상 소자에 할당 가능한 복소값을 포함하고, 회전 대칭을 갖는데, 그 이유는 상기 서브홀로그램은 3차원 장면의 하나의 객체점만을 나타내기 때문이다. 복소값이란 이와 관련해서 특히 수학적 의미의 복소수일 수 있다. 본 발명에 따라 3차원 장면의 객체점을 묘사하기 위한 2D-서브홀로그램을 계산하기 위한 장치는, 2D-서브홀로그램이 2D-서브홀로그램의 단면을 따라 2D-서브홀로그램의 원점으로부터 2D-서브홀로그램의 최대 반경까지 하프 1D-서브홀로그램을 포함하는 것을 특징으로 하고, 이 경우 각각의 영상 소자의 반경이 결정되고, 동일하거나 유사한 반경을 갖는 하프 1D-서브홀로그램의 적어도 하나의 영상 소자에 2D-서브홀로그램의 각각의 영상 소자가 전자 회로에 의해 고정적으로 할당된다. 이 경우 최대 반경은 2D-서브홀로그램을 둘러싸는 원의 반경이다.
이는, 전술한 바와 같이 개별 객체점의 2D-서브홀로그램이 회전 대칭을 갖기 때문에 가능하다. 따리서 2D-서브홀로그램의 원점에 대해 동일한 간격을 갖는 2D-서브홀로그램의 영상 소자들, 즉 반경이 동일한 모든 영상 소자들의 진폭과 위상값들은 동일하다. 이러한 영상 소자의 계산은, 상기 값들을 반경이 동일한 다른 영상 소자에 대해서도 이용할 수 있기 위해 충분하다.
상기 2D-서브홀로그램들의 오버레이로부터 발생하는 홀로그램의 계산을 위한 계산 시간 및 계산 복잡성을 효과적으로 줄이기 위해, 반경이 동일하거나 적어도 유사한 영상 소자들을 전자 회로에 의해 전술한 상황에 따라 2D-서브홀로그램의 원점으로부터 2D-서브홀로그램의 최대 반경 부분까지 이르고 상응하는 반경을 갖는 하프 1D-서브홀로그램의 영상 소자에 할당하고 이러한 하나의 영상 소자에 대해서만 계산을 실행하는 것이 바람직하다.
전자 회로에 의한 고정적인 할당에 의해 다른 영상 소자들의 반경의 결정의 추가 단계, 상기 영상 소자의 추가 어드레싱 또는 상기 단계를 위한 룩업 테이블의 추가는 불필요하다. 상기 전자 회로는 디지털 회로로 구현 가능하다. 그러나 아날로그 회로도 이용될 수 있다.
본 발명에 따른 장치의 실시예에서 2D-서브홀로그램의 각각의 영상 소자는, 2D-서브홀로그램의 영상 소자의 반경이 방향 의존적인 스트레치(stretch) 팩터가 곱해진 하프 1D-서브홀로그램의 영상 소자의 반경에 상응하도록 전자 회로에 의해 하프 1D-서브홀로그램의 적어도 하나의 영상 소자에 할당될 수 있다.
바람직하게 이러한 전자 회로는 하드 와이어드 매트릭스 형태로 구현된다.
또한 바람직한 실시예에서 전자 회로는 필드 프로그래머블 게이트 어레이(FPGA 또는 Application Field Programmable logic Gate Array), 즉 프로그래머블 회로 및/또는 주문형 집적 회로(ASIC 또는 Application-Specific Integrated Circuits)에서 구현된다.
전술한 바와 같이, 2D-서브홀로그램의 회전 대칭 시 상기 2D-서브홀로그램의 원점에 대해 동일한 간격을 갖는 2D-서브홀로그램의 영상 소자들, 즉 반경이 동일한 영상 소자들의 진폭과 위상값들은 동일한 것이 공개되어 있다. 매트릭스 형태의 공간 광변조기(SLM)에 규정된 크기와 규정된 피치를 갖는 영상 소자들의 배치로 인해, 하프 1D-서브홀로그램의 영상 소자들의 실제 반경값들을 위해 진폭- 및 위상값들이 계산되지만, 객체점의 2D-서브홀로그램 내에 영상 소자들의 열이 포함되고, 상기 영상 소자들의 반경값은 하프 1D-서브홀로그램의 반경값과 다르다. 차이가 작은 경우에 이를 위해 그럼에도 불구하고 하프 1D-서브홀로그램을 위해 계산된 해당 값들이 사용된다.
하프 1D-서브홀로그램의 실재 영상 소자들의 반경과 2D-서브홀로그램의 영상 소자들의 반경의 차이가 증가하는 경우에, 필요한 진폭- 및 위상값들을 관련 2D-서브홀로그램 영상 소자의 반경과 유사한 반경을 갖는 하프 1D-서브홀로그램의 2개 이상의 영상 소자들의 값의 이용에 의해 결정하는 것이 바람직하다. 기본적으로 이는 선형 또는 비선형, 2차 또는 일반적으로 지수 식으로 이루어질 수 있다. 후자가 바람직한데, 그 이유는 2D-서브홀로그램의 반경을 향해, 즉 반경이 커질수록 양자화 오류가 증가하기 때문이다.
바람직한 실시예에서 본 발명에 따른 장치의 전자 회로는 따라서 하프 1D-서브홀로그램의 2개 이상의 영상 소자의 연산에 의해 중간값들을 형성하기 위한 그리고 상기 중간값들에 2D-서브홀로그램의 상응하는 영상 소자들을 할당하기 위한 수단을 포함한다.
전술한 과제에 따라, 묘사할 3차원 장면 전체의 홀로그램을 생성하기 위해, 이러한 홀로그램을 계산하기 위한 청구항 제 6 항에 따른 장치는 상기 3차원 장면의 객체점의 2D-서브홀로그램을 계산하기 위한 적어도 하나의 전술한 본 발명에 따른 장치를 포함한다. 또한 이러한 홀로그램을 계산하기 위한 본 발명에 따른 장치는,
- 2D-서브홀로그램을 계산하기 위한 본 발명에 따른 장치에 의해 형성된 2D-서브홀로그램을 극좌표로부터 데카르트 좌표로 및 또한 데카르트 좌표로부터 극좌표로 변환하기 위한 수단을 포함하고, 또한 이러한 수단도 하드 와이어드식으로 구현될 수 있고,
- 3차원 장면의 객체점의 위치 및 상기 장면의 관찰자의 위치에 의존해서 공간 광변조기(SLM)에 2D-서브홀로그램을 위치 설정하기 위한 수단을 포함하고,
- 동일한 영상 소자들의 관련 실수- 및 허수부들의 가산에 의해 묘사할 3차원 장면의 다양한 객체점의 관련 2D-서브홀로그램을 오버레이하기 위한 수단을 포함한다.
또한 상기 과제는 청구범위 제 7 항에 따른, 홀로그램 디스플레이를 이용해서 3차원 장면의 객체점을 묘사하기 위한 2D-서브홀로그램을 계산하기 위한 해당하는 방법에 의해 해결되고, 이 경우 홀로그램 디스플레이는 영상 소자들의 매트릭스를 갖는 공간 광변조기를 포함한다.
계산될 2D-서브홀로그램은 이 경우 복소값을 갖고, 상기 값은 공간 광변조기(SLM)의 영상 소자들에 할당될 수 있다. 본 발명에 따른 방법은 또한, 2D-서브홀로그램을 공간 광변조기(SLM)에서 코딩하기 위해, 2D-서브홀로그램의 회전 대칭을 이용한다.
이 경우 2D-서브홀로그램의 각각의 영상 소자는 동일하거나 유사한 반경값을 갖는 하프 1D-서브홀로그램의 적어도 하나의 영상 소자에 할당되고, 이 경우 하프 1D-서브홀로그램은 2D-서브홀로그램의 단면을 따라 2D-서브홀로그램의 원점으로부터 2D-서브홀로그램의 최대 반경까지 연장되고, 하프 1D-서브홀로그램의 각각의 영상 소자에 대한 위상 및 진폭의 값들이 계산되어 2D-서브홀로그램의 각각 할당된 모든 영상 소자에 전달된다.
본 발명에 따른 방법은, 하프 1D-서브홀로그램의 영상 소자에 2D-서브홀로그램의 영상 소자의 할당은 고정적으로 코딩되어 전자 회로에 의해 구현되는 것을 특징으로 한다. 이는 도 5에 도시되고, 계속해서 상세히 설명된다.
본 발명에 따른 방법의 실시예에서 2D-서브홀로그램의 각각의 영상 소자는, 2D-서브홀로그램의 영상 소자의 반경이 방향 의존적인 스트레치 팩터가 곱해진 하프 1D-서브홀로그램의 영상 소자의 반경에 상응하도록, 하프 1D-서브홀로그램의 적어도 하나의 영상 소자에 전자 회로에 의해 고정적으로 할당될 수 있다.
전체 장면을 묘사하는 과정에서 3차원 장면의 객체점을 묘사하기 위한 2D-서브홀로그램의 간단한 추가 처리를 보장하기 위해, 본 발명에 따른 방법의 바람직한 실시예에서 진폭과 위상의 극좌표를 갖는 복소값의 1D-서브홀로그램은 계산 후에 데카르트 좌표계로 변환된다. 이는, 이러한 변환은 3차원 장면 전체의 홀로그램을 생성하기 위한 개별 2D-서브홀로그램들의 오버레이 전에 오버레이 작업을 간단하기 때문에 바람직하다. 이를 위해 오버레이할 2D-서브홀로그램들의 동일한 영상 소자들의 각각의 실수부와 각각의 허수부들만이 가산되면 된다.
하프 1D-서브홀로그램의 영상 소자들의 반경에 대한 2D-서브홀로그램의 영상 소자들의 반경의 불일치의 문제와 해당하는 영상 소자들의 진폭- 및 위상값과 가장 유사한 반경을 갖는 하프 1D-서브홀로그램의 영상 소자들의 진폭 -및 위상값 사이의 차이의 불가피성을 해결하기 위해, 본 발명에 따른 방법의 바람직한 실시예에서 하프 1D-서브홀로그램의 적어도 2개의 영상 소자의 연산에 의해 중간값이 형성되고, 2D-서브홀로그램의 상응하는 영상 소자는 상기 중간값에 할당된다.
본 발명에 따른 방법의 특수한 실시예에서 중간값의 형성은 하프 1D-서브홀로그램의 영상 소자의 개수의 가상의 곱셈에 의해 또는 하프 서브홀로그램의 적어도 2개의 영상 소자의 값들의 보간에 의해 이루어진다.
2D-서브홀로그램의 계산을 더 간단하게 하기 위해, 하프 1D-서브홀로그램이 2D-서브홀로그램의 x-축을 따라 또는 2D-서브홀로그램의 y-축을 따라 연장되는 경우에 특히 바람직하다.
또한 3차원 장면의 객체점을 위한 2D-서브홀로그램을 계산하기 위한 본 발명에 따른 방법의 특수한 실시예에서, 전술한 과제를 해결하기 위해 2D-서브홀로그램의 회전 대칭을 거울 대칭과 조합하는 것이 가능하다. 이로써, 2D-서브홀로그램의 하나의 사분의 일 또는 하나의 사분의 일의 절반만을 2D-서브홀로그램을 계산하기 위한 전술한 방법을 이용해서 계산하고, 이 경우에 하나의 사분의 일의 계산 후에 나머지 3개의 사분의 일을 또는 하나의 사분의 일의 절반만 계산 후에 사분의 일의 나머지 절반 및 나머지 3개의 사분의 일을 거울 반사를 이용해서 계산하는 것이 가능하다.
3차원 장면 전체를 묘사하기 위한 홀로그램을 계산하기 위한 본 발명에 따른 방법은 먼저 2D-서브홀로그램을 계산하기 위한 전술한 방법을 이용해서 상기 장면의 묘사할 모든 객체점을 위한 2D-서브홀로그램을 형성한다. 후속해서 각각의 2D-서브홀로그램의 각각의 영상 소자는 2D-서브홀로그램으로 묘사할 객체점의 위치와 상기 장면의 관찰자의 위치에 따라 x- 및 y-방향으로 오프셋을 얻는다. 이렇게 서로 위치 설정된 2D-서브홀로그램이 최종적으로 가산되고, 즉 오버레이된다.
구체적으로 이것은 바람직하게는 2D-서브홀로그램의 위상- 및 진폭값들이 실수부와 허수부를 가진 데카르트 좌표로 변환 후에, x 방향으로 n개 소자 및 y 방향으로 m개 소자의 수만큼 2D-서브홀로그램의 위상- 및 진폭값들의 이동을 의미하고, 이 경우 n과 m은 묘사할 객체점의 위치와 관찰자의 위치로부터 주어진다. 후속해서 모든 2D-서브홀로그램의 해당하는 영상 소자들의 실수부와 허수부의 가산이 이루어진다.
또한 청구항 제 15 항에 따라, 장면점(scene point)이라고도 하는, 3차원 장면의 개별 객체점의 서브 홀로그램의 중첩, 즉 오버레이를 이용해서 3차원 장면의 홀로그램을 홀로그램 디스플레이의 공간 광변조기에서 코딩하기 위한 방법은 상기 과제의 해결을 지원한다.
3차원 장면의 홀로그램을 1차원의 공간 광변조기에서 코딩하기 위한(1D-코딩) 본 발명에 따른 이와 같은 방법에 따라 홀로그램 라인에 관해 규정된 세그먼트 폭을 갖는 서브홀로그램의 제 1 절반부의 서브홀로그램 세그먼트, 즉 규정된 개수의 메모리 소자를 갖는 하나의 세그먼트가 계산된다. 이 경우 메모리 소자들은 각각의 영상 소자에 할당될 수 있다. 서브홀로그램의 제 1 절반의 상기 서브홀로그램 세그먼트 및 상기 제 2 절반부의 서브홀로그램 세그먼트에 관해 오프셋 위치가 결정되고, 이 경우 오프셋 위치들은 홀로그램 라인 내의 관련 장소를 규정하고, 상기 장소에서 서브홀로그램 세그먼트들이 가산되고, 이 경우 가산은 바람직하게 복소값으로 이루어진다. 서브홀로그램의 제 2 절반부의 서브홀로그램 세그먼트는 제 1 절반부의 서브홀로그램 세그먼트의 복제 및 거울 반사에 의해 형성된다. 후속해서 제 1 절반부의 서브홀로그램 세그먼트와 상기 세그먼트의 오프셋 위치는 제 1 절반부를 위한 계산 경로에 관여하고, 제 2 절반부의 서브홀로그램 세그먼트와 상기 세그먼트의 오프셋 위치는 서브홀로그램의 제 2 절반부를 위한 계산 경로에 관여하고, 각각의 계산 경로에서 서로 독립적인 홀로그램 라인 메모리 내의 서브홀로그램 세그먼트들의 가산이 실행된다. 제 1 및 제 2 서브홀로그램 절반의 독립적인 홀로그램 라인 메모리는 최종적으로 다시 결합된다. 본 발명에 따라 서브홀로그램 세그먼트들은 가산 전에 결정된 오프셋 위치에 따라 홀로그램 라인 메모리에 대해 조정된다. 이는, 홀로그램 라인 메모리의 제어가 간단해지기 때문에, 후속하는 가산 방법을 간단하게 하고, 홀로그램 라인 메모리의 효율적인 이용을 가능하게 한다.
서브홀로그램 세그먼트가 계산 후에 극좌표계로부터 데카르트 좌표계로 변환되는 경우에, 본 발명에 따른 방법을 위해 바람직하다. 대칭 특성을 이용함으로써 이러한 변환을 위한 복잡성이 거의 절반으로 감소한다.
본 발명에 따른 방법의 바람직한 변형예에 따라 서브홀로그램 세그먼트의 조정은, 조정되지 않은 서브홀로그램 세그먼트가 하나의 세그먼트의 소자의 개수와 하나의 세그먼트 내에서 상기 서브홀로그램 세그먼트를 위해 결정된 오프셋 위치의 정수배의 차이값만큼의 이동에 의해 홀로그램 라인 메모리에 대해 조정된 인접한 2개의 세그먼트에 맵핑됨으로써, 그리고 그 후에 남겨진, 2개의 인접한 세그먼트의 소자들은 0으로 채워짐으로써, 이루어진다. 인접한 조정된 2개의 세그먼트는 독립적인 2개의 홀로그램 라인 메모리에서 가산되고, 이 경우 이는 실질적으로 동시에 이루어진다.
바람직하게 서브홀로그램 세그먼트의 이동은 하나의 서브홀로그램 세그먼트의 소자의 개수에 상응하는 스테이지의 개수를 갖는 파이프라인에 의해 이루어지고, 이 경우 각각의 스테이지에서 소자들은 결정된 차이값에 도달될 때까지 하나의 소자만큼 이동되고, 나머지 스테이지는 이동 없이 통과한다. 서브홀로그램 세그먼트의 이동의 다른 바람직한 변형예는 멀티플렉서에 의해 차이값에 따라 이동이 선택되는 정해진 로직을 이용해서 이루어진다.
3차원 장면의 홀로그램을 홀로그램 디스플레이의 공간 광변조기에서 코딩하기 위한 본 발명에 따른 방법의 특수한 변형 실시예에서, 1D-코딩을 위해 설명되었던 각각의 방법 단계들은 2D-코딩을 구현하기 위해 이용되는 홀로그램 라인의 개수에 따라 반복된다. 각각의 단계들의 반복은 이 경우 차례로 이루어져서는 안 되고, 오히려 동시에 이루어질 수 있고, 즉 다양한 홀로그램 라인들의 동시 코딩이 가능하다.
홀로그램의 코딩을 위한 본 발명에 따른 방법의 바람직한 해결 방법에서 제 1 절반부의 서브홀로그램 세그먼트는 정렬되어 생성되고, 독립적인 홀로그램 라인 메모리에서 가산된다. 이러한 해결 방법은 특히 1D-코딩을 위해, 즉 하프 패럴랙스 홀로그램(parallax hologram)의 생성 시 이용되지만, 2D-코딩을 위해서도, 즉 풀 패럴랙스 홀로그램의 생성을 위해서도 적용될 수 있다.
홀로그램을 코딩하기 위한 본 발명에 따른 방법에서 제 1 절반부의 서브홀로그램 세그먼트의 복제 및 거울 반사에 의해 서브홀로그램의 제 2 절반부의 서브홀로그램 세그먼트가 생성되고, 이전 사이클에 저장된 서브홀로그램 세그먼트에 결합되고, 현재 서브홀로그램 세그먼트의 소자들은 하나의 세그먼트의 소자들의 개수와 상기 서브홀로그램 세그먼트를 위해 결정된 오프셋 위치의 정수배의 차이값만큼 이동되고, 메모리에 대해 조정된 서브홀로그램 세그먼트는 분리되고, 하나의 홀로그램 라인 메모리에서 가산되는 경우에, 특히 바람직하다.
또한 본 발명의 과제는, 2D-서브홀로그램의 계산을 위한 본 발명에 따른 장치를 이용해서 및/또는 2D-서브홀로그램의 계산을 위한 본 발명에 따른 방법을 이용해서 2D-서브홀로그램이 생성되는, 서브홀로그램의 이용 하에 홀로그램을 코딩하기 위한 방법에 의해 해결된다.
하드 와이어드 회로의 사용 하에, 특히 전술한 장치와 방법에 기초해서 홀로그램 디스플레이에서 묘사하기 위한 홀로그램의 계산과 출력은 계속해서 서브홀로그램과 하드웨어 기반의 홀로그램 디스플레이의 직접적인 제어를 이용한 홀로그램의 하드웨어 기반의 실시간 계산을 위한 파이프라인 형식에서 설명된다. 또한 이러한 파이프라인은 제시된 과제의 해결을 지원한다.
이러한 파이프라인은, 파이프라인의 부분들 또는 파이프라인 전체가 프로그래밍 가능한 회로의 형태로 구현됨으로써, 추후에 기능 유닛들을 변경하거나 새롭게 추가할 수 있는 것으로 특징된다.
청구범위 제 23 항에 따른 홀로그램의 실시간 계산을 위한 본 발명에 따른 파이프라인은 서브홀로그램의 계산 및 홀로그램 디스플레이의 직접 제어를 위한 수단을 포함한다. 상기 수단은, 파이프라인이 하나의 이상의 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 하나 이상의 주문형 집적 회로(ASIC)에 기반해서 구현되고, 여기에서 사용된 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 주문형 집적 회로(ASIC)는 추후에 구성 가능하고, 즉 실행 시간 동안에도 구성될 수 있다.
특히 이러한 파이프라인은 3차원 장면의 객체점을 묘사하기 위한 2D-서브홀로그램을 계산하기 위한 본 발명에 따른 장치를 포함할 수 있다.
파이프라인은 바람직한 실시예에서 서로 전기적으로 접속되는 기능 유닛들을 포함하고, 이 경우 하기의 기본적인 기능들이 구현된다:
- 인터페이스를 통해 재구성할 장면을 묘사하기 위한 객체점의 수신,
- 해당하는 홀로그램(들)의 계산 및
- 공간 광변조기(SLM)에서 묘사를 위해 인터페이스를 통해 홀로그램(들)의 출력.
기능 유닛들은 회로에 고정적으로 집적되지만, 실행 시간에 구성 가능하고, 즉 특정의 SLM 또는 홀로그램 디스플레이에 할당되지 않는다.
전술한 바와 같이 파이프라인은 FPGA 및/또는 ASIC에 기반해서 구현되고, 이 경우 사용된 FPGA 또는 ASIC는 실행 시간에 구성 가능하다. 즉, ASIC 또는 FPGA는 홀로그램 디스플레이의 특정 유형을 위해 설계되어서는 안 되고, 작동 시 적절한 구성에 의해 그 주변(디스플레이 종류 등)에 맞게 조정될 수 있다. 경우에 따라서 이들은 추후에 새롭게 구성될 수 있다. 이는, 1D- 및 2D-홀로그램이 실시간으로 계산되어 출력될 수 있도록 그리고 다양한 코딩 방식과 출력 모드가 지원될 수 있도록 이러한 파이프라인을 형성하는 것을 가능하게 한다.
파이프라인의 바람직한 실시예에서 홀로그램과 컨텐트를 위한 해상도는 사용되는 하드웨어와 무관하고, 즉 해상도는 사용되는 FPGA 또는 ASIC와 무관하다.
또한 처리 시 높은 동시성을 이용한 이러한 파이프라인에 의해 낮은 클럭 주파수에서 높은 계산 성능이 보장될 수 있다. 이는 특히 최소 전류 소비와 관련해서 중요하다.
본 발명에 따른 파이프라인의 바람직한 실시예에서 다양한 디스플레이 크기 및/또는 홀로그램 해상도 및/또는 장면 해상도 및/또는 디스플레이 파라미터를 위한 장치의 확장성은 계산 경로의 가변적인 활성화에 의해 보장된다. 상기 파이프라인은 즉 비활성화 가능하고 또는 다시 활성화 가능한 계산 경로를 포함한다. 본 발명에 따른 파이프라인의 다른 실시예에서 동적인 서브홀로그램 크기의 구현에 의해 회로의 이용률이 최대화되고, 필요한 리소스(칩 영역/에너지)는 최소화될 수 있다.
또한 소수의 홀로그램 라인으로 버퍼링의 제한에 의해 FPGA 및/또는 ASIC 내 로컬 메모리 용량이 최소화될 수 있다. 이는 중요한 장점인데, 그 이유는 메모리는 에너지 소비와 공간 요구(칩 영역)을 높이기 때문이다.
파이프라인은 바람직한 실시예에서, 홀로그램 계산- 및 출력이 서로 비동시성을 갖고, 상이한 프레임 레이트로 실행하도록 구성된다. 이로 인해 계산 시 단기적인 병목 현상의 경우 그럼에도 홀로그램의 연속 출력이 이루어질 수 있다. 입력(컨텐트)과 계산 사이에 유사한 특성이 구현된다.
출력과 계산은 의도대로 상이한 프레임 레이트로 실행될 수 있고, 이 경우 계산 프레임 레이트는 일반적으로 컨텐트 프레임 레이트를 따른다.
전술한 바와 같이 파이프라인의 부분들 또는 전체 파이프라인은 프로그래밍 가능한 회로 형태로 구현될 수 있으므로, 추후에 기능 유닛들을 변경하거나 새롭게 추가될 수 있다(예를 들어 FPGA에 의해 또는 FPGA가 고정형 기능 유닛들에 혼합된 형태에 의해). 바람직하게는 이는 인터페이스와 코딩 영역에서 이루어지므로, 전송 포맷과 홀로그램 코딩과 관련해서 추후 조정이 실행될 수 있다.
서브홀로그램 및 홀로그램 디스플레이의 직접 제어를 이용해서 홀로그램을 하드웨어 기반으로 실시간 계산하기 위한 파이프라인의 기능 또는 기능 유닛들은 다음과 같이 구성될 수 있다:
- 재구성할 장면의 객체점들의 수용, 객체점은 컬러- 및 위치 정보들을 포함한다. 또한 바람직하게 비디오 영상에 기반하는 전송은 디지털 전자 인터페이스를 통해 실시된다. 다른 방법이 고려될 수도 있다.
- (선택적으로) 메모리 내에 객체점들의 중간 저장.
- (선택적으로) 중간 메모리로부터 객체점들의 판독.
- 객체점으로부터 서브홀로그램의 계산.
- 하나의 전체 홀로그램으로 서브홀로그램의 축적.
- SLM의 작동에 따라 홀로그램의 코딩
- (선택적으로) 메모리 내에 홀로그램(코딩되거나 코딩되지 않은 채로)의 중간 저장.
- (선택적으로) 중간 메모리로부터 홀로그램(코딩되거나 코딩되지 않은 채로)의 판독.
- SLM의 작동에 따라 홀로그램 출력의 제어.
- SLM의 작동에 필요한 이미지 출력 포맷의 생성.
- SLM에 필요한 이미지 출력 포맷에서 계산 완료된 홀로그램의 출력. 바람직하게는 비디오 영상에 기반하는 전송은 디지털 전자 인터페이스를 통해 실시된다. 다른 방법이 고려될 수도 있다.
- 레이저 또는 광편향을 위한 장치와 같은 홀로그램 묘사에 필요한 다른 장치들의 제어.
- 파이프라인의 시작 시 기능 유닛들의 구성. 이 경우 인터페이스를 통해 파라미터 및/또는 프로그램이 전송되고, 상기 파라미터 및/또는 프로그램은 파이프라인 또는 그 기능 유닛들을 시작 시 설치 또는 구성한다.
본 발명의 교리를 바람직하게 형성하고 개선하고 및/또는 전술한 실시예들을 - 가능한 경우에 - 서로 조합할 수 있는 다양한 가능성이 제공된다. 이를 위해 한편으로 청구범위 제 1 항에 종속되는 특허 청구항들과 다른 한편으로는 도면을 참고로 한 본 발명의 바람직한 실시예들의 하기 설명이 참조된다. 도면을 참고로 한 본 발명의 바람직한 실시예들의 설명과 관련해서 상기 교리의 바람직한 실시예 및 개선예들도 보편적으로 설명된다.
도 1은 선행기술에 따른 3차원 장면의 복소값 홀로그램에 대한 계산 과정을 도시한 도면.
도 2는 선행기술에 따른 2D 서브홀로그램 내 거울 대칭을 도시한 도면.
도 3은 1D-서브홀로그램에 2D-서브홀로그램 매트릭스의 영상 소자들을 할당하기 위한 예를 도시한 도면.
도 4는 보간에 의한 중간값들의 생성을 도시한 도면.
도 5는 2D-서브홀로그램의 x-축을 따라 연장되는 1D-서브홀로그램의 이용 시 3차원 장면의 객체점들의 2D-서브홀로그램을 생성하기 위한 본 발명에 따른 방법의 이용 하에 3차원 장면의 복소값 홀로그램에 대한 계산 과정을 도시한 도면.
도 6은 선행기술에 따라 대칭을 이용하지 않는 홀로그램 계산 파이프라인을 도시한 도면.
도 7은 거울 반사 및 조정을 이용한 대칭의 이용 하에 3차원 장면의 홀로그램을 코딩하기 위한 방법에 대한 홀로그램 계산 파이프라인을 도시한 도면(3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 1 변형예).
도 8은 순서와 무관한 변형예에서 대칭을 포함하는 홀로그램 파이프라인을 도시한 도면.
도 9는 거울 반사되지 않은 서브홀로그램 세그먼트의 정렬이 불필요한 변형예에서 거울 반사 및 정렬을 이용한 대칭의 이용 하에 3차원 장면의 홀로그램을 코딩하기 위한 방법에 대한 홀로그램 계산 파이프라인을 도시한 도면(3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 2 변형예).
도 10은 순서에 따른 변형예에서 대칭을 포함하는 홀로그램 파이프라인을 도시한 도면.
도 11은 서브홀로그램 및 홀로그램 디스플레이의 직접적인 제어를 이용한 홀로그램의 하드웨어에 기반한 실시간 계산을 위한 파이프라인을 도시한 도면.
본 발명에서 전술한 바와 같이 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치와 방법을 위해 그리고 이러한 것에 의해 홀로그램을 계산하기 위해 회전 대칭이 이용된다. 거울 대칭의 이용은 생략될 수 있다. 선행기술에 공개된 위상 계산은 기본적으로 포커스(F)를 갖는 렌즈의 투영 함수가 나타내고 또는 근사치인 위상값들의 계산의 결과이기 때문에, 함수 파라미터 x와 y로 반경 R이 설명되고, 이 경우 동일한 반경 R이 결과되는 모든 x와 y에 대해 위상, 즉 복소값은 동일하다. R은 식 R2 = x2 + (S*y)2, S = px/py에 따라 x와 y로부터 주어진다. 파라미터 S에 의한 확장성은 px! =py가 성립되는 사각형 영상 소자(BE)에서 반경 계산 시 영상 소자(BE)의 수직 피치의 실재적인 고려를 위해 이용된다. 위상의 계산을 위한 새로운 식은 φ =(π*R2 px 2)/(λ*F) + φ0이다. 복소값은 위상 φ과 진폭 A으로부터 주어진다.
복소값이란 이와 관련해서 특히 수학적 의미의 복소수이다. 거울 대칭이란 적어도 하나의 축대칭 및/또는 점대칭을 의미할 수 있고, 이 경우 점대칭은 특히 서브홀로그램(SH)의 중심점과 관련될 수 있다.
이로써 제 1 사분의 일 내의 각각의 영상 소자마다 또는 다른 모든 사분의 일마다 해당 반경이 결정될 수 있다. 위상 프로파일 또는 - 예를 들어 x-축을 따른 또는 대각선을 따른 - 단면의 계산에 의해 함수 곡선이 얻어지고, 상기 함수 곡선은 룩업 테이블로서 파악되고 및/또는 룩업 테이블로서 사용될 수 있다. 따라서 반경이 룩업 테이블을 위한 독립 변수로서 이용됨으로써, 각각의 영상 소자마다 복소값을 결정할 수 있다.
이러한 방법의 이용은 그러나 매우 메모리 집중적인데, 그 이유는 이 경우 제한적으로만 동시에 처리될 수 있기 때문이다. 룩업 테이블에 액세스는 기본적으로 시퀀스적으로 이루어질 수 있는데, 그 이유는 메모리 모듈은 원칙에 따라 시퀀스 데이터만을 공급하기 때문이다. 즉, 컴퓨터 시스템 또는 FPGA(Field Progammable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 상의 룩업 테이블에 액세스를 이용한 이러한 구현은 특히 데이터 엑세스의 메모리 밴드폭에 의해 제한된다. 다수의 액세스를 동시에 처리하기 위해, 메모리 모듈의 개수의 증가는 제한적으로만 바람직한데, 그 이유는 이는 상당한 리소스 소비와 관련되기 때문이다.
이러한 양상은 본 발명에 따라 특수한 전자, 바람직하게는 디지털 회로에 의해 해결되고, 상기 회로는 특히 FPGA 및 ASIC에서 응용될 수 있다. 매우 보편적으로는 그러나 임의의 적절한 컴퓨터 하드웨어가 이를 위해 이용될 수 있다.
회전 대칭을 일반적으로 룩업 테이블에 따라 시퀀스적으로 계산하고 또는 이용하는 대신, 특수한 디지털 회로로서 하드 와이어드 매트릭스가 제공되고, 상기 매트릭스는 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)를 하프 1D-서브홀로그램(1D-SH) 내의 적어도 하나의 특정한 영상 소자(BE)에 전기적으로 접속시킨다. 이는 도 3에서 명확해지고, 상기 도 3은 1D-서브홀로그램(1D-SH)에 2D-서브홀로그램 매트릭스(2DSHM)의 할당에 대한 예를 물리적으로 및 방법과 관련해서 도시한다. 이와 관련해서 하기 방법 단계들이 제시된다:
- 1D 서브홀로그램 계산 및 데카르트적 공간으로 변환, SHBT,
- 2D 서브홀로그램 오버레이, 2DSHSP,
또한 하기의 장치 특징들이 도시된다:
- 상이한 반경의 다양한 영상 소자로 이루어진 1D-서브홀로그램 절반, 이 경우 각각의 영상 소자는 복소값을 저장하고, H1DSH.
-하프 1D-서브홀로그램(1D-SH)의 해당하는 영상 소자에 직접 연결된 영상 소자를 갖는 2D-서브홀로그램 매트릭스. 2DSHM,
- 2D-서브홀로그램 내의 관련된 모든 영상 소자에 하프 1D-서브홀로그램 내 의 하나의 영상 소자의 레지스터의 직접적인 전자 접속, DEV. 이는 모든 다른 셀에 대해 유사하게 이루어진다.
제 1 단계에서 절반 크기의 1D-서브홀로그램(1D-SH)이 계산된다. 결과는 각각 허수값(또는 허수부)와 실수값(또는 실수부라고도 함)으로 이루어진 더 많은 수의 복소값들(K)이다. 각각의 복소값들은 하나의 허수값 및 하나의 실수값을 위한 2개의 레지스터에 중간 저장된다. 레지스터는 디지털 회로에 숫자값들의 저장을 위한 디지털 전자 회로이다. 즉, n개의 영상 소자(BE)를 갖는 1D-서브홀로그램(1D-SH) 내에 k*2개의 레지스터가 제공된다. 또한 각각 2개의 레지스터로 이루어진 A'*B'영상 소자들(BE)의 메트릭스가 존재한다 - 이것은 2D-서브홀로그램(2D-SH)을 대표한다. 2D-서브홀로그램(2D-SH) 내의 특정 개수의 상기 영상 소자(BE)에 1D-서브홀로그램(1D-SH) 내의 가장 적합한 영상 소자(BE)가 할당되었다. 할당은 오프라인으로 이루어졌다. 이러한 영상 소자들(BE)은 결합되고, 따라서 1D-서브홀로그램(1D-SH) 내 2개의 레지스터로부터 할당에 따라 결정된 2D-서브홀로그램(2D-SH) 내 특정 레지스터로 전기적인, 고정적으로 설치된 동시의, 연속적인, 특히 전체적인 데이터 전송이 이루어진다. 즉 1D-서브홀로그램(1D-SH) 내 하나의 레지스터의 값이 변경될 때마다, 2D-서브홀로그램(2D-SH) 내 상응하는 레지스터도 자동으로 변경된다. 일반적으로 상기 전송은 클록 에지 제어 방식으로 이루어진다. 그러나 다른 전송 방식이 고려될 수도 있다. 디지털 전송 대신 또한 전기적 아날로그 저장 및 전송이 고려될 수도 있다.
2D-서브홀로그램(2D-SH)의 어떤 영상 소자(BE)가 하프 1D-서브홀로그램(1D-SH)의 어떤 영상 소자들(BE)에 결합되는지 선택은 반경에 의해 이루어진다. 즉 항상, 2D-서브홀로그램(2D-SH)의 영상 소자(BE)의 반경(R')에 가장 부합하는 반경(R)을 갖고 2D-서브홀로그램(2D-SH)의 영상 소자(BE)를 위해 사용되는 복소값을 갖는 1D-서브홀로그램(1D-SH)의 영상 소자(BE)가 선택된다(도 3 참조). 이 경우 반경 R'= 4.47을 갖는 2D-서브홀로그램(2D-SH)의 영상 소자(BE)에 대해 반경 R = 4.5의 가장 근사치를 갖는 하프 1D-서브홀로그램(1D-SH)의 영상 소자(BE)가 선택된다. 유사하게 모든 셀에 대해 할당이 이루어진다. 가장 근사한 반경 R을 선택하는 대신 임의의 다른 규칙이 고려될 수도 있다.
이 경우, 소정의 양자화 오류를 감수하는 것이 필수적일 수 있는데, 그 이유는 제한된 개수의 반경 R에 대해서만 영상 소자들(BE)이 계산되기 때문이다.
더 큰 장점은, 계산될 2D-서브홀로그램(2D-SH)의 일부만이 하프 1D-서브홀로그램(1D-SH)의 형태로 계산되면 되는 것이다. 이 경우 본 발명에 따른 장치와 본 발명에 따른 방법의 바람직한 변형예에서 데카르트적 공간으로 매우 연산 집중적인 변환이 이루어진다.
또한, 2D-서브홀로그램(2D-SH)으로 홀로그램 계산을 위한 복잡성을 줄이는 방법을 찾는 것이 목적이다. 이와 관련한 방법은 홀로그램 데이터의 계산을 위한 하드웨어 아키텍처를 포함하는 장치에 의해 구현되어야 한다. 이는 바람직하게, 특히 적절한 또는 낮은 전류 소비를 특징으로 하는 FPGA 및 또는 ASIC에 기초하는 단말기의 경우에 실시간으로 이루어져야 한다. 이들은 예를 들어 모바일 영역에서 이용을 가능하게 할 것이고, 현실적인 복잡성과 예측 가능한 비용으로 제조될 수 있을 것이다.
장치의 전기 회로에 사용되는 트랜지스터의 개수는 한편으로는 제조 비용에 그리고 다른 한편으로는 전류 소비에 영향을 미친다. 즉, 전기 회로가 클수록, 더 많은 트랜지스터가 제공되어야 하고, 그것의 제조와 개발은 그만큼 더 복잡해지고 더 비용 집약적이다. 이는 특히 제한된 에너지 저장과 제한적인 열방출이 이루어지는 모바일 단말기에서 중요하다.
1D-코딩, 즉 1D-서브홀로그램(1D-SH)으로의 코딩에 비해 2D코딩, 즉 2D-서브홀로그램(2D-SH)으로의 코딩의 장점들은 공개되어 있고, 전술한 간행물에서 기술되었다. 중요한 특징들은 특히 다음과 같다:
- 장면 깊이가 큰 경우에 개별 객체점들의 홀로그램 묘사 또는 재구성 시 비점 수차(astigmatism)의 제거(이 경우 묘사될 객체는 개별 객체점으로 분리 가능) 및
- 홀로그램 시각화 시 전체 홀로그램 패럴랙스(parallax)(2D).
양자화 오류의 감소를 위해 하프 1D-서브홀로그램(1D-SH) 내의 영상 소자(BE)의 개수(k)는 증가할 수 있고, 즉 영상 소자(BE)의 개수(k)의 배가에 의해 반경(R)의 증분에 대한 단계폭이 감소한다(도 3 참조). 이로 인해 하프 1D-서브홀로그램(1D-SH)의 영상 소자들에 2D-서브홀로그램(2D-SH)의 영상 소자들의 더 정밀한 할당이 가능하다. 이 경우 선형 증분 또는 임의의 다른 증분 함수가 이용될 수 있다. 2D-서브홀로그램(2D-SH)의 에지를 향해 양자화 오류가 증가하기 때문에, 하프 1D-서브홀로그램(1D-SH)을 따른 반경(R)의 비선형(예를 들어 2차) 증가가 바람직하고, 즉 에지 영역에서 해상도는 반경 0을 갖는 제 1 영상 소자의 영역에서보다 훨씬 높다. 그와 달리 선형 증가는 에지 영역에서 정확도의 증가를 덜 효율적으로 만들지만, 그 대신 1D-서브홀로그램(1D-SH)의 계산은 훨씬 간단해질 수 있고, 즉 더 효율적으로 실행될 수 있는 장점을 제공한다.
이로 인해 홀로그램 재구성 시 선형 증가의 경우, 예를 들어 WO 2006/066919 A1호를 참고로 뷰잉 윈도우(Viewing Widows)의, 즉 관찰차 윈도우, 즉 관찰자를 위한 3차원 장면의 재구성을 가시화할 수 있는 "윈도우"의 중앙에서 재구성의 정확도가 매우 양호하고, 선택된 해상도에 따라 에지를 향해 감소하고, 이때 양자화 오류는 증가하고, 상기 양자화 오류는 특히 뷰잉 윈도우의 에지에서 나타난다. 비선형 곡선의 경우에, 이와 달리 균일한 품질이 달성될 수 있고, 즉 - 실질적으로 뷰잉 윈도우의 전체 영역에서 - 일정한 오류가 달성될 수 있다.
양자화 오류를 줄이기 위한 다른 가능성은, 하프 1D-서브홀로그램(1D-SH) 내의 인접한 영상 소자들(BE) 사이의 보간을 실시하는 것이고, 이로써 거의 추가 복잡성 없이 추가 레지스터 내에 다른 중간값이 형성될 수 있다. 이는 도 4에 도시된다. 상기 도면에 특히,
- 각각의 영상 소자는 복소값을 저장하는, H1DSH, 다양한 반경의 다수의 영상 소자로 이루어진 1D-서브홀로그램 절반으로부터,
- 2개 이상의 영상 소자들의 중간값이 생성되고, ZWG,
- 이로써 추가로 형성된 중간값을 갖는 확장된 1D-서브홀로그램, E1DSH이 어떻게 형성되는지 도시된다.
간단한 예로 R12 = 4.75일 때 중간값을 생성하기 위해, 반경 R1 = 4.5과 R2 = 5를 갖는 인접한 2개의 영상 소자 사이의 선형 보간을 들 수 있다. 계산 규칙은 Re12 = (Re1 + Re2)/2 및 Im12 =(Im1 + Im2)/2일 수 있다. 이를 위해 디지털 회로에서 하나의 가산만이 필요한데, 그 이유는 2로 나눗셈은 마지막 비트의 자리를 버림으로써 복잡하지 않게 이루어질 수 있기 때문이다. 선형 보간 외에도 2차 보간 또는 로그 또는 지수 보간이 가능하다.
실재로 어떤 방법이 적용되는지의 결정과 계산 및 "복제 단계"에 기초하는 해상도의 결정은 홀로그램 시스템의 허용 오류 및 적용예에 따라 내려져야 한다.
2D-서브홀로그램 매트릭스 및 하프 1D-서브홀로그램 레지스터에 상기 매트릭스의 고정적인 관련은 최대로 나타나는 서브홀로그램 크기를 참고로 오프라인으로 또는 비실시간으로 결정되고, 후속해서 FPGA/ASIC에서 구현될 수 있는 전기 디지털 회로 내로 합성된다.
새로운 방법은 지금까지의 과정에 통합된다. 하프 1D-서브홀로그램(1D-SH)의 계산을 위한 직렬 접속된 모듈은 데이터, 특히 데카르트적 공간 내의 복소값들을 생성하고, 상기 값들은 전술한 1D-서브홀로그램 레지스터에 전달된다. 즉시 또는 실행 후 즉, 소수의 클럭 주기 후에 전체 2D-서브홀로그램(2D-SH)을 제공한다. 하나의 또는 다른 처리 단계에서 전체 홀로그램 내로 공개된 축적 - 즉 계산된 또는 결정된 2D-서브홀로그램의 가산 - 이 이루어진다.
고정적으로 구현된 매트릭스에도 불구하고 방법은 동적 서브홀로그램 크기의 이용을 가능하게 하고, 즉 서브홀로그램 크기는 홀로그램 평면에 대한 해당 객체점의 간격에 따라 변하고 또는 묘사될 객체점의 위치, 관찰자 눈의 바로 근처에 위치 설정된 뷰잉 윈도우의 현재 위치 및 공간 광변조기(SLM)의 위치에 의존하고, 이로써 하프 1D-서브홀로그램(1D-SH)의 관련 부분만이 계산되고 2D-서브홀로그램(2D-SH)의 상응하는 부분만이 또한 후속 처리된다. 이는 매우 높은 복잡성을 갖는 3차원 장면 및 동시에 낮은 복잡성을 갖는 다른 3차원 장면에서 계산 성능의 밸런싱을 가능하게 하거나, 덜 복잡한 3차원 장면에서 전류 파라미터 메카니즘을 이용하는 것이 가능하다.
방법은 정방형 또는 사각형 영상 소자 구조를 갖는 공간 광변조기(SLM)에 적용될 수 있다. 하프 1D-서브홀로그램(1D-SH)은 이 경우 더 높은 해상도의 방향을 따라 계산되고, 경우에 따라서 추가 영상 소자, 즉 더 작은 반경 증분으로도 계산된다. 이로서 더 낮은 해상도의 방향을 결정하기 위해 충분히 중간값이 이용된다. 기본적으로 다른 서브홀로그램 형상, 즉 선형, 원형 또는 다각형을 이용하는 것이 고려될 수도 있다.
방법은, 회전 대칭과 거울 대칭을 조합하기 위해 이용될 수도 있다. 이 경우 예를 들어 2D-서브홀로그램(2D-SH)의 제 1 사분의 일 또는 그것의 절반만이 전술한 방법에 의해 결정되고, 이 경우 제 1 사분의 일의 이등분은 대각선을 따라 이루어진다. 거울 대칭에 의해 나머지 3개의 사분의 일이 결정될 수 있다. 이는 특히, 2D-서브홀로그램(2D-SH)의 축적이 계산 시스템 내의 다른 위치에서 이루어지고 전송을 위해 제한된 밴드폭만이 주어진 경우에 바람직하다.
본 발명에 따른 방법 및 본 발명에 따른 장치의 장점은 FPGA 또는 ASIC에서 2D-서브홀로그램(2D-SH)의 계산의 현저한 단순화이다. 필요한 연산 성능을 줄이기 위한 규모는 대략 팩터 100이고, 즉 디스플레이 또는 SLM-종류에 따라서 이는 다소 차이가 있을 수 있다. 3차원 장면을 묘사하기 위한 전체 2D-홀로그램에 대한, 즉 소위 2D-총서브홀로그램에 대한 계산 복잡성은 이로써 실질적으로 1D-홀로그램 계산의 정도로 감소하지만, 축적 영역에서 상응하는 더 많은 복잡성과 홀로그램 저장을 포함하고, 그 이유는 훨씬 더 많은 데이터양이 처리되어야 하기 때문이다. 그러나 이러한 많은 데이터양을 위한 계산 유닛들의 생략에 의해 해당 리소스도 절약된다. 특히 데카르트적 공간(사인/코사인 포함)으로 변환의 단계는 이 경우에 완전히 생략된다.
정량화 효과에 의해 정확도가 감소하는 것이 단점일 수 있다. 그러나 이는, 계산될 1D-서브홀로그램(1D-SH)에 대해 하프 1D-서브홀로그램(1D-SH) 내의 영상 소자(BE)의 개수의 증가에 의해 샘플링레이트의 적절한 조정이 이루어짐으로써 요구에 따라 감수할 수 있는 더 큰 복잡성으로 보상될 수 있다.
도 5는 2D-서브홀로그램의 x축을 따라 연장되는 1D-서브홀로그램의 이용 시 3차원 장면의 객체점의 2D-서브홀로그램을 생성하기 위한 본 발명에 따른 방법의 이용 하에 3차원 장면의 묘사를 위한 복소값 홀로그램에 대한 계산 과정을 도시한다. 이러한 과정은, 도 1의 선행기술에 따른 계산 과정과 달리 방법의 상당한 단순화를 나타내는데, 그 이유는 복잡한 제 1 단계는 하프 1D-서브홀로그램으로 감소하는 한편, 이것은 선행기술에 따라 항상 전체 2D-서브홀로그램에 대해 이루어지기 때문이다.
여기에서 다른 하드웨어 양상이 설명되고, 이것은 전술한 본 발명의 과제의 해결에 도움이 된다:
출발점은 도 6에 도시된 바와 같이 선행기술에 따라 대칭을 이용하지 않는 홀로그램 계산 파이프라인이다.
서브홀로그램 세그먼트 생성기(SHSG)는 이 경우 극좌표계(SHP)에서 영상 소자에 대한 복소값들을 갖는 서브홀로그램 세그먼트를 생성한다. 이어서 서브홀로그램 세그먼트 변환(SHST)이 이루어지고, 상기 변환으로부터 데카르트 좌표계(SHK)에서 영상 소자에 대한 복소값들을 갖는 변환된 서브홀로그램 세그먼트가 얻어진다.
후속해서 홀로그램 라인 메모리(HZS)에 의해 서브홀로그램 세그먼트 가산(SHSA)이 이루어진다. 결과되는 홀로그램 라인(HZ)은 함께 가산된 다수의 서브홀로그램(서브홀로그램의 중첩)으로 이루어진다.
어떠한 대칭도 이용되지 않기 때문에, 서브홀로그램의 모든 영상 소자에 대해 계산 및 중첩이 이루어지고, 이는 높은 계산 복잡성을 야기한다.
주문형 집적 회로(ASIC) 및 필드 프로그래머블 게이트 어레이(FPGA)를 위한 회로의 개발 시 계산 과정을 효율적으로 및 공간 절감 방식으로 구현하기 위한 여러 과제와 규정들이 주어진다. 중요한 목적은, 더 적은 트랜지스터가 포함될수록 비용이 감소하기 때문에, 더 적은 공간 요구와, 주파수가 높을수록 더 적은 트랜지스터가 필요하기 때문에, 비교적 높은 주파수이고, 이때 사용 영역과 전류 요구에 따라 각각의 트랜지스터는 짧은 시간에 더 많은 작업을 할 수 있고, 즉 주파수가 높을수록 전류 소비도 높다.
주문형 집적 회로(ASIC) 및 필드 프로그래머블 게이트 어레이(FPGA)에서 종래의 컴퓨터 시스템과 달리 직선적 프로그램을 실행하지 않고, 고정형 스위칭 네트워크가 형성되고, 상기 네트워크의 입력부에 데이터가 제공되고, 상기 네트워크는 종료 시간 후에 데이터를 다시 출력한다. 고정적인 회로 내에서 로직 연산에 의해 데이터의 처리, 변경, 결합등이 이루어진다. 예를 들어 산술 연산(예컨대 더하기, 빼기, 곱하기, 비교) 또는 메모리 셀 또는- 소자들(레지스터, 래치 또는 어드레스 가능한 메모리 블록)이 형성될 수 있다.
바이너리 및 로직 연산, 즉 및, 또는 등을 포함하는 연산이 구현될 수 있다. 필드 프로그래머블 게이트 어레이(FPGA) 내의 메모리 블록에 액세스는 메모리 어드레스를 참고로 정렬된 데이터만으로 이루어질 수 있고 - 프로세서에 의해 자동으로 데이터 정렬이 이루어지는 컴퓨터와 달리 - 이는 물론 또한 지연을 야기한다. 일반적으로 프로세서 기반의 컴퓨터 아키텍처(폰 노이만 원리에 의해)는 주문형 집적 회로(ASIC) 및 필드 프로그래머블 게이트 어레이(FPGA)에 비해 매우 느린데, 그 이유는 프로세서 기반의 컴퓨터 아키텍처는 거의 시퀀스적으로 작동하기 때문이다.
회로들의 중요한 특징은 특히 가급적 적은 데이터 의존성에 의해, 즉 높은 주파수를 달성하기 위한 고정 경로에 의해 가능한 한 훨씬 간단한 선형 과정들로 계산 과정의 단순화이다. 계산 과정의 병렬화는 전체적으로 높은 처리량을 가능하게 한다. 바람직하게는 특히 영상 기반의 계산, 즉 홀로그래피도 데이터를 도착하는 순서대로 처리해야 하는데, 그 이유는 특히 데이터양이 많은 경우에 중간 저장은 상당한 병목 현상을 나타내기 때문이다.
서브홀로그램(SH)의 생성 시 대칭의 전술한 이용은 이론적으로 또는 컴퓨터 시스템에서 시퀀스 처리 및 임의의 시퀀스 메모리 액세스에 의해 비교적 간단하게 형식화 및 구현될 수 있다. 선형 및 병렬로 작업하는 고정형 시스템에서 실시는 그와 달리 복잡하다. 계속해서 이것은 1D-서브홀로그램에 대해 설명된다. 방법 단계들을 사용된 홀로그램 라인의 개수에 따라 반복함으로써, 방법은 기본적으로 2D-서브홀로그램에 대해서도 적용될 수 있기 때문에, 하기에서는 서브홀로그램에 대해서만 언급된다.
동기는 2개의 서브홀로그램 절반들 중 하나의 절반의 계산의 절감이고, 즉 서브홀로그램(SH)의 하나의 절반만이 계산되면 된다. 이는 특히 극좌표로부터 데카르트 좌표로 변환 시, 즉 서브홀로그램(SH)의 영상 소자에 할당된 메모리 소자들의 값의 변환 시 명확해진다. 이러한 회로부의 경우에 공간 요구가 최대이다.
ASIC 또는 FPGA의 경우에 서브홀로그램 계산 시 서브홀로그램의 나란히 인접하는 영상 소자들의 다수의 복소값들이 동시에 계산된다 - 소위 예를 들어 세그먼트 폭 SB = 16을 갖는 서브홀로그램 세그먼트. 서브홀로그램 세그먼트는 즉, 서브홀로그램(SH)의 영상 소자에 할당된 메모리 소자 당 각각 하나의 복소값(위상 또는 값 또는 실수부 또는 허수부)을 갖는다.
문제는, 생성된 서브홀로그램 세그먼트를 복제하고, 그것을 거울 반사하고, 메모리 폭에 상응하는(이 경우 예를 들어 16개의 메모리 소자) 세그먼트 폭에 대해 조정하는 것이고(소위 정렬), 로컬 홀로그램 라인 메모리에 가산하는 것이다. 대칭을 고려하지 않는 일반적인 실시예보다 훨씬 더 개선될 수 있도록, 이는 가급적 공간 절약 방식으로 및/또는 리소스 보존 방식으로 이루어져야 한다. 대칭을 이용하지 않는 변형예에서 추가 정렬은 불필요한데, 그 이유는 서브홀로그램 세그먼트는 이 경우에 생성 시 이미 정확하게 조정될 수 있기 때문이다.
제 1 절반의 생성된 서브홀로그램 세그먼트는 계산된 후에 극좌표로부터 데카르트 좌표로 변환된다. 계산 시 2개의 오프셋 위치가 결정되고, 즉 하나는 하나의 절반부의 서브홀로그램 세그먼트에 대해 그리고 하나는 다른 절반의 추후에 반영될 서브홀로그램 세그먼트에 대해 결정된다. 오프셋 위치들은 홀로그램 라인 내의 장소 또는 메모리 어드레스를 결정하고, 거기에서 세그먼트들은 복소값으로 가산되고, 이 경우 메모리 어드레스, 즉 메모리 소자는 다시 실재 영상 소자(BE)에 할당될 수 있고, 이러한 할당은 그러나 고정적으로 이루어지지 않는다.
FPGA에서 예를 들어 코딕(cordic) 알고리즘, 사인-코사인 알고리즘에 의한 변환 후에 제 2 계산 경로로 서브홀로그램 세그먼트의 복제가 이루어진다. 상기 단계에서 동시에 세그먼트 내에서 메모리 소자들의 배치와 관련해서 메모리 소자의 거울 반사가 이루어진다. 즉, 메모리 소자 0은 (16개의 메모리 소자의 경우에) 메모리 소자 15가 되고, 1은 14가 되고 2는 13이 된다.
이는 도 7에 도시되고, 상기 도면은 3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 1 방법 변형예, 즉 거울 반사와 조정에 의한 대칭의 이용 하에 3차원 장면의 홀로그램을 코딩하는 방법을 위한 홀로그램 계산 파이프라인을 제시한다.
이와 관련해서 하기 단계들이 이루어진다:
- 서브홀로그램 세그먼트 변환 SHST,
- 제 2 계산 경로에서 거울 반사된 서브홀로그램 세그먼트(G1DSH)를 제공하는 관련된 서브홀로그램 세그먼트의 거울 반사 SHSP,
- 2개의 계산 경로에서 배가된 폭으로 서브홀로그램 세그먼트의 증대 SHVGR, 후속해서 각각
- 단계적으로 즉, N' 또는 N"단계에서 또는 멀티플렉서를 이용해서 즉시 N' 또는 N" 소자만큼 서브홀로그램-세그먼트의 이동 SHVSCH,
- 메모리에 대해 정렬된 2개의 세그먼트로 증배된 폭의 서브홀로그램 세그먼트의 분리 SHTR 및, 그 결과
- 메모리에 대해 정렬된 서브홀로그램 세그먼트 A1DSH.
이러한 제 1 방법 변형예에서 2개의 계산 경로는 각각의 서브홀로그램 세그먼트를 포함하고, 상기 세그먼트들은 현재의 홀로그램 라인 내로 가산되어야 한다. 이것은 가능할 수 있지만, 2개의 세그먼트는 홀로그램 라인 메모리에 대해 조정되어야 하고, 이는 정렬이라고 한다. 이를 위해 조정된 인접한 2개의 서브홀로그램 세그먼트로 조정되지 않은 서브홀로그램 세그먼트의 맵핑이 각각 이루어진다. 이는 다음과 같이 이루어진다: 하나의 서브홀로그램 세그먼트는 배가된 폭으로 확대되고(이 경우 예를 들어 복소값 컨텐트를 갖는 소자들 16에서 32로), 이 경우 상위 16개의 메모리 소자들은 0으로 채워진다. 16개의 메모리 소자는 배가된 서브홀로그램 세그먼트 내에서 N' 또는 N"만큼 이동된다. N' 또는 N"은 서브홀로그램(SH)의 영상 소자(BE)의 오프셋 위치와 서브홀로그램 세그먼트 당 영상- 또는 메모리 소자의 개수로부터 주어진다. 전술한 예에서 개수 N'= 13이고, N"=5이다. 후속해서 다시 2개의 서브홀로그램 세그먼트로 분할이 이루어지고, 상기 2개의 세그먼트들은 제 1 방법 변형예의 도 7에 제시된 바와 같이 조정된다.
N' 또는 N" 메모리 소자만큼 이동은 다시 두 가지의 다른 방식으로 이루어질 수 있다. 첫 번째로 세그먼트 폭에 상응하는 개수의 스테이지를 가진 파이프라인이 구현될 수 있고, 여기에 설명된 예에서 이것은 16일 수 있고, 상기 파이프라인은 각각의 스테이지에서 메모리 소자들을 홀로그램 라인 메모리의 하나의 메모리 소자만큼 이동시키거나 이동 없이 통과한다. 마지막 스테이지는 결과를 포함한다. 이동의 제 2 변형예에서 가능한 모든 이동은 고정 로직 형태로 규정되고, 전술한 예에서 이것은 또한 16개의 이동 가능성일 수 있다. 현재의 이동 N' 또는 N"은 멀티플렉서에 의해 선택되고 실시된다.
이제 모든 서브홀로그램 세그먼트들이 조정되었기 때문에, 홀로그램 라인 내로 가산이 이루어질 수 있다. 데이터양이 4배로 늘었기 때문에, 4배의 데이터 량이 처리되어야 하고, 즉 가산되어야 한다. 따라서 4개의 홀로그램 라인 메모리 블록이 필요하고, 상기 메모리 블록은 4개의 서브홀로그램 세그먼트를 동시에 4개의 독립적인 홀로그램 라인으로 가산한다. 계산 경로 당 항상 인접한 2개의 서브홀로그램 세그먼트만이 도달하기 때문에, 즉 하나의 시점에 항상 하나의 짝수 및 홀수의 서브홀로그램 세그먼트만이 도달한다. 즉 2개의 전체 홀로그램 라인 메모리 대신에 절반 크기의 2개의 홀로그램 라인 메모리로 충분하고, 제 1 메모리는 짝수 서브홀로그램 세그먼트만을 저장하고, 제 2 메모리는 홀수 서브홀로그램 세그먼트만을 저장한다.
최종 단계에서 홀로그램 라인의 완성 후에 4개의 부분 영역은 독립적인 홀로그램 라인 메모리 내로 수집되고, 즉 가산된다.
이에 해당하는 단계는 도 8에 도시되고, 상기 도면은 관련된 서브홀로그램 세그먼트의 시퀀스와 무관한 변형예에서 대칭을 갖는 홀로그램 파이프라인을 도시한다.
서브홀로그램 세그먼트 생성기(SHSG)는 먼저 영상 소자들을 갖는, 즉 극좌표계(SHP)에서 영상 소자들에 대해 복소값을 갖는 서브홀로그램 세그먼트를 생성한다. 상기 극좌표계는 서브홀로그램 세그먼트 변환(SHST)에 의해 데카르트 좌표계(SHK)에서 영상 소자를 갖는 변환된 서브홀로그램 세그먼트로 전환된다.
3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 1 방법 변형예에서 도 7과 관련해서 설명된 서브홀로그램 세그먼트 거울 반사 및- 조정(SHSSA_A)을 이용해서 짝수 어드레스(GSH)를 갖는 서브홀로그램 세그먼트와 홀수 어드레스(USH)를 갖는 서브홀로그램 세그먼트가 각각 원래 형태 및 거울 반사된 형태로 형성된다.
상기 서브홀로그램 세그먼트들은 후속해서 서브홀로그램 세그먼트 가산(SHSA)에 제공된다. 이를 위해 필요한 홀로그램 라인 메모리(HZS)는 선행기술에 따른 홀로그램 라인 메모리에 비해 50%의 크기만이 필요하다.
홀로그램 라인 가산기(HZA)에서 최종적으로 이전 단계에서 계산된 4개의 홀로그램 라인들의 가산이 이루어지고, 그 결과 함께 가산된 다수의 서브홀로그램으로 이루어진 홀로그램 라인(HZ), 즉 서브홀로그램의 중첩이 이루어진다.
3차원 장면의 홀로그램을 코딩하기 위한 방법의 여기에 설명된 제 1 방법 변형예는 더 개선될 수 있다. 즉 이러한 개선된 변형예는 하기에서 3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 2 방법 변형예로서 도 10을 참고로 설명된다.
생성된 서브홀로그램 세그먼트는, 이러한 거울 반사되지 않은 서브홀로그램 세그먼트를 위해 홀로그램 라인 메모리에 대해 조정(정렬)을 필요로 하지 않도록 생성된다. 이로써 이러한 경로를 위해 하나의 홀로그램 라인 메모리만이 필요하다.
이는 도 9에서 설명된다. 상기 도면은 3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 2 방법 변형예에서 거울 반사와 정렬에 의한 대칭의 이용 하에 3차원 장면의 홀로그램을 코딩하기 위한 방법에 대한 홀로그램 계산 파이프라인을 도시한다. 설명된 변형예에서 거울 반사되지 않은 서브홀로그램 세그먼트의 정렬은 필요 없다.
도 9에 이를 위해 하기 단계들이 도시된다:
- 서브홀로그램 세그먼트 변환 SHST,
- 관련된 서브홀로그램 세그먼트의 거울 반사 SHSP, 이는 제 2 계산 경로에 서 거울 반사된 서브홀로그램 세그먼트 SH-SegT를 제공하고 G1DSH,
- 현재의 거울 반사된 서브홀로그램 세그먼트의 중간 저장을 위한 레지스터(SHR)로부터 저장된 서브홀로그램 세그먼트 SH-SegT-1의 출력 및 시간 단위 동안 저장을 위해 새로운 서브홀로그램 세그먼트SH-SegT의 수용,
- 중간 저장된 서브홀로그램 세그먼트 SH-SegT-1에 현재의 서브홀로그램 세그먼트 SH-SegT의 결합 SHVB,
- 단계적으로, 즉 N'단계로 또는 멀티플렉서를 이용해서 즉시, N' 소자만큼 서브홀로그램 세그먼트의 이동 SHVSCH,
- 메모리에 대해 조정된 서브홀로그램 세그먼트의 분리 SHABSP,
- 메모리에 대해 조정된 서브홀로그램 세그먼트 A1DSH.
또한 제 2 계산 경로에서 거울 반사된 서브홀로그램 세그먼트에 대해 설명된 단계들의 순서는 제 1 계산 경로에서 불필요한데, 그 이유는 해당 서브홀로그램 세그먼트는 처음부터 메모리에 대해 조정되기 때문이다.
거울 반사된 경로를 위해 하기 처리가 이루어진다: 서브홀로그램 세그먼트(SH-SegT)가 제 2 계산 경로 내로 복제 및 거울 반사된 후에, 이전 사이클에 저장된 서브홀로그램 세그먼트(SH-SegT-1)에 결합되어 배가된 폭의 서브홀로그램 세그먼트가 형성되고, 여기에 설명된 예에서 즉 32개의 영상 소자(BE)가 형성된다. 그로부터 16개의 영상 소자(BE)의 이동과 추출이 이루어지고, 상기 영상 소자들은 홀로그램 라인 메모리에 대해 적절하게 정렬된다. 이는 도 9에 상응하게 제시된다.
이동 또는 추출은 모든 영상 소자들(BE)이 N'영상 소자(BE)만큼 이동됨으로써, 파이프라인 또는 멀티플렉서에 의한 전술한 2개의 방법과 유사하게 이루어진다. 하위 16개의 영상 소자들은 조정된 서브홀로그램 세그먼트에 상응한다.
따라서 거울 반사된 계산 경로를 위해 하나의 홀로그램 라인 메모리만이 필요하다.
라인의 완성 후에 2개의 라인이 결합되고, 즉 가산된다.
도 10은 이를 관련된 서브홀로그램 세그먼트의 순서에 의존하는 변형예에서 대칭을 갖는 상기 홀로그램 파이프라인에 대해 개괄적으로 도시한다.
서브홀로그램 세그먼트 생성기(SHSG)는 먼저 영상 소자를 갖는, 즉 극좌표계(SHP)에서 영상 소자에 대해 복소값을 갖는 서브홀로그램 세그먼트를 생성한다. 상기 극좌표계는 서브홀로그램 세그먼트 변환(SHST)에 의해 데카르트 좌표계(SHK) 내의 영상 소자를 갖는 변형된 서브홀로그램 세그먼트로 전환한다.
3차원 장면의 홀로그램을 코딩하기 위한 방법의 제 2 방법 변형예에서 도 9와 관련해서 설명된 서브홀로그램 세그먼트 반사- 및 조정 - SHSSA_B - 을 이용해서 서브홀로그램 세그먼트가 각각 처음 형태 및 거울 반사된 형태로 형성된다.
이러한 서브홀로그램 세그먼트들은 후속해서 서브홀로그램 세그먼트 가산(SHSA)에 제공된다. 이를 위해 또한 홀로그램 라인 메모리(HZS)가 필요하다.
홀로그램 라인 가산기(HZA)에서 최종적으로 이전 단계에서 계산된 홀로그램라인들의 가산이 이루어지고, 그 결과 함께 가산된 다수의 서브홀로그램으로 이루어진 홀로그램 라인(HZ), 즉 서브홀로그램의 중첩이 이루어진다.
이러한 대안적인 개선된 제 2 방법 변형예는, 2개의 홀로그램 라인 메모리만을 필요로 하고, 2개의 서브홀로그램 세그먼트만이 가산되어도 되는 장점을 갖는다. 그러나 시간 의존성이 존재하고, 즉 계속해서 연속하는 서브홀로그램 세그먼트들만이 처리될 수 있다. 전술한 제 1 방법 변형예는 그와 달리 시간의 경과와 무관하게 처리된다.
도 6과 관련된 선행기술에 따라 대칭을 이용하지 않는 해결 방법과 달리, 배가된 메모리 용량이 필요하다. 그 대신 계산은 2배 빠르게 실시된다. 대칭을 이용하지 않는 해결 방법에서 동일한 계산 속도를 위해 2개의 계산 파이프라인이 예를 들어 설명되었고, 이 경우 즉 메모리 용량도 2배 더 클 것이다.
특히 동일한 시간에 홀로그램을 계산하기 위해 필요할 수 있는, 3차원 장면을 코딩하기 위한 방법의 제 2 방법 변형예에서 거울 반사, 정렬 및 홀로그램 라인 메모리를 위한 추가 로직 복잡성 또는 공간 요구는 대칭을 이용하지 않는 종래의 다른 계산 파이프라인에서 요구보다 훨씬 작다. 이는 결과적으로 로직이 훨씬 덜 복잡하고 공간 요구가 더 적은 경우에 배가된 계산 속도를 의미한다. 반대로 공간 요구가 동일한 경우에 더 많은 서브홀로그램(SH)이 계산될 수 있다.
홀로그램 디스플레이의 서브홀로그램과 직접 제어를 이용한 홀로그램의 하드웨어 기반의 실시간 계산을 위한 파이프라인은 도 11에 도시된다. 상기 파이프라인은 FPGA 및/또는 ASIC를 기반으로 구현되고, 계속해서 설명된다.
홀로그램을 위한 계산 파라미터 및 홀로그램 디스플레이를 위한 구성 파라미터는 FPGA 또는 ASIC 외부에 있는 비휘발성 메모리 FLASH에 저장된다. FPGA 또는 ASIC 내의 시스템컨트롤러 SC(마이크로컨트롤러 등)는 초기화 단계 동안 메모리 FLASH로부터 데이터를 로딩하고, 파라미터와 테이블을 포함하는 홀로그램 계산 파이프라인의 모든 모듈을 구성한다. 이러한 데이터는 FPGA 또는 ASIC 내에 있는 더 작은 로컬 RAM("random access memory" 또는 "랜덤/직접 액세스 메모리") 내에 저장된다. 또한 연결된 디스플레이에 따라 코딩(인코딩) 및 출력(포맷팅)을 위해 필요한 모듈들이 활성화된다. 또한 묘사될 3D 장면의 컨텐트(content)가 어떤 포맷으로 전달되는지 결정되고, 이것은 컨텐트 공급자에게 적절한 인터페이스를 통해, 예를 들어 DDC("display data channel" 또는 "스크린 정보의 교환을 위한 데이터 채널") 또는 CEC("consumer electronics control" 또는 "가전제품의 제어를 위한 인터페이스")를 통해 전달된다.
다양한 장면, 관찰자 및 투과 레벨을 위한 컬러- 및 깊이 정보를 포함하는 연속해서 도착하는 이미지 프레임은 소스 인터페이스(3D-컨텐츠에 관한 데이터 채널, 예를 들어 컬러- 및 깊이 정보는 해당하는 장치에 의해 수신됨, 예를 들어 PC, 게임 콘솔, 미디어 플레이어), 예를 들어 HDMI("high definition media interface 또는 "고해상도 컨텐츠 전송을 위한 인터페이스") 또는 DVI("digital visual interface" 또는 "비디오데이터의 전송을 위한 디지털 인터페이스")에 의해 수신되고, 필터링되고(입력 필터. Input Filter IF), 객체점 스트림으로 분할되고, RAM(입력 스토리지, Input Storage IS) 내에 저장된다. 트리플 버퍼링에 의해 메모리(IS)와 관련해서 충돌 회피식 연속 읽기와 동시 쓰기가 가능해진다.
이에 대해 비동기적으로 후속하는 계산 파이프라인이 작동한다. 파이프라인 컨트롤러(PC)는 메모리(IS)에 대한 인터페이스로서 이용되고, 후속하는 병렬 계산 인스턴스(도 11에 차례로 도시된 박스)를 제어한다. 상기 컨트롤러는 메모리(IS)에 의해 현재 계산된 컬러/장면/레벨 및 홀로그램 내 현재 위치마다 개별 객체점을 요구하고, 이것을 개별 인스턴스에 그 이용률에 따라 분배한다. 각각의 계산 인스턴스는 1D-서브홀로그램 생성기(SHG), 극좌표 형태로부터 데카르트 좌표계로 복소값들의 변환을 위한 컨버터 모듈(CVTF) 및, 생성된 서브홀로그램을 현재 홀로그램 라인 내로 가산하는 가산기(SHA)로 이루어진다. 각각의 가산기(SHA)는 홀로그램 라인 버퍼(도시되지 않음)를 포함한다. 계산 인스턴스는 일반적으로 묘사될 3D 장면의 모든 객체점을 처리하고, 상기 3D 장면의 서브홀로그램은 가산기(SHA) 내의 현재 저장된 홀로그램 라인에 영향을 미친다.
동적 서브홀로그램 크기는, 계산의 단계마다 하나의 서브홀로그램(예를 들어 8개의 복소값으로 구성됨)의 작은 세그먼트만이 형성됨으로써 가능해진다. 즉, 계산 유닛은 큰 서브홀로그램을 위해 작은 서브홀로그램보다 많은 클럭 또는 단계를 필요로 한다. 전체적으로 이것은 정적 서브홀로그램 크기로 계산을 구현하는 것에 비해 높은 이용률을 야기하고, 이는 그러나 훨씬 더 간단하게 구현될 것이고 전자 회로에서도 가능할 것이다.
2D-서브홀로그램의 계산 시에도 서브홀로그램 생성기 모듈(SHG)이 사용되고, 이 경우에도 2D-서브홀로그램은 다수의 1D-서브홀로그램으로 분리된다.
계산 인스턴스가 홀로그램 라인의 계산을 끝내면, 이것은 홀로그램 메모리(HS)에 전달되어 저장된다. 트리플 버퍼링에 의해 홀로그램 메모리(HS)에 대해서 충돌 회피식 연속 읽기와 동시 쓰기가 가능해진다. 이러한 과정에서 극좌표 형태로 홀로그램 라인의 역변환이 변환 모듈(CVTB)에서 이루어지고, 디스플레이에서 부호화를 위한 처리가 모듈 E1에서 이루어진다.
이와 비동기적으로 홀로그램 출력부가 작동한다. 디스플레이 컨트롤러(DC)는 출력할 홀로그램의 순서, 속도(프레임 레이트) 및 포맷팅을 제어한다. 홀로그램은 예를 들어 장면 및 컬러에 대해서 시간 시퀀스적으로 또는 삽입되어 출력될 수 있다. 혼합 형태도 가능하다.
디스플레이에 홀로그램의 라인 방식의 전달 직전에 최종 부호화 단계가 모듈 E2에서 실시됨으로써, 복소 홀로그램 값들은 사용되는 디스플레이에서 묘사될 수 있는 형태가 될 수 있다. 후속해서 디스플레이에 대한 싱크(홀로그램 3D 디스플레이에 또는 하나 이상의 공간 광변조기(SLM)의 제어를 위한 전자장치에 홀로그램 데이터의 전송을 위한 인터페이스) 내로 홀로그램의 출력이 이루어지고, 이 경우 예를 들어 LVDS("low voltage differential signalling" 또는 "저전압을 갖는 차동 신호를 이용한 전송 기술")이 인터페이스로서 사용될 수 있다.
도시된 실시예는 홀로그램의 계산을 고정형의 효율적인 회로 형태로 구현하고 특히 구성할 수 있도록 디자인하는 기본적인 가능성을 설명하므로, 다양한 디스플레이 종류 및- 크기와 이용 범주(데스크탑/모바일)를 위해 이용될 수 있다. 이것은 가능한 한 높은 계산 성능과 함께 가능한 한 적은 에너지를 소비하기 위해, 실시간 성능, 계산 과정의 높은 효율 및 메모리 용량의 경제적인 취급을 특징으로 한다. 다른 장점은 높은 재활용성과 호환성이다.
끝으로 특히, 전술한 실시예들은 제안된 교리의 설명을 위해서만 이용되고, 상기 교리를 실시예에 제한하지 않는 것이 참조된다. 특히 전술한 실시예들은 - 가능한 경우에 - 서로 조합될 수 있다.
BE 영상 소자
CVTB 변환 모듈
HS 홀로그램 메모리
HZS 홀로그램 라인 메모리
SHSG 서브홀로그램 생성기

Claims (30)

  1. 홀로그램 디스플레이를 이용해서 3차원 장면의 객체점을 묘사하기 위해 2D-서브홀로그램(2D-SH; 2D sub-hologram)을 계산하기 위한 장치에 있어서,
    상기 홀로그램 디스플레이는 영상 소자들(BE)의 매트릭스를 갖는 공간 광변조기를 포함하고,
    상기 2D-서브홀로그램(2D-SH)은 상기 공간 광변조기(SLM; spatial light modulator)의 영상 소자들(BE)을 포함하고 회전 대칭을 가지며,
    상기 2D-서브홀로그램(2D-SH)은 상기 2D-서브홀로그램(2D-SH)의 단면을 따라 상기 2D-서브홀로그램(2D-SH)의 원점으로부터 상기 2D-서브홀로그램(2D-SH)의 최대 반경까지 하프 1D-서브홀로그램(1D-SH)을 포함하고,
    각각의 영상 소자(BE)의 반경이 결정되고, 동일하거나 유사한 반경을 갖는 상기 하프 1D-서브홀로그램(1D-SH)의 적어도 하나의 영상 소자(BE)에 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)가 전자 회로에 의해 고정적으로 할당되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)는, 상기 2D-서브홀로그램(2D-SH)의 상기 영상 소자(BE)의 반경이 방향 의존적인 스트레치 팩터가 곱해진 상기 하프 1D-서브홀로그램(1D-SH)의 하나의 영상 소자(BE)의 반경에 상응하도록, 전자 회로에 의해 상기 하프 1D-서브홀로그램(1D-SH)의 적어도 하나의 영상 소자(BE)에 고정적으로 할당되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 전자 회로는 하드 와이어드 매트릭스(DEV)의 형태로 구현되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치.
  4. 제 1 항에 있어서,
    상기 전자 회로는 필드 프로그래머블 로직 게이트 어레이(field programmable logic gate arrays; FPGA) 및/또는 주문형 직접 회로(application-specific integrated circuits; ASIC)에서 구현되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치.
  5. 제 1 항에 있어서,
    상기 전자 회로는 상기 하프 1D-서브홀로그램(1D-SH)의 2개 이상의 영상 소자(BE)의 연산에 의해 중간값들(ZWG)을 형성하고 상기 중간값들(ZWG)에 상기 2D-서브홀로그램(2D-SH)의 영상 소자들(BE)을 할당하기 위한 수단을 포함하는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치.
  6. 3차원 장면을 묘사하기 위한 홀로그램을 계산하기 위한 장치에 있어서,
    - 제 1 항에 따른, 상기 3차원 장면의 객체점의 2D-서브홀로그램(2D-SH)을 계산하기 위한 장치,
    - 극좌표로부터 데카르트 좌표로 상기 2D-서브홀로그램(2D-SH)을 변환하기 위한 수단,
    - 상기 3차원 장면의 객체점의 위치 및 상기 3차원 장면의 관찰자의 위치에 의존해서, 상기 공간 광변조기(SLM)에 상기 2D-서브홀로그램(2D-SH)을 위치 설정하기 위한 수단, 및
    - 동일한 영상 소자들(BE)의 각 허수부와 실수부들의 가산에 의해 상기 3차원 장면의 다양한 객체점들의 각 2D-서브홀로그램(2D-SH)을 오버레이하기 위한 수단
    을 포함하는, 홀로그램을 계산하기 위한 장치.
  7. 홀로그램 디스플레이를 이용해서 3차원 장면의 객체점을 묘사하기 위해 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법에 있어서,
    상기 홀로그램 디스플레이는 영상 소자들(BE)의 매트릭스를 갖는 공간 광변조기를 포함하고, 각각의 2D-서브홀로그램(2D-SH)은 상기 공간 광변조기(SLM)의 영상 소자(BE)를 포함하고, 상기 방법은 2D-서브홀로그램(2D-SH)을 상기 공간 광변조기(SLM)에서 코딩하기 위해 상기 2D-서브홀로그램(2D-SH)의 회전 대칭을 이용하며,
    - 상기 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)는 동일하거나 유사한 반경값을 갖는 하프 1D-서브홀로그램(1D-SH)의 적어도 하나의 영상 소자(BE)에 할당되고, 상기 하프 1D-서브홀로그램(1D-SH)은 상기 2D-서브홀로그램(2D-SH)의 단면을 따라 상기 2D-서브홀로그램(2D-SH)의 원점으로부터 상기 2D-서브홀로그램(2D-SH)의 최대 반경까지 연장되고,
    - 하프 1D-서브홀로그램(1D-SH)의 각각의 영상 소자(BE)에 대한 위상과 진폭의 값들이 계산되어, 상기 2D-서브홀로그램(2D-SH)의 각각의 할당된 모든 영상 소자(BE)에 전달되며,
    - 상기 하프 1D-서브홀로그램(1D-SH)의 영상 소자(BE)로의 상기 2D-서브홀로그램(2D-SH)의 영상 소자(BE)의 할당은 고정적으로 코딩되어 전자 회로에 의해 구현되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)는, 상기 2D-서브홀로그램(2D-SH)의 영상 소자(BE)의 반경이 방향 의존적인 스트레치 팩터가 곱해진 상기 하프 1D-서브홀로그램(1D-SH)의 영상 소자(BE)의 반경에 상응하도록, 상기 하프 1D-서브홀로그램(1D-SH)의 적어도 하나의 영상 소자(BE)에 전자 회로에 의해 고정적으로 할당되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    진폭과 위상의 극좌표를 갖는 복소값의 1D-서브홀로그램(1D-SH)은 그것의 계산 후에 데카르트 좌표계(SHK)로 변환되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  10. 제 7 항에 있어서,
    상기 하프 1D-서브홀로그램(1D-SH)의 적어도 2개의 영상 소자(BE)의 연산에 의해 중간값들(ZWG)이 형성되고, 상기 2D-서브홀로그램(2D-SH)의 영상 소자(BE)는 상기 중간값들(ZWG)에 할당되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 중간값들(ZWG)의 형성은 상기 하프 1D-서브홀로그램(1D-SH)의 상기 영상 소자(BE)의 개수의 가상의 곱셈에 의해 또는 상기 하프 1D-서브홀로그램(1D-SH)의 적어도 2개의 영상 소자(BE)의 값들의 보간에 의해 이루어지는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  12. 제 7 항에 있어서,
    상기 하프 1D-서브홀로그램(1D-SH)은 상기 2D-서브홀로그램(2D-SH)의 x축을 따라 또는 상기 2D-서브홀로그램(2D-SH)의 y축을 따라 연장되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  13. 3차원 장면의 객체점을 묘사하기 위한 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법에 있어서,
    상기 2D-서브홀로그램(2D-SH)의 회전 대칭은 거울 대칭과 조합되고, 상기 2D-서브홀로그램(2D-SH)의 하나의 사분의 일만이 또는 하나의 사분의 일의 절반만이 제 7 항에 따른 방법을 이용해서 계산되고, 나머지 3개의 사분의 일 또는 상기 사분의 일의 나머지 절반 및 나머지 3개의 사분의 일은 거울 반사를 이용해서 계산되는 것인, 2D-서브홀로그램(2D-SH)을 계산하기 위한 방법.
  14. 3차원 장면을 묘사하기 위한 홀로그램을 계산하기 위한 방법에 있어서,
    제 7 항에 따른 방법을 이용해서 묘사될 상기 3차원 장면의 모든 객체점을 위한 2D-서브홀로그램(2D-SH)이 형성되고, 각각의 2D-서브홀로그램(2D-SH)의 각각의 영상 소자(BE)는 상기 2D-서브홀로그램(2D-SH)으로 묘사될 객체점의 위치와 상기 3차원 장면의 관찰자의 위치에 따라 x 방향 및/또는 y 방향의 오프셋을 얻고, 이에 따라 서로 위치 설정된 상기 2D-서브홀로그램(2D-SH)이 가산되는 것인, 홀로그램을 계산하기 위한 방법.
  15. 개별 객체점의 서브홀로그램(SH)의 가산을 이용해서 홀로그램 디스플레이의 공간 광변조기(SLM)에서 3차원 장면의 홀로그램을 코딩하기 위한 방법에 있어서,
    - 홀로그램 라인(HZ)에 관해 규정된 세그먼트 폭을 갖는 서브홀로그램(SH)의 제 1 절반부의 서브홀로그램 세그먼트가 계산되고,
    - 상기 서브홀로그램(SH)의 제 1 절반부의 서브홀로그램 세그먼트 및 제 2 절반부의 서브홀로그램 세그먼트에 관해 오프셋 위치들이 결정되고, 상기 오프셋 위치들은 서브홀로그램 세그먼트가 가산된, 홀로그램 라인(HZ) 내의 장소를 규정하고,
    - 상기 서브 홀로그램(SH)의 제 2 절반부의 서브홀로그램 세그먼트는 상기 제 1 절반부의 서브홀로그램 세그먼트의 복제 및 거울 반사에 의해 형성되고,
    - 상기 제 1 절반부의 서브홀로그램 세그먼트와 상기 세그먼트의 오프셋 위치는 상기 제 1 절반부를 위한 계산 경로에 관여하고, 상기 제 2 절반부의 서브홀로그램 세그먼트와 상기 세그먼트의 오프셋 위치는 상기 서브홀로그램(SH)의 제 2 절반부를 위한 계산 경로에 관여하고, 각각의 계산 경로에서 서로 독립적인 홀로그램 라인 메모리(HZS)에서 서브홀로그램 세그먼트의 가산이 실행되고,
    - 상기 서브홀로그램 세그먼트들은 상기 가산 전에 홀로그램 라인 메모리(HZS)에 대해 결정된 오프셋 위치에 따라 조정되고,
    - 상기 제 1 및 제 2 절반부의 서브홀로그램의 독립적인 홀로그램 라인 메모리들(HZS)은 결합되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 서브홀로그램 세그먼트는 상기 계산 후에 극좌표계(SHP)로부터 데카르트 좌표계(SHK)로 변환되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  17. 제 15 항 또는 제 16 항에 있어서, 상기 조정은,
    - 조정되지 않은 서브홀로그램 세그먼트는 하나의 세그먼트의 소자의 개수와 상기 서브홀로그램 세그먼트를 위해 결정된 (상기 세그먼트 내의) 오프셋 위치의 정수배의 차이값만큼의 이동에 의해 홀로그램 라인 메모리(HZS)에 대해 조정된 인접한 2개의 세그먼트에 맵핑됨으로써, 그리고 그 후에 남겨진 상기 인접한 2개의 세그먼트의 소자들은 0으로 채워짐으로써 이루어지고,
    - 상기 조정된 인접한 2개의 세그먼트는 독립적인 2개의 홀로그램 라인 메모리(HZS)에서 가산되는 방식으로 이루어지는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  18. 제 17 항에 있어서,
    상기 서브홀로그램 세그먼트의 이동은 서브홀로그램 세그먼트의 소자들의 개수에 상응하는 스테이지의 개수를 갖는 파이프라인에 의해 이루어지며, 각각의 스테이지에서 상기 소자들은 상기 결정된 차이값에 도달될 때까지 하나의 소자만큼 이동되고, 나머지 스테이지는 이동 없이 통과하거나, 또는 상기 이동은 멀티플렉서에 의해 상기 차이값에 따라 이동이 선택되는 정해진 로직에 의해 이루어지는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  19. 제 15 항에 있어서,
    2D 코딩을 위해 각각의 방법 단계들은 이용되는 홀로그램 라인(HZ)의 개수에 따라 반복되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  20. 제 15 항에 있어서,
    상기 제 1 절반부의 서브홀로그램 세그먼트는 이미 정렬되어 생성되고, 독립적인 홀로그램 라인 메모리(HZS)에서 가산되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  21. 제 20 항에 있어서,
    상기 서브홀로그램(SH)의 상기 제 2 절반부의 서브홀로그램 세그먼트는 상기 제 1 절반부의 서브홀로그램 세그먼트의 복제 및 거울 반사에 의해 형성되고, 이전 사이클에 저장된 상기 서브홀로그램 세그먼트에 결합되고, 현재 서브홀로그램 세그먼트의 소자들은 하나의 세그먼트의 소자들의 개수와 상기 서브홀로그램 세그먼트를 위해 결정된 오프셋 위치의 정수배의 차이값만큼 이동되고, 상기 홀로그램 라인 메모리(HZS)에 대해 조정된 서브홀로그램 세그먼트는 분리되고, 하나의 홀로그램 라인 메모리(HZS)에서 가산되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  22. 제 15 항에 있어서,
    제 1 항에 따른 장치 또는 제 7 항에 따른 방법을 이용해서 상기 2D-서브홀로그램(2D-SH)이 계산되는 것인, 3차원 장면의 홀로그램을 코딩하기 위한 방법.
  23. 홀로그램의 실시간 계산을 위한 파이프라인에 있어서,
    상기 파이프라인은 서브홀로그램(SH)을 계산하고 홀로그램 디스플레이를 직접 제어하기 위한 수단을 포함하며,
    상기 파이프라인은 적어도 하나의 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 적어도 하나의 주문형 집적 회로(ASIC)에 기반해서 구현되고, 상기 적어도 하나의 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 적어도 하나의 주문형 집적 회로(ASIC)는 실행 시간에 구성될 수 있는 것인, 파이프라인.
  24. 제 23 항에 있어서,
    제 1 항에 따른 장치를 포함하는, 파이프라인.
  25. 제 23 항에 있어서,
    상기 파이프라인은 재구성될 장면을 묘사하기 위한 객체점을 수신하기 위한 기능 유닛, 홀로그램을 계산하기 위한 기능 유닛, 및 공간 광변조기(SLM)에서 묘사를 위한 홀로그램을 출력하기 위한 기능 유닛을 포함하고, 상기 기능 유닛들은 파이프라인에 고정적으로 집적되지만, 특정의 공간 광변조기(SLM) 또는 홀로그램 디스플레이에 할당되지 않는 것인, 파이프라인.
  26. 제 23 항에 있어서,
    1D-홀로그램 및 2D-홀로그램의 실시간 계산을 위한 수단 및/또는 다양한 코딩 방식과 출력 모드를 지원하기 위한 수단이 제공되는 것인, 파이프라인.
  27. 제 23 항에 있어서,
    홀로그램 및 묘사될 3D 장면의 해상도는 사용되는 하드웨어와 무관한 것인, 파이프라인.
  28. 제 23 항에 있어서,
    계산 경로의 가변적인 활성화에 의해 다양한 디스플레이 크기, 홀로그램 해상도, 장면 해상도 및 디스플레이 파라미터 중 적어도 하나를 위한 회로의 확장성(scalability)이 제공되는 것인, 파이프라인.
  29. 제 23 항에 있어서,
    동적인 서브홀로그램 크기의 구현에 의해 회로의 이용률의 최대화 및 상기 파이프라인에 의해 필요한 리소스의 최소화가 제공되는 것인, 파이프라인.
  30. 제 23 항에 있어서,
    상이한 프레임 레이트로 서로 비동시적인 홀로그램 출력과 홀로그램 계산이 제공되는 것인, 파이프라인.
KR1020167000171A 2013-06-06 2014-06-04 홀로그램 데이터를 계산하기 위한 장치 및 방법 KR102248266B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102013105876 2013-06-06
DE102013105876.0 2013-06-06
DE102013110711.7 2013-09-27
DE102013110711 2013-09-27
DE102013110712.5 2013-09-27
DE102013110712 2013-09-27
PCT/EP2014/001503 WO2014195013A1 (de) 2013-06-06 2014-06-04 Vorrichtung und verfahren zur berechnung von hologrammdaten

Publications (2)

Publication Number Publication Date
KR20160018669A KR20160018669A (ko) 2016-02-17
KR102248266B1 true KR102248266B1 (ko) 2021-05-04

Family

ID=50942642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000171A KR102248266B1 (ko) 2013-06-06 2014-06-04 홀로그램 데이터를 계산하기 위한 장치 및 방법

Country Status (5)

Country Link
US (3) US10353344B2 (ko)
KR (1) KR102248266B1 (ko)
CN (1) CN105264443B (ko)
DE (1) DE112014002704A5 (ko)
WO (1) WO2014195013A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI557462B (zh) * 2014-11-28 2016-11-11 台灣愛美科股份有限公司 自動聚焦系統與方法
CN104516216B (zh) * 2015-01-15 2016-06-22 厦门理工学院 一种多dmd拼接的曝光***及方法
CN106527093B (zh) * 2016-12-26 2019-03-19 北京理工大学 基于非线性倍频及偏振特性的全息图像复用方法与***
US10573056B2 (en) * 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
CN106873340B (zh) * 2017-03-17 2019-07-05 京东方科技集团股份有限公司 空间光调制器的寻址方法、全息显示装置及其控制方法
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
CN108628138B (zh) * 2018-04-19 2020-02-07 浙江大学 基于人眼视觉特性的全息头盔显示的处理方法
CN109709786B (zh) * 2019-02-25 2020-08-25 中国科学院光电技术研究所 一种超分辨率数字全息成像***和成像方法
CN110032053B (zh) * 2019-03-29 2020-04-10 北京航空航天大学 一种基于有效利用空间光调制器的全息散斑噪声抑制方法
FR3104747B1 (fr) * 2019-12-13 2023-01-27 Fond B Com Procédé de codage d’un hologramme numérique, procédé de codage d’un groupe d’hologrammes numériques et dispositif de codage associé
GB2595676B (en) * 2020-06-02 2022-06-22 Dualitas Ltd A display device and system
DE112021004254A5 (de) 2020-08-10 2023-06-01 Seereal Technologies S.A. Vorrichtung und Verfahren zur Berechnung von Hologrammdaten
WO2022254833A1 (ja) * 2021-05-31 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
KR20230021618A (ko) * 2021-08-05 2023-02-14 주식회사 애니랙티브 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201708890U (zh) * 2010-08-17 2011-01-12 华东师范大学 一种3d数字视频信号处理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2363025C2 (ru) 2002-11-13 2009-07-27 Сириал Текнолоджиз Гмбх Видеоголограмма и устройство для восстановления видеоголограмм
US7738151B2 (en) * 2004-04-13 2010-06-15 Board Of Regents, The University Of Texas System Holographic projector
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP2006331020A (ja) 2005-05-25 2006-12-07 Hamamatsu Photonics Kk 畳み込み積分演算装置
DE102006018689A1 (de) 2006-04-13 2007-10-25 Seereal Technologies S.A. Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
DE102006025096B4 (de) 2006-05-23 2012-03-29 Seereal Technologies S.A. Verfahren und Einrichtung zum Rendern und Generieren computer-generierter Videohologramme
CN101512445B (zh) 2006-09-01 2013-07-17 视瑞尔技术公司 借助亚全息图实时生成视频全息图的方法
DE102007013431B4 (de) * 2007-03-15 2018-07-05 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene mit korrigierter Sichtbarkeit
DE102007023737B4 (de) 2007-05-16 2009-01-02 Seereal Technologies S.A. Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline
US8166435B2 (en) * 2008-06-26 2012-04-24 Tabula, Inc. Timing operations in an IC with configurable circuits
CN102918466B (zh) 2010-04-01 2016-11-16 视瑞尔技术公司 用于在全息***中编码包含透明物体的三维场景的方法和装置
KR101926547B1 (ko) * 2011-10-28 2018-12-10 삼성전자주식회사 고속으로 3d 홀로그램을 생성하는 방법 및 장치
KR101841624B1 (ko) * 2012-01-25 2018-03-26 삼성전자주식회사 고속으로 3d 홀로그램을 생성하는 방법 및 장치
CN102591123B (zh) * 2012-03-13 2014-12-10 苏州大学 一种实时三维显示装置及显示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201708890U (zh) * 2010-08-17 2011-01-12 华东师范大学 一种3d数字视频信号处理装置

Also Published As

Publication number Publication date
US10353344B2 (en) 2019-07-16
KR20160018669A (ko) 2016-02-17
US20160132021A1 (en) 2016-05-12
CN105264443B (zh) 2019-05-31
US20190310585A1 (en) 2019-10-10
US20230259071A1 (en) 2023-08-17
WO2014195013A1 (de) 2014-12-11
CN105264443A (zh) 2016-01-20
DE112014002704A5 (de) 2016-03-03
US11635731B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
KR102248266B1 (ko) 홀로그램 데이터를 계산하기 위한 장치 및 방법
Park Recent progress in computer-generated holography for three-dimensional scenes
US7636184B2 (en) Method and device for computing computer-generated video holograms
Blinder et al. The state-of-the-art in computer generated holography for 3D display
KR102441587B1 (ko) 홀로그래픽 이미지를 처리하는 방법 및 장치
US8437057B2 (en) Method for rendering and generating color video holograms in real time
US20110096145A1 (en) Method and Device for Rendering and Generating Computer-Generated Video Holograms
CA2687364A1 (en) Method for generating video holograms in real time for extending a 3d rendering graphics pipeline
US10168667B2 (en) Fast generation of digital holograms
JP2008544306A (ja) ホログラムを合成するための信号処理システム
JP2011507022A (ja) ホログラフィ像表示システム
KR20170038520A (ko) 푸리에 변환을 수행하는 방법 및 장치
WO2020148521A1 (en) Holographic display system and method
WO2022263923A1 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
CN107783933B (zh) 图像处理方法和设备
CN106485669A (zh) 执行傅立叶变换的装置和方法
CN107038678B (zh) 用于执行傅里叶变换的装置和方法
KR102581470B1 (ko) 영상 데이터를 처리하는 방법 및 장치
GB2577062A (en) Methods, apparatus and processor for producing a higher resolution frame
KR20180062241A (ko) 영상 데이터 처리 방법 및 장치
KR20140125038A (ko) 컴퓨터 생성 홀로그램의 고속 생성 장치
KR20180064823A (ko) 영상 처리 방법 및 장치
CN104516255A (zh) 一种全息图快速生成方法
WO2014176827A1 (en) Generation and display of holograms for low resolution devices
KR20230050404A (ko) 홀로그램 데이터 계산을 위한 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant