KR102464363B1 - 푸리에 변환을 수행하는 방법 및 장치 - Google Patents

푸리에 변환을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR102464363B1
KR102464363B1 KR1020150138001A KR20150138001A KR102464363B1 KR 102464363 B1 KR102464363 B1 KR 102464363B1 KR 1020150138001 A KR1020150138001 A KR 1020150138001A KR 20150138001 A KR20150138001 A KR 20150138001A KR 102464363 B1 KR102464363 B1 KR 102464363B1
Authority
KR
South Korea
Prior art keywords
pupil
user
value
correction term
effect correction
Prior art date
Application number
KR1020150138001A
Other languages
English (en)
Other versions
KR20170038520A (ko
Inventor
김호정
서주원
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150138001A priority Critical patent/KR102464363B1/ko
Priority to US15/268,932 priority patent/US9965836B2/en
Publication of KR20170038520A publication Critical patent/KR20170038520A/ko
Application granted granted Critical
Publication of KR102464363B1 publication Critical patent/KR102464363B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/51—Intensity, power or luminance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Mathematical Physics (AREA)

Abstract

일 실시 예에 따른 푸리에 변환 방법은, 제1 FFT 연산을 통해 제1 중간 데이터를 생성하는 단계, 집광효과 보정항을 이용해 제2 중간 데이터를 생성하는 단계 및 제2 FFT 연산을 수행하는 단계를 포함한다. 실시예에 따르면 집광효과 보정항을 계산하는 과정은, 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하는 단계와, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하는 단계 및 상기 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하는 단계를 포함한다.

Description

푸리에 변환을 수행하는 방법 및 장치{Apparatus and Method for performing Fourier transform}
CGH 이미지 생성을 위한 푸리에 변환을 수행하는 방법 및 장치에 관한 것이다.
최근 들어 3차원 영상에 관련된 기술이 많이 연구되고 있다. 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(Complex Spatial Light Modulator, SLM)를 이용하여 실시간으로 고화질 홀로그램을 구현하는 장치에 대한 연구가 활발히 진행되고 있다.
최근에는 홀로그램 동영상을 재생하기 위해서 컴퓨터 생성 홀로그램(computer generated hologram, CGH)이 사용되고 있으며, 홀로그래픽 이미지 처리장치는 홀로그램 평면의 각 위치에 대한 홀로그램 값을 연산하는데, 연산량이 매우 방대하다. 즉, 공간상의 한 점을 표현하기 위해서 홀로그래픽 이미지 처리장치는 1번의 푸리에 변환(Fourier Transform)을 수행해야 하며, 공간의 영상을 표현하기 위해서는 픽셀의 개수 만큼의 푸리에 변환을 수행해야만 한다.
TV, 모바일 디바이스 등의 홀로그래픽 이미지 처리장치는 홀로그램 영상을 재생하기 위해 입력 이미지 데이터를 처리할 수 있다. 이 경우, 홀로그래픽 이미지 처리장치는 입력 이미지 데이터에 대해 푸리에 변환을 수행하고, 변환된 데이터를 이용하여 영상을 재생할 수 있다.
홀로그래픽 이미지 처리장치가 푸리에 변환을 수행할 때, 연산량이 많고, 많은 시간이 소요된다. 특히, 모바일 디바이스와 같은 휴대용 디바이스들은 크기에 제한이 있고, 사용가능한 전력(POWER)에도 제한이 있다. 따라서, 푸리에 변환을 수행할 때, 연산량 및 시간을 줄이기 위한 방법들이 요구된다.
CGH 이미지 생성을 위한 푸리에 변환을 수행할 때, 연산량을 줄이기 위한 장치 및 방법을 제공하는 데 있다.
또한, 푸리에 변환을 수행할 때 사용되는 메모리의 용량을 줄이기 위한 장치 및 방법을 제공하는데 있다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
일 측면에 있어서,
CGH 이미지 생성을 위한 푸리에 변환을 수행하는 방법에 있어서,
입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 단계;
상기 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 단계; 및
상기 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 단계;를 포함하며,
상기 제2 중간 데이터를 생성하는 단계는,
상기 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하는 단계와, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하는 단계 및 상기 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하는 단계를 포함하는 푸리에 변환방법이 제공된다.
상기 집광효과 보정항 값은 상기 사용자의 동공 좌표에 의존할 수 있다.
상기 집광효과 보정항의 값은 수학식 1에 따라 결정될 수 있다.
Figure 112015094819573-pat00001
.... 수학식 1
(u = 동공의 수평좌표, v = 동공의 수직좌표, C(u, v) = 집광효과 보정항, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
상기 주기변수는 동공의 수평좌표 u와 동공의 수직좌표 v의 비선형 함수 값일 수 있다.
상기 주기변수는 u2 + v2 일 수 있다.
상기 참조 테이블을 형성하는 단계는, (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장할 수 있다.
(u = 동공의 수평좌표, v = 동공의 수직좌표 )
상기 참조 테이블을 형성하는 단계는, (u, v) 평면에서 원점과,
Figure 112015094819573-pat00002
를 만족하는 임의의 점을 잇는 선분 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장할 수 있다.
상기 집광효과 보정항 값을 호출하는 단계는, 상기 사용자의 동공 좌표에서 계산된 주기변수 값을 상기 일주기 값으로 나눈 나머지를 구하고, 상기 참조 테이블에 저장된 상기 주기변수 값들 가운데 상기 나머지에 가장 근접한 주기변수 값에 대응되는 상기 집광효과 보정항 값을 호출할 수 있다.
상기 주기변수 값은 상기 제1 FFT 연산이 이루어진 사용자 동공좌표(u', v')에서
Figure 112015094819573-pat00003
으로 결정되고 상기 일주기 값은
Figure 112015094819573-pat00004
으로 결정될 수 있다.
(u'= 제1 FFT 연산이 이루어진 사용자 동공의 수평좌표, v' = 제1 FFT 연산이 이루어진 사용자 동공의 수직좌표, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
다른 측면에 있어서,
상기 푸리에 변환방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
다른 측면에 있어서,
CGH 이미지 생성을 위한 푸리에 변환을 수행하는 장치에 있어서,
입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 제1 FFT 연산부;
상기 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 집광효과 보정항 연산부; 및
상기 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 제2 FFT 연산부;를 포함하며,
상기 집광효과 보정항 연산부는,
상기 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하고, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하여, 상기 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하는 푸리에 변환장치가 제공된다.
상기 집광효과 보정항 값은 상기 사용자의 동공 좌표에 의존할 수 있다.
상기 집광효과 보정항의 값은 수학식 1에 따라 결정되될 수 있다.
Figure 112015094819573-pat00005
.... 수학식 1
(u = 동공의 수평좌표, v = 동공의 수직좌표, C(u, v) = 집광효과 보정항, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
상기 주기변수는 동공의 수평좌표 u와 동공의 수직좌표 v의 비선형 함수 값일 수 있다.
상기 주기변수는 u2 + v2 일 수 있다.
상기 집광효과 보정항 연산부는, (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장할 수 있다.
(u = 동공의 수평좌표, v = 동공의 수직좌표 )
상기 집광효과 보정항 연산부는, (u, v) 평면에서 원점과,
Figure 112015094819573-pat00006
를 만족하는 임의의 점을 잇는 선분 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장할 수 있다.
상기 집광효과 보정항 연산부는, 상기 사용자의 동공 좌표에서 계산된 주기변수 값을 상기 일주기 값으로 나눈 나머지를 구하고, 상기 참조 테이블에 저장된 상기 주기변수 값들 가운데 상기 나머지에 가장 근접한 주기변수 값에 대응되는 상기 집광효과 보정항 값을 호출할 수 있다.
상기 주기변수 값은 상기 제1 FFT 연산이 이루어진 사용자 동공좌표(u', v')에서
Figure 112015094819573-pat00007
으로 결정되고 상기 일주기 값은
Figure 112015094819573-pat00008
으로 결정될 수 있다.
(u'= 제1 FFT 연산이 이루어진 사용자 동공의 수평좌표, v'= 제1 FFT 연산이 이루어진 사용자 동공의 수직좌표, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
CGH 이미지 생성을 위한 푸리에 변환을 수행할 때, 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항의 계산하는데 필요한 연산량을 줄일 수 있다.
또한, 상기 집광효과 보정항을 계산하기 위해 필요한 메모리를 줄일 수 있다.
도 1은 홀로그래픽 이미지 처리방법을 나타내는 흐름도이다.
도 2는 예시적인 실시예에 따른 푸리에 변환 방법을 나타내는 흐름도이다.
도 3은 수학식 1에서 나타난 변수들의 이해를 돕기위해 홀로그래픽 이미지 처리장치의 디스플레이 패널(10)로부터 출사된 변조광이 사용자의 동공과 망막에 전달되는 것을 대략적으로 나타낸 도면이다.
도 4는 수학식 1의 연산과정을 3개의 부분으로 나누어서 나타낸 도면이다.
도 5는 도 2에서 나타낸 220 단계에서 홀로그래픽 이미지 처리장치가 동작하는 과정을 예시적으로 나타낸 흐름도이다.
도 6은 u, v의 선형함수 값 변화에 대한 집광효과 보정항 값의 변화를 나타낸 그래프이다.
도 7은 u, v의 비선형함수 값 변화에 대한 집광효과 보정항 값의 변화를 나타낸 그래프이다.
도 8은 참조 테이블에 저장될 선분 상에서 u, v 값을 변화시키면서 주기변수 값과 집광효과 보정항 값을 계산하여 참조 테이블을 형성하는 예를 나타낸 도면이다.
도 9는 (u, v) 평면 상에서 참조 테이블에 주기변수 및 집광효과 보정항이 저장된 점들과, 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표(u’, v’)를 나타낸 도면이다.
도 10은 다른 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치를 설명하기 위한 블록도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시예들에 기재된 “...부”, “...모듈”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 실시예들에서 사용되는 “제 1” 또는 “제 2” 등과 같이 서수를 포함하는 용어는 다양한 대상들을 설명하는데 사용할 수 있지만, 상기 대상들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 대상을 다른 대상과 구별하는 목적으로만 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 홀로그래픽 이미지 처리방법을 나타내는 흐름도이다. 도 1을 참조하면, 홀로그래픽 이미지 처리장치는, 입력 이미지 데이터를 수신하여, 홀로그래픽 영상을 출력할 수 있다. 입력 이미지 데이터는 미리 촬영된 입력 이미지 데이터일 수 있다. 또는 입력 이미지 데이터는 에니메이션 영상과 같이 가상으로 제작된 입력 이미지 데이터일 수도 있다. 입력 이미지 데이터가 나타내는 이미지는 정지된 화상일 수도 있고 시간에 따라 변하는 동영상일 수도 있다. 입력 이미지 데이터는 2D 이미지 및 2D 이미지의 픽셀들의 컬러 데이터 및 깊이 데이터를 포함할 수 있다. 다른 예로 입력 이미지 데이터는 폴리곤 데이터이거나 3차원 복셀 데이터일 수도 있다.
단계 110에서, 홀로그래픽 이미지 처리장치는 입력 이미지 데이터를 수신한다. 예를 들어, CGH(Computer-Generated Holography)연산에 있어서 layer based 알고리즘을 입력 이미지 데이터에 적용하는 경우, 입력 이미지 데이터는 컬러 데이터, 깊이 데이터 등일 수 있다. 컬러 데이터는 평면마다 복수의 컬러들을 나타내는 데이터일 수 있다. Layer based 알고리즘은 홀로그램의 재생 영역을 깊이를 기준으로 분할하여 분할된 각 평면의 데이터를 처리하는 방법이다. 홀로그래픽 이미지 처리장치는 분할된 각 평면의 데이터를 푸리에 변환 또는 역 푸리에 변환(Inverse Fourier Transform)하여 홀로그램 영상을 생성할 수 있다.
단계 120에서, 홀로그래픽 이미지 처리장치는 화질 보정 및 필드 연산을 수행한다. 홀로그래픽 이미지 처리장치는 입력 이미지 데이터의 화질을 향상시키기 위해 입력 이미지 데이터를 보정할 수 있다.
단계 130에서, 홀로그래픽 이미지 처리장치는 푸리에 변환(Fourier Transform) 또는 패스트 푸리에 변환(Fast Fourier Transform)을 수행한다.
홀로그래픽 이미지 처리장치는 복수의 코어들을 포함할 수 있으며, 복수의 코어들은 병렬적으로 입력 이미지 데이터를 푸리에 변환할 수 있다. 예를 들어, 홀로그래픽 이미지 처리장치는 각 평면의 입력 이미지 데이터를 복수의 코어들에 할당할 수 있으며, 복수의 코어들은 할당된 입력 이미지 데이터를 푸리에 변환한다.
홀로그래픽 이미지 처리장치가 입력 이미지 데이터를 푸리에 변환하는 과정은 도 2 내지 도 9를 통해 상세히 설명한다.
FFT 연산의 결과로서 입력 이미지 데이터의 각 픽셀에 대응되는 복소수 값이 획득될 수 있다. 픽셀별 복소수 값들은 회절 패턴 상의 진폭 및 위상에 대한 정보를 포함할 수 있다. 홀로그래픽 이미지 처리장치는 상기 복소수 값들로부터 복소 어레이(Complex array)를 생성할 수 있다. 복소 어레이는 복소수 값들로 이루어진 어레이로 2차원 어레이 또는 3차원 어레이일 수 있다. 하지만, 복소수 어레이의 어레이 차원은 임의의 다른 차원이 될 수도 있다.
단계 140에서, 홀로그래픽 이미지 처리장치는 픽셀 인코딩을 수행한다. 홀로그래픽 이미지 처리장치는 픽셀 인코딩을 통하여 화면에 입력될 데이터를 생성한다. 화면에 입력될 데이터는 홀로그래픽 이미지 생성을 위한 변조광의 위상 및 진폭에 대한 정보를 포함할 수 있다.
단계 150에서, 홀로그래픽 이미지 처리장치는 영상 표시 장치로 영상을 출력할 수 있다.
도 2는 예시적인 실시예에 따른 푸리에 변환 방법을 나타내는 흐름도이다. 도 2에서 나타낸 푸리에 변환방법의 연산 결과물은 CGH 이미지 생성에 사용될 수 있다.
도 2를 참조하면, 예시적인 실시예에 따른 푸리에 변환 방법은, 입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 단계(210)와, 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 단계(220) 및 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 단계(230)를 포함할 수 있다.
이하에서는 도 2에서 나타낸 푸리에 변환 방법을 수학식 1을 참조하여 설명한다. 수학식 1은 예시적인 것에 불과하며, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 수학식 1에서 일부 항들이 더해지거나 소거될 수도 있으며, 다른 가중치 팩터가 곱해질 수도 있다. 예시적으로 도 2에서 나타낸 단계 210, 220, 230은 수학식 1에서 나타낸 연산을 수행할 수 있다.
Figure 112015094819573-pat00009
.... 수학식 1
수학식 1에서 x2 = 사용자 망막의 수평좌표, y2 = 사용자 망막의 수직좌표, u = 사용자 동공의 수평좌표, v = 사용자 동공의 수직좌표, x1 = 홀로그래픽 이미지 처리장치의 디스플레이 패널의 수평좌표, y1 = 홀로그래픽 이미지 처리장치의 디스플레이 패널의 수직좌표를 의미힌다. 또한, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리를 의미한다.
수학식 1에서 함수 F(x2, y2)는 사용자 망막좌표 (x2, y2)에 입사되는 변조광의 위상 및 진폭에 관한 정보를 나타내는 복소함수를 의미한다. 상기 함수 F(x2, y2)는 표현하고자 하는 홀로그램 이미지에 따라 달라질 수 있다. 즉, 홀로그래픽 이미지 처리장치에 입력되는 입력 이미지 데이터에 따라 함수 F(x2, y2) 달라질 수 있다. 그리고, 복소함수 G(x1, y1)은 디스플레이 패널좌표(x1, y1)에서 변조광의 위상 및 진폭에 관한 정보를 나타내는 복소함수를 의미한다.
도 3은 수학식 1에서 나타난 변수들의 이해를 돕기위해 홀로그래픽 이미지 처리장치의 디스플레이 패널(10)로부터 출사된 변조광이 사용자의 동공(20)과 망막(30)에 전달되는 것을 대략적으로 나타낸 도면이다.
도 3을 참조하면, 디스플레이 패널(10)로부터 변조광 L1이 출사될 수 있다. 변조광 L1의 위상 및 진폭은 디스플레이 패널(10)의 좌표(x1, x2)에 따라 다를 수 있다. 복소함수 G(x1, y1)은 디스플레이 패널좌표(x1, y1)에서 변조광의 위상 및 진폭에 관한 정보를 나타낸다. 사용자의 동공(20)은 표면이 구면형상을 가진다. 따라서, 사용자의 동공(20) 내부(S1)에서는 변조광의 집광현상이 일어날 수 있다. 따라서, 동공(20)에 입사되는 광(L21)의 진폭 및 위상정보와 동공(20)에서 출사되는 광(L22)의 진폭 및 위상정보 사이에 차이가 있을 수 있다. 이러한 차이를 보정하기 위한 것이 전술한 집광효과 보정항이다. 집광효과 보정항에 대해서는 후술하는 도 4의 설명부분에서 보다 자세히 설명한다.
동공(20)을 지난 변조광은 사용자의 망막(30)에 입사될 수 있다. 복소함수 F(x2, y2)는 사용자의 망막(30)에 입사되는 광(L2)의 진폭 및 위상 정보를 나타낸다. 사용자는 사용자의 망막(30)에 입사되는 광(l2)의 진폭 및 위상으로부터 홀로그램 영상을 인지한다. 즉, 사용자가 인지하는 홀로그램 영상은 복소함수 F(x2, y2)에 의해 결정될 수 있다.
복소함수 F(x2, y2)는 입력 이미지 데이터에 따라 결정될 수 있다. 왜냐하면, 이미지 데이터에 따라 사용자 망막좌표 (x2, y2)에 입사되는 변조광의 위상 및 진폭이 결정될 수 있기 때문이다. F(x2, y2)가 결정되면, 홀로그래픽 이미지 처리 장치는 수학식 1에서 나타낸 푸리에 변환을 통해 복소함수 G(x1, y1)를 구해낼 수 있다. 즉, 입력 이미지 데이터로부터 디스플레이 패널좌표(x1, y1)에서 출사되는 변조광의 위상 및 진폭에 대한 정보를 구해낼 수 있다. 디스플레이 패널좌표(x1, y1)에서 출사되는 변조광의 위상 및 진폭이 결정되면, 홀로그래픽 이미지 처리장치는 상기 위상 및 진폭을 가지는 변조광이 디스플레이 패널에서 출사되도록 디스플레이 패널의 회절패턴을 조절할 수 있다.
도 4는 수학식 1의 연산과정을 3개의 부분으로 나누어서 나타낸 도면이다.
도 4를 참조하면, 수학식 1의 연산과정은 사용자 망막좌표에 대한 제1 FFT 연산부분(P1)과, 제1 FFT 연산부분(P1)의 결과물에 곱해지는 집광효과 보정항을 구하는 연산부분(P2)과, 사용자 동공좌표에 대한 제2 FFT 연산부분(P3)로 나누어질 수 있다. 예시적으로 도 3의 연산부분 P1은 도 2의 210 단계에서 이루어질 수 있다. 또한, 도 3의 연산부분 P2는 도 2의 220 단계에서 이루어질 수 있다. 또한, 도 3의 연산부분 P3는 도 2의 230 단계에서 이루어질 수 있다.
도 2 내지 도 4를 참조하면, 210 단계에서 홀로그래픽 이미지 처리장치는 입력 이미지 데이터로부터 얻어진 복소함수 F(x2, y2)에 대해 제1 FFT 연산을 수행할 수 있다. 제1 FFT 연산은 사용자 망막좌표 (x2, y2)에 대한 푸리에 변환을 통해 이루어질 수 있다. 제1 FFT 연산을 수행하면 제1 중간 데이터가 얻어질 수 있다. 제1 중간 데이터는 도 3에서 망막(20)으로부터 출사되는 광(L22)의 진폭 및 위상에 대한 정보를 포함할 수 있다.
전술한 바와 같이, 망막(20)의 집광효과로 인해 망막(20)으로부터 출사되는 광(L22)의 진폭 및 위상과 입사되는 광(L21)의 진폭 및 위상 사이에 차이가 있을 수 있다. 망막(20)의 집광효과는, 제1 중간 데이터에 대해 집광효과 보정항을 곱해줌으로써 해결할 수 있다.
220 단계에서, 홀로그래픽 이미지 처리장치는, 전술한 집광효과 보정항을 계산하여, 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성할 수 있다. 집광효과 보정항은 도 4에서 나타낸 연산부분 P2의 연산결과물일 수 있다. 그런데 연산부분 P2 자체에는 적분연산이 없기 때문에, 연산부분 P2는 직접 계산하지 않고 참조 테이블을 활용할 수도 있다. 연산부분 P2의 연산이 복잡한 복소수 연산임을 고려할 때, 참조 테이블을 적절히 활용하면 연산부분 P2에 필요한 시간과 자원을 절약할 수 있다. 이때, 참조 테이블의 크기를 작게하면 작게할수록 연산부분 P2에 대한 연산이 효율적으로 이루어질 수 있다. 이에 대해서는 도 5 내지 도 9를 참조하여 후술하도록 한다.
230 단계에서, 홀로그래픽 이미지 처리장치는, 제2 중간 데이터에 대해 사용자의 제2 FFT 연산을 수행함으로써 푸리에 변환 결과물을 얻을 수 있다. 이때 제2 FFT 연산은 도 3에서 나타낸 연산부분 P3에 해당할 수 있다. 연산부분 P3는 사용자 동공좌표 (u, v)에 대한 푸리에 변환을 포함할 수 있다.
이하에서는 220단계에서, 참조 테이블을 이용하여 집광효과 보정항을 효율적으로 계산하는 과정에 대하여 설명한다.
도 5는 도 2에서 나타낸 220 단계에서 홀로그래픽 이미지 처리장치가 동작하는 과정을 예시적으로 나타낸 흐름도이다.
도 5를 참조하면, 220 단계는, 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하는 단계(222)를 포함할 수 있다.
집광효과 보정항의 계산에 해당하는 연산부분 P2가 exponential 함수를 포함하기 때문에 연산부분 P2의 결과물인 집광효과 보정항은 특정 변수에 대해 주기적인 변할 수 있다. 따라서, 본 명세서에서는 집광효과 보정항을 주기적으로 변화시키는 변수를 '주기변수'라고 명명한다.
집광효과 보정항은 사용자의 동공좌표 u, v에 의존하므로 주기변수 또한 u, v의 함수일 수 있다.
도 6은 u, v의 선형함수 값 변화에 대한 집광효과 보정항 값의 변화를 나타낸 그래프이다. 도 6에서 가로축은 u, v의 선형함수 값인 u + v 값으로 설정하였다.
도 6을 참조하면, u + v 값이 변함에 따라 집광효과 보정항 값이 비주기적으로 변하는 것을 알 수 있다. 이는 연산부분 P2에서 지수부분에 들어간 u2 + v2이 u, v의 비선형 함수 값이기 때문이다. 따라서, u, v의 선형함수 값은 상기 주기변수로서 부적합할 수 있다.
도 7은 u, v의 비선형함수 값 변화에 대한 집광효과 보정항 값의 변화를 나타낸 그래프이다. 도 7에서 가로축은 u, v의 비선형함수 값인 u2 + v2 값으로 설정하였다.
도 7을 참조하면, u2 + v2 값이 변함에 따라 집광효과 보정항 값이 주기적으로 변하는 것을 알 수 있다. 이는 연산부분 P2에서 지수부분이 u2 + v2에 비례하기 때문이다. 따라서, u2 + v2 또는 u2 + v2 의 임의의 배수가 상기 주기변수로서 이용될 수 있다.
단계 222에서, 홀로그래픽 이미지 처리장치는, 상기 주기변수를 변화시켜 가면서 집광효과 보정값을 계산할 수 있다. 그리고, 홀로그래픽 이미지 처리장치는, 주기변수의 변화에 따라 집광효과 보정 값이 어떻게 달라지는지를 참조 테이블에 저장할 수 있다. 이때, 집광효과 보정 값이 주기변수의 변화에 대해 주기적으로 변하기 때문에, 홀로그래픽 이미지 처리장치는 모든 주기변수 값에 대하여 집광효과 보정항 값을 참조 테이블에 저장하지 않을 수 있다. 예를 들어, 홀로그래픽 이미지 처리장치는, 도 7에서 S2영역의 첫 번째 주기에서만 주기변수 값의 변화에 따른 집광효과 보정항 값의 변화를 참조 테이블에 저장할 수 있다. 이를 통해, 참조 테이블의 크기를 줄일 수 있다. 또한, 참조 테이블에서 데이터를 호출하는 시간을 줄일 수 있다.
단계 222에서 홀로그래픽 이미지 처리장치는, 복수의 동공좌표(u, v)에 대해 주기변수 값과 집광효과 보정항 값을 계산하여 참조 테이블에 저장할 수 있다. 이때, 복수의 동공좌표(u, v)는 다양한 방식으로 선택될 수 있다.
예를 들어, 복수의 동공좌표(u, v)는 직선 상에서 선택될 수 있다. 즉, 홀로그래픽 이미지 처리장치는 (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 주기변수 값과 집광효과 보정항 값을 계산하여 참조 테이블에 저장할 수 있다. 직선 상에서는 주기변수 u2 + v2의 값이 일정한 방향으로 변할 수 있기 대문에 참조 테이블에 필요한 주기변수 값과 집광효과 보정항 값들을 용이하게 얻을 수 있다.
도 8은 참조 테이블에 저장될 선분 상에서 u, v 값을 변화시키면서 주기변수 값과 집광효과 보정항 값을 계산하여 참조 테이블을 형성하는 예를 나타낸 도면이다.
도 8을 참조하면, 주기변수 u2 + v2은 원점으로부터 멀어질수록 그 값이 커질 수 있다. 따라서, 원점과
Figure 112015094819573-pat00010
를 만족하는 원 상의 임의의 점을 이은 선분 L에서 u, v 값을 변화시키게 되면, 주기변수 u2 + v2을 0과 P 사이의 임의의 값으로 변화 시킬 수 있다. 따라서 P 값이 주기변수의 일 주기 크기인
Figure 112015094819573-pat00011
이 되면 선분 L 상에서 u, v 값을 변화시킴으로써 참조 테이블에 필요한 주기변수 값들을 모두 얻어낼 수 있다. 그리고, 참조 테이블 형성시 전체 공간에 대해 u, v를 변화시키는 것이 아닌 선분 L 상에서 u, v를 변화시킴으로써 참조 테이블에 저장되는 데이터량을 줄일 수 있다.
다시 도 5를 참조하면, 220 단계는, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하는 단계(224) 및 참조 테이블로부터, 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하는 단계(226)를 포함할 수 있다.
이하에서는 도 9를 참조하여, 홀로그래픽 이미지 처리장치가 224 단계 및 226 단계를 거쳐 집광효과 보정항 값을 구하는 것에 관하여 설명한다.
도 9는 (u, v) 평면 상에서 참조 테이블에 주기변수 및 집광효과 보정항이 저장된 점들과, 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표(u', v')를 나타낸 도면이다.
홀로그래픽 이미지 처리 장치는 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표(u', v')에 대응하는 집광효과 보정항을 계산할 수 있다.
224 단계에서, 홀로그래픽 이미지 처리 장치는 사용자의 동공 좌표(u', v')에서 주기변수 값을 구할 수 있다. 이때 주기변수 값은 예시적으로
Figure 112015094819573-pat00012
이 될 수 있다.
226 단계에서, 홀로그래픽 이미지 처리 장치는 사용자의 동공 좌표(u', v')에서 구한 주기변수 값과 매칭되는 주기변수 값을 참조 테이블에서 검색할 수 있다. 이때, 홀로그래픽 이미지 처리 장치는 용자의 동공 좌표에서 계산된 주기변수 값
Figure 112015094819573-pat00013
값을 상기 일주기 값(P=
Figure 112015094819573-pat00014
)으로 나눈 나머지(β)를 구할 수 있다. 그리고, 홀로그래픽 이미지 처리장치는 참조 테이블에 저장된 주기변수 값들 가운데 상기 나머지(β) 값에 가장 근접한 주기변수 값(αn)을 찾을 수 있다. 그리고, 홀로그래픽 이미지 처리장치는 상기 가장 근접한 주기변수 값(αn)에 대응하는 집광효과 보정항 값을 호출할 수 있다.
이상에서 도 1 내지 도 9를 참조하여 예시적인 실시예들에 따른 푸리에 변환방법에 관하여 설명하였다. 이하에서는 도 1 내지 도 9를 참조하여 설명한 푸리에 변환방법을 수행하는 장치에 관하여 설명한다.
도 10은 다른 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치(1100)를 설명하기 위한 블록도이다.
도 10에서 나타낸 홀로그래픽 이미지 처리장치는, 홀로그래픽 이미지 처리장치(1100)는 입력 이미지에 대한 CGH(Computer Generated Hologram) 프로세싱을 통해 CGH 이미지를 생성하고, 생성된 CGH 이미지를 가상의 3차원 공간 상에서 사용자가 볼 수 있는 홀로그램 이미지로 표시한다. 여기서, CGH 프로세싱은, 홀로그래픽 이미지 처리장치(1100)에 의해 CGH 이미지가 생성되기까지의 일련의 처리 과정들을 포함하는 것으로 정의될 수 있다. 그리고, 홀로그램 이미지는 정지된 이미지, 또는 홀로그램으로 재생되는 동영상을 모두 포함한다.
홀로그램은, 빛의 진폭 및 위상을 조절하여 3D 공간 상에 객체를 재현함에 따라, 시야의 제한이 없고 입체 피로가 거의 없는 3차원 공간 표현 기술의 일종이다. 따라서, 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(complex Spatial Light Modulator(SLM))를 이용하여 실시간으로 고해상도 홀로그램을 구현하는 디바이스들이 많이 개발되고 있다. 홀로그램은, 물체파와 참조파의 간섭 패턴(interference pattern)을 이용하여 3D 공간 상에 표시될 수 있다. 최근에는 홀로그램 동영상을 재생하기 위한 간섭 패턴을 프로세싱함으로써 평면 디스플레이(Flat panel display) 상에서 홀로그램을 제공할 수 있는 CGH 기술이 활용되고 있다.
디지털 홀로그램을 생성하는 방법, 예를 들어 CGH 기술은, 광학 신호들을 근사화하고 수학적 연산을 통해 생성된 간섭 패턴을 계산함으로써, 홀로그램을 생성한다. 디지털 홀로그램 생성 방법은, 3D 객체가 3D 포인트들의 집합으로 구성된다는 점에 기초하여, 3D 객체를 구성하는 모든 3D 포인트들 각각에 대응하는 포인트 홀로그램을 계산함으로써, 완성된 홀로그램을 표현한다.
도 10을 참조하면, 푸리에 변환장치는, 입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 제1 FFT 연산부(1110)와, 상기 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 집광효과 보정항 연산부(1120) 및 상기 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 제2 FFT 연산부(1130)를 포함할 수 있다.
제1 FFT 연산부(1110)는 입력 이미지 데이터로부터 얻어진 복소함수 F(x2, y2)에 대해 제1 FFT 연산을 수행할 수 있다. 제1 FFT 연산은 사용자 망막좌표 (x2, y2)에 대한 2차원 푸리에 변환을 포함할 수 있다. 상기 2차원 푸리에 변환을 수행하기 위해, 제1 FFT 연산부는 복수의 2D FFT 코어(50)를 포함할 수 있다.
집광효과 보정항 연산부(1120)는 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성할 수 있다. 또한, 집광효과 보정항 연산부(1120)는 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하여, 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출할 수 있다.
제3 FFT 연산부(1130)는 제2 중간 데이터에 대해 사용자 동공좌표 (u, v)에 대한 2차원 푸리에 변환을 수행할 수 있다. 제3 FFT 연산부(1130)는 도 10에서와 같이 단일 2D FFT 코어(60)를 포함할 수도 있고 복수의 2D FFT 코어를 포함할 수도 있다.
집광효과 보정항 연산부는, 전술한 수학식 1에 따라 집광효과 보정항의 값을 계산할 수 있다. 주기변수는 동공의 수평좌표 u와 동공의 수직좌표 v의 비선형 함수 값일 수 있다. 예시적으로, 주기변수는 u2 + v2 일 수 있다.
집광효과 보정항 연산부는, (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장할 수 있다.
집광효과 보정항 연산부는, 상기 사용자의 동공 좌표에서 계산된 주기변수 값을 상기 일주기 값으로 나눈 나머지를 구하고, 상기 참조 테이블에 저장된 상기 주기변수 값들 가운데 상기 나머지에 가장 근접한 주기변수 값에 대응되는 상기 집광효과 보정항 값을 호출할 수 있다.
주기변수 값은 상기 제1 FFT 연산이 이루어진 사용자 동공좌표(u', v')에서
Figure 112015094819573-pat00015
으로 결정되고 상기 일주기 값은
Figure 112015094819573-pat00016
으로 결정될 수 있다.
이상에서 예시적인 실시예들에 따른 푸리에 변환방법 및 장치에 관하여 설명하였다. 제시된 실시예들에 따르면, 푸리에 변환에서 집광효과 보정항을 계산할 때, 참조 테이블을 사용하여 복잡한 복소연산과정을 간소화할 수 있다. 또한, 참조 테이블에 필요한 저장 값들을 최소화 함으로써 참조 테이블에 필요한 메모리 자원을 절약할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
10 : 디스플레이 패널
20 : 동공
30 : 망막
1100 : 홀로그래픽 이미지 처리장치
1110 : 제1 FFT 연산부
1120 : 집광효과 보정항 연산부
1130 : 제2 FFT 연산부

Claims (19)

  1. CGH 이미지 생성을 위한 푸리에 변환을 수행하는 방법에 있어서,
    입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 단계;
    상기 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 단계; 및
    상기 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 단계;를 포함하며,
    상기 제2 중간 데이터를 생성하는 단계는,
    상기 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하는 단계와, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하는 단계 및 상기 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하는 단계를 포함하고
    상기 집광효과 보정항은 사용자의 동공 좌표, 홀로그래픽 디스플레이 패널과 사용자의 동공 사이의 거리, 사용자의 동공과 망막 사이의 거리 및 홀로그래픽 디스플레이 패널 내부의 렌즈의 초점거리에 기초하여 계산되는 푸리에 변환방법.
  2. 제 1 항에 있어서,
    상기 집광효과 보정항 값은 상기 사용자의 동공 좌표에 의존하는 푸리에 변환방법.
  3. 제 1 항에 있어서,
    상기 집광효과 보정항의 값은 수학식 1에 따라 결정되는 푸리에 변환방법.
    Figure 112015094819573-pat00017
    .... 수학식 1
    (u = 동공의 수평좌표, v = 동공의 수직좌표, C(u, v) = 집광효과 보정항, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
  4. 제 3 항에 있어서,
    상기 주기변수는 동공의 수평좌표 u와 동공의 수직좌표 v의 비선형 함수 값인 푸리에 변환방법.
  5. 제 4 항에 있어서,
    상기 주기변수는 u2 + v2 인 푸리에 변환방법.
  6. 제 1 항에 있어서,
    상기 참조 테이블을 형성하는 단계는, (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장하는 푸리에 변환방법.
    (u = 동공의 수평좌표, v = 동공의 수직좌표 )
  7. 제 6 항에 있어서,
    상기 참조 테이블을 형성하는 단계는, (u, v) 평면에서 원점과,
    Figure 112015094819573-pat00018
    를 만족하는 임의의 점을 잇는 선분 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장하는 푸리에 변환방법.
  8. 제 1 항에 있어서,
    상기 집광효과 보정항 값을 호출하는 단계는, 상기 사용자의 동공 좌표에서 계산된 주기변수 값을 상기 일주기 값으로 나눈 나머지를 구하고, 상기 참조 테이블에 저장된 상기 주기변수 값들 가운데 상기 나머지에 가장 근접한 주기변수 값에 대응되는 상기 집광효과 보정항 값을 호출하는 푸리에 변환방법.
  9. 제 8 항에 있어서,
    상기 주기변수 값은 상기 제1 FFT 연산이 이루어진 사용자 동공좌표(u', v'_에서
    Figure 112015094819573-pat00019
    으로 결정되고 상기 일주기 값은
    Figure 112015094819573-pat00020
    으로 결정되는 푸리에 변환방법.
    (u'= 제1 FFT 연산이 이루어진 사용자 동공의 수평좌표, v'= 제1 FFT 연산이 이루어진 사용자 동공의 수직좌표, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
  10. 제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. CGH 이미지 생성을 위한 푸리에 변환을 수행하는 장치에 있어서,
    입력 이미지 데이터에 대해, 사용자의 망막 좌표에 대한 제1 FFT 연산을 수행하여 제1 중간 데이터를 생성하는 제1 FFT 연산부;
    상기 사용자의 동공에서 일어나는 집광효과를 보정하는 집광효과 보정항을 계산하여, 상기 제1 중간 데이터에 곱함으로써 제2 중간 데이터를 생성하는 집광효과 보정항 연산부; 및
    상기 제2 중간 데이터에 대해 상기 사용자의 동공 좌표에 대한 제2 FFT 연산을 수행하는 제2 FFT 연산부;를 포함하며,
    상기 집광효과 보정항 연산부는,
    상기 집광효과 보정항을 주기적으로 변화시키는 주기변수 값의 일주기 구간에 대해, 상기 집광효과 보정항을 계산하여 참조 테이블을 형성하고, 상기 제1 FFT 연산이 이루어진 상기 사용자의 동공 좌표에서 상기 주기변수 값을 계산하여, 상기 참조 테이블로부터, 상기 사용자의 동공 좌표에서 계산된 주기변수 값에 대응하는 상기 집광효과 보정항 값을 호출하고
    상기 집광효과 보정항은 사용자의 동공 좌표, 홀로그래픽 디스플레이 패널과 사용자의 동공 사이의 거리, 사용자의 동공과 망막 사이의 거리 및 홀로그래픽 디스플레이 패널 내부의 렌즈의 초점거리에 기초하여 계산되는 푸리에 변환장치.
  12. 제 11 항에 있어서,
    상기 집광효과 보정항 값은 상기 사용자의 동공 좌표에 의존하는 푸리에 변환장치.
  13. 제 11 항에 있어서,
    상기 집광효과 보정항의 값은 수학식 1에 따라 결정되는 푸리에 변환장치.
    Figure 112015094819573-pat00021
    ..... 수학식 1
    (u = 동공의 수평좌표, v = 동공의 수직좌표, C(u, v) = 집광효과 보정항, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
  14. 제 13 항에 있어서,
    상기 주기변수는 동공의 수평좌표 u와 동공의 수직좌표 v의 비선형 함수 값인 푸리에 변환장치.
  15. 제 14 항에 있어서,
    상기 주기변수는 u2 + v2 인 푸리에 변환장치.
  16. 제 11 항에 있어서,
    상기 집광효과 보정항 연산부는, (u, v) 평면에 있는 직선 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장하는 푸리에 변환장치.
    (u = 동공의 수평좌표, v = 동공의 수직좌표 )
  17. 제 16 항에 있어서,
    상기 집광효과 보정항 연산부는, (u, v) 평면에서 원점과,
    Figure 112015094819573-pat00022
    를 만족하는 임의의 점을 잇는 선분 상에서 u, v 값을 변화시키면서 상기 주기변수 값과 상기 집광효과 보정항 값을 계산하여 상기 참조 테이블에 저장하는 푸리에 변환장치.
  18. 제 11 항에 있어서,
    상기 집광효과 보정항 연산부는, 상기 사용자의 동공 좌표에서 계산된 주기변수 값을 상기 일주기 값으로 나눈 나머지를 구하고, 상기 참조 테이블에 저장된 상기 주기변수 값들 가운데 상기 나머지에 가장 근접한 주기변수 값에 대응되는 상기 집광효과 보정항 값을 호출하는 푸리에 변환장치.
  19. 제 18 항에 있어서,
    상기 주기변수 값은 상기 제1 FFT 연산이 이루어진 사용자 동공좌표(u', v'_에서
    Figure 112015094819573-pat00023
    으로 결정되고 상기 일주기 값은
    Figure 112015094819573-pat00024
    으로 결정되는 푸리에 변환장치.
    (u'= 제1 FFT 연산이 이루어진 사용자 동공의 수평좌표, v'= 제1 FFT 연산이 이루어진 사용자 동공의 수직좌표, λ= 광의 파장, d1 = 홀로그래픽 디스플레이 패널과 사용자 동공 사이의 거리, d2 = 사용자의 동공과 망막 사이의 거리, f = 홀로그래픽 디스플레이 패널 내부 렌즈의 초점거리)
KR1020150138001A 2015-09-30 2015-09-30 푸리에 변환을 수행하는 방법 및 장치 KR102464363B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150138001A KR102464363B1 (ko) 2015-09-30 2015-09-30 푸리에 변환을 수행하는 방법 및 장치
US15/268,932 US9965836B2 (en) 2015-09-30 2016-09-19 Method and apparatus for performing fourier transformation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150138001A KR102464363B1 (ko) 2015-09-30 2015-09-30 푸리에 변환을 수행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170038520A KR20170038520A (ko) 2017-04-07
KR102464363B1 true KR102464363B1 (ko) 2022-11-07

Family

ID=58409731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150138001A KR102464363B1 (ko) 2015-09-30 2015-09-30 푸리에 변환을 수행하는 방법 및 장치

Country Status (2)

Country Link
US (1) US9965836B2 (ko)
KR (1) KR102464363B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654862B1 (ko) 2016-08-31 2024-04-05 삼성전자주식회사 영상 처리 방법 및 장치
KR102664383B1 (ko) 2016-11-30 2024-05-08 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR102496376B1 (ko) 2017-10-13 2023-02-06 삼성전자주식회사 영상 데이터 처리 방법 및 장치
KR102581470B1 (ko) 2017-11-22 2023-09-21 삼성전자주식회사 영상 데이터를 처리하는 방법 및 장치
KR102637106B1 (ko) * 2018-09-27 2024-02-15 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 방법 및 장치
KR20200116318A (ko) * 2019-04-01 2020-10-12 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 장치 및 방법
US11287655B2 (en) * 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
CN111103758B (zh) * 2019-12-28 2022-01-28 中国科学院长春光学精密机械与物理研究所 一种振幅/位相混合型计算全息板及其制备方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974178A (en) * 1996-10-07 1999-10-26 Advantest Corporation Wavesource image visualization method using a partial division fast fourier transform
JP4191419B2 (ja) 2002-03-11 2008-12-03 浜松ホトニクス株式会社 計算機ホログラム作成装置および方法
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP2012008220A (ja) 2010-06-22 2012-01-12 Kwang Woon Univ Industry-Academic Collaboration Foundation ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
KR101926547B1 (ko) 2011-10-28 2018-12-10 삼성전자주식회사 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치
KR101841624B1 (ko) 2012-01-25 2018-03-26 삼성전자주식회사 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치
KR20130096872A (ko) 2012-02-23 2013-09-02 엘지전자 주식회사 홀로그래픽 디스플레이 장치 및 홀로그램을 생성하기 위한 방법
GB2509180B (en) * 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
KR101489823B1 (ko) 2013-04-18 2015-02-06 광운대학교 산학협력단 컴퓨터 생성 홀로그램의 고속 생성 장치
JP6223228B2 (ja) * 2014-02-26 2017-11-01 オリンパス株式会社 表示装置

Also Published As

Publication number Publication date
KR20170038520A (ko) 2017-04-07
US20170091916A1 (en) 2017-03-30
US9965836B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
KR102464363B1 (ko) 푸리에 변환을 수행하는 방법 및 장치
JP4971182B2 (ja) コンピュータ生成ビデオホログラムを計算する方法及びデバイス
US10088802B2 (en) Method and apparatus for processing holographic image
KR20130046535A (ko) 고속으로 3ｄ 홀로그램을 생성하는 방법 및 장치
KR102629583B1 (ko) 3차원 이미지를 처리하는 방법 및 장치
US10775742B2 (en) Method and apparatus for processing holographic image
EP3139278A1 (en) Apparatus and method of performing fourier transform
US10275849B2 (en) Image processing method and apparatus for performing two-dimensional fast Fourier transform with respect to image data
US20240027961A1 (en) Method and apparatus for generating computer-generated hologram
US10996627B2 (en) Image data processing method and apparatus
KR102664383B1 (ko) 영상 데이터 처리 방법 및 장치
US11561511B2 (en) Method and apparatus for generating hologram with wide viewing angle
CN109873999B (zh) 图像数据处理方法和装置
KR20220023953A (ko) Cgh를 처리하는 방법 및 시스템
EP3719581B1 (en) Method and apparatus for processing hologram image data
US10915989B2 (en) Apparatus and method of processing image data using IFFT

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant