KR100975349B1 - 3차원 영상 구현 시스템 및 그 방법 - Google Patents

3차원 영상 구현 시스템 및 그 방법 Download PDF

Info

Publication number
KR100975349B1
KR100975349B1 KR1020080014976A KR20080014976A KR100975349B1 KR 100975349 B1 KR100975349 B1 KR 100975349B1 KR 1020080014976 A KR1020080014976 A KR 1020080014976A KR 20080014976 A KR20080014976 A KR 20080014976A KR 100975349 B1 KR100975349 B1 KR 100975349B1
Authority
KR
South Korea
Prior art keywords
image
parallax
array
imaging
lens
Prior art date
Application number
KR1020080014976A
Other languages
English (en)
Other versions
KR20090050914A (ko
Inventor
신승호
서장일
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Publication of KR20090050914A publication Critical patent/KR20090050914A/ko
Application granted granted Critical
Publication of KR100975349B1 publication Critical patent/KR100975349B1/ko

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16BDEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
    • F16B7/00Connections of rods or tubes, e.g. of non-circular section, mutually, including resilient connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G21/00Chutes; Helter-skelters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상 구현 시스템 및 그 방법이 제공된다.
본 발명의 일 실시예에 따른 3차원 영상 구현 시스템은, 회절 격자를 구비하며, 2차원 디스플레이 판넬 상에 디스플레이되는 각각의 픽셀을 다수개의 점영상 배열로 결상하기 위한 결상 시스템; 및 상기 결상 시스템을 통해 형성된 시차영상 배열을 통해 3차원 디스플레이를 구현하기 위한 공간시차 분할기를 포함한다.
또한, 본 발명의 실시예에 따른 3차원 영상 구현 방법은, 2차원 디스플레이 판넬 상에 디스플레이되는 각각의 픽셀을 다수개의 점영상 배열로 결상함으로써 시차영상 배열을 형성하는 시차영상 배열 형성 단계; 및 상기 시차영상 배열 형성 단계를 통해 형성된 시차영상 배열을 이용하여 3차원 디스플레이를 구현하는 3차원 영상 구현 단계를 포함한다.
3차원, 영상, 파장 변조, 격자, 시차 영상 배열, 렌즈 배열, 핀홀 배열

Description

3차원 영상 구현 시스템 및 그 방법{System and method for generating 3D image}
본 발명은 3차원 영상 구현 시스템 및 그 방법에 관한 것으로써, 더욱 상세하게는, 파장 변조를 통하여 깊이 정보를 부가한 일반 해상도의 2차원 영상으로부터 격자를 이용하여 시차 영상 배열을 생성하고, 렌즈 배열 또는 핀홀 배열 등 공간시차분할기를 통하여 3차원 영상을 구현할 수 있도록 하기 위한 3차원 영상 구현 시스템 및 그 방법에 관한 것이다.
본 발명의 명세서에서 사용되는 3차원 영상 구현 관련 기술 용어는 다음과 같은 의미들로 사용되는 것으로 한다.
(1) 공간시차 생성(spatial parallax generation) 방식
- 공간시차 생성 방식은 렌티큘라(lenticular), 렌즈 어레이(lens array), 패럴랙스 배리어(parallax barrier), 무빙슬릿(moving slit), 프리즘 어레이(prism array) 등을 통하여 공간적으로 시차를 생성시켜 3차원 영상을 구현하는 방식으로 정의한다.
- 공간시차 생성 방식이 포함하는 기존의 방식들은 렌티큘라 방식, 패럴랙스 배리어 방식, 무빙슬릿 방식, 프리즘 어레이 방식, 집적결상법 등으로 한다.
- 공간시차 생성 시스템은 2차원적으로 배열된 영상 또는 픽셀그룹과 이를 바탕으로 하여 공간적으로 시차를 생성시키는 광학계로 구성되는데, 여기서 편의상 2차원적으로 배열된 영상 또는 픽셀그룹을 시차영상 배열(parallax image array)이라 하고, 개별적 영상을 기본 시차영상(elemental parallax image)이라 한다. 공간적으로 시차를 생성시키는 광학계, 렌티큘라, 패럴랙스 배리어, 무빙슬릿, 프리즘 어레이, 렌즈 어레이 등을 공간시차 분할기(spatial parallax separator)로 하고, 개별적 광학계를 기본 공간시차분할기(elemental spatial parallax separator)로 한다.
(2) 볼륨에트릭(volumetric method) 방식
- 볼륨에트릭 방식은 평면영상에 대한 빠른 공간적 스캔(scan)을 통해 눈의 잔상(after imaging)에 의해 전체 평면영상들이 공간적으로 한꺼번에 관찰되어 체적형태의 3차원적 영상을 구현하는 방식으로 한다.
- 볼륨에트릭 방식이 포함하는 기존의 방식들은 가변초점(variable-focal) 거울 또는 가변초점 렌즈등을 통한 방식, 무빙(moving) 거울 또는 무빙 렌즈를 통한 방식, 무빙 스크린(screen) 또는 회전 스크린 을 통한 방식, LCD 디스플레이 패 널의 적층을 통한 방식 등으로 한다.
도 1은 공간시차 생성 방식의 기본원리를 설명하기 위한 개념도이다.
공간시차 생성 방식은 시차 영상 배열과 공간시차 분할기로 구성된다. 특정 시점 또는 영역에서 관찰될 영상을 시점에 해당하는 영상으로 그 시점에 따라 분리하여 관찰되게 하는 방식이다.
시차 영상 배열에서의 각 기본 시차영상은 둘 이상의 픽셀들로 구성되며, 공간시차 분할기는 기본 시차영상 상의 픽셀의 공간시차 분할기에 대한 상대적 위치에 따라 해당 픽셀의 관찰 가능 각도를 결정한다. 이에 따라 공간시차 분할기와 적절한 색깔 및 밝기 정보를 갖는 픽셀들의 적절한 조합 및 배열(pixel group or elemental image)을 통하여 특정 시점 또는 관찰 영역에서 해당 영상만을 관찰할 수 있게 한다.
여기서 시차영상 배열의 경우, 시차영상 배열이 가질 수 있는 픽셀수의 한계에 따라 기본 시차 영상이 가지는 픽셀 수 또는 구성 방법을 달리할 수 있고, 공간 시차 분할기 또한 다양한 광학계로써 구현이 가능하다. 그리고 시차영상배열이 가져야하는 픽셀 수 또는 단위시간당 처리해야 하는 정보량은 다음과 같이 외안으로 재생패널을 통하여 관찰될 2차원적 영상의 픽셀 수, 즉, 기본 공간시차분할기의 총 개수와 각 기본 시차영상이 가질 픽셀 수의 곱에 해당한다.
Figure 112008012348268-pat00001
만약 외안으로 관찰될 픽셀수를 기존의 2차원 영상의 픽셀수로 한다면 다음의 <수학식 2>와 같고,
Figure 112008012348268-pat00002
이는 기존의 2차원 영상의 정보량에 기본시차영상이 가질 픽셀수를 곱한 것과 같다. 동영상을 목적으로 할 경우, 이와 같은 영상정보의 양을 단위시간당 처리해야 한다.
① 공간시차 분할기의 광학적 구현
- 렌즈 배열을 사용하는 방식
도 2는 공간시차 분할기로 렌즈 배열을 사용하는 방식을 나타낸 설명도이다.
렌즈 배열은 원통형 렌즈의 1차원적 배열인 렌티큘라와 2차원적 배열을 활용하는 것이 모두 가능하다.
렌티큘라를 사용하고 비교적 적은 수의 시점을 갖는 방식을 렌티큘라 방식이라 하고, 렌티큘라 또는 렌즈의 2차원적 배열을 사용하며 비교적 많은 수의 시점에 의해 거의 연속적 시점을 갖는 방식이 집적결상법에 해당한다.
본 방식의 경우, 필 팩터(fill factor)와 재생영상의 밝기가 높다는 등의 장점을 갖는 반면, 렌즈가 가질 수 있는 초점거리의 한계에 따라 나타나는 시야각이 좁아지고, 렌즈의 수차 등 렌즈의 성능의 문제로 나타나는 재생영상의 선명도 저하 등의 문제점을 갖고 있다.
도 3은 공간시차 분할기로 패럴랙스 배리어를 사용하는 경우를 나타낸 설명도이다.
패럴랙스 배리어로는 적정한 크기의 슬릿의 1차원적 배열 또는 핀홀의 2차원적 배열이 사용 가능하다.
시점의 수가 비교적 적은 경우를 패럴랙스 배리어 방식이라 하며, 시점의 수가 많아 거의 연속적인 경우를 집적결상법이라 한다.
슬릿의 틈이나 핀홀의 구멍 크기는 시점들 사이의 경계의 명료성과 관련되는데, 이는 다시 관찰 영상의 선명도와도 관련된다. 슬릿의 틈이나 핀홀의 구멍크기가 작아질수록 그 경계는 명료해지며, 시점의 수가 많을수록 작은 크기를 가져야 한다.
이와 같은 방식은 비교적 제작이 간단하고, 렌즈 배열을 사용하는 방식의 광학계가 갖는 수차와 같은 복잡한 영상의 저하 요인이 없고, 초점거리 등의 한계가 없어 비교적 시야각의 제한을 덜 받는다는 등의 장점이 있다.
그러나 빛의 차단을 통해 분리하는 방식이라 재생 상의 밝기가 어둡고, 특히 많은 시점 수를 가져 좁은 크기의 구멍이나 틈이 요구될 때 밝기에 있어서 큰 문제가 되며, 구멍이나 틈에 의한 회절 효과 때문에 재생영상의 선명도를 크게 떨어뜨릴 수 있다.
뿐만 아니라 슬릿이나 핀홀의 개수가 적을 경우, 낮은 fill factor 때문에 관찰자로 하여금 혼란스러움을 야기할 수 있다는 등의 문제점이 있다.
- 프리즘 배열을 사용하는 방식
도 4는 공간시차 분할기로써 프리즘 배열을 사용하는 경우를 나타낸 설명도이다.
프리즘 배열 또한 1.2차원적 배열이 모두 가능하다. 이 방식의 경우, 밝기 및 fill factor가 높고 렌즈 배열을 사용하는 방식에 비해 비교적 제작이 간단하다는 등의 장점이 있다.
그러나 시점의 수가 많아질 경우 프리즘의 면의 수가 많아져야 하는데, 충분히 많은 수의 시점을 갖게 될 경우 최종적으로 각 프리즘은 렌즈의 형태가 되고, 다시 렌즈 배열을 사용하는 방식에 해당하게 된다. 그리고 프리즘에 의한 색분산, 내부 반사 등에 의한 여러 문제점들을 갖고 있다.
② 기본영상 획득 및 구성
도 5는 공간시차 생성 방식에서 기본적인 시차 영상 배열 획득 및 구성 방법을 나타낸 설명도이다.
기본 시차 영상 배열 획득 및 구성은 프리즘 배열 등을 통하여 직접 획득하는 것도 가능하지만, 기본적으로 시차를 갖는 여러 지점에서 관찰된 영상을 획득하는 과정과 획득된 여러 영상을 조합하는 영상 혼합 과정으로 이루어진다.
카메라의 영상 획득 방향과 배열 또는 이동의 형태와 영상 혼합 과정은 여러 형태로써 가능한데, 주로 특정 관찰 시점에서 공간 시차 분할기를 통하여 특정 위치의 카메라로 획득한 영상만이 관찰될 수 있도록 이루어진다.
이와 같은 방식은 주로 시차 영상 배열을 표시할 액정 및 CRT 등 기존의 2D 디스플레이 패널의 해상도와 관련하여 비교적 적은 수의 픽셀로 시차영상 배열을 구성할 수 있어, 렌티큘라 방식, 프리즘 어레이 방식 또는 패럴랙스 배리어 방식 등 실용적 개발에 주로 적용되고 있는 방식이다.
그러나 이 같은 방식은 시점이 매우 제한된 수를 가진다. 이에 따라 최근 시점의 수를 늘려가려는 시도가 이루어지고 있다.
연속적 시점을 갖게 하기 위한 방식으로써 도 6과 같이 영상 획득 장치들로부터의 영상들을 혼합하지 않고, 회전 등의 변환 후 바로 배열하여 시차 영상 배열로 활용하는 방식이 있다.
이 같은 방식은 많은 수의 기본 시차영상을 기초로 하기 때문에 2D 디스플레이 패널의 매우 높은 해상도를 필요로 한다.
도 7은 이러한 방식을 기초로 하는 집적결상법의 기본 원리를 나타낸 설명도이다.
집적결상법은 1908년 Lipmmann에 의해 처음 발명되었는데, 시차 생성의 개념이 아닌 3차원적 결상의 개념으로 이해되어 왔다. 집적결상법은 주로 렌즈 배열이 시차분할기로 사용되는 경우를 대표로 하여 설명된다.
물체로부터 임의의 거리에 렌즈 배열이 위치할 경우, 각 기본 렌즈 후면에 작은 기본영상들이 결상되는데, 이 결상 과정은 각 기본렌즈의 중심을 지나는 광선에 대해서 가역적인 과정이다. 따라서, 결상된 기본영상 배열을 2차원 영상 획득 장치를 통하여 획득한 후 재생시 다시 이 기본영상 배열을 2차원 재생 패널에 표시하고, 기본영상 획득시와 같이 렌즈 배열을 적절한 거리에 위치시킴으로써 원래의 물체와 같이 3차원 영상을 재생하는 것이 가능하다.
최근 이러한 집적결상법에서의 방법에 해당하는 시차영상 배열 획득 및 구성 방법(방법 2)이, 렌티큘라 방식 또는 패럴랙스 배리어 방식 등에 적용되어 온 시차영상 배열 획득 및 구성 방법(방법 1)과 본질적으로 같은 방식이라는 사실이 연구된 바 있다.
방법 1과 방법 2는 기본 시차영상의 픽셀 수와 재생영상의 깊이 차이를 갖는 동일한 방식이다. 방법 1에서 적절한 깊이를 목표로 하고 기본 시차영상의 픽셀 수를 충분히 많게 해 주거나, 방법 2에서 방법 1의 재생영상과 같은 깊이의 재생영상을 목표로 하고 기본 시차 영상의 픽셀수를 적게 하였을 때, 픽셀 수를 줄이는 것 이 적정 수만큼의 픽셀들을 평균하는 것이 아니라 특정 픽셀들을 샘플링(sampling)하여 픽셀화(pixelize)하는 경우, 동일한 시차영상 배열이 된다.
이해 방식에 있어, 방법 1의 경우 재생영상에 관한 예측이나 재생시스템의 분석이 각 픽셀로부터의 개별적인 광선 추적을 통해 이루어지기 때문에 시점의 수가 많아짐에 따라 매우 복잡해 질 수 있고 개념적 추론이 힘든 반면, 집적결상법은 3차원적 결상을 바탕으로 하여 이해되고 있어 이론적 또는 개념적 추론에 있어 매우 편리하다는 장점이 있다.
- 볼륨에트릭 방식
스크린 또는 결상평면을 공간적으로 스캔함으로써, 또는 2D 디스플레이 패널들이 적층된 광학 시스템에서 디스플레이 되는 패널의 순차적 디스플레이 등을 통해서 체적 형태로 표현되는 3차원 영상을 구현하는 방식이다.
볼륨에트릭 방식은 2차원 평면영상의 공간적 스캔을 통해 이루어지므로, 3차원적으로 표현되는 정보는 도 8과 같이 표현하고자 하는 체적 내의 모든 단위 공간에 대한 평균 또는 대표되는 영상정보들이다. 물론, 모든 단위 공간에 대한 영상정보가 아니라 표현 대상의 표면에 대한 정보만을 압축 등을 통하여 영상 정보로써 저장할 수 있다.
그러나, 2차원 영상 재생 시 물체의 표면에 대한 정보 뿐아니라 공백의 공간 또한 포함되어야 하므로, 최종적으로 시간당 처리 속도에 관한 영상정보는 공백의 공간을 포함하는 모든 단위공간에 대한 영상정보가 된다.
따라서 단위 시간당 처리해야 하는 영상정보는 다음과 같이 2차원 영상이 갖는 정보와 주어질 깊이 분해능에 따른 정보량의 곱에 해당한다.
Figure 112008012348268-pat00003
중괄호 내의 정보량은 기존의 2차원 영상에 대한 정보량이다. 다음은 볼륨에트릭 방식의 광학적 구현의 예들이다.
- 무빙 스크린 방식
도 9는 무빙스크린을 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다.
특정 깊이에 스크린이 위치할 때, 그 위치에 표현되어야 할 2차원 영상을 영상 시스템을 통하여 스크린상에 영사되도록 하고, 스크린의 위치를 빠르게 바꾸어 스캔함으로써 눈의 잔상을 통해 체적을 갖는 3차원 영상으로 구현하는 방식이다. 이때, 스크린의 이동을 선형적 스캔이 아닌 회전시켜 스캔할 수도 있다.
이 방식은 시야각에 제한이 없으며, 여러 사람이 관찰 가능하다는 등의 큰 장점이 있는 반면, 구동에 있어 기계적 움직임이 필요하여 안정성이 낮으며, 구현이 매우 까다롭고 부피가 크다는 등의 단점이 있다.
- 무빙 렌즈 방식
도 10은 무빙렌즈를 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다.
2차원 영상을 렌즈 또는 렌즈 배열을 통하여 특정 깊이에 결상하고, 재생장치로부터 렌즈 사이의 거리를 빠르게 움직임으로써 결상 거리를 스캔하여 부피를 갖는 3차원 영상으로 재생하는 방식이다. 이때, 2D 영상재생은 결상될 2차원 영상의 깊이에 대응되는 영상으로 재생하기 위하여 렌즈의 움직임과 동기화 되어 영상이 바뀌어야 한다.
이 방식은 무빙 스크린 방식에 비해 렌즈의 기계적 움직임이 비교적 작아 구현이 편리한 반면, 렌즈의 결상을 통한 방식이기 때문에 시야각이 좁고, 기계적 움직임에 대한 요소가 없는 타 방식들에 비해서는 구현이 복잡하다는 단점이 있다.
여기서 기계적 움직임을, 렌즈와 2D 영상 재생장치 사이에 굴절률의 컨트롤이 가능한 적절한 매질을 삽입하고 굴절률의 조절로 대체할 수 있는데, 아직 관련기술이 충분한 수준을 갖지 못하고 있으며 시야각에 대한 문제는 그대로 있다.
본 방식에 있어서는 렌즈 대신 거울의 적용이 가능하다. 하지만 이 또한 당 방식의 장단점을 그대로 갖는다.
- 가변초점 렌즈 방식
도 11은 가변초점 렌즈를 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다.
본 방식은 2차원 영상을 특정 깊이에 결상하고 그 결상면의 공간적 스캔을 결상하는 렌즈의 초점거리를 변화시켜 이루어지게 하는 방식이다. 여기서 렌즈는 렌즈 배열의 형태를 가질 수 있다. 이와 같은 방식은 타 방식들에 비해 기계적 구동이 불필요하다는 큰 장점을 갖는다.
그러나 마찬가지로 결상에 의한 구현이므로 시야각의 제한을 받으며, 아직 가변초점 렌즈에 대한 기술이 활용 가능할 정도로 충분치 않다.
- 가변초점 거울 방식
도 12는 가변초점 거울을 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다.
이는 2차원 영상을 오목 또는 볼록 거울을 통하여 결상하고 결상면의 공간적 스캔을 거울의 초점거리를 변화시켜 이루어지게 하는 방식으로써, 주로 초점거리의 변화는 거울의 곡률을 변화시켜 이루어지게 한다.
이 방식은 렌즈를 통한 방식에 비해 초점거리를 짧게 할 수 있어 넓은 시야각을 가질 수 있고, 유연한(flexible) 막의 형태로 거울을 만들고 음파 등을 통하여 초점거리를 주기적으로 바꿀 수 있어 현실적 구현이 가능하다는 장점이 있는 반면, 재생장치의 부피가 크며 구현이 복잡하다는 단점이 있다.
그리고, 비교적 작으나 시야각의 제한을 갖고 있고 거울의 수차에 의한 영상의 질적 저하가 나타난다는 등의 문제점들 또한 작지 않은 단점들이다.
3차원 영상은 최근 들어 디스플레이 분야의 부흥에 더불어 차세대 디스플레이 방식의 하나로 크게 각광받고 있으며, 3차원 모니터, TV, 프로젝터, 게임기, 휴대폰 단말기 등에 적용되기 위해 많은 연구 및 개발이 이루어지고 있다.
그러나 대부분 응용들의 광학적 원리는 공간시차 생성 방식으로써 20세기 초반에 제시된 것들이고, 그 응용에 있어, 공간시차 생성 방식에서의 시차 영상 배열과 볼륨에트릭 방식에서 2차원 영상 재생을 필름이나 CRT 등이 아닌 프로젝터나 LCD 등을 통해 표시한다는 점 이외에는 광학적인 면에 있어 큰 발전이 없었다.
공간시차 생성 방식은 100년에 가까운 시간 동안 다양한 형태로 적용되어 왔고 그다지 큰 각광을 받지는 못했다. 시차 영상 배열이나 2차원 영상의 표시 매체가 디지털 매체로 바뀌었다는 점이 3차원 영상에 관한 부흥을 새롭게 할 것인가에 대해서는 상당한 미지수이다.
3차원 영상에 관한 응용들이 제공되는 차원 높은 영상에 비해 오랜 시간동안 큰 부흥이 없었던 이유로는, 시점의 제한 또는 재생영상의 낮은 해상도가 주요 원인이라는 것이 통설이다.
공간시차 생성 방식에서 제공되는 시점의 수와 재생영상의 해상도(고정된 시점에서 외안으로 관찰될 2차원적 해상도) 사이는 상호 교환관계(trade-off)에 있다.
기본적으로 공간 시차 분할기의 하나의 기본 공간 시차분할기가 관찰자에게 제공하는 광학적 정보는, 특정 시점에서 외안으로 관찰될 재생영상의 2차원적 영상에서 하나의 픽셀에 해당하게 된다. 그리고 기본 시차영상에서의 픽셀의 수는 공간시차 분할기 상의 하나의 기본 공간시차분할기를 통해 분해 가능한 각도의 수에 해당한다.
다시 말해, 공간시차 분할기 상의 기본 공간시차 분할기의 수, 즉, 기본 공간시차 분할기에 1대1로 배당되는 기본 시차 영상의 수는 외안으로 관찰할 경우의 재생영상의 해상도, 기본 시차 영상상의 픽셀 수는 시점에 수에 각각 대응된다. 따라서, 전체 시차영상 배열이 갖는 총 픽셀 수가 두 요소의 곱으로써 전체의 제한을 결정한다고 할 수 있다.
그러므로, 시점에 있어 자유로우며 충분한 해상도의 3차원 동영상 구현을 위해서는 시차영상 배열이 기본 공간 시차 분할기의 수에 제곱에 가까운 픽셀수를 가져야 한다. 왜냐하면, 일반적으로 집적결상법을 제외한 공간시차 생성 방식은 관찰자가 특정 시점에 위치하기 위해 특정 관찰 거리를 유지해야 하는데, 이 거리에서 벗어나더라도 자연스러운 영상을 관찰하기 위해서는 그와 같은 픽셀 수가 필요하기 때문이다.
따라서, 공간시차 생성 방식의 경우, 재생장치를 통하여 단위시간당 처리되어야 하는 정보량은 외안으로 관찰할 경우의 재생영상의 해상도와 기본 시차 영상상의 픽셀 수에 해당한다.
그리고 볼륨에트릭 방식에서는 표현하고자 하는 체적 내에서 분해 가능한 최 소 체적의 총 개수가 단위 시간당 재생 시스템을 통하여 처리되어야 하는 총 정보량이 된다. 비록 빈 공간에 대한 불필요한 정보에 대해서는 기억장치를 통하여 저장될 필요가 없으나, 재생을 위해서는 최종적으로 2차원 영상 재생장치를 통하여 표시되어야 한다. 따라서, 볼륨에트릭 3차원 영상 재생 장치를 통하여 단위 시간당 처리되어야 하는 정보량에 포함되어야 한다.
현재까지는 공간시차 생성 방식에서의 시차영상 배열 전체에 대한 영상과 볼륨에트릭 방식에서의 2차원 영상을 LCD나 CRT등을 통하여 표시하는 방식이었다.
그러나, 공간시차 생성 방식에서의 그와 같은 직접적인 표시로는 재생영상의 평면적 해상도에 있어 만족할 만한 재생을 위해 필요한 픽셀 수, 즉, 외안으로 관찰될 영상이 1000*1000의 2차원적 해상도를 갖게 하기 위해서는 full 패럴랙스를 목표로 할 경우, 당 해상도의 100만배, half 패럴랙스를 목표로 할 경우는 1000배의 픽셀수를 시차영상 배열 표시장치가 가져야 하며, 동영상 구현을 위해서는 기존의 2차원 영상재생장치의 초당 프레임(frame) 수를 유지해야 하므로, 시분할 방식 등의 적용을 통한 다른 응용으로 해결하고자 하더라도 단위 시간당 처리해야 하는 정보량은 기존의 2차원 영상 재생 시에 이루어지는 정보량의 1000배 내지 100만배에 해당한다.
볼륨에트릭 방식에서는 1000×1000×1000의 해상도를 갖는 체적의 3차원 상을 구현하고자 할 경우, 기존의 2차원 영상이 갖는 단위 시간당 정보처리량의 1000배의 속도를 가져야 한다. 이는 방법론적으로 매우 비효율적일 뿐만 아니라, 가까운 미래에 시차영상 배열의 표시를 위해 또는 볼륨에트릭 방식에서의 2차원 영상의 표시를 위해 당 픽셀수 또는 당 표시속도를 갖는 2D 디스플레이 장치가 개발될 수 있을 것이라는 것 또한 상당한 미지수이다.
따라서, 만족스러운 3차원 영상을 위해서는 기존의 직접적인 방식이 아닌 제 3의 방식이 필요한 시점이다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로써, 파장 변조를 통하여 깊이 정보를 부가한 일반 해상도의 2차원 영상으로부터 격자를 이용하여 시차 영상 배열을 생성하고, 렌즈 배열 또는 핀홀 배열 등 공간시차분할기를 통하여 3차원 영상을 구현할 수 있도록 하기 위한 3차원 영상 구현 시스템 및 그 방법을 제공함에 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기와 같은 목적을 달성하기 위한, 본 발명의 실시예에 따른 3차원 영상 구현 시스템은, 2차원 디스플레이 판넬 상에 디스플레이되는 각각의 픽셀을 다수개의 점영상 배열로 결상하기 위한 회절격자를 구비하는 결상 시스템 및 상기 결상 시스템을 통해 형성된 시차영상 배열을 통해 3차원 디스플레이를 구현하기 위한 공간시차 분할기를 포함한다.
여기서, 상기 공간시차 분할기는, 핀홀 배열, 렌즈 배열, 프리즘 배열, 렌티큘라의 군(群)에서 선택된 어느 하나 이상의 조합에 의해 구성되는 것이 좋다.
또한, 상기 회절격자는, 4f 시스템의 프라운호퍼 존(fraunhofer zone)에 배치되도록 구성되는 것이 바람직할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 3차원 영상 구현 시스템 및 그 방법은 다음과 같은 장점들을 갖는다.
1) 본 발명은 공간시차생성방법이나 볼륨에트릭 방식과는 달리 획기적인 최소한의 3차원적 정보만으로 3차원 영상을 구현할 수 있는 방법이다.
2) 통상적인 2차원영상 재생장치의 해상도를 이용하여 시점에 있어 자연스러운 3차원 영상을 구현할 수 있다.
3) 공간시차생성방법의 경우, 시차영상 배열의 해상도에 따라 재생영상의 해상도, 시점의 수, 시야각 등의 특성에 있어 크게 제한을 받는데, 본 발명은 시차영상 배열이 가질 해상도에 관한 제한이 없는 방식으로써 당 특성들의 제한을 최소화 할 수 있다.
4) 종래의 공간시차생성 방법의 경우, 기본시차영상 배열의 해상도에 관한 제한에 따라 동영상 구현이 현실적으로 불가능하였으나, 본 발명은 해상도에 관한 제한이 없어 동영상 구현이 가능하다.
5) 볼륨에트릭 방식의 경우, 기계적 움직임에 대한 요소가 필요하나. 본 발명은 기계적 움직임에 대한 요소가 없어 안정적이다.
6) 볼륨에트릭 방식의 경우, 재생과정에서 불필요한 공간에 대한 정보처리를 수반할 수밖에 없고, 이에 따라 동영상의 경우는 재생영상의 해상도가 낮아질 수밖에 없다. 본 발명에서는 불필요한 공간에 대한 정보처리를 수반하지 않음으로써 재생영상의 해상도 저하가 없다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있을 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 13은 본 발명의 전체적인 구성을 나타내고 있다.
각 픽셀이 자신의 깊이 정보에 대응하는 특정 파장의 빛을 발광하도록 깊이-파장 변조가 이루어진 2차원 디스플레이 판넬로부터 회절격자와 결상시스템를 통하여 충분한 수의 시차영상 배열을 생성하고, 공간시차 분할기를 통하여 3차원 디스플레이를 구현하는 방법이다.
2D 디스플레이 판넬 상의 한 픽셀은 회절 격자와 결상시스템을 통하여 여러 개의 점영상 배열로 결상되는데, 이 점영상들 사이의 간격이 당 픽셀이 갖는 파장에 의존하게 된다. 각 픽셀들이 해당 깊이 정보에 대응하는 파장의 빛을 발할 경우, 배열되는 점들의 분포는 각기 시차를 갖는 영상들의 배열 형태를 띠게 된다.
2D 디스플레이 판넬 상의 각 점이 발하는 빛은 단색광(monochromatic light)이어야 한다. 주어질 깊이 정보와 변조될 파장 사이의 대응관계는 회적격자와 결상시스템, 그리고 공간시차 분할기의 구성에 따라 임의의 함수관계를 가질 수 있다.
깊이-파장 변조 시스템 구성의 한 예로, 파장가변 다이오드레이저(tunable diode laser array) 등을 2차원 디스플레이 판넬로 구성하여 각 픽셀들로부터의 빛의 파장을 임의 깊이 정보에 대응하도록 조절하는 방법을 들 수 있다.
공간시차분할기의 경우, 핀홀 배열 또는 렌즈배열, 프리즘 배열, 렌티큘라 등, 기존의 모든 공간시차분할기의 적용이 가능하다.
1) 회절격자의 프라운호퍼 존(fraunhofer zone) 배치를 통한 시스템
도 14는 본 발명 시스템의 기본적인 형태로써, 회절격자를 4f 시스템의 푸리에(fourier) 변환 영역인 프라운호퍼 존에 위치시켜 시차영상 배열을 생성하고 3D 디스플레이를 구현하는 방법을 나타내고 있다. 렌즈 1의 앞 초점거리 위치에 파장-깊이 변조된 2D 디스플레이 판넬을 위치시키고, 뒤쪽의 초점거리에 회절격자를 위 치시킨다. 렌즈 2를 회절격자로부터 자신의 초점거리의 간격을 두어 위치시키고, 렌즈 2 뒤의 초점거리에 시차영상 배열이 결상되도록 한다. 시차영상 배열이 결상될 위치에는 디퓨저(diffuser) 등의 스크린을 위치시킬 수 있다. 결상된 시차영상 배열로부터 적정거리에 공간시차분할기를 위치시켜 3D 디스플레이를 구현한다. 여기서 회절격자는 다만격자(dammann grating), 마이크로렌즈어레이(micro lens array) 등 시스템의 효율성 등을 위해 따라 다양한 형태를 가질 수 있다.
도 15는 종래기술을 통한 시차영상 배열 획득 과정을 나타내고 있다. 획득 광학 시스템을 렌즈 배열로써 대표적으로 표현하였으나, 각 기본 렌즈는 카메라 배열을 통해 획득 할 경우의 카메라 렌즈에 해당할 수 있다. 물체 상의 한 점에 대한 시차영상 배열의 결상면 상의 결상점들의 분포는 기하학적 관계에 따라 다음과 같이 구할 수 있다.
Figure 112008012348268-pat00004
여기서 n은 0,1,2...의 정수이다. z0와 x0는 물체점의 광축(z축) 및 광축에 수직한 방향(x축)에 대한 위치이다. x축의 중심은 렌즈 배열의 위치이다. s0는 시차영상이 결상되는 면의 z축 방향으로의 위치이다. xen는 n번째 결상점의 x축 방향의 위치이다. pi는 i번째와 i-1번째 기본렌즈(또는 카메라 렌즈)들 사이의 거리이다.
여기서는 이상적인 결상 시스템으로써 다루기 위해 회절에 의한 영향은 무시하였다.
특정 깊이의 평면물체에 대한 시차영상 배열은 다음과 같이 물체정보 f(x0, z0)와 임펄스 응답의 컨벌루션이다.
Figure 112008012348268-pat00005
xe는 시차영상 배열의 결상면 상의 x축 위치이다. 깊이를 갖는 물체에 대한 시차영상 배열은
Figure 112008012348268-pat00006
와 같이 표현될 수 있다. 회절 효과를 무시할 경우, 임펄스 응답은 <수학식 4>로부터 다음과 같이 표현될 수 있다.
Figure 112008012348268-pat00007
따라서 깊이를 갖는 물체에 대한 시차영상 배열은 다시 다음과 같이 표현될 수 있다.
Figure 112008012348268-pat00008
그리고 식을 좀 더 간략히 정리하기 위해
Figure 112008012348268-pat00009
으로 할 경우,
Figure 112008012348268-pat00010
이고,
Figure 112008012348268-pat00011
이므로
Figure 112008012348268-pat00012
와 같이 정리될 수 있고, 여기서 다시 세기 성분 z0/s0을 생략할 경우,
Figure 112008012348268-pat00013
와 같이 정리될 수 있다. 따라서 시차영상 배열은
Figure 112008012348268-pat00014
의 간격을 갖는 델타함수 배열과 s0/z0의 비율로 축소변환된 물체 영상의 컨벌루션의 형태라 할 수 있다 .
특정 깊이 z0의 평면 물체에 대한 시차영상 배열은 <수학식 10>으로부터
Figure 112008012348268-pat00015
와 같이 표현될 수 있다.
- 회절격자에 의한 시차 영상 배열
도 16은 기본적인 형태의 격자를 나타내고 있다.
도 14에서 회절격자가 도 16과 같이 빛이 투과할 수 있는 반복적인 영역의 너비가 2a이고, 투과영역 사이의 거리가 2b라고 하고, 투과영역에 대한 함수를 사각함수인
Figure 112008012348268-pat00016
, 투과영역들의 배열에 대한 함수를
Figure 112008012348268-pat00017
로 하였을 때, 격자에 대한 함수
Figure 112008012348268-pat00018
는 다음과 같이 컨벌루션(convolution)의 형태로 표현할 수 있다.
Figure 112008012348268-pat00019
여기서 사각함수는 수학적으로 다음과 같이 정의되고,
Figure 112008012348268-pat00020
투과영역에 대한 함수는 델타함수(delta function)의 배열 형태로 다음과 같이 정의된다.
Figure 112008012348268-pat00021
<수학식 12>는 컨벌루션 정리에 따라 다음과 같이 정리될 수 있다.
Figure 112008012348268-pat00022
도 14에서 시차영상 배열이 결상되는 면에서의 점 물체에 대한 진폭(amplitude) 임펄스응답(impulse response)은 푸리에 렌즈를 통하여 다음과 같다.
Figure 112008012348268-pat00023
여기서 격자의 전체 크기와 푸리에 렌즈 1과 2의 구경에 대한 영향은 무시하였다. 두 함수의 푸리에 변환 항을 곱하고 절대치에 대해 제곱을 함으로써 다음과 같은 세기(intensity) 임펄스 응답을 얻을 수 있다.
Figure 112008012348268-pat00024
이때 x는 시차영상 배열의 결상면 상의 좌표이고, f는 렌즈 1과 2의 초점거리이다.
<수학식 17>에서 a가 충분히 작을 경우, sinc2 함수는 근사적으로 일정한 1의 값을 갖게 되고, N이 충분히 큰 경우, sin2 분수 항이
Figure 112008012348268-pat00025
의 간격을 갖는 델타 함수 배열로 근사될 수 있다. 2차원 영상 상의 좌표를 x0로 하고 시차영상 배열상의 좌표를 xe, 2차원영상에 대한 함수를 f'(x0, λ)로 하였을 경우, 결상된 영상 배열에 대한 함수 g'(xe)는 다음과 같다.
Figure 112008012348268-pat00026
<수학식 18>의 물체 함수 f'(x0, λ)를 <수학식 11>의 물체함수
Figure 112008012348268-pat00027
에 대응시킬 경우, <수학식 18>이 <수학식 11>과 같기 위해서는 다음과 같이 나머지 summation 부분이 같아야 한다.
Figure 112008012348268-pat00028
<수학식 11>과 <수학식 18>의 물체함수들의 대응에 있어, z0/s0 비율의 깊이에 따른 크기의 불일치는 재생 시 왜곡의 형태로 나타나는데, 이는 싱글렌즈(single lens) 등을 통하여 간단히 보정이 가능하다. 그리고 <수학식 19>가 성립하기 위한 조건은
Figure 112008012348268-pat00029
와 같다.
기본렌즈 또는 카메라 사이의 간격 P가 i에 따라 다를 경우, <수학식 20>에서의 우변의 한 변수를 i의 함수로 적용하여 성립시킬 수 있다. 논의의 편의를 위해 Pi가 P로 일정하다고 하면 <수학식 20>을 다음과 같이 단순화 할 수 있다.
Figure 112008012348268-pat00030
도 14에서와 같이 깊이 정보를 2D 디스플레이 판넬 상의 각 픽셀이 발하는 빛의 파장에 대응시킬 경우, 그 파장-깊이 변조 시 파장과 깊이의 대응관계는 다음과 같다.
Figure 112008012348268-pat00031
따라서, 깊이에 따른 크기의 왜곡을 감안할 때, <수학식 22>와 같은 조건하에서 회절격자를 통한 시차영상 배열 생성 및 3D 디스플레이 구현이 가능하다.
도 17은 <수학식 22>에서의 파장과 깊이 사이의 대응관계를 나타내고 있다. 도 17에서 대응 깊이가 불연속적인 영역에서 무한 값으로 점근한다. 이에 따라 변조시킬 파장 대역의 폭을 좁게 하면서도, 큰 깊이의 차를 만들 수 있다.
또한, 점근 위치는 P 또는 b의 조정을 통하여 변화시킬 수 있는데, 이를 통하여 변조하고자 하는 파장영역의 위치를 임의로 선택할 수 있다.
따라서 <수학식 10>과 같이 최종적으로 생성된 시차영상 배열은 다음과 같다.
Figure 112008012348268-pat00032
2) 회절격자의 프레넬 존(fresnel zone) 배치를 통한 시스템
(1) 결상렌즈 이전에 회절격자를 배치하는 시스템
도 14와 같이 회절격자를 프라운호퍼 존에 위치시켜 시차영상 배열을 생성하는 경우는 결상 시스템의 크기가 매우 커질 수 있고, 시차영상들 사이의 간격 조절이 쉽지 않다는 등의 단점이 있다. 도 18은 회절격자를 프레넬 존에 위치시켜 시차영상 배열을 생성하는 방법으로써, 회절격자를 결상렌즈 이전의 위치에 배치시킨 경우이다. 이 경우의 시차영상배열의 결상면상의 진폭 임펄스 응답은
Figure 112008012348268-pat00033
와 같다.
여기서 z1는 결상렌즈로부터 2D 디스플레이 판넬의 거리이고, z2는 결상렌즈로부터 시차영상 배열의 결상면까지의 거리이다. d는 결상렌즈로부터 회절격자까지의 거리이다.
상수 계수를 생략하면 세기 임펄스 응답은 다음과 같다.
Figure 112008012348268-pat00034
<수학식 17>의 경우와 마찬가지로, <수학식 25>에서 N이 충분한 수를 갖고 a가 충분히 작을 경우, <수학식 25>는 델타함수의 배열로 근사될 수 있다. 여기서 델타 함수 사이의 간격은
Figure 112008012348268-pat00035
이다. 기본렌즈 또는 카메라의 간격이 일정할 경우, 종래기술을 통한 시차영상 배열과의 대응관계는 다음과 같다.
Figure 112008012348268-pat00036
그리고 파장-깊이 변조를 위한 깊이와 파장 사이의 대응관계는
Figure 112008012348268-pat00037
와 같다.
여기서 d의 조절만을 통하여, 즉, 결상계의 조절을 통하지 않고 기본시차영상의 크기 변화 없이 기본 시차영상들 사이의 영상 간격만을 조절할 수 있다.
단, d가 0보다 작을 수 없으므로 d의 조절을 통하여 조절할 수 있는 기본영상 사이의 최대 간격은
Figure 112008012348268-pat00038
이다.
<수학식 25>로부터 결상렌즈나 결상에 활용되는 격자의 면적을 고려하지 않을 경우의 기본 영상의 해상도는 레일리 기준(rayleigh criterion)에 있어
Figure 112008012348268-pat00039
와 같다.
활용되는 격자의 면적은 렌즈의 구경 A와의 비례식에 의해
Figure 112008012348268-pat00040
와 같고, 격자 간격 2b에 의해 총 활용된 격자의 수는
Figure 112008012348268-pat00041
이다. 따라서 활용되는 격자의 면적이 고려된 해상도는 <수학식 30>으로부터
Figure 112008012348268-pat00042
와 같이 구할 수 있다. 격자에 의한 해상도가 격자의 위치 d에 관련되지 않는다. 렌즈에 의한 임펄스 응답은
Figure 112008012348268-pat00043
과 같고, 렌즈에 의한 레일리 기준에서의 해상도는 z2λ/A이다. 최종적인 기본 시차영상의 임펄스 응답은 격자에 의한 임펄스응답과 렌즈에 의한 임펄스응답의 컨벌루션이므로 최종적인 해상도는
Figure 112008012348268-pat00044
이다. 해상도를 기본 시차영상의 영역의 분해 가능한 수로 표현할 경우, 기본영상의 영역을 기본렌즈 사이의 간격 P로 하면,
Figure 112008012348268-pat00045
와 같다.
예로, A를 50mm, P를 1mm, λ를 0.5×10-3 mm, z2를 150mm로 하였을 경우, 분해 가능한 수는 333개이다. 즉, 본 조건에서 기본 시차영상의 표현 가능한 픽셀 수가 333개에 해당함을 뜻한다.
이는 연속시점의 3D 디스플레이 구현에 있어 충분한 해상도이다. 이와 같이 일반적인 결상 광학계를 활용하는 범위 하에서도 본 방법을 통하여 실용적 수준의 시차영상 배열 생성이 가능하다.
(2) 결상렌즈 이후에 회절격자를 배치하는 시스템
결상 시스템 구성상의 편의 또는 효율성 등을 위해 도 19와 같이 격자의 위치를 결상렌즈 뒤에 배치시켜 시차영상 배열을 생성하고 3D 디스플레이를 구현하는 방법이 가능하다.
본 방법은 특히, 2D 영상을 축소 결상하기 위해 결상 렌즈로부터의 시차영상 배열의 결상면이 2D 디스플레이 판넬보다 가까이 있을 때, 격자의 작은 움직임으로 시차영상들 사이의 간격을 쉽게 조절하기 위해 활용될 수 있다.
이와 같은 방식이 적용된 본 발명의 실시예에 따른 3차원 영상 구현 시스템의 특성은 도 18에 도시한 시스템의 특성과 거의 동일하다.
(3) 결상 광학계 내에 회절격자를 배치하는 시스템
도 20은 회절격자를 결상 광학계의 중간에 배치하는 경우이다. 본 방법 또한 시스템 구성상의 편의 또는 효율성, 시차영상들 사이의 간격 조절의 편의성 등을 위한 응용으로써 가능하다. 특히 회절격자의 회절 특성이 입사각에 영향을 받을 경우, 입사각의 범위 조절을 위한 방법으로써 응용이 가능하다.
(4) 다중의 회절격자가 적용되는 시스템
고차회절에 있어 효율이 낮은 회절격자를 통하여 많은 수의 시차영상들을 갖는 배열을 생성하고자 하는 방법으로 회절격자를 다중으로 적용하는 방법이 가능하다.
도 21은 결상렌즈 이전에 두 개의 회절격자가 적용된 경우를 나타내고 있다. 도 21과 달리 회절격자를 결상렌즈 이후나 결상 광학계 내 또는 각기 다른 위치에 배치될 수 있다. 아래 내용은 도 21과 같이 결상렌즈 이전에 두 개의 회절격자가 적용된 경우에 대한 대표적인 기본원리이다.
도 21에서 U1(ε)과 U2(η)는 회절격자에 대한 함수이다. d1은 결상렌즈로부터 U1(ε) 격자의 거리이고, d2는 U1(ε) 격자로부터 U2(η) 격자까지의 거리이다. 본 시스템의 진폭 임펄스 응답은 연산자 방법에 의해 다음과 같이 표현될 수 있다.
Figure 112008012348268-pat00046
Q[]는 2차 위상지수에 의한 곱셈 연산자로써 다음과 같이 정의되고
Figure 112008012348268-pat00047
v[]는 상수 곱셈 연산자로써 다음과 같이 정의된다.
Figure 112008012348268-pat00048
그리고 F는 푸리에 변환 연산자로써 다음과 같이 정의되고,
Figure 112008012348268-pat00049
R[]은 자유공간 전파 연산자로써 다음과 같이 정의된다.
Figure 112008012348268-pat00050
<수학식 37>은 연산자들의 정리를 통하여 다음과 같이 간략히 정리될 수 있 다.
Figure 112008012348268-pat00051
K는 임의로 정의된 상수이다.
<수학식 42>의 컨벌루션 연산자 이전의 중괄호 내의 함수는 <수학식 24> 상수 진폭 성분과 상수 위상성분을 제외한 적분 함수와 같다. 그리고 컨벌루션 연산자 이후의 중괄호내의 함수는 이전의 함수의 d1대신 d1+d2로 치환된 결과와 같다.
따라서, 도 21에서 d1거리에 U1(ε) 격자만 있을 경우의 결상 결과와 d1+d2 거리에 있는 U2(η) 격자만의 결과의 컨벌루션의 형태가 최종적인 결상의 결과가 된다.
다시 말해 U1(ε)에 대한 푸리에 변환 결과를 z1/{λ·z2(z1-d1)}의 비율로 크기 변환한 것과, U2(η)를 z1/{λ·z2(z1-d1-d2)}의 비율로 크기 변환한 것의 컨벌루션 결과에 해당한다.
그러므로, 도 21과 같이 회절격자 두 개를 쓴 경우, d1과 d2의 적절한 조절을 통하여 회절격자를 하나만 쓴 경우에 비해 최대 제곱 배 개수의 시차영상 배열을 생성할 수 있다. 그리고 임펄스 응답이 각 격자에 의한 임펄스 응답의 컨벌루션 결과라는 점은 두 격자에 의한 해상도의 합, 즉, λz2/A의 두 배인 2λz2/A가 두 격자에 의한 해상도가 됨을 말한다.
렌즈에 의한 해상도를 추가하여 고려할 경우, 총 해상도는
Figure 112008012348268-pat00052
와 같고, 따라서 기본영상이 가질 수 있는 분해 가능한 수는
Figure 112008012348268-pat00053
에 해당하게 된다.
그리고 각 격자에 의한 임펄스 응답을 델타함수의 배열로 표현할 때, 결상렌즈로부터 첫째 회절격자의 거리를 d1, 둘째 회절격자의 거리를 d2 그리고 β번째 회절격자의 거리를 dβ라고 하면, 임펄스 응답은 다음과 같다.
Figure 112008012348268-pat00054
사용된 격자의 수가 β개일 경우, 총 생성되는 최대 시차영상의 개수는 단일 격자에 의한 개수의 β승의 개수가 된다. 그리고 이에 따른 해상도와 기본영상의 분해가능한 수는 각각 다음과 같다.
Figure 112008012348268-pat00055
따라서, 다중의 회절격자를 활용함으로써, 사용된 격자의 수에 반비례하는 분해능의 손실로 생성되는 시차영상의 수는 기하급수적으로 높일 수 있다.
(5) 2D 디스플레이 영상의 재결상 과정이 적용되는 시스템
매우 작은 크기의 기본시차영상이 요구될 경우, 시스템 구성의 한계 때문에 2D 디스플레이 영상 자체의 크기가 매우 작아져야 할 경우가 있다. 2D 디스플레이 영상을 시차영상 생성 광학계에 직접적으로 적용하지 않고, 도 22와 같이 2D 디스플레이 영상을 재결상하여 결상된 영상을 기존의 시스템에서의 2D 디스플레이 영상으로 대응시킴으로써 기존의 결상 광학계의 조절 없이 기본시차영상의 크기를 조절할 수 있다.
3)블록킹 슬릿(blocking slit)을 통한 기본시차영상 사이의 중 첩(overlapping) 현상 제거 방법
시차영상들 사이의 간격에 비해 기본시차영상의 크기가 클 경우, 시차영상들 사이에 중첩이 생길 수 있다. 이 중첩을 제거하는 방법으로 물체에 평행광을 입사시키고 결상 광학계의 프레넬 영역에 적절한 구경의 블록킹 슬릿을 위치시키는 것이다.
(1) 프레넬 영역 상에 회절격자가 배치되는 시스템 1, 기본원리
도 23과 같이 물체에 평행광을 입사시키고 격자와 결상렌즈 사이에 적절한 구경의 블록킹 슬릿을 두는 방법이 유용할 수 있다.
db는 블록킹 슬릿으로부터 격자까지의 거리이다. zd는 회절격자로부터 재결상된 2D 디스플레이 영상 및 회절격자에 의한 허상들까지의 거리이다. 그리고 dp는 허상들로부터 평행광이 결상렌즈에 의해 초점이 맺는 부분까지의 거리이다. δs는 평행광의 초점에 대한 허상들 사이의 간격이다.
결상될 시차영상 배열은 회절격자에 의해 생성된 허상들을 z2/z1의 비율로 크기를 변형한 형태를 갖기 때문에, 본 시스템을 통한 블록킹 특성은 편의상 허상들을 통하여 분석하였다.
도 24는 도 23에 도시된 시스템을 통하여 생성될 시차영상 배열의 형태로써 크기는 격자에 의한 허상 배열의 크기를 나타낸다.
δ0는 기본 허상들 사이의 간격이고 δb는 블록킹 슬릿에 의해 결정되는 기본 허상의 영역 사이의 간격, aE0는 기본 허상 영역의 크기이다. 기본 허상들 사이의 간격은 <수학식 26>에 허상 배열과 시차영상 배열의 크기비율의 역수인 z1/z2을 곱한 결과이므로 다음과 같다.
Figure 112008012348268-pat00056
평행광의 초점에 대한 허상들 사이의 간격은 다음과 같다.
Figure 112008012348268-pat00057
기본 허상의 영역들 사이의 간격은 기하학적 비례관계와 <수학식 48>을 통하여 다음과 같다.
Figure 112008012348268-pat00058
그리고 기본 허상 영역의 크기는 기하학적 관계에 따라 다음과 같다.
Figure 112008012348268-pat00059
여기서 τ는 블록킹 슬릿의 크기이다.
블록킹을 위한 조건의 한 예로, 시차영상 영역들 사이의 간격과 기본 시차영상 영역의 크기를 갖게 하기 위한 시스템의 조건은 <수학식 49>와 <수학식 50>에 의해 다음과 같다.
Figure 112008012348268-pat00060
(2) 프레넬 영역 상에 회절격자가 배치되는 시스템 2
도 25와 같이 2D 디스플레이 판넬을 회절격자와 평행광의 초점 사이에 위치시키는 방법 또한 가능하다.
(3) 프레넬 영역 상에 회절격자가 배치되는 시스템 3
도 26과 같이 2D 디스플레이 판넬이 시스템 1 또는 2에서의 위치를 가질 두 경우에 대해, 블록킹 슬릿을 결상 렌즈와 시차영상 배열 사이에 위치시키는 방법 또한 가능하다.
(4) 프라운호퍼 영역 상에 회절격자가 배치되는 시스템
프라운호퍼 영역 상에 회절격자가 배치되는 시스템의 경우, 2D 디스플레이 판넬에 평행광을 입사시키고 블록킹 슬릿을 도 27의 (1)의 위치와 같이 2D 디스플레이 판넬과 렌즈 1 사이 또는 (2)의 위치와 같이 렌즈 1과 회절격자 사이, (3)의 위치와 같이 회절 격자와 렌즈 2 사이, (4)의 위치와 같이 렌즈 2와 시차영상 배열 사이에 배치시킴으로써 중첩현상을 제거할 수 있다.
4) 다만 격자(dammann grating)와 마이크로 렌즈 배열(micro-lens-array)을 통한 시차영상 배열의 밝기 균일화 방법
도 28의 (a)와 같이 블록킹(blocking)이나 (b)와 같이 파면 변조(phase modulation)를 일정한 간격으로 주어 제작된 일반적인 격자를 통한 임펄스 응답은 도 28에서의 점선과 같이 델타함수(근사적) 배열이 <수학식 17>과 <수학식 25>로부터 알 수 있듯이 sinc2 함수의 세기 분포를 갖는다. 이에 따라 생성되는 시차영상 배열도 전체적으로 sinc2 함수의 경향으로 고르지 못한 밝기 분포를 갖게 된다.
(1) 다만 격자를 통한 시차영상 배열의 밝기 균일화 방법
일반격자 대신 다만격자를 활용하는 방법이 효과적일 수 있다. 그림 29는 다만 격자에 의한 임펄스 응답을 나타내고 있다. 다만 격자 또한 블록킹 또는 파면 변조를 통해 제작이 가능하다.
다만격자는 일반적으로 그림과 같이 회절효율이 낮아 생성되는 배열의 밝기가 0차 회절 무늬에 비해 낮다. 0차 회절 즉, 회절되지 않은 부분의 밝기를 낮추거나 블록킹하여 활용하지 않을 경우, 고른 분포의 밝기를 형성하는 다만 격자의 활용은 효과적일 수 있다.
(2) 마이크로 렌즈 배열을 통한 시차영상 배열의 밝기 균일화 방법
- 격자대신 마이크로 렌즈 배열 자체를 사용하는 방법
일반적인 격자 대신 도 30과 같이 마이크로 렌즈 배열을 사용하는 방법이 효과적일 수 있다. 마이크로 렌즈 배열은 볼록 또는 오목렌즈로 구성된 것 모두가 활용가능하다.
일반적으로 마이크로 렌즈 배열은 입사광의 밝기 분포를 일정하게 하는 호모지나이저(homogenizer)로 많이 활용된다.
본 발명의 실시예에 따른 3차원 영상 구현 시스템에서는 마이크로 렌즈 배열의 각 기본렌즈에 의해 기하학적으로 입사광을 고른 밝기 분포로 확산시키고, 각 기본렌즈로부터 확산하는 빛은 서로 간에 간섭을 일으켜 그림 30과 같은 분포의 델타함수 배열을 생성하게 된다. 즉, 각 기본렌즈는 입사광의 파면 변조를 하고, 기본렌즈들의 배열은 격자의 역할을 하게 되는 결과와 같고, 여기서의 렌즈에 의한 파면 변조가 세부적인 회절무늬인 델타함수 배열 전체의 분포를 고르게 하는 것이다.
- 일반격자와 마이크로 렌즈 배열을 혼용하는 방법
회절격자 특성의 효율성을 위해 일반격자와 마이크로 렌즈 배열을 혼용하는 방법 또한 가능하다.
- 다만격자와 마이크로 렌즈 배열을 혼용하는 방법
회절격자 특성의 효율성을 위해 다만격자와 마이크로 렌즈 배열을 혼용하는 방법 또한 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이 며 한정적이 아닌 것으로 이해되어야만 한다.
도 1 내지 도 12는 종래 기술에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.
도 13 내지 도 30은 본 발명의 실시예에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.

Claims (16)

  1. 회절 격자를 구비하며, 2차원 디스플레이 판넬 상에 디스플레이되는 각각의 픽셀을 다수개의 점영상 배열로 결상하기 위한 결상 시스템; 및
    상기 결상 시스템을 통해 형성된 시차영상 배열을 통해 3차원 디스플레이를 구현하기 위한 공간시차 분할기를 포함하되,
    상기 결상 시스템은, 1차 결상된 2D 디스플레이 영상을 입력 영상으로 이용하여 이를 재결상하도록 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.
  2. 제 1 항에 있어서,
    상기 결상 시스템은 하나 이상의 결상 렌즈를 구비하되, 상기 회절격자는 상기 결상렌즈의 이전 또는 이후에 배치 가능한 것을 특징으로 하는 3차원 영상 구현 시스템.
  3. 제 1 항에 있어서,
    상기 결상 시스템은 둘 이상의 결상 렌즈를 구비하되, 상기 회절격자는 상기 둘 이상 결상렌즈의 사이 공간에 배치 가능한 것을 특징으로 하는 3차원 영상 구현 시스템.
  4. 제 1 항에 있어서,
    상기 결상 시스템은 하나 이상의 결상 렌즈 및 둘 이상의 회절격자를 구비하되, 상기 둘 이상의 회절격자는 상기 결상렌즈의 이전 또는 이후에 배치 가능한 것을 특징으로 하는 3차원 영상 구현 시스템.
  5. 제 1 항에 있어서,
    상기 결상 시스템은 둘 이상의 결상 렌즈 및 둘 이상의 회절격자를 구비하되, 상기 둘 이상의 회절격자는 상기 둘 이상 결상렌즈의 사이 공간에 배치 가능한 것을 특징으로 하는 3차원 영상 구현 시스템.
  6. 삭제
  7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 결상 시스템은, 물체에 평행광을 입사시켜 형성되는 결상 광학계의 프레넬 영역 내에 구비됨으로써 영상의 중첩을 제거하기 위한 블록킹 슬릿을 더 포함하는 것을 특징으로 하는 3차원 영상 구현 시스템.
  8. 제 7 항에 있어서,
    상기 블록킹 슬릿은, 결상 렌즈와 시차영상 배열 사이, 2D 디스플레이 판넬과 렌즈 사이 또는 렌즈와 회절격자 사이에 배치 가능한 것을 특징으로 하는 3차원 영상 구현 시스템.
  9. 제 1 항에 있어서,
    상기 공간시차 분할기는, 핀홀 배열, 렌즈 배열, 프리즘 배열, 렌티큘라의 군(群)에서 선택된 어느 하나 이상의 조합에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.
  10. 제 9 항에 있어서,
    상기 회절격자는, 4f 시스템의 프라운호퍼 존(fraunhofer zone)에 배치되는 것을 특징으로 하는 3차원 영상 구현 시스템.
  11. 제 10 항에 있어서,
    상기 결상 시스템은, 시차 영상 배열의 밝기 균일화를 위한 일반 격자, 다만 격자(dammann grating) 또는 마이크로 렌즈 배열(micro-lens-array) 가운데 어느 하나 이상을 더 포함하는 것을 특징으로 하는 3차원 영상 구현 시스템.
  12. 2차원 디스플레이 판넬 상에 디스플레이되는 각각의 픽셀을 다수개의 점영상 배열로 결상함으로써 시차영상 배열을 형성하는 시차영상 배열 형성 단계; 및
    상기 시차영상 배열 형성 단계를 통해 형성된 시차영상 배열을 이용하여 3차원 디스플레이를 구현하는 3차원 영상 구현 단계를 포함하되,
    상기 시차영상 배열 형성 단계에 적용되는 회절격자는, 4f 시스템의 프라운호퍼 존(fraunhofer zone)에 배치되는 것을 특징으로 하는 3차원 영상 구현 방법.
  13. 제 12 항에 있어서,
    상기 시차영상 배열 형성 단계는, 물체에 입사되는 평행광과 결상 광학계의 프레넬 영역 내에 구비되는 블록킹 슬릿을 이용함으로써 영상의 중첩을 제거하기 위한 중첩 영상 제거 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 구현 방법.
  14. 제 12 항에 있어서,
    상기 시차영상 배열 형성 단계는, 일반 격자, 다만 격자(dammann grating) 또는 마이크로 렌즈 배열(micro-lens-array) 가운데 어느 하나 이상의 조합을 이용함으로써 시차 영상 배열의 밝기를 균일화 시키기 위한 밝기 균일화 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 구현 방법.
  15. 제 12 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 3차원 영상 구현 단계에 적용되는 공간시차 분할기는, 핀홀 배열, 렌즈 배열, 프리즘 배열, 렌티큘라의 군(群)에서 선택된 어느 하나 이상의 조합에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 방법.
  16. 삭제
KR1020080014976A 2007-11-16 2008-02-19 3차원 영상 구현 시스템 및 그 방법 KR100975349B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070117569 2007-11-16
KR1020070117569 2007-11-16

Publications (2)

Publication Number Publication Date
KR20090050914A KR20090050914A (ko) 2009-05-20
KR100975349B1 true KR100975349B1 (ko) 2010-08-11

Family

ID=40859297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014976A KR100975349B1 (ko) 2007-11-16 2008-02-19 3차원 영상 구현 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100975349B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130139706A (ko) * 2012-06-13 2013-12-23 삼성전자주식회사 복합 공간 광 변조기 및 이를 포함한 홀로그래픽 3차원 영상 표시 장치
CN102929048B (zh) * 2012-11-14 2017-02-08 中航华东光电有限公司 能同时兼容2d与3d的液晶狭缝光栅
CN104460014B (zh) * 2014-12-17 2016-08-24 成都工业学院 一种基于渐变针孔阵列的集成成像3d显示装置
CN106405853A (zh) * 2016-11-29 2017-02-15 武汉华星光电技术有限公司 一种立体显示装置
US11480917B2 (en) * 2019-11-26 2022-10-25 Sangmyung University Industry-Academy Cooperation Foundation Method and apparatus for reconstructing three-dimensional image by using diffraction grating
CN114217456B (zh) * 2021-12-31 2024-04-12 浙江全视通科技有限公司 一种3d成像***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146349A (ja) * 1994-11-24 1996-06-07 Toppan Printing Co Ltd 立体像表示装置
KR20040055014A (ko) * 2002-12-20 2004-06-26 한국과학기술원 다중채널 위상천이 모아레 기법을 이용한 3차원 형상측정기
JP2005326192A (ja) * 2004-05-13 2005-11-24 Canon Inc 3次元形状測定装置
JP2007212781A (ja) * 2006-02-09 2007-08-23 Sony Corp 3次元像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146349A (ja) * 1994-11-24 1996-06-07 Toppan Printing Co Ltd 立体像表示装置
KR20040055014A (ko) * 2002-12-20 2004-06-26 한국과학기술원 다중채널 위상천이 모아레 기법을 이용한 3차원 형상측정기
JP2005326192A (ja) * 2004-05-13 2005-11-24 Canon Inc 3次元形状測定装置
JP2007212781A (ja) * 2006-02-09 2007-08-23 Sony Corp 3次元像表示装置

Also Published As

Publication number Publication date
KR20090050914A (ko) 2009-05-20

Similar Documents

Publication Publication Date Title
US8264772B2 (en) Depth and lateral size control of three-dimensional images in projection integral imaging
Stern et al. Three-dimensional image sensing, visualization, and processing using integral imaging
JP3518720B2 (ja) 方向性ディスプレイおよび方向性ディスプレイ用のマスクを製造する方法
KR100975349B1 (ko) 3차원 영상 구현 시스템 및 그 방법
US20050179868A1 (en) Three-dimensional display using variable focusing lens
US10469837B2 (en) Volumetric display
KR102446443B1 (ko) 홀로그래픽 영상 디스플레이 장치 및 이의 제어 방법
US20120127570A1 (en) Auto-stereoscopic display
WO2003001281A1 (en) Method, apparatus, and diffuser for reducing laser speckle
US11546574B2 (en) High resolution 3D display
Gao et al. 360 light field 3D display system based on a triplet lenses array and holographic functional screen
US6212007B1 (en) 3D-display including cylindrical lenses and binary coded micro-fields
Okui et al. Moiré fringe reduction by optical filters in integral three-dimensional imaging on a color flat-panel display
KR100932560B1 (ko) 3차원 시차 영상 획득 시스템
CN1598690A (zh) 分屏式立体摄影、投影仪
CN113325601B (zh) 一种高视点密度光场立体显示装置
Su et al. Improvement of printing efficiency in holographic stereogram printing with the combination of a field lens and holographic diffuser
KR100901352B1 (ko) 3차원 영상 구현 시스템 및 그 방법
Eichenlaub Multiperspective look-around autostereoscopic projection display using an ICFLCD
JP3080777B2 (ja) 投写型立体表示装置
CN112666785B (zh) 定向投影设备及定向投影方法
JP5205339B2 (ja) 立体像表示装置
Yamauchi et al. Light Field Display Using Wavelength Division Multiplexing
JP2005172965A (ja) レンズアレイ素子および表示素子、並びに立体画像撮影装置および立体画像表示装置
Muenzel et al. Lens-Enhanced Layered 3D Displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee