KR100901352B1 - System and method for generating 3D image - Google Patents

Abstract

3차원 영상 구현 시스템 및 그 방법이 제공된다.Provided are a 3D image realization system and a method thereof.

본 발명의 실시예에 따른 3차원 영상 구현 시스템은, 2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 장치, 상기 깊이 변조 장치에 의해 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 장치 및 상기 깊이 생성 장치에 의해 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 장치를 포함하되, 상기 깊이 확대 장치는 광학적 결상 장치에 의해 구성되는 것을 특징으로 한다.According to an embodiment of the present invention, a three-dimensional image implementation system includes a depth modulation device for applying depth information to a 2D display panel, a depth generating device for converting depth information applied by the depth modulation device into optical spatial depth, and the And a depth magnification device for enlarging the spatial depth converted by the depth generating device to a predetermined size, wherein the depth magnification device is configured by an optical imaging device.

또한, 본 발명의 실시예에 따른 3차원 영상 구현 방법은, 2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 단계, 상기 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 단계; 및 상기 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 단계를 포함하되, 상기 깊이 변조 단계는, 특정 파장의 광을 선택적으로 조명하기 위한 조명광의 파장 스캐닝 단계 및 상기 선택된 특정 파장의 광 가운데 특정 깊이의 영상을 선택하여 재생하기 위한 깊이 영상 스캐닝 단계를 포함하는 것을 특징으로 한다.In addition, the three-dimensional image implementation method according to an embodiment of the present invention, the depth modulation step for applying the depth information to the 2D display panel, the depth generation step of converting the applied depth information to the optical spatial depth; And a depth enlargement step for enlarging the converted spatial depth to a predetermined size, wherein the depth modulation step includes: scanning a wavelength of illumination light for selectively illuminating light of a specific wavelength and specifying light of the selected specific wavelength And a depth image scanning step for selecting and playing back an image having a depth.

3차원 영상, 구현, 깊이 변조, 깊이 생성, 깊이 확대 3D imagery, implementation, depth modulation, depth generation, depth expansion

Description

3차원 영상 구현 시스템 및 그 방법{System and method for generating 3D image}3D image realization system and its method {System and method for generating 3D image}

도 1 내지 도 12는 종래 기술에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.1 to 12 are explanatory diagrams showing a 3D image realization system and a method thereof according to the prior art.

도 13 내지 도 43은 본 발명의 실시예에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.13 to 43 are explanatory diagrams showing a 3D image realization system and a method thereof according to an embodiment of the present invention.

본 발명은 3차원 영상 구현 시스템 및 그 방법에 관한 것으로써, 더욱 상세하게는, 최소한의 3차원적 정보만으로 3차원 영상을 구현할 수 있도록 하기 위한 3차원 영상 구현 시스템 및 그 방법에 관한 것이다.The present invention relates to a three-dimensional image implementation system and method, and more particularly, to a three-dimensional image implementation system and method for implementing a three-dimensional image with a minimum of three-dimensional information.

본 발명의 명세서에서 사용되는 3차원 영상 구현 관련 기술 용어는 다음과 같은 의미들로 사용되는 것으로 한다. Technical terms related to the 3D image implementation used in the specification of the present invention are to be used in the following meanings.

(1) 공간시차 생성(spatial parallax generation) 방식 (1) Spatial parallax generation

-　공간시차 생성 방식은 렌티큘라(lenticular), 렌즈 어레이(lens array), 패럴랙스 배리어(parallax barrier), 무빙슬릿(moving slit), 프리즘 어레이(prism array) 등을 통하여 공간적으로 시차를 생성시켜 3차원 영상을 구현하는 방식으로 정의한다. Spatial parallax generation method generates spatial parallax through lenticular, lens array, parallax barrier, moving slit, prism array, etc. It is defined as the method of implementing the dimensional image.

-　공간시차 생성 방식이 포함하는 기존의 방식들은 렌티큘라 방식, 패럴랙스 배리어 방식, 무빙슬릿 방식, 프리즘 어레이 방식, 집적결상법 등으로 한다.Existing methods included in the 생성 spatial parallax generation method include a lenticular method, a parallax barrier method, a moving slit method, a prism array method, and an integrated imaging method.

- 공간시차 생성 시스템은 2차원적으로 배열된 영상 또는 픽셀그룹과 이를 바탕으로 하여 공간적으로 시차를 생성시키는 광학계로 구성되는데, 여기서 편의상 2차원적으로 배열된 영상 또는 픽셀그룹을 시차영상 배열(parallax image array)이라 하고, 개별적 영상을 기본 시차영상(elemental parallax image)이라 한다. 공간적으로 시차를 생성시키는 광학계, 렌티큘라, 패럴랙스 배리어, 무빙슬릿, 프리즘 어레이, 렌즈 어레이 등을 공간시차 분할기(spatial parallax separator)로 하고, 개별적 광학계를 기본 공간시차분할기(elemental spatial parallax separator)로 한다. The spatial parallax generation system consists of a two-dimensionally arranged image or pixel group and an optical system for generating a parallax spatially based on the two-dimensionally arranged image or pixel group. An individual image is called an elemental parallax image. The optical system, lenticular, parallax barrier, moving slit, prism array, lens array, etc. which generate spatial parallax are used as spatial parallax separator, and the individual optical system is used as elemental spatial parallax separator. do.

(2) 볼륨에트릭(volumetric method) 방식(2) Volumetric method

-　볼륨에트릭 방식은 평면영상에 대한 빠른 공간적 스캔(scan)을 통해 눈의 잔상(after imaging)에 의해 전체 평면영상들이 공간적으로 한꺼번에 관찰되어 체 적형태의 3차원적 영상을 구현하는 방식으로 한다. The volumetric technique uses a fast spatial scan of a planar image to create a volumetric three-dimensional image of the entire planar image at a time. .

- 볼륨에트릭 방식이 포함하는 기존의 방식들은 가변초점(variable-focal) 거울 또는 가변초점 렌즈등을 통한 방식, 무빙(moving) 거울 또는 무빙 렌즈를 통한 방식, 무빙 스크린(screen) 또는 회전 스크린 을 통한 방식, LCD 디스플레이 패널의 적층을 통한 방식 등으로 한다. Conventional methods that volumetric methods include include methods such as variable-focal mirrors or variable focus lenses, methods of moving mirrors or moving lenses, moving screens or rotating screens. Through a method of laminating, an LCD display panel, or the like.

도 1은 공간시차 생성 방식의 기본원리를 설명하기 위한 개념도이다. 1 is a conceptual diagram for explaining the basic principle of the spatial parallax generation method.

공간시차 생성 방식은 시차 영상 배열과 공간시차 분할기로 구성된다. 특정 시점 또는 영역에서 관찰될 영상을 시점에 해당하는 영상으로 그 시점에 따라 분리하여 관찰되게 하는 방식이다. The spatial parallax generation method includes a parallax image array and a spatial parallax divider. The image to be observed at a specific viewpoint or region is divided into images corresponding to the viewpoint according to the viewpoint.

시차 영상 배열에서의 각 기본 시차영상은 둘 이상의 픽셀들로 구성되며, 공간시차 분할기는 기본 시차영상 상의 픽셀의 공간시차 분할기에 대한 상대적 위치에 따라 해당 픽셀의 관찰 가능 각도를 결정한다. 이에 따라 공간시차 분할기와 적절한 색깔 및 밝기 정보를 갖는 픽셀들의 적절한 조합 및 배열(pixel group or elemental image)을 통하여 특정 시점 또는 관찰 영역에서 해당 영상만을 관찰할 수 있게 한다. Each basic parallax image in the parallax image array includes two or more pixels, and the spatial parallax divider determines the observable angle of the pixel according to the relative position of the pixel on the basic parallax image with respect to the spatial parallax divider. Accordingly, only a corresponding image can be observed at a specific viewpoint or observation area through a spatial parallax divider and an appropriate combination and arrangement (pixel group or elemental image) of pixels having appropriate color and brightness information.

여기서 시차영상 배열의 경우, 시차영상 배열이 가질 수 있는 픽셀수의 한계에 따라 기본 시차 영상이 가지는 픽셀 수 또는 구성 방법을 달리할 수 있고, 공간 시차 분할기 또한 다양한 광학계로써 구현이 가능하다. 그리고 시차영상배열이 가져야하는 픽셀 수 또는 단위시간당 처리해야 하는 정보량은 다음과 같이 외안으로 재생패널을 통하여 관찰될 2차원적 영상의 픽셀 수, 즉, 기본 공간시차분할기의 총 개수와 각 기본 시차영상이 가질 픽셀 수의 곱에 해당한다. In the case of the parallax image array, the number of pixels or the configuration method of the basic parallax image may vary according to the limit of the number of pixels that the parallax image array may have, and the spatial parallax divider may also be implemented by various optical systems. The number of pixels that the parallax image array should have or the amount of information to be processed per unit time is as follows: the total number of pixels of the two-dimensional image to be observed through the playback panel, that is, the total number of basic spatial parallax dividers and each basic parallax image. This corresponds to the product of the number of pixels to have.

만약 외안으로 관찰될 픽셀수를 기존의 2차원 영상의 픽셀수로 한다면 다음의 <수학식 2>와 같고,If the number of pixels to be observed in the outside is the number of pixels of the existing two-dimensional image, it is as shown in Equation 2 below.

이는 기존의 2차원 영상의 정보량에 기본시차영상이 가질 픽셀수를 곱한 것과 같다. 동영상을 목적으로 할 경우, 이와 같은 영상정보의 양을 단위시간당 처리해야 한다. This is equal to the amount of information of the existing two-dimensional image multiplied by the number of pixels the basic parallax image will have. In the case of moving pictures, the amount of video information must be processed per unit time.

① 공간시차 분할기의 광학적 구현① Optical Implementation of Space Parallax Divider

- 렌즈 배열을 사용하는 방식-How to use lens array

도 2는 공간시차 분할기로 렌즈 배열을 사용하는 방식을 나타낸 설명도이다. 2 is an explanatory diagram showing a method of using a lens array as a spatial parallax divider.

렌즈 배열은 원통형 렌즈의 1차원적 배열인 렌티큘라와 2차원적 배열을 활용하는 것이 모두 가능하다. The lens array can utilize both lenticular and two-dimensional arrays of cylindrical lenses.

렌티큘라를 사용하고 비교적 적은 수의 시점을 갖는 방식을 렌티큘라 방식이라 하고, 렌티큘라 또는 렌즈의 2차원적 배열을 사용하며 비교적 많은 수의 시점에 의해 거의 연속적 시점을 갖는 방식이 집적결상법에 해당한다. The method of using lenticular and having a relatively small number of viewpoints is called a lenticular method, and a method of using a two-dimensional array of lenticular or lenses and having a nearly continuous viewpoint by a relatively large number of viewpoints is used in the integrated imaging method. Corresponding.

본 방식의 경우, fill factor와 재생영상의 밝기가 높다는 등의 장점을 갖는 반면, 렌즈가 가질 수 있는 초점거리의 한계에 따라 나타나는 시야각이 좁아지고, 렌즈의 수차 등 렌즈의 성능의 문제로 나타나는 재생영상의 선명도 저하 등의 문제점을 갖고 있다. In this method, the fill factor and the brightness of the reproduced image are high, while the viewing angle is narrowed due to the limitation of the focal length that the lens can have, and the reproduction is caused by lens performance such as lens aberration. Problems such as deterioration of the sharpness of the image.

도 3은 공간시차 분할기로 패럴랙스 배리어를 사용하는 경우를 나타낸 설명도이다. 3 is an explanatory diagram showing a case where a parallax barrier is used as a space parallax divider.

패럴랙스 배리어로는 적정한 크기의 슬릿의 1차원적 배열 또는 핀홀의 2차원적 배열이 사용 가능하다. As a parallax barrier, a one-dimensional array of appropriately sized slits or a two-dimensional array of pinholes can be used.

시점의 수가 비교적 적은 경우를 패럴랙스 배리어 방식이라 하며, 시점의 수가 많아 거의 연속적인 경우를 집적결상법이라 한다. The case where the number of viewpoints is relatively small is called a parallax barrier method, and the case where the number of viewpoints is large and almost continuous is called an integrated imaging method.

슬릿의 틈이나 핀홀의 구멍 크기는 시점들 사이의 경계의 명료성과 관련되는데, 이는 다시 관찰 영상의 선명도와도 관련된다. 슬릿의 틈이나 핀홀의 구멍크기가 작아질수록 그 경계는 명료해 지며, 시점의 수가 많을수록 작은 크기를 가져야 한다. The slit gap or the pinhole hole size is related to the clarity of the boundary between the viewpoints, which in turn is related to the clarity of the observed image. The smaller the slit gap or the pinhole hole size, the clearer the boundary. The larger the number of viewpoints, the smaller the size should be.

이와 같은 방식은 비교적 제작이 간단하고, 렌즈 배열을 사용하는 방식의 광학계가 갖는 수차와 같은 복잡한 영상의 저하 요인이 없고, 초점거리 등의 한계가 없어 비교적 시야각의 제한을 덜 받는다는 등의 장점이 있다. Such a method has advantages such as relatively easy to manufacture, no deterioration of complex images such as aberrations of the optical system using a lens array, and less limitation of viewing angle due to no limitation of focal length. .

그러나 빛의 차단을 통해 분리하는 방식이라 재생상의 밝기가 어둡고, 특히 많은 시점 수를 가져 좁은 크기의 구멍이나 틈이 요구될 때 밝기에 있어서 큰 문제가 되며, 구멍이나 틈에 의한 회절 효과 때문에 재생영상의 선명도를 크게 떨어뜨릴 수 있다. 뿐만 아니라 슬릿이나 핀홀의 개수가 적을 경우, 낮은 fill factor 때문에 관찰자로 하여금 혼란스러움을 야기할 수 있다는 등의 문제점이 있다.However, because the light is separated by blocking the light, the brightness of the playback is dark, especially when a narrow hole or gap is required with a large number of viewpoints, which is a big problem in brightness, and because of the diffraction effect caused by the hole or gap Can greatly reduce the sharpness. In addition, when the number of slits or pinholes is small, there is a problem that the observer may cause confusion because of the low fill factor.

- 프리즘 배열을 사용하는 방식 -Prism Array

도 4는 공간시차 분할기로써 프리즘 배열을 사용하는 경우를 나타낸 설명도이다. 4 is an explanatory diagram showing a case where a prism array is used as the spatial parallax divider.

프리즘 배열 또한 1.2차원적 배열이 모두 가능하다. 이 방식의 경우, 밝기 및 fill factor가 높고 렌즈 배열을 사용하는 방식에 비해 비교적 제작이 간단하다는 등의 장점이 있다. Prism arrays can also be 1.2-dimensional arrays. This method has advantages such as high brightness and fill factor, and relatively simple fabrication compared to the method using a lens array.

그러나 시점의 수가 많아질 경우 프리즘의 면의 수가 많아져야 하는데, 충분히 많은 수의 시점을 갖게 될 경우 최종적으로 각 프리즘은 렌즈의 형태가 되고, 다시 렌즈 배열을 사용하는 방식에 해당하게 된다. 그리고 프리즘에 의한 색분산, 내부 반사 등에 의한 여러 문제점들을 갖고 있다. However, when the number of viewpoints increases, the number of planes of the prism must increase, and when a sufficient number of viewpoints is obtained, each prism finally becomes a form of a lens and corresponds to a method of using a lens array. In addition, there are various problems due to chromatic dispersion and internal reflection caused by the prism.

② 기본영상 획득 및 구성② Basic image acquisition and composition

도 5는 공간시차 생성 방식에서 기본적인 시차 영상 배열 획득 및 구성 방법을 나타낸 설명도이다. 5 is an explanatory diagram illustrating a method of acquiring and configuring a parallax image array in a spatial disparity generation method.

기본 시차 영상 배열 획득 및 구성은 프리즘 배열 등을 통하여 직접 획득하는 것도 가능하지만, 기본적으로 시차를 갖는 여러 지점에서 관찰된 영상을 획득하는 과정과 획득된 여러 영상을 조합하는 영상 혼합 과정으로 이루어진다. The basic parallax image array acquisition and configuration may be directly obtained through a prism array or the like. However, the basic parallax image array may be obtained by directly acquiring an image observed at various points having parallax and an image mixing process combining the obtained multiple images.

카메라의 영상 획득 방향과 배열 또는 이동의 형태와 영상 혼합 과정은 여러 형태로써 가능한데, 주로 특정 관찰 시점에서 공간 시차 분할기를 통하여 특정 위치의 카메라로 획득한 영상만이 관찰될 수 있도록 이루어진다. 이와 같은 방식은 주로 시차 영상 배열을 표시할 액정 및 CRT 등 기존의 2D 디스플레이 패널의 해상도와 관련하여 비교적 적은 수의 픽셀로 시차영상 배열을 구성할 수 있어, 렌티큘라 방식, 프리즘 어레이 방식 또는 패럴랙스 배리어 방식 등 실용적 개발에 주로 적용되고 있는 방식이다. The image acquisition direction and arrangement of the camera or the shape of the movement and the image mixing process are possible in various forms, and mainly the image acquired by the camera at a specific position can be observed through the spatial parallax divider at a specific observation point. Such a method can mainly configure a parallax image array with a relatively small number of pixels in relation to the resolution of a conventional 2D display panel such as a liquid crystal and a CRT that will display a parallax image array, such as a lenticular method, a prism array method, or a parallax. This method is mainly applied to practical development such as barrier method.

그러나 이 같은 방식은 시점이 매우 제한된 수를 가진다. 이에 따라 최근 시점의 수를 늘려가려는 시도가 이루어지고 있다. However, this method has a very limited number of views. Accordingly, attempts have been made to increase the number of recent points in time.

연속적 시점을 갖게 하기 위한 방식으로써 도 6과 같이 영상 획득 장치들로부터의 영상들을 혼합하지 않고, 회전 등의 변환 후 바로 배열하여 시차 영상 배열로 활용하는 방식이 있다.   As a method for having a continuous view, as shown in FIG. 6, there is a method in which images from the image capturing apparatuses are not mixed but are arranged immediately after conversion of rotation or the like and used as a parallax image array.

이 같은 방식은 많은 수의 기본 시차영상을 기초로 하기 때문에 2D 디스플레 이 패널의 매우 높은 해상도를 필요로 한다. This method is based on a large number of basic parallax images and requires very high resolution of the 2D display panel.

도 7은 이러한 방식을 기초로 하는 집적결상법의 기본 원리를 나타낸 설명도이다. Fig. 7 is an explanatory diagram showing the basic principle of the integrated imaging method based on this method.

집적결상법은 1908년 Lipmmann에 의해 처음 고안되었는데, 시차 생성의 개념이 아닌 3차원적 결상의 개념으로 이해되어 왔다. 집적결상법은 주로 렌즈 배열이 시차분할기로 사용되는 경우를 대표로 하여 설명된다. The integrated imaging method was first devised by Lipmmann in 1908, and has been understood as the concept of three-dimensional imaging rather than the concept of parallax generation. The integrated imaging method is mainly described in the case where the lens array is used as a parallax divider.

물체로부터 임의의 거리에 렌즈 배열이 위치할 경우, 각 기본 렌즈 후면에 작은 기본영상들이 결상되는데, 이 결상 과정은 각 기본렌즈의 중심을 지나는 광선에 대해서 가역적인 과정이다. 따라서, 결상된 기본영상 배열을 2차원 영상 획득 장치를 통하여 획득한 후 재생시 다시 이 기본영상 배열을 2차원 재생 패널에 표시하고, 기본영상 획득시와 같이 렌즈 배열을 적절한 거리에 위치시킴으로써 원래의 물체와 같이 3차원 영상을 재생하는 것이 가능하다. When the lens array is located at an arbitrary distance from the object, small basic images are formed on the rear of each basic lens. This imaging process is a reversible process for a ray passing through the center of each basic lens. Therefore, the image base image array obtained through the 2D image acquisition device is acquired and then displayed again on the 2D reproduction panel when the image is reproduced, and the lens array is positioned at an appropriate distance as in the case of the base image acquisition. It is possible to reproduce a three-dimensional image like an object.

최근 이러한 집적결상법에서의 방법에 해당하는 시차영상 배열 획득 및 구성 방법 2가, 렌티큘라 방식 또는 패럴랙스 배리어 방식 등에 적용되어 온 시차영상 배열 획득 및 구성 방법 1과 본질적으로 같은 방식이라는 사실이 연구된 바 있다. Recently, a method of acquiring and constructing a disparity image array corresponding to the method of the integrated imaging method 2 is essentially the same as the method of acquiring and constructing a disparity image array, which has been applied to a lenticular method or a parallax barrier method. It has been.

방법 1과 2는 기본 시차영상의 픽셀 수와 재생영상의 깊이 차이를 갖는 동일한 방식이다. 방법 1에서 적절한 깊이를 목표로 하고 기본 시차영상의 픽셀 수를 충분히 많게 해 주거나, 방법 2에서 방법 1의 재생영상과 같은 깊이의 재생영상을 목표로 하고 기본 시차 영상의 픽셀수를 적게 하였을 때, 픽셀 수를 줄이는 것이 적정 수만큼의 픽셀들을 평균하는 것이 아니라 특정 픽셀들을 샘플링(sampling)하여 픽셀화(pixelize)하는 경우, 동일한 시차영상 배열이 된다. Method 1 and 2 are the same method with the difference in the number of pixels of the basic parallax image and the depth of the playback image. When the target depth is appropriate in Method 1 and the number of pixels of the basic parallax is large enough, or when the playback image is the same depth as the playback image in Method 1 in Method 2, and the number of pixels of the basic parallax image is small, Reducing the number of pixels does not average the appropriate number of pixels, but instead samples the pixels to pixelate them, resulting in the same parallax image arrangement.

이해 방식에 있어, 방법 1의 경우 재생영상에 관한 예측이나 재생시스템의 분석이 각 픽셀로부터의 개별적인 광선 추적을 통해 이루어지기 때문에 시점의 수가 많아짐에 따라 매우 복잡해 질 수 있고 개념적 추론이 힘든 반면, 집적결상법은 3차원적 결상을 바탕으로 하여 이해되고 있어 이론적 또는 개념적 추론에 있어 매우 편리하다는 장점이 있다. In the understanding method, in the case of Method 1, since the prediction of the playback image or the analysis of the playback system is performed through the individual ray tracing from each pixel, it can be very complicated as the number of viewpoints increases and conceptual inference is difficult. The imaging method is understood based on three-dimensional imaging, which is very convenient for theoretical or conceptual reasoning.

- 볼륨에트릭 방식-Volume trick method

스크린 또는 결상평면을 공간적으로 스캔함으로써, 또는 2D 디스플레이 패널들이 적층된 광학 시스템에서 디스플레이 되는 패널의 순차적 디스플레이 등을 통해서 체적 형태로 표현되는 3차원 영상을 구현하는 방식이다. By scanning the screen or the imaging plane spatially, or through the sequential display of the panel displayed in the optical system in which the 2D display panels are stacked, a three-dimensional image expressed in volume form is realized.

볼륨에트릭 방식은 2차원 평면영상의 공간적 스캔을 통해 이루어지므로, 3차원적으로 표현되는 정보는 도 8과 같이 표현하고자 하는 체적 내의 모든 단위 공간에 대한 평균 또는 대표되는 영상정보들이다. 물론, 모든 단위 공간에 대한 영상정보가 아니라 표현 대상의 표면에 대한 정보만을 압축 등을 통하여 영상 정보로써 저장할 수 있다. Since the volume trick method is performed through a spatial scan of the 2D planar image, the information expressed in three dimensions is average or representative image information of all unit spaces in the volume to be expressed as shown in FIG. 8. Of course, only the information on the surface of the expression target may be stored as the image information through compression or the like, rather than the image information on all the unit spaces.

그러나, 2차원 영상 재생 시 물체의 표면에 대한 정보 뿐아니라 공백의 공간 또한 포함되어야 하므로, 최종적으로 시간당 처리 속도에 관한 영상정보는 공백의 공간을 포함하는 모든 단위공간에 대한 영상정보가 된다. However, since not only the information about the surface of the object but also the empty space must be included in the 2D image reproduction, the image information on the processing speed per hour becomes image information on all unit spaces including the empty space.

따라서 단위 시간당 처리해야 하는 영상정보는 다음과 같이 2차원 영상이 갖는 정보와 주어질 깊이 분해능에 따른 정보량의 곱에 해당한다.Therefore, the image information to be processed per unit time corresponds to the product of the information of the two-dimensional image and the amount of information according to the depth resolution to be given as follows.

중괄호 내의 정보량은 기존의 2차원 영상에 대한 정보량이다. 다음은 볼륨에트릭 방식의 광학적 구현의 예들이다. The amount of information in braces is the amount of information for the existing two-dimensional image. The following are examples of volumetric optical implementations.

- 무빙 스크린 방식-Moving screen

도 9는 무빙스크린을 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다. 9 is an explanatory diagram showing a volumetric 3D image realization method using a moving screen.

특정 깊이에 스크린이 위치할 때, 그 위치에 표현되어야 할 2차원 영상을 영상 시스템을 통하여 스크린상에 영사되도록 하고, 스크린의 위치를 빠르게 바꾸어 스캔함으로써 눈의 잔상을 통해 체적을 갖는 3차원 영상으로 구현하는 방식이다. 이때, 스크린의 이동을 선형적 스캔이 아닌 회전시켜 스캔할 수도 있다. When the screen is located at a certain depth, the 2D image to be displayed at that position is projected on the screen through the imaging system, and the screen is quickly changed and scanned to obtain a volumetric 3D image through the afterimage of the eye. This is how it is implemented. At this time, the movement of the screen may be scanned by rotating rather than linear scanning.

이 방식은 시야각에 제한이 없으며, 여러 사람이 관찰 가능하다는 등의 큰 장점이 있는 반면, 구동에 있어 기계적 움직임이 필요하여 안정성이 낮으며, 구현이 매우 까다롭고 부피가 크다는 등의 단점이 있다. This method has a big advantage such that there is no restriction on the viewing angle and can be observed by many people, while the mechanical movement is required for driving, so it is low in stability, very difficult to implement and bulky.

- 무빙 렌즈 방식-Moving lens system

도 10은 무빙렌즈를 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다.10 is an explanatory diagram showing a method for implementing a volumetric 3D image through a moving lens.

2차원 영상을 렌즈 또는 렌즈 배열을 통하여 특정 깊이에 결상하고, 재생장치로부터 렌즈 사이의 거리를 빠르게 움직임으로써 결상 거리를 스캔하여 부피를 갖는 3차원 영상으로 재생하는 방식이다. 이때, 2D 영상재생은 결상될 2차원 영상의 깊이에 대응되는 영상으로 재생하기 위하여 렌즈의 움직임과 동기화 되어 영상이 바뀌어야 한다. The 2D image is imaged to a specific depth through a lens or a lens array, and the image forming distance is scanned by rapidly moving the distance between the lenses from the reproducing apparatus and reproduced as a volumetric 3D image. At this time, the 2D image reproduction should be changed in synchronization with the movement of the lens to reproduce the image corresponding to the depth of the 2D image to be imaged.

이 방식은 무빙 스크린 방식에 비해 렌즈의 기계적 움직임이 비교적 작아 구현이 편리한 반면, 렌즈의 결상을 통한 방식이기 때문에 시야각이 좁고, 기계적 움직임에 대한 요소가 없는 타 방식들에 비해서는 구현이 복잡하다는 단점이 있다. Compared to moving screen method, this method is easy to implement because the mechanical movement of the lens is relatively small.However, since the lens is formed through the imaging of the lens, the viewing angle is narrow and the implementation is more complicated than other methods that do not have an element for mechanical movement. There is this.

여기서 기계적 움직임을, 렌즈와 2D 영상 재생장치 사이에 굴절률의 컨트롤이 가능한 적절한 매질을 삽입하고 굴절률의 조절로 대체할 수 있는데, 아직 관련기술이 충분한 수준을 갖지 못하고 있으며 시야각에 대한 문제는 그대로 있다. Here, mechanical movement can be replaced by inserting an appropriate medium capable of controlling the refractive index between the lens and the 2D image reproducing apparatus and adjusting the refractive index. However, the related technology does not have a sufficient level and the problem with the viewing angle remains the same.

본 방식에 있어서는 렌즈 대신 거울의 적용이 가능하다. 하지만 이 또한 당 방식의 장단점을 그대로 갖는다. In this method, a mirror can be applied instead of a lens. However, this also has the advantages and disadvantages of the party method.

- 가변초점 렌즈 방식-Variable focus lens method

도 11은 가변초점 렌즈를 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다. 11 is an explanatory diagram showing a method for implementing a volumetric 3D image through a variable focus lens.

본 방식은 2차원 영상을 특정 깊이에 결상하고 그 결상면의 공간적 스캔을 결상하는 렌즈의 초점거리를 변화시켜 이루어지게 하는 방식이다. 여기서 렌즈는 렌즈 배열의 형태를 가질 수 있다. 이와 같은 방식은 타 방식들에 비해 기계적 구동이 불필요하다는 큰 장점을 갖는다. In this method, a two-dimensional image is formed at a specific depth and a focal length of a lens forming a spatial scan of the image plane is changed. Here, the lens may have the form of a lens array. Such a method has a big advantage that mechanical driving is unnecessary compared to other methods.

그러나 마찬가지로 결상에 의한 구현이므로 시야각의 제한을 받으며, 아직 가변초점 렌즈에 대한 기술이 활용 가능할 정도로 충분치 않다. However, as a result of the imaging, it is limited in the viewing angle, and yet the technique for the variable focus lens is not enough to be utilized.

- 가변초점 거울 방식-Variable focus mirror method

도 12는 가변초점 거울을 통한 볼륨에트릭 3차원 영상 구현 방법을 나타낸 설명도이다. 12 is an explanatory diagram showing a method for implementing a volumetric 3D image through a variable focus mirror.

이는 2차원 영상을 오목 또는 볼록 거울을 통하여 결상하고 결상면의 공간적 스캔을 거울의 초점거리를 변화시켜 이루어지게 하는 방식으로써, 주로 초점거리의 변화는 거울의 곡률을 변화시켜 이루어지게 한다. This is a method of forming a two-dimensional image through a concave or convex mirror and performing a spatial scan of the image plane by changing the focal length of the mirror. The change of focal length is mainly made by changing the curvature of the mirror.

이 방식은 렌즈를 통한 방식에 비해 초점거리를 짧게 할 수 있어 넓은 시야각을 가질 수 있고, 유연한(flexible) 막의 형태로 거울을 만들고 음파 등을 통하여 초점거리를 주기적으로 바꿀 수 있어 현실적 구현이 가능하다는 장점이 있는 반면, 재생장치의 부피가 크며 구현이 복잡하다는 단점이 있다. This method has a shorter focal length than the lens method, and thus has a wider viewing angle. The mirror can be made in the form of a flexible film, and the focal length can be periodically changed through sound waves. On the other hand, the playback device is bulky and complex in implementation.

그리고, 비교적 작으나 시야각의 제한을 갖고 있고 거울의 수차에 의한 영상의 질적 저하가 나타난다는 등의 문제점들 또한 작지 않은 단점들이다.In addition, problems such as a relatively small but limited viewing angle and quality degradation of the image due to aberration of the mirror are not small.

3차원 영상은 최근 들어 디스플레이 분야의 부흥에 더불어 차세대 디스플레이 방식의 하나로 크게 각광받고 있으며, 3차원 모니터, TV, 프로젝터, 게임기, 휴대폰 단말기 등에 적용되기 위해 많은 연구 및 개발이 이루어지고 있다. Recently, the 3D image has been in the spotlight as one of the next generation display methods with the revival of the display field, and many researches and developments have been made to be applied to 3D monitors, TVs, projectors, game consoles, mobile phones, and the like.

그러나 대부분 응용들의 광학적 원리는 공간시차 생성 방식으로써 20세기 초반에 제시된 것들이고, 그 응용에 있어, 공간시차 생성 방식에서의 시차 영상 배열과 볼륨에트릭 방식에서 2차원 영상 재생을 필름이나 CRT 등이 아닌 프로젝터나 LCD 등을 통해 표시한다는 점 이외에는 광학적인 면에 있어 큰 발전이 없었다. However, the optical principle of most applications is the method of spatial parallax generation, which was presented in the early 20th century, and in that application, two-dimensional image reproduction in the parallax image array and volumetric method in spatial parallax generation method is applied to film or CRT. There was no significant improvement in the optical aspect except that it was displayed through a projector or LCD.

공간시차 생성 방식은 100년에 가까운 시간 동안 다양한 형태로 적용되어 왔고 그다지 큰 각광을 받지는 못했다. 시차 영상 배열이나 2차원 영상의 표시 매체가 디지털 매체로 바뀌었다는 점이 3차원 영상에 관한 부흥을 새롭게 할 것인가에 대해서는 상당한 미지수이다.Spatial parallax generation has been applied in various forms for nearly 100 years and has not received much attention. The fact that the parallax image arrangement or the display medium of the two-dimensional image has been changed to the digital medium is a considerable unknown as to whether to renew the revival of the three-dimensional image.

3차원 영상에 관한 응용들이 제공되는 차원 높은 영상에 비해 오랜 시간동안 큰 부흥이 없었던 이유로는, 시점의 제한 또는 재생영상의 낮은 해상도가 주요 원인이라는 것이 통설이다. The reason is that the limitation of the viewpoint or the low resolution of the playback image is the main reason why there has not been a great revival for a long time compared to the high-dimensional image provided with the application of the three-dimensional image.

공간시차 생성 방식에서 제공되는 시점의 수와 재생영상의 해상도(고정된 시점에서 외안으로 관찰될 2차원적 해상도) 사이는 상호 교환관계(trade-off)에 있다. There is a trade-off between the number of viewpoints provided by the spatial parallax generation method and the resolution of the reproduced image (the two-dimensional resolution to be observed externally at a fixed viewpoint).

기본적으로 공간 시차 분할기의 하나의 기본 공간 시차분할기가 관찰자에게 제공하는 광학적 정보는, 특정 시점에서 외안으로 관찰될 재생영상의 2차원적 영상 에서 하나의 픽셀에 해당하게 된다. 그리고 기본 시차영상에서의 픽셀의 수는 공간시차 분할기 상의 하나의 기본 공간시차분할기를 통해 분해 가능한 각도의 수에 해당한다. Basically, the optical information provided to the observer by one basic spatial parallax divider of the spatial parallax divider corresponds to one pixel in the two-dimensional image of the reproduced image to be visually observed at a specific point in time. The number of pixels in the basic parallax image corresponds to the number of angles that can be resolved through one basic spatial parallax divider on the spatial parallax divider.

다시 말해, 공간시차 분할기 상의 기본 공간시차 분할기의 수, 즉, 기본 공간시차 분할기에 1대1로 배당되는 기본 시차 영상의 수는 외안으로 관찰할 경우의 재생영상의 해상도, 기본 시차 영상상의 픽셀 수는 시점에 수에 각각 대응된다. 따라서, 전체 시차영상 배열이 갖는 총 픽셀 수가 두 요소의 곱으로써 전체의 제한을 결정한다고 할 수 있다. In other words, the number of basic parallax dividers on the spatial parallax divider, that is, the number of basic parallax images allocated one-to-one to the basic spatial parallax divider, is the resolution of the playback image when visually observed and the number of pixels on the basic parallax image. Corresponds to the numbers at each time point. Therefore, it can be said that the total number of pixels of the entire parallax image array is determined by multiplying two elements.

그러므로, 시점에 있어 자유로우며 충분한 해상도의 3차원 동영상 구현을 위해서는 시차영상 배열이 기본 공간 시차 분할기의 수에 제곱에 가까운 픽셀수를 가져야 한다. 왜냐하면, 일반적으로 집적결상법을 제외한 공간시차 생성 방식은 관찰자가 특정 시점에 위치하기 위해 특정 관찰 거리를 유지해야 하는데, 이 거리에서 벗어나더라도 자연스러운 영상을 관찰하기 위해서는 그와 같은 픽셀 수가 필요하기 때문이다. Therefore, the parallax image array should have the number of pixels close to the square of the number of basic spatial parallax dividers in order to realize a free and sufficient resolution of the 3D video. In general, the spatial parallax generation method except the integrated imaging method requires the observer to maintain a certain viewing distance to be positioned at a specific point of view, because even if it is out of this distance, such a number of pixels is required to observe a natural image. .

따라서, 공간시차 생성 방식의 경우, 재생장치를 통하여 단위시간당 처리되어야 하는 정보량은 외안으로 관찰할 경우의 재생영상의 해상도와 기본 시차 영상상의 픽셀 수에 해당한다. Therefore, in the case of the spatial parallax generation method, the amount of information to be processed per unit time through the playback apparatus corresponds to the resolution of the playback image and the number of pixels on the basic parallax image when viewed externally.

그리고 볼륨에트릭 방식에서는 표현하고자 하는 체적 내에서 분해 가능한 최소 체적의 총 개수가 단위 시간당 재생 시스템을 통하여 처리되어야 하는 총 정보량이 된다. 비록 빈 공간에 대한 불필요한 정보에 대해서는 기억장치를 통하여 저 장될 필요가 없으나, 재생을 위해서는 최종적으로 2차원 영상 재생장치를 통하여 표시되어야 한다. 따라서, 볼륨에트릭 3차원 영상 재생 장치를 통하여 단위 시간당 처리되어야 하는 정보량에 포함되어야 한다. In the volumetric method, the total number of decomposable minimum volumes in the volume to be expressed is the total amount of information to be processed through the playback system per unit time. Although unnecessary information about the empty space does not need to be stored through the storage device, it must be finally displayed through the 2D image reproducing device for reproduction. Therefore, it should be included in the amount of information to be processed per unit time through the volumetric 3D image reproducing apparatus.

현재까지는 공간시차 생성 방식에서의 시차영상 배열 전체에 대한 영상과 볼륨에트릭 방식에서의 2차원 영상을 LCD나 CRT등을 통하여 표시하는 방식이었다. Up to now, the image of the entire parallax image array in the spatial parallax generation method and the two-dimensional image in the volume trick method are displayed on the LCD or CRT.

그러나, 공간시차 생성 방식에서의 그와 같은 직접적인 표시로는 재생영상의 평면적 해상도에 있어 만족할 만한 재생을 위해 필요한 픽셀 수, 즉, 외안으로 관찰될 영상이 1000*1000의 2차원적 해상도를 갖게 하기 위해서는 full 패럴랙스를 목표로 할 경우, 당 해상도의 100만배, half 패럴랙스를 목표로 할 경우는 1000배의 픽셀수를 시차영상 배열 표시장치가 가져야 하며, 동영상 구현을 위해서는 기존의 2차원 영상재생장치의 초당 프레임(frame) 수를 유지해야 하므로, 시분할 방식 등의 적용을 통한 다른 응용으로 해결하고자 하더라도 단위 시간당 처리해야 하는 정보량은 기존의 2차원 영상 재생 시에 이루어지는 정보량의 1000배 내지 100만배에 해당한다. However, such a direct display in the spatial parallax generation method is such that the number of pixels required for satisfactory reproduction in the planar resolution of the reproduced image, that is, the image to be observed by the external eye, has a two-dimensional resolution of 1000 * 1000. In order to achieve full parallax, a parallax video array display device must have 1 million times the resolution and 1000 times the number of pixels for half parallax. Since the number of frames per second of the device must be maintained, the amount of information to be processed per unit time is 1000 to 1 million times that of the existing 2D image playback, even if it is solved by another application through the application of time division. Corresponding.

볼륨에트릭 방식에서는 1000*1000*1000의 해상도를 갖는 체적의 3차원영상을 구현하고자 할 경우, 기존의 2차원 영상이 갖는 단위 시간당 정보처리량의 1000배의 속도를 가져야 한다. 이는 방법론적으로 매우 비효율적일 뿐만 아니라, 가까운 미래에 시차영상 배열의 표시를 위해 또는 볼륨에트릭 방식에서의 2차원 영상의 표시를 위해 당 픽셀수 또는 당 표시속도를 갖는 2D 디스플레이 장치가 개발될 수 있을 것이라는 것 또한 상당한 미지수 이다. In the volumetric method, when a 3D image of a volume having a resolution of 1000 * 1000 * 1000 is to be implemented, it must have a speed of 1000 times the information throughput per unit time of a conventional 2D image. This is not only very inefficient in methodology, but also in the near future a 2D display device with the number of pixels or per display speed can be developed for the display of parallax image arrays or for the display of two-dimensional images in a volumetric method. It is also a considerable unknown.

따라서, 만족스러운 3차원 영상을 위해서는 기존의 직접적인 방식이 아닌 제 3의 방식이 필요한 시점이다.Therefore, for satisfactory three-dimensional images, it is time to use a third method rather than the conventional direct method.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로써, 최소한의 3차원적 정보만으로 3차원 영상을 구현할 수 있도록 하기 위한 3차원 영상 구현 시스템 및 그 방법을 제공함에 그 목적이 있다.The present invention has been proposed in order to solve the above problems, and an object thereof is to provide a three-dimensional image implementation system and method for implementing a three-dimensional image with a minimum of three-dimensional information.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects which are not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명의 3차원 영상 구현 시스템은, 2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 장치, 상기 깊이 변조 장치에 의해 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 장치 및 상기 깊이 생성 장치에 의해 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 장치를 포함하되, 상기 깊이 확대 장치는 광학적 결상 장치에 의해 구성되는 것을 특징으로 한다.The three-dimensional image implementation system of the present invention for achieving the above object, a depth modulator for applying depth information to a 2D display panel, a depth for converting the depth information applied by the depth modulator to the optical spatial depth And a depth expanding device for enlarging the spatial depth converted by the generating device and the depth generating device to a predetermined size, wherein the depth expanding device is constituted by an optical imaging device.

여기서, 상기 깊이 변조 장치는 특정 파장의 광을 선택적으로 조명하기 위한 조명광의 파장 스캐닝 장치 및 상기 조명광의 파장 스캐닝 장치와 동기화되어 동작 하며, 상기 조명광의 파장 스캐닝 장치에 의해 선택된 특정 파장의 광 가운데 특정 깊이의 영상을 선택하여 재생하기 위한 깊이 영상 스캐닝 장치 등으로 구성될 수 있으며, 이 경우, 상기 깊이 변조 장치에 의한 재생될 영상 깊이에 대한 스캐닝은, 2차원 영상의 1 프레임 처리 시간 내에 이루어지는 것이 좋다.Here, the depth modulator is operated in synchronization with the wavelength scanning device of the illumination light and the wavelength scanning device of the illumination light for selectively illuminating the light of a specific wavelength, the specific depth of the light selected by the wavelength scanning device of the illumination light And a depth image scanning device for selecting and reproducing an image having a depth, and in this case, scanning of the image depth to be reproduced by the depth modulator may be performed within one frame processing time of the two-dimensional image. .

이때, 상기 깊이 생성 장치는 회절광소자 또는 굴절률 가변 소자에 의해 구성될 수 있으며, 특히, 존 플레잇(zone plate)에 의해 구성되는 것이 바람직할 수 있다.In this case, the depth generating device may be configured by a diffractive optical element or a refractive index variable element, in particular, it may be preferably configured by a zone plate (zone plate).

또한, 상기 깊이 확대 장치는 집적 결상 장치인 것이 바람직할 수 있다.In addition, it may be preferable that the depth expanding apparatus is an integrated imaging apparatus.

여기서, 상기 조명광의 파장 스캐닝 장치는, 광원으로부터 인가된 광을 색분산 시키기 위한 투과형 회절광 소자 또는 반사형 회절광 소자 및 상기 색분산된 광 가운데 특정 파장의 광을 선택하여 후방으로 조명하기 위한 액정(Liquid Crystal) 배열(array) 또는 DMD(digital micromirror device) 배열의 조합에 의해 구성되거나, 퀄쯔 크리스탈(Quartz Crystal) 및 SSLM(sensing spatial light modulator)의 조합에 의해 구성될 수 있다.Here, the wavelength scanning device of the illumination light is a liquid crystal for illuminating the light of a specific wavelength from the transmission diffraction light element or reflection diffraction light element for diffusing the light applied from the light source and the color dispersion light and the rear (Liquid Crystal) array or a combination of digital micromirror device (DMD) array, or may be configured by a combination of the Quanz Crystal (sensing spatial light modulator).

여기서, 상기 SSLM은, 액정패널, 액정배열 또는 DMD 배열의 군(群)에서 선택된 일 요소 및 CCD 배열 또는 CMOS 배열의 군(群)에서 선택된 일 요소의 조합에 의해 구성될 수 있다.Here, the SSLM may be configured by a combination of one element selected from the group of the liquid crystal panel, the liquid crystal array, or the DMD array, and one element selected from the group of the CCD array or the CMOS array.

한편, 본 발명에 따른 3차원 영상 구현 방법은, 2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 단계, 상기 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 단계; 및 상기 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 단계를 포함하되, 상기 깊이 변조 단계는, 특정 파장의 광을 선택적으로 조명하기 위한 조명광의 파장 스캐닝 단계 및 상기 선택된 특정 파장의 광 가운데 특정 깊이의 영상을 선택하여 재생하기 위한 깊이 영상 스캐닝 단계를 포함하는 것을 특징으로 한다.On the other hand, the three-dimensional image implementation method according to the present invention, the depth modulation step for applying the depth information to the 2D display panel, the depth generation step of converting the applied depth information to the optical spatial depth; And a depth enlargement step for enlarging the converted spatial depth to a predetermined size, wherein the depth modulation step includes: scanning a wavelength of illumination light for selectively illuminating light of a specific wavelength and specifying light of the selected specific wavelength And a depth image scanning step for selecting and playing back an image having a depth.

여기서, 상기 깊이 변조 단계에서 수행되는 영상 깊이에 대한 스캐닝은, 2차원 영상의 1 프레임 처리 시간 내에 이루어지는 것이 바람직할 수 있다.Here, the scanning of the image depth performed in the depth modulation step may be preferably performed within one frame processing time of the 2D image.

삭제delete

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and the drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있을 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various forms, and the present embodiments are merely provided to make the disclosure of the present invention complete and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, the invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

종래의 공간시차 생성 방식에서의 2차원 영상 재생 패널에 대한 활용은 매우 직접적인 방식으로써, 기본 영상의 픽셀을 시점에 대응시키는 방식이었다. The utilization of the 2D image reproducing panel in the conventional spatial parallax generating method is a very direct method, in which a pixel of the base image corresponds to a viewpoint.

이에 따라, 필요한 3차원적 정보 보다 매우 많은 픽셀 정보를 필요로 하게 된다. 특히, 종래의 볼륨에트릭 방식에서는 불필요한 공간에 대한 정보처리가 불가피했다. Accordingly, much more pixel information is required than necessary three-dimensional information. In particular, in the conventional volume trick method, information processing on unnecessary space is inevitable.

본 발명은 도 13과 같은 단계들에 의한 구현 방법을 통하여 최소한의 3차원적 정보만으로 3차원 영상을 구현할 수 있도록 하는 방법을 제안한다. 이는 크게 세 단계로 나누어지는데, 2D 디스플레이 패널에 깊이(depth) 정보를 적용시키는 깊이 변조(depth modulation)단계, 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성(depth generation)단계, 다시 공간적 깊이를 적절한 크기로 확대하는 깊이 확대(depth magnification)단계로 구성된다. The present invention proposes a method for implementing a three-dimensional image with only a minimum of three-dimensional information through the implementation method as shown in FIG. 13. It is divided into three stages: depth modulation to apply depth information to a 2D display panel, depth generation to convert applied depth information to optical spatial depth, and then spatial depth. It consists of a depth magnification step of enlarging the to an appropriate size.

본 발명의 깊이 변조 단계에서는 깊이 정보의 부가를 제외하고 특별한 정보 부가가 필요하지 않다. 이에 따라 필요한 정보량은,In the depth modulation step of the present invention, no special information is required except for the addition of the depth information. The amount of information required is

와 같고, 2차원 영상에 관한 정보량에 대해서는,As for the information amount on the two-dimensional image,

와 같다. Same as

만약 깊이 정보가 볼륨에트릭 방식의 경우와 같이 1000단계의 깊이로 분해가 가능한 경우라고 하면, 기존의 2차원 영상에 대한 정보량의 약 2.3배 정도의 정보량이 된다. 따라서 공간시차생성 방식의 경우의 <수학식 2>나 볼륨에트릭 방식의 <수학식 3>의 경우에 비해 획기적으로 적은 정보량으로 구현 가능하게 된다. If the depth information can be decomposed to a depth of 1000 steps as in the case of the volume trick method, the information amount is about 2.3 times the amount of information on the existing two-dimensional image. Therefore, it is possible to realize a significantly smaller amount of information than in the case of the equation (2) in the case of the spatial parallax generation method or the equation (3) in the volume trick method.

도 14는 본 발명에 따른 3차원 영상의 재생 형태를 나타낸 설명도이다. 14 is an explanatory diagram showing a reproduction form of a 3D image according to the present invention.

도 14와 같이 3차원적으로 표현될 정보는 관찰자가 무한거리에서 정면으로 관찰될 영상만이 표현된다. 따라서, 사각지역에 대한 영상정보들은 손실되는 반면, 불필요한 공간상에 대한 정보를 재생 시스템을 통한 정보처리 대상에서 제외시킬 수 있다.As shown in FIG. 14, the information to be expressed three-dimensionally represents only an image to be observed in front of the viewer at an infinite distance. Therefore, while image information on blind spots is lost, information on unnecessary spaces can be excluded from information processing through the playback system.

도 15는 본 발명을 통해 재생될 3차원 영상의 예측 결과를 나타낸 설명도이다. 15 is an explanatory diagram showing a prediction result of a 3D image to be reproduced through the present invention.

도 15를 참조하면, 표현될 수 없는 사각지역이 있으나 사용될 정보량에 비해 충분히 효용가치가 있는 3차원 영상이 됨을 예측할 수 있다. 관찰각도가 클 경우, 얼굴 좌·우 면의 틈들이 나타나는데, 이 틈의 크기는 재생 패널에 대한 기울기와 2차원 영상의 픽셀 수, 깊이 분해능 등에 따라 결정된다. 본 예측도는 낮은 픽셀수(50*50)의 2차원 영상을 기반으로 하였음을 참고한다. Referring to FIG. 15, it can be predicted that there is a blind area that cannot be represented, but it becomes a three-dimensional image which is sufficiently useful for the amount of information to be used. When the viewing angle is large, gaps in the left and right faces of the face appear, and the size of the gap is determined by the inclination of the reproduction panel, the number of pixels of the 2D image, the depth resolution, and the like. Note that this prediction is based on a 2D image having a low number of pixels (50 * 50).

기존의 일반적인 픽셀 수(1000*700 등)의 2차원 영상을 기반으로 하면, 예측도에서의 틈들은 거의 무시될 정도로 작아질 것이다. 그리고 2차원 영상의 픽셀 수와 깊이 분해능을 충분히 할 경우, 그 틈들이 무시될 수 있는 최대 기울기는 커질 수 있다. Based on a conventional two-dimensional image of the normal number of pixels (1000 * 700, etc.), the gaps in the prediction plot will be small enough to be neglected. In addition, if the number of pixels and the depth resolution of the 2D image are sufficiently sufficient, the maximum slope at which the gaps can be ignored can be increased.

(1) 깊이 변조 단계 (1) depth modulation step

본 발명의 깊이 변조 단계는 광학적 또는 시·공간 분할 방식 등을 통하여 2차원 영상에 깊이 정보를 적용시키는 단계이다. The depth modulation step of the present invention is a step of applying depth information to a 2D image through an optical or space-time division method.

광학적 변조는 편광, 위상, 파장 등의 빛의 특성에 있어 단일 특성에 대해 또는 당 특성들의 복합적인 변조를 통하여 이루어질 수 있다. 예를 들어, 편광 특성의 변조를 통해 깊이 정보를 적용시킨다면, 2차원 영상에서의 특정 픽셀이 내는 빛을 편광 필름과 액정 또는 임의의 광학계를 통하여 그 픽셀이 가질 깊이 정보에 대응되는 편광 특성을 갖도록 하는 것이 가능하다. Optical modulation can be achieved for a single characteristic in light properties such as polarization, phase, wavelength, or through complex modulation of sugar properties. For example, if depth information is applied through modulation of polarization characteristics, light emitted by a specific pixel in a two-dimensional image may have polarization characteristics corresponding to depth information of the pixels through a polarizing film and a liquid crystal or an arbitrary optical system. It is possible to.

단, 본 단계는 다음의 깊이 생성 단계에서 활용될 방법과 연계되어 이루어져야 한다. However, this step should be linked to the method to be used in the next depth generation step.

깊이 변조 단계에서 변조된 광학적 또는 시·공간적 특성을 활용하여 깊이 생성 단계에서 깊이 생성이 가능하여야 한다. Depth generation should be possible in the depth generation step by utilizing the optical or spatiotemporal characteristics modulated in the depth modulation step.

여기서, 2D 디스플레이는 일반적인 디스플레이로써, 깊이 변조 방법에 의존하여 CRT 또는 LCD, 프로젝터 등을 포함하는 통상의 모든 디스플레이 장치의 적용이 가능할 수 있다.Here, the 2D display is a general display, and may be applicable to all conventional display devices including a CRT, an LCD, a projector, and the like depending on the depth modulation method.

(2) 깊이 생성 단계 (2) depth generation step

깊이 생성 단계는 상기 깊이 변조 단계에서 변조된 특성을 기반으로 하여 회절 또는 결상 광학계(optical system) 등을 통해 2차원 영상의 각 픽셀들이 적용된 깊이 정보에 대응하는 공간적 깊이를 갖도록 하는 단계이다. The depth generation step is a step in which each pixel of the 2D image has a spatial depth corresponding to the applied depth information through diffraction or an imaging optical system based on the characteristics modulated in the depth modulation step.

깊이 생성의 예로, 깊이 변조 단계에서 적용된 광학적 특성에 따라 특정 깊이에 결상되도록 하는 방법이 가능하다. As an example of depth generation, it is possible to form an image at a specific depth according to the optical characteristics applied in the depth modulation step.

여기서, 깊이는 광학계로부터 결상된 거리를 말한다. 특정 깊이에 결상된 픽셀에 대한 상은 다음 단계의 광학계의 관점에서 자체적으로 발광하는 물체와 같이 작용하게 된다. Here, the depth refers to the distance formed from the optical system. The image for the pixel formed at a certain depth acts as an object that emits itself in terms of the optical system of the next stage.

깊이 생성에 관한 구체적인 예로, 깊이 변조 단계에서 파장변조를 통하여 깊이 정보를 적용하고 존 플레잇(zone plate)을 통하여 결상함으로써, 적용된 깊이 정보에 대응하는 깊이로 각 픽셀들을 결상하는 방식이 가능하다. As a specific example of depth generation, by applying depth information through wavelength modulation in the depth modulation step and forming an image through a zone plate, it is possible to form each pixel with a depth corresponding to the applied depth information.

(3) 깊이 확대 단계(3) enlargement step

깊이 확대 단계는, 깊이 생성 단계에서 생성된 깊이를 적정 깊이로 재조절하는 단계로써, 깊이 생성 단계에서 생성된 깊이가 매우 작을 가능성이 높으므로 주 로 확대의 역할을 하게 될 가능성이 높다. The depth enlargement step is a step of re-adjusting the depth generated in the depth generation step to an appropriate depth, and since the depth generated in the depth generation step is very likely to be very small, it is likely to play a role of mainly expanding.

깊이 확대의 예로 깊이 생성 단계에서 생성된 깊이를 갖는 상(image) 또는 물체 등을 결상 광학계를 통하여 확대 결상함으로써 깊이를 확대하는 것이 가능하다. As an example of the depth magnification, it is possible to enlarge the depth by magnifying and imaging an image or an object or the like having the depth generated in the depth generating step through the imaging optical system.

구체적인 예로, 깊이 생성 단계에서 존 플레잇을 통하여 깊이를 생성하였을 경우, 존 플레잇을 재사용하여 재결상함으로써 깊이를 확대하는 것이 가능하다. 현 단계는 최종적으로 영상을 제공하는 단계이므로 시야각, 영상의 왜곡 등의 문제점들이 최소화되는 방법을 통해 이루어지는 것이 좋다. As a specific example, when the depth is created through the zone plate in the depth generation step, it is possible to enlarge the depth by re-imaging by reusing the zone plate. Since the current step is to finally provide an image, it is preferable to use a method of minimizing problems such as viewing angle and distortion of the image.

이하에서는 상기의 각 단계에 대한 세부 구성과 기능 및 동작 등의 다양한 구현예에 대해, 도면을 통해 보다 상세히 살펴보기로 한다.Hereinafter, various implementations such as detailed configurations, functions, and operations of each step will be described in detail with reference to the accompanying drawings.

먼저, 본 발명에 대한 구현 방법의 하나로, 깊이 변조 단계에서 파장변조를 통해 깊이 정보를 적용시키고, 깊이 생성 단계에서 존 플레잇을 통하여 깊이를 생성한 후, 깊이 확대 단계에서 집적결상법(integral imaging)을 통해 깊이를 확대함으로써 3차원 영상을 구현하는 방법을 예로 들어 설명하도록 한다. First, as an implementation method of the present invention, depth information is applied through wavelength modulation in a depth modulation step, depth is generated through a zone plate in a depth generation step, and then integrated imaging is performed in a depth expansion step. For example, a method of realizing a 3D image by enlarging the depth will be described.

(1) 깊이 변조 방법(일반 해상도의 2D 디스플레이 패널에 깊이 정보를 적용시키는 방법)(1) Depth modulation method (method of applying depth information to 2D display panel of normal resolution)

일반적으로 정보 생성을 위해 변조 가능한 광학적 특성들로는 편광, 위상, 세기, 파장 등이 있고, 그 외에 시분할과 공간 분할 등의 방식이 있다.  In general, optical properties modifiable for information generation include polarization, phase, intensity, and wavelength, and other methods such as time division and spatial division.

이와 같은 광학적 특성 및 방식들을 통하여 3차원 물체에 대한 깊이 정보를 일반 2D 디스플레이 패널에 적용시키는 과정이 첫 단계로써 매우 중요하다. Through such optical characteristics and methods, a process of applying depth information about a 3D object to a general 2D display panel is very important as a first step.

본 실시예에 있어서는 파장변조와 시분할 방식을 통해 깊이 정보를 적용하는 방식을 제시한다. In this embodiment, a method of applying depth information through wavelength modulation and time division scheme is proposed.

도 16은 깊이 정보 부가 방법에 대한 개념도이다. 16 is a conceptual diagram for a method of adding depth information.

본 발명의 실시예에 따른 3차원 영상 구현 과정에 적용되는 깊이 정보 부가 방법은 도 16에 도시된 바와 같이 다시 두 단계로 나뉘는데, 넓은 스펙트럼을 갖는 광원으로부터 특정 파장을 선택하여 조명하여 주는 부분과, 특정 깊이 정보를 갖는 영상만 선택하여 투과형 또는 반사형의 디스플레이 패널을 통해 투과 또는 반사되는 빛의 밝기를 변조하여 재생시켜주는 부분으로 이루어진다. Depth information addition method applied to the three-dimensional image implementation process according to an embodiment of the present invention is divided into two steps again as shown in Figure 16, the part for selecting and illuminating a specific wavelength from a light source having a broad spectrum, It consists of a part that modulates and reproduces the brightness of light transmitted or reflected through a transmissive or reflective display panel by selecting only an image having specific depth information.

특정 파장을 선택하여 조명하는 부분과 특정 깊이 정보를 갖는 영상을 선택하여 주는 부분이 상호 동기화되어 각각 파장에 대해, 그리고 재생될 영상의 깊이에 대해 빠르게 스캐닝(scanning) 함으로써 특정 깊이 정보를 갖는 영상으로부터의 빛이 그 깊이 정보에 대응하는 특정 파장의 빛의 특성을 갖도록 한다. The part that selects and illuminates a specific wavelength and the part that selects an image with specific depth information is synchronized with each other to quickly scan the wavelength and the depth of the image to be reproduced. Let light have a characteristic of light of a specific wavelength corresponding to its depth information.

두 부분의 스캐닝은 동영상 구현을 위한 통상적인 2차원 영상의 초당 프레임(frame) 수에서 1 프레임이 처리되는 시간 내에 이루어져야한다. 즉, 만일 동영상 구현을 위한 프레임 수가 초당 30프레임이라면, 1/30초 내에 모든 깊이 정보와 조명하는 빛의 파장에 대해 스캐닝이 이루어질 수 있는 처리 속도를 가져야 한다는 의미이다. The scanning of the two parts should be performed within the time when one frame is processed in the number of frames per second of a typical two-dimensional image for moving image implementation. In other words, if the number of frames for moving image is 30 frames per second, it means that the scanning speed can be achieved for all depth information and the wavelength of light to be illuminated within 1/30 second.

따라서, 동영상 구현을 위해서는 각 부분이 매우 빠른 처리 속도를 가져야하기 때문에 특별한 시스템이 되어야 한다. Therefore, in order to implement a video, each part must have a very fast processing speed, so it must be a special system.

1) 조명광의 파장 스캐닝 방법1) Wavelength scanning method of illumination light

빛의 파장을 직접적으로 바꾸는 것은 아직까지 기술적으로 매우 특별한 광학 시스템을 통해서만 가능하다. 일반적으로 파장의 직접적인 변조는 특수한 성질을 갖는 매질에 빛을 입사시키고, 그 매질로부터 다른 파장을 갖는 빛을 재 발광시키는 방식을 통하여 이루어진다. Directly changing the wavelength of light is still only possible with technically very special optical systems. In general, direct modulation of wavelengths is achieved by injecting light into a medium with special properties and by re-emitting light with a different wavelength from the medium.

이와 같은 방식은 응용광 시스템에 적용시키기에 현실적으로 어려운 점이 매우 많다. 따라서, 본 발명의 실시예에 있어서는 넓은 스펙트럼 폭을 갖는 광으로부터 특정 파장의 빛을 선택하여 조명하는 방식의 구성을 적용하였다. This approach is very difficult to apply to the applied light system. Therefore, in the embodiment of the present invention, a configuration of a method of selecting and illuminating light of a specific wavelength from light having a broad spectral width is applied.

그리고 파장에 대한 스캐닝이 매우 짧은 시간 내에 이루어져야 하므로 스캐닝 속도의 최소화가 매우 중요하다. In addition, minimizing the scanning speed is very important because the scanning of the wavelength must be performed within a very short time.

다음, 본 실시예에 적용되는 광원은 백색광을 사용할 경우로 대표적으로 표현하였으나, 스캔하고자 하는 범위 이상의 스펙트럼 폭을 갖는 광원이면 가능하므로 본 발명이 반드시 이에 한정되는 것은 아니다.Next, the light source applied to the present embodiment is representatively represented by using white light, but may be a light source having a spectral width over a range to be scanned, so the present invention is not necessarily limited thereto.

① 조명광의 파장 스캐닝 방법-1① Wavelength scanning method of illumination light -1

도 17은 조명광의 파장에 대한 스캐닝을 위한 첫 번째 방법으로써 백색광원으로부터의 빛을 투과형 회절광소자(대표소자 : grating(transmission type))를 통 해 색분산 시킨 후, 액정(liquid crystal) 배열을 통해 특정 파장의 빛만을 선택하여 후방으로 조명되게 하는 방법이다. FIG. 17 is a first method for scanning the wavelength of illumination light, and after dispersing light from a white light source through a transmission diffraction optical element (representative element: grating (transmission type)), a liquid crystal array is formed. Through this method, only light of a specific wavelength is selected to be illuminated backwards.

백색광의 위치와 회절광소자 앞뒤로 위치하는 렌즈 시스템은 광량 및 색분해능에 있어서의 효율성을 위해 적용되는 통상의 렌즈 시스템이면 충분하다.이때, 색분해능의 향상을 위해서는 광원의 크기는 가능한 작은 것이 좋다.The lens system positioned at the position of the white light and the front and rear of the diffractive optical element may be a conventional lens system applied for efficiency in light quantity and color resolution. In this case, the size of the light source should be as small as possible to improve the color resolution.

배열된 액정의 앞뒤로 위치하는 편광판은 액정 배열을 통한 공간광 변조에 적용되는 통상의 방법으로써, 액정 배열에 부가되는 광학적 특성 변조에 따라 빛의 차단 및 투과를 선택하게 할 수 있는 역할을 한다. 회절광소자를 통해 분해되는 색의 배열 방향과 액정의 배열의 방향을 갖게 하여 특정 액정 또는 액정들의 변조를 통하여 당위치를 초점으로 하여 모이는 파장의 빛을 투과시킬 수 있도록 한다. 그리고 변조되는 액정 또는 액정들의 위치를 바꾸어줌으로써 후방으로 투과하는 빛의 파장이 순차적으로 바뀌는 스캐닝이 이루어질 수 있도록 한다. Polarizers positioned before and after the arranged liquid crystals are conventional methods applied to spatial light modulation through the liquid crystal array, and serve to select light blocking and transmission according to optical property modulation added to the liquid crystal array. By having the direction of the arrangement of the color and the direction of the liquid crystal to be resolved through the diffractive optical element to transmit the light of the wavelength gathered by focusing on the current position through the modulation of the specific liquid crystal or liquid crystal. And by changing the position of the liquid crystal or the liquid crystal is modulated so that the scanning of the wavelength of the light transmitted to the rear can be sequentially changed.

② 조명광의 파장 스캐닝 방법-2② Wavelength Scanning Method of Illumination Light-2

도 18은 조명광의 파장 스캐닝을 위한 두 번째 방법으로써, 전술한 <조명광의 파장 스캐닝 방법-1>에서 액정 배열 시스템 대신 DMD(digital micromirror device) 배열을 사용하는 방법이다. FIG. 18 is a second method for wavelength scanning of illumination light, and is a method of using a digital micromirror device (DMD) array instead of a liquid crystal array system in the above-described <wavelength scanning method of illumination light-1>.

본 과정에서의 파장 스캐닝은 매우 짧은 시간 동안에 이루어져야 하는데, 액정은 반응속도가 비교적 느리기 때문에 스캐닝 속도를 저하할 수 있다. 이에 따라, 액정 배열 대신 반응속도가 매우 빠른 DMD 배열을 사용하는 방법을 제시한다. In this process, the wavelength scanning should be performed for a very short time. The liquid crystal may slow down the scanning speed because the reaction speed is relatively slow. Accordingly, a method of using a DMD array having a very fast reaction rate instead of the liquid crystal array is proposed.

도 18에서 회절광소자와 DMD가 기울어져 있는 것은 DMD로부터 반사되는 빛의 방향이 회절광소자 시스템을 피하게 하기 위한 것이고, 이에 따라 회절광소자의 기울기와 후방의 렌즈 시스템 또한 기울어져야 한다. The inclination of the diffractive optical element and the DMD in FIG. 18 is for the direction of the light reflected from the DMD to avoid the diffractive optical element system. Accordingly, the inclination of the diffractive optical element and the rear lens system must also be tilted.

여기서, DMD 배열 및 회절광소자를 기울이지 않고, 회절광소자가 포함된 시스템과 DMD 배열 사이에 빔 스플릿터(beam splitter)를 두어 DMD 배열로부터 반사된 빛을 원하는 방향으로 보내도록 구성할 수도 있다. 그러나 이 경우에는 DMD 배열을 기울이는 경우에 비해 광 손실이 생길 수 있다. Here, a beam splitter may be provided between the system including the diffractive optical element and the DMD array without tilting the DMD array and the diffractive optical element so as to send light reflected from the DMD array in a desired direction. In this case, however, light loss may occur as compared to tilting the DMD array.

③ 조명광의 파장 스캐닝 방법-3③ Scanning wavelength of illumination light-3

도 19는 앞서 언급한 <조명광의 파장 스캐닝 방법-1, 2>에서 투과형 회절광소자 대신 반사형 회절광소자를 사용하는 방법이다. 회절광소자 주변의 결상 광학계는 렌즈 시스템 대신 거울 시스템을 사용할 수도 있다. 19 is a method of using the reflective diffractive optical element instead of the transmissive diffractive optical element in the aforementioned wavelength scanning method-1 and 2 of illumination light. The imaging optical system around the diffractive optical element may use a mirror system instead of the lens system.

④ 조명광의 파장 스캐닝 방법-4④ Wavelength scanning method of illumination light -4

도 20은 <조명광의 파장 스캐닝 방법-3>에서 액정 배열 대신 DMD 배열을 사용하는 방법이다. 여기서도 결상 광학계는 거울 시스템으로 대체될 수 있다. 20 illustrates a method of using a DMD array instead of a liquid crystal array in <wavelength scanning method of illumination light-3>. Here too the imaging optics can be replaced by a mirror system.

⑤ 조명광의 파장 스캐닝 방법-5⑤ Wavelength Scanning Method of Illumination Light-5

도 21은 조명광의 파장을 스캐닝하는 5번째 방법으로써, 퀄쯔 크리스탈(quartz crystal)과 액정 패널 그리고 광센서 배열을 활용한 방법이다. FIG. 21 is a fifth method of scanning a wavelength of illumination light, using a quartz crystal, a liquid crystal panel, and an optical sensor array.

파장의 스캐닝은 도 21과 같이 액정 배열이 아닌 액정 패널을 통하여 이루어진다. 파장 선택에 있어 광학적 효율성을 위한 액정 배열의 다양한 응용적 구동을 의도할 경우, 이를 위해 액정 배열 구동을 위한 신호 처리 과정에서 연산처리 등의 시간적 소모가 필요한 과정이 요구될 수 있다. The scanning of the wavelength is performed through the liquid crystal panel rather than the liquid crystal array as shown in FIG. In order to drive various applications of the liquid crystal array for optical efficiency in wavelength selection, a process requiring time consumption such as arithmetic processing may be required in the signal processing process for driving the liquid crystal array.

본 실시예에 있어서는, 파장 선택에서 있어 몇 가지 가능한 광학적 응용을 단순하게 처리하게 할 수 있도록 함으로써 그 시간적 소모가 최소화되는 것을 특징으로 한다. In this embodiment, it is possible to simplify the processing of several possible optical applications in wavelength selection, which is characterized by minimizing its time consumption.

도 22에는 액정 배열 구동에 있어 광학적 효율성을 위한 응용의 한 예를 나타내었다. 22 shows an example of an application for optical efficiency in driving a liquid crystal array.

회절광학 시스템을 통해 색 분산을 시켰을 경우, 도 22와 같이 여러 차수의 스펙트럼이 형성되는데, 양의 각 차수의 스펙트럼과 음의 각 차수의 스펙트럼은 0차 회절 무늬를 중심으로 대칭이다. 전술한 <조명광의 파장 스캐닝 방법-1>과 같이 액정 배열을 통해 직접적으로 파장을 선택할 경우, 이때의 밝기의 효율성을 위해 각 차수의 스펙트럼 마다 해당 파장의 위치의 액정을 변조함으로써 액정 배열을 통과하는 특정 파장의 밝기를 높일 수 있다. 여기서, 특정 목적에 따라 여러 파장의 빛을 동시에 선택 할 수도 있다. When color dispersion is performed through a diffraction optical system, spectrums of various orders are formed as shown in FIG. 22, and the spectra of each positive order and the spectra of each negative order are symmetric about the zeroth order diffraction pattern. When the wavelength is directly selected through the liquid crystal array as in the above-described <wavelength scanning method of illumination light-1>, the liquid crystal at the position of the wavelength is modulated for each order of spectrum for the efficiency of brightness at this time. You can increase the brightness of a specific wavelength. Here, the light of several wavelengths may be simultaneously selected according to a specific purpose.

이같은 응용은 반사형 회절광소자가 활용되는 경우나 DMD 배열이 활용되는 경우 등에 모두 적용 가능하다.This application is applicable to the case where the reflective diffractive optical element is utilized or when the DMD array is utilized.

도 23은 액정 배열 구동 방법에 있어 응용 가능한 또 다른 예를 나타내는 예시도로써, 액정 배열을 투과하는 빛의 스펙트럼 분포를 적절한 모양을 갖도록 변형하는 예를 나타낸다. Fig. 23 is an exemplary view showing another example applicable to the liquid crystal array driving method, and shows an example of modifying the spectral distribution of light passing through the liquid crystal array to have an appropriate shape.

특히, 이 경우 선택된 빛의 밝기를 높일 수 있도록 투과시키기 위해 변조되는 액정의 개수를 적절히 늘리는 응용이 가능하다. 이때 또한 반사형 회절광소자나 DMD등이 활용되는 시스템에서도 적용될 수 있음은 당연하다.In particular, in this case, an application of appropriately increasing the number of liquid crystals that are modulated to transmit the light to increase the brightness of the selected light is possible. In this case, it can be also applied to a system in which a reflective diffractive optical element or a DMD is used.

도 21에서 퀄쯔 크리스탈은 파장에 대응하여 편광 성분을 부여하는 역할을 한다. 퀄쯔 크리스탈은 광활성 물질로써, 광축으로 전파되는 빛의 편광을 회전시키는 특성을 갖는다. 이 편광의 회전각 는 다음과 같은 식에 의해 결정된다. In FIG. 21, the quartz crystal plays a role of imparting a polarization component corresponding to the wavelength. The quartz crystal is a photoactive material and has a property of rotating polarization of light propagating through an optical axis. The rotation angle of this polarization is determined by the following equation.

d는 매질의 두께이고, λ는 빛의 파장, n_L은 좌-원편광에 대한 굴절률, n_R은 우-원편광에 대한 굴절률이다. 여기서 퀄쯔 크리스탈의 경우, 파장이 589.3㎚(나타륨광)인 경우, 21.7˚/㎜ 만큼의 회전을 한다. 여기서 β/d를 고유회전능(specific rotatory power)이라고 한다. d is the thickness of the medium, λ is the wavelength of light, n _L is the refractive index for left-circular polarization and n _R is the refractive index for right-circular polarization. Here, in the case of the quartz crystal, when the wavelength is 589.3 nm (natarium light), the rotation is performed by 21.7 degrees / mm. Β / d is called specific rotatory power.

이것을 상기 <수학식 6>에 대입하면, 편광의 회전각은 두께나 굴절률에도 의존하나 전파되는 빛의 파장에도 의존함을 알 수 있다. 따라서, 편광판을 통하여 빛을 선형 편광시킨 후, 퀄쯔 크리스탈 또는 여타의 광활성 물질을 통과시킬 경우, 특정 파장이 특정 편광을 갖도록 하는 것이 가능하다. Substituting this in Equation 6, it can be seen that the rotation angle of polarization depends on the thickness and refractive index but also on the wavelength of propagated light. Thus, when linearly polarizing light through a polarizing plate and then passing through a quartz crystal or other photoactive material, it is possible to make certain wavelengths have a specific polarization.

예를 들어 스캐닝 하고자 하는 파장 폭이 500-550㎚이고, 이에 대응시킬 편광각은 0˚-90˚라고 하면 고유회전능에 의해 ｜n_L-n_R｜이 7.1×10^-5이 되므로, 다음의 <수학식 7> 및 <수학식 8>에 의해 빛이 지나는 퀄쯔 크리스탈의 길이는 약 38.7㎜를 가지면 됨을 알 수 있다. For example, a wavelength width to be scanned is 500-550㎚, this corresponding to the wide-angle side is speaking 0˚-90˚ neunge by unique rotation | n _L -n _R |, so this is 7.1 × 10 ^-5, the following Equations 7 and 8 show that the length of the quartz crystal through which light passes should be about 38.7 mm.

만약 도 21에서 크리스탈로 입사하는 백색 광원이 크리스탈면과 수직할 경 우, 크리스탈의 두께 d가 그와 같으면 된다.여기서

은 90˚이고

는 0˚,

은 500㎚이고

는 550㎚이다. If the white light source incident on the crystal in FIG. 21 is perpendicular to the crystal plane, the thickness d of the crystal may be the same.

Is 90˚

Is 0˚,

Is 500 nm

Is 550 nm.

도 24에는 이 경우, 빛이 크리스탈을 지난 후 각 파장이 가질 편광각을 도시되어 있다. 도 24를 통해 파장과 편광각과의 대응관계가 비교적 선형적임을 알 수 있다. 여기서 퀄쯔 크리스탈 대신 이와 같은 광활성을 갖는 다른 물질의 적용도 가능함은 당연하다.FIG. 24 shows the polarization angle of each wavelength after light passes through the crystal in this case. 24 shows that the correspondence between the wavelength and the polarization angle is relatively linear. It is natural that other materials having such photoactivity may be used instead of the quartz crystal.

도 24와 같이 퀄쯔 크리스탈을 통해 파장에 편광각을 대응시킨 후, 액정 패널을 투과하는 광에 있어, 이 액정 패널에 가해지는 편광에 대한 변조 정도에 따라 빔스플릿터 이후의 편광판을 지나는 파장에 따른 빛의 세기 분포를 변화시킬 수 있다.    After the polarization angle is matched to the wavelength through the quartz crystal as shown in FIG. 24, the light passing through the liquid crystal panel depends on the wavelength passing through the polarizing plate after the beam splitter according to the degree of modulation of polarization applied to the liquid crystal panel. Can change the intensity distribution of light.

도 25는 도 21에서 회절 소자 및 렌즈, 빔스플릿터를 고려하지 않을 경우를 설명하기 위한 도면이다. FIG. 25 is a diagram for describing a case in which the diffractive element, the lens, and the beam splitter are not considered in FIG. 21.

도 25에서 액정패널을 고려하지 않을 경우, 편광판을 통과하여 CCD 배열 상으로 가는 빛의 파장에 따른 세기 분포는, 퀄쯔 크리스탈에서 대응시킨 편광 정보와 <수학식 9>와 같은 말러스 법칙(Malus's law)에 의해 결정된다.In the case of not considering the liquid crystal panel in FIG. 25, the intensity distribution according to the wavelength of light passing through the polarizing plate onto the CCD array is equal to the polarization information corresponding to the quartz crystal and Malus's law as shown in Equation (9). Is determined by

여기서 Ι(0)는 편광판의 각과 입사하는 빛의 편광각이 일치할 때의 최대복사조도이고, θ는 편광판의 각과 입사하는 빛의 편광각 사이의 각도이다. 따라서 편광판의 각이 0일 경우, 도 25에서 액정 패널을 고려하지 않았을 경우, CCD 배열상에서의 빛의 파장에 따른 세기 분포는 <수학식 6>에 따라 다음의 <수학식 10>과 같이 결정된다.Is the maximum irradiance when the angle of the polarizing plate and the polarization angle of the incident light coincide, and θ is the angle between the angle of the polarizing plate and the polarization angle of the incident light. Therefore, when the angle of the polarizing plate is 0, when the liquid crystal panel is not considered in FIG. 25, the intensity distribution according to the wavelength of light on the CCD array is determined as shown in Equation 10 according to Equation 6 below. .

여기서 A(λ)는 식 (4)에서 Ι(0)에 대응하는 조도로써, 주어지는 백색광의 스펙트럼이다. 그리고 CCD 배열 상에서의 스펙트럼(빛의 파장에 따른 세기 분포) Ι(β)=Ι(λ) 는 <수학식 9>에서 Ι(θ)에 대응하는데, 입사광의 편광각과 편광판 각도 사이의 차이 각 θ는 <수학식 6>에서의 β에 해당하고 다시 β는 <수학식 6>에서의 파장 λ에 대응하기 때문이다.  Where A (λ) is the illuminance corresponding to Ι (0) in equation (4), which is the spectrum of white light given. The spectrum on the CCD array (the intensity distribution according to the wavelength of light) Ι (β) = Ι (λ) corresponds to Ι (θ) in Equation 9, wherein the difference angle θ between the polarization angle of the incident light and the angle of the polarizing plate is This is because β corresponds to β in Equation 6 and β again corresponds to wavelength λ in Equation 6.

그리고, 도 25의 액정 패널을 통하여 변조한 편광각을 φ라고 할 경우, CCD 배열상의 빛의 스펙트럼은 하기의 <수학식 11>과 같다.When the polarization angle modulated through the liquid crystal panel of FIG. 25 is φ, the spectrum of light on the CCD array is represented by Equation 11 below.

이때, A(λ)를 λ에 따라 일정하게 1을 갖는다고 가정하고, 도 24에서의 경우와 같이 퀄쯔 크리스탈이 38.7㎜의 두께를 갖고, φ가 30˚의 변조를 가했을 경우, 스펙트럼은 도 26에서의 굵은 실선과 같게 된다. 최대값은 532㎚의 파장에서 갖게 됨을 알 수 있다. At this time, assuming that A (λ) has a constant 1 according to λ, and as shown in FIG. 24, when the quartz crystal has a thickness of 38.7 mm and φ is modulated by 30 °, the spectrum is shown in FIG. It is equal to the thick solid line in. It can be seen that the maximum value is at a wavelength of 532 nm.

도 26에서의 얇은 실선은 φ가 45˚일 경우이고, 이때의 최대값은 534㎚의 파장에서 갖는다. 여기서 점선은 CCD 배열 이전의 편광판의 각을 90˚로 하였을 경우를 나타낸다. 최대값 또는 편광판을 90˚로 하였을 경우 최소값을 갖는 파장에 대한 위치는 액정 패널에서의 변조 각 φ에 따라 움직이게 된다. The thin solid line in FIG. 26 is a case where φ is 45 °, and the maximum value at this time is at a wavelength of 534 nm. Here, the dotted line indicates the case where the angle of the polarizing plate before the CCD array is set to 90 degrees. When the maximum value or the polarizing plate is set to 90 °, the position with respect to the wavelength having the minimum value moves according to the modulation angle φ in the liquid crystal panel.

따라서, 도 21에서 회절광소자와 렌즈 시스템이 사용될 경우, 빛의 스펙트럼은 CCD 배열 상에 공간적으로 분산되므로, CCD 배열상의 공간적인 밝기 분포 또한 도 26과 같은 모양을 갖게 된다. Therefore, when the diffractive optical element and the lens system in FIG. 21 are used, since the light spectrum is spatially dispersed on the CCD array, the spatial brightness distribution on the CCD array also has the shape as shown in FIG. 26.

그리고 CCD 배열을 통해 당 모양의 공간적 밝기 분포에 대한 정보를 얻게 되는데, CCD 배열 대신 CMOS 등 여타의 광센서 배열의 적용이 가능하다. CCD를 통해 획득된 신호는 최대 또는 최소 값을 갖는 CCD로부터의 신호만이 최대 또는 최소값 을 갖도록 신호처리한다. The CCD array provides information on the spatial distribution of sugar in the shape of sugar, and other optical sensor arrays such as CMOS can be applied instead of the CCD array. The signal obtained through the CCD is signaled so that only the signal from the CCD having the maximum or minimum value has the maximum or minimum value.

여기서, 편광판의 각을 0˚로 하여 최대값을 활용하는 경우는 현실적으로 백색광으로부터의 스펙트럼 A(λ)를 λ에 따라 일정하게 하는 것이 어려우므로, 편광판의 각을 90˚로 하여 최소값을 활용하는 것이 좀 더 효과적이다. In the case where the maximum value is used with the angle of the polarizing plate being 0 °, it is difficult to make the spectrum A (λ) from the white light constant according to λ in reality. Therefore, it is important to use the minimum value by making the angle of the polarizing plate 90 °. More effective.

도 27에는 이와 같은 경우에 대한 신호처리의 일 예를 나타내고 있다. 다시 말해, 신호처리는 도 27과 같이 스펙트럼 또는 밝기 분포의 폭을 좁히는 방식으로 이루어질 수 있고, 최대 또는 최소 값(0) 근방을 한계 레벨(threshold level)로 설정하는 방식 등으로 이루어질 수 있다. Fig. 27 shows an example of signal processing for such a case. In other words, the signal processing may be performed by narrowing the width of the spectrum or brightness distribution as shown in FIG. 27, and may be performed by setting the vicinity of the maximum or minimum value (0) to a threshold level.

그리고, CCD의 한계 레벨(threshold level) 설정 또는 감도 조절 등과 같이 하드웨어적인 전자 회로 상에서의 조절을 통해서도 가능하다. In addition, it is possible through adjustment on a hardware electronic circuit such as setting a threshold level of the CCD or adjusting sensitivity.

이와 같이 처리된 신호는 도 21에서의 액정 배열로 주어진다. 액정 배열은 빔스필릿터를 중심으로해서 CCD 배열과 대칭을 이루는 위치를 갖는다. 여기서 CCD 배열과 액정 배열의 크기 등의 차이가 있을 경우, CCD 배열 또는 액정 배열 전단에 적절한 결상광학계를 배치함으로써 회절 광학계로부터의 특정 파장의 빛이 모이는 위치가 각 배열상에서 등비율의 위치를 갖게 한다. The signal thus processed is given by the liquid crystal arrangement in FIG. The liquid crystal array has a position symmetrical with the CCD array with respect to the beam splitter. Here, when there is a difference between the size of the CCD array and the liquid crystal array, an appropriate imaging optical system is placed in front of the CCD array or the liquid crystal array so that the position where light of a specific wavelength gathers from the diffraction optical system has the same ratio position on each array. .

각 CCD로부터의 신호는 당 CCD에 모이는 회절광학계로부터의 특정 파장의 빛이 빔스플릿터에 반사되어 모이는 액정에 주어지도록 처리된 신호를 액정 배열에 전달되도록 한다. 빔스플릿터는 낮은 투과율, 즉, 높은 반사율을 갖게 함으로써 빛의 손실을 최소화 한다. The signal from each CCD causes the processed signal to be transmitted to the liquid crystal array such that light of a particular wavelength from the diffraction optical system that collects on the CCD is reflected to the beam splitter and given to the liquid crystal that is collected. The beam splitter has a low transmittance, that is, a high reflectance, thereby minimizing light loss.

이와 같이 회절광소자와 렌즈 시스템, 그리고 빔스플릿터를 통해 액정 배열 상에 색분산된 빛은 CCD 배열로부터 전달된 신호에 의해 특정 파장의 빛만을 투과시킨다. As such, the light scattered on the liquid crystal array through the diffractive optical element, the lens system, and the beam splitter transmits only light having a specific wavelength by a signal transmitted from the CCD array.

이와 같은 방법으로 도 21에서의 액정 패널의 편광각에 대한 변조를 통해 조명하는 빛의 파장 스캐닝이 가능하다. In this manner, wavelength scanning of light illuminating through modulation of the polarization angle of the liquid crystal panel of FIG. 21 is possible.

CCD 배열로부터의 신호에 의한 액정 배열의 구동에 있어서의 처리속도를 감안하지 않는 한, 액정 패널의 0˚부터 90˚까지의 한 번의 변조 과정을 통하여 전체 파장에 대한 스캐닝이 가능하다. 그리고 본 고안은 파장 자체에 편광 정보를 적용하여 처리함으로써, <조명광의 파장 스캐닝 방법에서 액정 배열 구동의 응용-1>의 경우는 0차 회절무늬만을 차폐한다면 간단히 구현가능하고, CCD 배열로부터의 신호처리 또는 전자회로상의 처리를 통하여 <조명광의 파장 스캐닝 방법에서 액정 배열 구동의 응용-2> 또한 가능하다. Without considering the processing speed in driving the liquid crystal array by the signal from the CCD array, scanning of the entire wavelength is possible through one modulation process from 0 ° to 90 ° of the liquid crystal panel. In the present invention, by applying the polarization information to the wavelength itself, the present invention can be implemented simply by shielding only the 0th order diffraction pattern in the case of <Application of Liquid Crystal Array Driving in the Wavelength Scanning Method of Illuminated Light-1>. Through the processing or the processing on the electronic circuit, the application of the liquid crystal array driving in the wavelength scanning method of the illumination light-2 is also possible.

도 21의 점선 부분은 <조명광의 파장 스캐닝 방법-4, 5>에서의 점선 부분과 같이 반사형 회절 광학계가 적용될 수 있다. The dotted line portion of FIG. 21 may be applied with the reflective diffraction optical system as in the dotted line portion in <Wavelength Scanning Method-4, 5>.

⑥ 조명광의 파장 스캐닝 방법-6⑥ Wavelength Scanning Method of Illumination Light-6

도 28은 전술한 <조명광의 파장 스캐닝 방법-5>에서 액정 배열 대신 DMD 배열을 활용하는 경우이다. 상기 방법의 경우는 통상적으로 반응 속도가 비교적 느린 액정 배열을 사용하므로 액정 배열의 반응속도에 따라 전체 스캐닝 속도에 제한을 받을 수 있다. FIG. 28 illustrates a case in which the DMD array is used instead of the liquid crystal array in the above-described wavelength scanning method of illumination light-5. In the case of the method, since a liquid crystal array having a relatively slow reaction speed is typically used, the overall scanning speed may be limited according to the reaction speed of the liquid crystal array.

그러나 본 실시예와 같이 매우 빠른 반응 속도(10㎲)를 갖는 DMD 배열을 활 용하는 경우, 액정 패널의 한 번의 반응, 즉, 0˚부터 90˚까지의 변조에 따라 전체 파장에 대한 스캐닝이 가능하다. However, when using a DMD array having a very fast response speed (10 Hz) as in the present embodiment, scanning of all wavelengths is possible according to one response of the liquid crystal panel, that is, modulation from 0 ° to 90 °. Do.

순간적인 전압 신호 인가에 따른 액정의 광학적 변조는 시간에 따라 선형적이지 않을 수 있다. 그러나 적절한 전압신호의 변조 등을 통하여 선형적 반응을 유도할 수 있으며, 비선형적 반응이 불가피 하더라도 다음 단계에서 이루어지는 <깊이 영상 스캐닝 방법> 또한 이와 유사한 방법으로 이루어지므로 본 실시예는 유효하다. Optical modulation of the liquid crystal upon instantaneous voltage signal application may not be linear over time. However, a linear response can be induced through the modulation of an appropriate voltage signal, and even if a nonlinear response is inevitable, the <depth image scanning method> performed in the next step is also implemented in a similar manner, so the present embodiment is effective.

⑦ 조명광의 파장 스캐닝 방법-7⑦ Wavelength Scanning Method of Illumination Light-7

도 31은 <조명광의 파장 스캐닝 방법-5>에서 CCD 배열과 액정 배열 대신 광센서 배열(CMOS 또는 CCD 등)과 액정 배열이 조합된 소자 SSLM(sensing spatial light modulator)을 적용함으로써 시스템을 간단하게 구현하는 경우를 나타내는데, 도 29와 도 30에 액정 배열과 광센서 배열이 조합된 SSLM의 구조 및 액정 배열과 광센서 배열의 조합에서 회로적 구성에 대한 예시도를 각각 나타내었다.FIG. 31 shows a simple implementation of the system by applying an element sensing spatial light modulator (SSLM) in which an optical sensor array (such as a CMOS or CCD) and a liquid crystal array are used in place of the CCD array and the liquid crystal array in the method of scanning wavelength of illumination light. 29 and 30 show exemplary circuit structures in the structure of the SSLM in which the liquid crystal array and the optical sensor array are combined, and the combination of the liquid crystal array and the optical sensor array, respectively.

먼저, 도 29는 액정 배열과 광센서 배열이 조합된 SSLM의 구조를 나타내는 설명도이다. First, FIG. 29 is an explanatory diagram showing a structure of SSLM in which a liquid crystal array and an optical sensor array are combined.

도 29와 같이, 액정 배열과 광센서 배열이 조합된 SSLM 구조는 각 액정의 구동을 당 픽셀에 배치된 광센서로부터 발생된 신호에 의해 이루어지게 한다. 즉, 광센서로부터의 신호는 광센서로 들어오는 광량에 의해 결정되므로, 각 액정은 당 액정 부근의 영역에 주어지는 광량에 의해 투과시키는 광의 변조된 편광각이 결정되 게 된다. 이때, 각 광센서의 당 픽셀에서 임의의 크기와 위치를 가질 수 있다. As shown in FIG. 29, the SSLM structure in which the liquid crystal array and the optical sensor array are combined allows the driving of each liquid crystal by a signal generated from the optical sensor disposed in each pixel. That is, since the signal from the photosensor is determined by the amount of light coming into the photosensor, the angle of polarization of the light transmitted through each liquid crystal is determined by the amount of light given to the region near the liquid crystal. In this case, each pixel may have an arbitrary size and position in each pixel.

다음, 도 30은 액정 배열과 광센서 배열의 조합에서 회로적 구성에 대한 예를 나타내고 있다. 30 shows an example of the circuit configuration in the combination of the liquid crystal array and the optical sensor array.

도 30과 같이 광센서로 부터의 전기신호를 LCD 구동을 위한 TFT의 게이트(gate)에 부가하는 방법이 가능하다. 도 30에 도시된 예와 달리, 광센서 이후의 한계 레벨의 적용 등의 신호 변조 또는 리셋(Reset) 등의 기능을 위한 회로로 주어질 수 있다. As shown in FIG. 30, a method of adding an electric signal from an optical sensor to a gate of a TFT for driving an LCD is possible. Unlike the example shown in FIG. 30, it may be given as a circuit for a function such as signal modulation or reset such as application of a threshold level after an optical sensor.

도 31에서 SSLM의 전·후의 편광판은 도 32와 같은 특성을 갖는다.In FIG. 31, the polarizing plates before and after the SSLM have the same characteristics as in FIG.

다시 말해, SSLM 앞의 편광판은 도 32와 같이 광센서 앞 부분의 투과 편광특성과 액정 영역 앞 부분의 투과 편광특성을 서로 직교하게 한다. SSLM 뒤의 편광판은 도 32와 같이 광센서 앞의 편광판을 투과하지 못하는 편광의 빛에 대해, 즉, 액정 앞의 편광판을 투과하는 편광의 빛에 대해, SSLM의 액정의 변조 특성에 따라 가장 잘 투과하도록 편광판의 특성을 설정한다. In other words, the polarizing plate in front of the SSLM orthogonally crosses the transmission polarization characteristic of the front part of the optical sensor and the transmission polarization characteristic of the front part of the liquid crystal region as shown in FIG. 32. The polarizing plate behind the SSLM is best transmitted according to the modulation characteristics of the liquid crystal of the SSLM for the polarized light that does not transmit the polarizing plate in front of the optical sensor as shown in FIG. The characteristics of the polarizing plate are set so as to.

SSLM의 각 픽셀은 광센서로부터의 신호에 대해 높은 증폭률과 낮은 한계 레벨을 적용하는 등의 방식으로 광센서에 작은 광량에 대해서도 빛이 투과하지 못하도록 함으로써 도 27과 같이 시스템 전체를 투과하는 빛의 스펙트럼 폭을 좁힌다. 이는 도 32에서 편광각 θ가 0에 매우 가까운 빛만을 투과시키는 경우에 해당한다. Each pixel of the SSLM prevents light from being transmitted through a small amount of light to the optical sensor by applying a high amplification factor and a low threshold level to the signal from the optical sensor. Narrow it down. This corresponds to the case where the polarization angle θ only transmits light very close to zero in FIG. 32.

두 편광판과 SSLM은 최대한 가까운 거리를 가져야 한다. 그리고 도 31에서의 점선 부분은 앞서 설명된 <조명광의 파장 스캐닝 방법-4, 5>에서의 점선 부분과 같 이 반사형 회절 광학계가 적용될 수 있다. The two polarizers and the SSLM should be as close as possible. In addition, the dotted line portion in FIG. 31 may be applied to the reflective diffraction optical system as in the dotted line portion in the wavelength scanning method-4 and 5 of the above-described light.

⑧ 조명광의 파장 스캐닝 방법-8⑧ Wavelength Scanning Method of Illumination Light-8

전술한 <조명광의 파장 스캐닝 방법-7>의 경우에 있어서는 액정의 느린 반응 속도에 의해 스캐닝 속도가 충분하지 못한 속도로 제한 받을 수 있음을 언급한 바 있다.In the case of the above-mentioned <wavelength scanning method of illumination light-7>, it has been mentioned that the scanning speed may be limited to an insufficient speed by the slow reaction speed of the liquid crystal.

도 33은 매우 빠른 반응속도의 DMD 배열을 사용하는 <조명광의 파장 스캐닝 방법-6>에서 빔스플릿터와 CCD 배열, DMD 배열 대신 DMD 배열과 광센서 배열이 조합된 SSLM을 사용하는 방법을 나타내고 있다. FIG. 33 illustrates a method of using an SSLM in which a DMD array and a light sensor array are combined in place of a beam splitter, a CCD array, and a DMD array in a wavelength scanning method of illumination light using a very fast response DMD array. .

도 34는 DMD 배열과 광센서 배열이 조합된 SSLM의 구조에 대한 설명도이다. 34 is an explanatory diagram of a structure of an SSLM in which a DMD array and an optical sensor array are combined.

도 34의 (a)와 같이 각 DMD의 구동을 당 픽셀에 배치된 광센서로부터 발생된 신호에 의해 이루어지게 한다. 조합의 한 예로, 도 34의 (b)와 같이 광센서로부터의 전기신호를 에미터(emitter) 또는 드레인(drain)이 DMD에 연결된 트렌지스터의 베이스(base) 또는 게이트(gate)에 인가해 주는 방식이 가능하다. As shown in (a) of FIG. 34, the driving of each DMD is performed by a signal generated from an optical sensor disposed in each pixel. As an example of combination, a method in which an electric signal from an optical sensor is applied to a base or gate of a transistor connected to a DMD as shown in (b) of FIG. 34. This is possible.

광센서로부터의 신호는 광센서로 들어오는 광량에 의해 결정되므로 각 DMD는 당 액정 부근의 영역에 주어지는 광량에 의해 반사하는 빛의 반사각을 결정하게 된다. 각 광센서는 당 픽셀에서 임의의 크기와 위치를 가질 수 있다. Since the signal from the optical sensor is determined by the amount of light entering the optical sensor, each DMD determines the angle of reflection of light reflected by the amount of light given to the region near the liquid crystal. Each optical sensor can have any size and position in a pixel.

도 35는 SLM(액정 배열 또는 DMD 배열 등)과 광센서 배열 (CCD 배열 또는 CMOS 배열 등)을 겹침으로써 SSLM을 구성하는 방법을 나타내고 있다.FIG. 35 shows a method of configuring an SSLM by overlapping an SLM (liquid crystal array or DMD array, etc.) and an optical sensor array (CCD array or CMOS array, etc.).

도 29, 도 30, 도34와 같이 단일 패널 상에 두 배열이 조합된 형태를 구성하는 것이 기술적으로 매우 어려울 수 있기 때문에, 이에 따라, 도 35와 같이 두 배열을 겹침으로써 SSLM 구성이 가능하다. Since it may be technically very difficult to form a combination of two arrangements on a single panel as shown in FIGS. 29, 30, and 34, the SSLM configuration is possible by overlapping the two arrangements as shown in FIG.

다시 말해, SLM을 앞에, 광센서 배열을 뒤에 배치하고 SLM의 각 픽셀은 빛이 투과하는 영역을 갖도록 하며, 광센서 배열의 각 픽셀은 SLM의 각 픽셀의 투과영역을 통하여 투과된 빛이 노광되는 부위에 광 감응 부위(CMOS의 경우, photodiode 영역)가 위치하거나 포함되도록 한다. In other words, the SLM is placed in front and the array of photosensors is placed behind and each pixel of the SLM has an area through which light is transmitted, and each pixel of the photosensor array is exposed to light transmitted through the transmission area of each pixel of the SLM. The photosensitive site (photodiode region in the case of CMOS) is located or included in the site.

SLM이 액정 배열인 경우, SLM의 액정 부위를 통과한 빛이 SSLM 전체를 지날 수 있도록 광센서 배열의 한 픽셀에서 광 감응 부위를 제외한 가능한 넓은 부위를 빛이 투과할 수 있도록 한다. In the case where the SLM is a liquid crystal array, light is transmitted through the widest possible region except for the light sensitive region in one pixel of the optical sensor array so that light passing through the liquid crystal portion of the SLM passes through the entire SSLM.

SLM이 DMD 배열일 경우는 광센서 배열상의 투과영역은 불필요하다. 그리고, SLM과 광센서 배열 사이의 간격은 최소화 되어야한다. If the SLM is a DMD array, the transmission area on the optical sensor array is not necessary. And the gap between the SLM and the light sensor array should be minimized.

광센서 배열의 각 픽셀로부터 SLM 상의 대응 픽셀로의 전기신호 전달은 각 열에 주소 클럭(address clock)을 광센서 배열과 SLM에 동기화시켜 입력하고, 광 센서 배열에서 각 광센서의 전기신호 출력 단자에 대해 행별로 연결된 단자를, 마찬가지로 행별로 연결된 SLM의 각 행에 연결시켜 이루어지게 한다. The electrical signal transfer from each pixel of the light sensor array to the corresponding pixel on the SLM is inputted to each column by synchronizing the address clock with the light sensor array and the SLM, and from the light sensor array to the electrical signal output terminals of each light sensor. The terminals connected row by row to each row of the SLM connected row by row.

광센서 배열에서의 각 행은 각 픽셀로부터의 전기신호가 전압신호인 경우는 병렬 형태, 전류신호의 경우는 직렬 형태로 연결되며, SLM의 각 행은 병렬형태로 각 픽셀의 구동을 위한 입력 단자들이 연결된다. Each row of the optical sensor array is connected in parallel when the electric signal from each pixel is a voltage signal and in series when the current signal is input. Each row of the SLM is connected in parallel to the input terminal for driving each pixel. Are connected.

광센서 배열에서의 행과 SLM의 행이 연결되는 과정에서 신호 증폭 및 변조 또는 한계 레벨 등의 적용을 위한 회로가 부가된다. 여기서 광센서 배열이 CCD 배열인 경우, 각 행은 차지 모션(charge motion)이 이루어지는 버티컬 레지스터(vertical resister)의 방향이 되며, 픽셀들의 연결을 위해 특별한 회로적 연결이 이루질 필요가 없고, 적절한 주소 클럭 조절 회로를 통하여 CCD의 구동이 본 실시예에 적합하게 이루어지도록 하여야 한다. In the process of connecting the rows of the optical sensor array and the rows of the SLM, a circuit for application of signal amplification and modulation or threshold level is added. Here, when the light sensor array is a CCD array, each row is the direction of a vertical resister in which charge motion takes place, and there is no need for a special circuit connection for the connection of pixels, and an appropriate address. The driving of the CCD through the clock adjusting circuit should be made suitable for this embodiment.

예를 들어, CCD 배열은 시리얼 레지스터(serial resister)가 없어야 하며, 한 프레임은 노광 후 저장영역으로 전하가 이동하여 모두 행 밖으로 빠져나오는 등의 과정이 이루어지는 시간이다. For example, a CCD array should not have a serial resister, and one frame is a time when a charge is transferred to a storage area after exposure, and all the steps are taken out of the row.

각 노광 및 수평 전극(horizontal electrode)에 주어지는 신호들을 통해 한 행의 모든 전하(charge)들이 밖으로 빠져나오는 한 주기는, 본 실시예에서의 주소 클럭이 한 열에 주어지는 시간 내에 이루어져야 한다. One period in which all charges in a row exit through the signals given to each exposure and horizontal electrode must be made within the time that the address clock in this embodiment is given in one column.

도 36은 도 35에 도시한 SSLM의 구동 과정을 나타낸 설명도이다. 36 is an explanatory diagram showing a driving process of the SSLM shown in FIG.

각 열에 대한 주소 클럭은 순차적으로 열을 바꾸어 가며 주어진다. 클럭이 주어진 광센서 배열과 SLM에서의 해당열은 주어진 클럭신호에 의해 활성화 되며, 이에 따라 각 행별로 연결된 단자들에 의해 SLM 상의 당 열의 각 픽셀은 광센서 배열에서의 당 열의 대응 픽셀로부터의 신호에 의해 동시에 구동하게 된다. The address clock for each column is given in sequence, changing columns. The given array of clocks and the corresponding column in the SLM are activated by the given clock signal, so that each pixel in that row on the SLM is connected by the terminals connected in each row to the signal from the corresponding pixel in that row in the photosensor array. Are driven simultaneously.

따라서, 모든 열에 대한 주소 클럭의 한 번의 스캐닝에 의해 SSLM의 모든 픽셀들이 구동하게 된다. Thus, one pixel scan of the address clock for every column drives all pixels of the SSLM.

SLM의 각 픽셀은 주소 클럭에 의한 활성화가 끝난 이후, 주어진 신호에 의해 변조된 상태를 주소 클럭 스캐닝의 한 주기 동안 유지하기 위하여 부가적 회로가 주어지거나, 각 픽셀의 반응 속도 조절 또는 각 픽셀의 반응 속도에 적합하게 맞추어진 주소 클럭의 스캐닝 속도의 조절 등이 이루어질 수 있다. Each pixel in the SLM is given additional circuitry to maintain the state modulated by the given signal for one period of address clock scanning after activation by the address clock, or by adjusting the response rate of each pixel or the response of each pixel. Adjusting the scanning speed of the address clock suited to the speed may be performed.

이때, 빛의 입사 방향에 대한 광센서 배열과 SLM의 배치 순서가 바뀔 수 있으며, 이 경우 광센서 배열상의 투과영역은 반드시 필요하고, SLM상의 투과영역은 불필요하다. At this time, the arrangement order of the optical sensor array and the SLM with respect to the incident direction of light may be changed. In this case, the transmission region on the optical sensor array is necessarily required, and the transmission region on the SLM is unnecessary.

도 33에서 SSLM 배열 앞의 편광판은 도 37과 같이 빛이 주어지는 경로에 있어 각 픽셀의 광센서 앞부분은 편광변조 특성을 갖는 영역이며, 그 외의 영역은 편광 변조특성이 없는 투과 영역의 특성을 갖는다. In FIG. 33, the polarizing plate in front of the SSLM array is in the path of the light as shown in FIG. 37, the front of the optical sensor of each pixel has a polarization modulation characteristic, the other region has the characteristics of the transmission region without the polarization modulation characteristics.

편광판 대신 편광 필름이 사용될 수 있는데, 이 경우 편광 필름은 광센서 상에 코팅(coating) 등을 통해 구비될 수 있다. A polarizing film may be used instead of the polarizing plate. In this case, the polarizing film may be provided on the optical sensor through coating or the like.

2) 깊이 영상 스캐닝 방법2) depth image scanning method

① 깊이 영상 스캐닝 방법-1① Depth Image Scanning Method-1

도 38은 상기 <조명광의 파장 스캐닝 방법-5>에서의 빔스플릿터와 CCD 배열 및 액정 배열 시스템을 사용하여 깊이 영상 스캐닝하는 방법을 나타내고 있다. FIG. 38 shows a depth image scanning method using a beam splitter, a CCD array, and a liquid crystal array system in the wavelength scanning method-5 of illumination light.

도 38에서 점선 부분은 전단계인 파장 스캐닝이 이루어지는 조명 시스템이 배치되는 곳이다. 액정 배열 1 앞의 렌즈 시스템은 전단계인 조명 시스템에서 선택 된 파장의 빛이 발산하는 부분으로부터 초점거리에 위치시킨다. In FIG. 38, the dotted line portion is where the illumination system in which wavelength scanning is performed, which is a previous step, is disposed. The lens system in front of the liquid crystal array 1 is positioned at the focal length from the light emitting portion of the selected wavelength in the previous stage lighting system.

편광 스캐닝을 위한 액정 패널 이후의 렌즈 시스템은, 액정 배열 1에 표시된 영상을 빔스플릿터에 투과 또는 반사시켜 CCD 배열과 액정 배열 3에 결상할 수 있도록, 액정 배열 1로부터 적정한 거리에 위치시킨다. The lens system after the liquid crystal panel for polarization scanning is positioned at an appropriate distance from the liquid crystal array 1 so that the image displayed in the liquid crystal array 1 can be transmitted or reflected on the beam splitter to form an image in the CCD array and the liquid crystal array 3.

액정 배열 1의 앞뒤에 배치된 2개의 편광판은, 통상의 방법을 통해 2차원 영상을 밝기 영상으로 표시한다. Two polarizing plates arranged before and after the liquid crystal array 1 display a two-dimensional image as a brightness image through a conventional method.

액정 배열 2는 액정 배열 1에 표시된 영상의 각 픽셀이 갖는 깊이 정보를 편광정보의 형태로 부가하는 부분으로써, 액정 배열 1에 최대한 가까이 위치한다. The liquid crystal array 2 is a portion for adding depth information of each pixel of the image displayed in the liquid crystal array 1 in the form of polarization information, and is located as close as possible to the liquid crystal array 1.

액정 배열 2에 의한 깊이 정보 부가는 액정 배열 1 이후의 편광판을 통해 결정된 편광을 각 픽셀의 깊이 정보에 따라, 액정 배열 2의 대응 픽셀에 가해지는 전압 신호를 통하여 편광각이 결정되도록 함으로써 이루어진다. The addition of the depth information by the liquid crystal array 2 is performed by allowing the polarization angle determined through the voltage signal applied to the corresponding pixel of the liquid crystal array 2 to the polarization determined through the polarizing plates after the liquid crystal array 1 according to the depth information of each pixel.

이는 통상적인 액정 배열을 통한 2차원 영상 재생에서 전·후의 편광판을 생략하고, 깊이 정보를 밝기 레벨(gray level)로 표시하는 것에 해당한다. 액정 패널 이후의 광학시스템은 앞서 <조명광의 파장 스캐닝 방법-5>에서의 경우와 같이, 특정한 방향의 편광 특성을 갖는 픽셀들로부터의 빛만을 액정 배열 3을 통과하게 하는 시스템이다. This corresponds to omitting the front and rear polarizers in a two-dimensional image reproduction through a conventional liquid crystal array and displaying depth information at a gray level. The optical system after the liquid crystal panel is a system that allows only light from pixels having polarization characteristics in a specific direction to pass through the liquid crystal array 3, as in the case of <wavelength scanning method-5 of illumination light.

빔 스플릿터 이후의 광학계 역시 <조명광의 파장 스캐닝 방법-5>의 경우와 같다. The optical system after the beam splitter is also the same as that of <wavelength scanning method-5 of illumination light>.

액정 패널이 특정 상태를 유지하고 있을 경우, 깊이 정보를 액정 배열 2에 의해 편광각의 정보로 적용시켰고, 빔 스플릿터 이후의 시스템을 통하여 특정 편광 각의 픽셀들만을 선택해 낼 수 있으므로, 특정 깊이에 해당하는 2차원적 영상만을 액정 배열 3을 통하여 관찰 할 수 있게 된다. When the liquid crystal panel maintains a specific state, the depth information is applied to the polarization angle information by the liquid crystal array 2, and only the pixels having a specific polarization angle can be selected through the system after the beam splitter, Only the corresponding two-dimensional image can be observed through the liquid crystal array 3.

여기서, 액정 패널의 편광 변조는 전술한 <조명광 파장 스캐닝 방법>에서의 파장을 선택하는 부분과 동기화(synchronized)되어 있어 액정 배열 3을 통해 관찰되는 특정 깊이의 영상은 특정 파장의 빛으로 관찰되게 된다. Here, the polarization modulation of the liquid crystal panel is synchronized with a portion of selecting the wavelength in the above-described <lighting wavelength scan method> so that an image of a specific depth observed through the liquid crystal array 3 is observed with light having a specific wavelength. .

즉, 특정 깊이 영상에 특정 파장을 적용시킨 결과가 된다. That is, a result of applying a specific wavelength to a specific depth image.

그리고 액정 패널은 파장 스캐닝 조명 시스템과 동기화 되어 스캐닝 되므로, 모든 깊이의 영상에 각각 해당 파장 정보를 적용시킬 수 있게 된다.In addition, since the liquid crystal panel is scanned in synchronization with the wavelength scanning illumination system, corresponding wavelength information can be applied to images of all depths.

② 깊이 영상 스캐닝 방법-2② Depth Image Scanning Method-2

전 단계인 조명광의 파장 스캐닝과 깊이 영상 스캐닝은 충분한 속도로 이루어져야 전체 시스템을 통한 영상의 깜박임 없이 동영상 구현이 가능하다.Wavelength scanning and depth image scanning of the illumination light, which are the first step, should be made at a sufficient speed so that the video can be realized without flickering of the image through the whole system.

앞서 설명한 <깊이 영상 스캐닝 방법-1>의 경우는 최종적으로 비교적 반응 속도가 느린 액정 배열을 사용하므로 전체 시스템의 처리 속도를 느리게 할 수 있다. 이에 액정 배열 대신 반응 속도가 매우 빠른 DMD 배열을 활용하는 방법이 도 39에 도시되어 있다. In the case of the <depth image scanning method-1> described above, since a liquid crystal array having a relatively slow reaction speed is used, the processing speed of the entire system can be slowed down. Accordingly, a method of using a DMD array having a very fast reaction rate instead of the liquid crystal array is illustrated in FIG. 39.

DMD 배열을 통해 반사된 빛을 이용하여 영상 평면에 결상을 하는 렌즈 시스템은, 광량의 효율성 등을 위하여 다른 형태의 시스템이 될 수 있다. SSLM에서 반사된 빛에 의해 결상될 영상은 디퓨저(diffuser) 등의 확산판에 결상시킨다. A lens system that forms an image on an image plane by using light reflected through a DMD array may be another type of system for efficiency of light quantity. The image to be imaged by the light reflected from the SSLM is imaged onto a diffuser plate such as a diffuser.

③ 깊이 영상 스캐닝 방법-3③ Depth Image Scanning Method-3

도 40은 <깊이 영상 스캐닝 방법-1>에서 빔 스플릿터와 CCD 배열 및 액정 배열에 의한 시스템을 <조명광의 파장 스캐닝 방법-7>의 경우와 같이 액정 배열과 광센서 배열이 조합된 SSLM을 사용하는 방법이다. SSLM 전·후의 편광판들은 도 32와 같은 형태를 갖는다. 40 shows a system using a beam splitter, a CCD array, and a liquid crystal array in the <depth image scanning method-1> as in the case of the <wavelength scanning method of illumination light-7> using an SSLM in which a liquid crystal array and an optical sensor array are combined. That's how. The polarizers before and after the SSLM have a form as shown in FIG. 32.

④ 깊이 영상 스캐닝 방법-4④ Depth Image Scanning Method-4

도 41은 <깊이 영상 스캐닝 방법-2>에서 빔 스플릿터와 CCD 배열 및 DMD 배열에 의한 시스템을, <조명광의 파장 스캐닝 방법-8>의 경우와 같이 DMD 배열과 광센서 배열이 조합된 SSLM을 사용하는 방법이다. 41 shows a system using a beam splitter, a CCD array, and a DMD array in a depth image scanning method-2, and an SSLM in which a DMD array and an optical sensor array are combined, as in the case of <wavelength scanning method of illumination light-8>. How to use.

SSLM 전의 편광판은 도 37과 같은 형태를 가진다. 액정 패널 이후의 렌즈 및 빔스플릿터의 광학 시스템은 광량의 효율 등을 위해 다른 형태로 구성하는 것이 가능하다. The polarizing plate before SSLM has a form as shown in FIG. The optical system of the lens and the beam splitter after the liquid crystal panel can be configured in other forms for the efficiency of the amount of light.

그 예로, 빔 스플릿터를 활용하지 않고, <깊이 영상 스캐닝 방법-2>와 같이 SSLM과 액정 배열, 액정 패널, 렌즈 시스템 등을 기울이는 방법 또한 가능하다. SSLM에서 반사된 빛에 의해 결상될 영상은 디퓨저(diffuser) 등의 확산판에 결상시킨다. For example, it is also possible to tilt the SSLM, the liquid crystal array, the liquid crystal panel, and the lens system like the <depth image scanning method-2> without using the beam splitter. The image to be imaged by the light reflected from the SSLM is imaged onto a diffuser plate such as a diffuser.

(2) 깊이 생성 방법(부가된 깊이 정보를 공간적 깊이로 생성하는 방법)(2) Depth generation method (method of generating added depth information as spatial depth)

깊이 생성 과정은 2D 디스플레이 패널에 적용된 깊이에 관한 정보를 공간적 깊이로 생성시키는 방법에 관한 것으로써, 상기 깊이 정보 부가방법과 연관하여 회절광소자 또는 굴절률 가변소자를 이용하여 공간적으로 깊이를 생성시키는 과정이다.The depth generation process relates to a method of generating spatial information about depth applied to a 2D display panel, and a process of spatially generating depth using a diffractive optical element or a refractive index variable element in connection with the depth information addition method. to be.

본 실시예에서는 전 단계인 <깊이 변조 단계>에서의 파장을 변조하는 방식의 예에 부합하여, 회절광소자 중 하나인 존 플레잇(zone plate)을 사용하여 깊이를 생성하는 방법을 제시한다. This embodiment proposes a method for generating depth using a zone plate, which is one of diffractive optical elements, in accordance with an example of a method of modulating a wavelength in the previous step of <depth modulation step>.

도 42는 존 플레잇을 통해 공간적인 깊이를 생성하는 방법을 나타내고 있다. 42 illustrates a method of creating spatial depth through zone plates.

도 42와 같이 각 픽셀로부터의 빛이 당 픽셀이 갖는 깊이 정보에 대응하는 파장을 가질 경우, 각 픽셀에 대한 존 플레잇으로부터의 결상 거리는 존플레잇의 색수차(chromatic aberration)에 의해 당 픽셀이 갖는 깊이 정보에 따라 다른 거리를 갖게 된다. When the light from each pixel has a wavelength corresponding to the depth information of the pixel, as shown in FIG. It has a different distance depending on the depth information.

따라서, 파장 변조를 통해 깊이 정보를 부가하는 상기 깊이 변조 방법들과 존 플레잇을 통해 공간적 깊이를 생성 할 수 있다.Accordingly, spatial depth may be generated through the depth modulation methods and the zone plate that add depth information through wavelength modulation.

깊이 생성을 위한 존 플레잇은 <깊이 영상 스캐닝 방법-1>에서 액정 배열 3 이후, <깊이 영상 스캐닝 방법-2>에서는 DMD 배열로부터의 영상이 결상된 결상 평면 이후, <깊이 영상 스캐닝 방법-3>에서는 SSLM 이후, <깊이 영상 스캐닝 방법-4>에서는 SSLM로부터의 영상이 빔스플릿터에 반사되어 결상되는 결상평면 이후에 각각 위치하게 된다.In the depth image scanning method-1, the zone plate for depth generation is after the liquid crystal array 3 in the <depth image scanning method-1>, and in the <depth image scanning method-2> after the imaging plane in which the image from the DMD array is formed, the <depth image scanning method-3 In the>, after the SSLM, in the <depth image scanning method-4>, the image from the SSLM is positioned after the imaging plane reflected by the beam splitter and formed.

존 플레잇은 빛을 가로막는 방식이 적용된 존 플레잇 이외에, 위상 반 전(phase-reversal) 방식의 존 플레잇 일 수 있으며, 색수차 발생이 용이한 프레넬(Fresnel)렌즈로 대체될 수 있다. The zone plate may be a phase-reversal zone plate in addition to the zone plate to which light is applied, and may be replaced by a Fresnel lens that is easy to generate chromatic aberration.

그리고, 단일 존 플레잇이 아닌 다수의 존 플레잇 또는 특별한 광학 시스템 등과 함께 사용하여 깊이 생성 또는 광량, 분해능 등에 있어 다양한 효율성을 추구할 수 있다. In addition, the present invention can be used in conjunction with a plurality of zone plates or special optical systems instead of a single zone plate to achieve various efficiencies in depth generation, light quantity, resolution, and the like.

특히, 존 플레잇으로부터의 0차 회절, 즉, 회절 없이 투과되는 빛을 차단 또는 제거 해야 하는데, 이를 위해 별도의 부가적 광학 시스템이 구비될 수 있다.In particular, it is necessary to block or eliminate the zero-order diffraction from the zone plate, that is, the light transmitted without diffraction, for which a separate additional optical system may be provided.

(3) 깊이 확대 방법(depth magnification)(3) depth magnification

<깊이 생성 단계>에서 공간적으로 생성된 깊이가 관찰자에게 제공되기에 적절하지 못할 수 있다. 특히, 깊이 생성 과정에서 사용되는 광소자 특성의 한계 때문에 깊이가 작게 생성될 수 있다. The spatially generated depth in the <depth generation step> may not be appropriate for the viewer. In particular, the depth may be small because of limitations of the optical device characteristics used in the depth generation process.

따라서, 마지막 단계로 렌즈 배열 또는 회절광소자 등을 통해 <깊이 생성 단계>에서 생성된 공간적 깊이를 적정 깊이로 재조절하고, 특히 작게 생성된 깊이를 확대하는 과정이 필요하다. Therefore, as a final step, it is necessary to re-adjust the spatial depth generated in the <depth generation step> to an appropriate depth through a lens array or a diffractive optical element, and in particular, to enlarge the smaller generated depth.

깊이 확대는 다양한 광학적 결상 시스템을 통하여 가능한데, 특히 집적결상법을 통하여 시야각 등의 재생 영상의 질에 있어서의 효율성과 더불어 다양한 깊이 조절 방법으로 깊이 확대가 이루어질 수 있다. The depth enlargement is possible through various optical imaging systems. In particular, through the integrated imaging method, the depth enlargement can be achieved by various depth control methods together with the efficiency in the quality of the reproduced image such as the viewing angle.

도 43은 집적결상법을 통한 깊이 변조 방법의 한 예를 나타내고 있다. 43 shows an example of the depth modulation method through the integrated imaging method.

도 43과 같이 <깊이 생성 단계>에서 생성된 깊이를 갖는 영상 이후에 렌즈 배열 1을 통하여 기본영상을 결상 시킨 후, 결상된 기본영상 배열을 릴레이(relay) 광학 시스템을 통해 재결상한다. 그리고, 재결상된 기본영상 배열 이후에 렌즈 배열 2를 통해 집적영상으로 재생한다. After the image having the depth generated in the <depth generation step>, as shown in FIG. After the reimaged basic image array, the image is reproduced as an integrated image through the lens array 2.

릴레이 광학 시스템을 통해 재결상된 기본영상 배열의 크기가 렌즈 배열 1에 의해 결상된 기본영상 배열의 크기와 같을 경우, 또는 렌즈 배열 1 상의 기본렌즈의 초점거리가 렌즈 배열 2의 기본렌즈의 초점거리보다 작을 경우, 렌즈 배열 2에 의해 재생된 집적영상은 확대된 깊이를 갖게 된다. 여기서, 도 43의 렌즈 배열 1은 볼록렌즈가 사용될 수 있다. If the size of the primary image array reimaged through the relay optical system is the same as that of the primary image array formed by lens array 1, or the focal length of the primary lens on lens array 1 is the focal length of the primary lens of lens array 2 When smaller, the integrated image reproduced by the lens array 2 has an enlarged depth. In the lens array 1 of FIG. 43, a convex lens may be used.

이 방법 이외의 수단을 통해 기본영상의 개별적 크기를 확대하여 깊이를 확대할 수 있고, 기본영상의 전체적 크기를, 실상의 경우는 축소, 허상의 경우는 확대하여 재생영상의 깊이를 확대할 수 있다.By means other than this method, the depth can be enlarged by enlarging the individual size of the base image, and the depth of the reproduced image can be enlarged by reducing the overall size of the base image, in the case of a real image, and in the case of a virtual image. .

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. Therefore, the embodiments described above are to be understood in all respects as illustrative and not restrictive.

이상에서 설명한 바와 같이, 본 발명에 따른 3차원 영상 구현 시스템 및 그 방법은 다음과 같은 장점들을 갖는다.As described above, the 3D image implementation system and method thereof according to the present invention have the following advantages.

본 발명에 따른 3차원 영상 구현 시스템 및 그 방법은, 공간시차 생성 방법이나 볼륨에트릭 방식과 달리 획기적으로 최소한의 3차원적 정보만으로 3차원 영상을 구현할 수 있다.Unlike the spatial parallax generation method or the volume-echo method, the 3D image realization system and method thereof according to the present invention can realize a 3D image with a minimal amount of 3D information.

또한, 통상적인 2차원 영상 재생장치의 해상도만을 가지고 시점에 있어 자연스러운 3차원 영상을 구현할 수 있다. In addition, it is possible to implement a three-dimensional image that is natural in view with only the resolution of a conventional two-dimensional image reproducing apparatus.

또한, 시차영상 배열의 해상도에 따른 재생영상의 해상도, 시점의 수, 시야각 등의 특성에 있어 거의 제한을 받지 않으며, 해상도에 관한 제한 없이 동영상의 구현이 가능하고, 기계적 움직임에 대한 요소가 없어 안정적이다. In addition, the characteristics of the resolution, the number of views, the viewing angle, etc. of the reproduced image according to the resolution of the parallax image array is almost limited, and it is possible to implement a video without any limitation on the resolution, and there is no element for mechanical movement, which is stable. to be.

그리고, 불필요한 공간에 대한 정보처리를 수반하지 않아도 되기 때문에 재생영상, 특히 동영상의 해상도 저하가 없다. In addition, since there is no need to involve information processing for unnecessary space, there is no degradation in the resolution of the playback video, particularly the video.

Claims (13)

2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 장치;A depth modulation device for applying depth information to the 2D display panel; 상기 깊이 변조 장치에 의해 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 장치; 및A depth generating device for converting depth information applied by the depth modulator into an optical spatial depth; And 상기 깊이 생성 장치에 의해 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 장치를 포함하되, Including a depth expansion device for enlarging the spatial depth converted by the depth generating device to a specified size, 상기 깊이 확대 장치는 광학적 결상 장치에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템. And the depth expanding apparatus is configured by an optical imaging apparatus. 제 1 항에 있어서,The method of claim 1, 상기 깊이 변조 장치는, 특정 파장의 광을 선택적으로 조명하기 위한 조명광의 파장 스캐닝 장치; 및The depth modulator includes: a wavelength scanning device of illumination light for selectively illuminating light of a specific wavelength; And 상기 조명광의 파장 스캐닝 장치와 동기화되어 동작하며, 상기 조명광의 파장 스캐닝 장치에 의해 선택된 특정 파장의 광 가운데 특정 깊이의 영상을 선택하여 재생하기 위한 깊이 영상 스캐닝 장치를 포함하는 것을 특징으로 하는 3차원 영상 구현 시스템.And a depth image scanning device which operates in synchronization with a wavelength scanning device of the illumination light and selects and reproduces an image having a specific depth among lights having a specific wavelength selected by the wavelength scanning device of the illumination light. Implementation system. 제 2 항에 있어서,The method of claim 2, 상기 깊이 변조 장치에 의한 재생될 영상 깊이에 대한 스캐닝은, 2차원 영상 의 1 프레임 처리 시간 내에 이루어지는 것을 특징으로 하는 3차원 영상 구현 시스템.And scanning the depth of the image to be reproduced by the depth modulator within one frame processing time of the two-dimensional image. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 깊이 생성 장치는 회절광소자 또는 굴절률 가변 소자에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.And the depth generating device is configured by a diffractive optical element or a refractive index variable element. 제 4 항에 있어서,The method of claim 4, wherein 상기 깊이 생성 장치는 존 플레잇(zone plate)에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.And the depth generating device is configured by a zone plate. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 광학적 결상 장치는 집적 결상 장치인 것을 특징으로 하는 3차원 영상 구현 시스템.And the optical imaging device is an integrated imaging device. 제 2 항 또는 제 3 항에 있어서,The method of claim 2 or 3, 상기 조명광의 파장 스캐닝 장치는, 광원으로부터 인가된 광을 색분산 시키기 위한 투과형 회절광 소자 또는 반사형 회절광 소자; 및The wavelength scanning device of the illumination light includes a transmission diffraction light element or a reflection diffraction light element for color dispersion the light applied from the light source; And 상기 색분산된 광 가운데 특정 파장의 광을 선택하여 후방으로 조명하기 위한 액정(Liquid Crystal) 배열(array) 또는 DMD(digital micromirror device) 배열의 조합에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.3D imaging system comprising a combination of a liquid crystal array or a digital micromirror device (DMD) array for selecting and illuminating the light having a specific wavelength among the chromatic dispersion light . 제 2 항 또는 제 3 항에 있어서,The method of claim 2 or 3, 상기 조명광의 파장 스캐닝 장치는, 퀄쯔 크리스탈(Quartz Crystal) 및 SSLM(sensing spatial light modulator)의 조합에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.The wavelength scanning device of the illumination light, the three-dimensional image implementation system, characterized in that configured by a combination of the Qualz Crystal (Quartz Crystal) and the sensing spatial light modulator (SSLM). 제 9 항에 있어서,The method of claim 9, 상기 SSLM은, 액정패널, 액정배열 또는 DMD 배열의 군(群)에서 선택된 일 요 소 및 CCD 배열 또는 CMOS 배열의 군(群)에서 선택된 일 요소의 조합에 의해 구성되는 것을 특징으로 하는 3차원 영상 구현 시스템.The SSLM is constituted by a combination of one element selected from a group of a liquid crystal panel, a liquid crystal array, or a DMD array, and one element selected from a group of a CCD array or a CMOS array. Implementation system. 2D 디스플레이 패널에 깊이 정보를 적용시키기 위한 깊이 변조 단계;A depth modulation step for applying depth information to the 2D display panel; 상기 적용된 깊이 정보를 광학적인 공간적 깊이로 변환하는 깊이 생성 단계; 및A depth generation step of converting the applied depth information into an optical spatial depth; And 상기 변환된 공간적 깊이를 지정된 크기로 확대하기 위한 깊이 확대 단계를 포함하되, A depth enlargement step for enlarging the converted spatial depth to a specified size, 상기 깊이 변조 단계는, 특정 파장의 광을 선택적으로 조명하기 위한 조명광의 파장 스캐닝 단계; 및The depth modulation step may include: scanning a wavelength of illumination light to selectively illuminate light of a specific wavelength; And 상기 선택된 특정 파장의 광 가운데 특정 깊이의 영상을 선택하여 재생하기 위한 깊이 영상 스캐닝 단계를 포함하는 것을 특징으로 하는 3차원 영상 구현 방법.And a depth image scanning step of selecting and reproducing an image having a specific depth among the light of the selected specific wavelength. 삭제delete 제 11 항에 있어서,The method of claim 11, 상기 깊이 변조 단계에서 수행되는 영상 깊이에 대한 스캐닝은, 2차원 영상의 1 프레임 처리 시간 내에 이루어지는 것을 특징으로 하는 3차원 영상 구현 방법.And scanning the image depth performed in the depth modulation step within one frame processing time of the 2D image.

Images