KR20130128226A - An optical means and image photographing apparatus - Google Patents

Abstract

An image photographing device according to an embodiment of the present invention comprises an optical means and a data processing part processing image data photographed by the optical means. The optical means comprises a main lens array composed of multiple main lenses, a photosensor array having photosensors of the same number as that of the main lenses; and a microlens array disposed between the main lens array and the photosensor array to obtain write field data of light passing through the main lens array. [Reference numerals] (200) Data processing part

Description

광학 수단 및 영상 촬영 장치{An optical means and image photographing apparatus}An optical means and image photographing apparatus

본 실시예는 광학 수단 및 영상 촬영 장치에 대하여 개시한다. This embodiment discloses an optical means and an image photographing apparatus.

최근 촬영된 영상을 포커스를 재조합할 수 있는 플레놉틱 카메라(plenoptic camera)가 연구되고 있다. Recently, a plenoptic camera capable of refocusing a captured image has been studied.

이러한 플레놉틱 카메라는 광 필드 시스템이라고도 불려지며, 사진을 촬영하면 마이크로 렌즈로 받아들인 미세한 상들이 사진을 구성하는 픽셀 역할을 대신하게 되고, 마이크로 렌즈에서 받아들인 상 자체를 픽셀로 인식하기 때문에, 각 상에 대한 다양한 보정 작업을 수행할 수 있다. These plenotic cameras are also called light field systems, and when a picture is taken, the microscopic images taken by the microlens take over the role of the pixels that make up the picture, and the images taken by the microlens are recognized as pixels. Various corrections can be made to the image.

본 실시예는 개선된 구조의 영상 촬영 장치를 제안하는 것을 목적으로 한다. The embodiment aims to propose an image photographing apparatus having an improved structure.

본 실시예에 따른 영상 촬영 장치는, 광학 수단과, 상기 광학 수단에 의해 촬영된 영상 데이터를 처리하는 데이터 처리부를 포함하는 영상 촬영 장치로서, 상기 광학 수단은, 복수의 메인 렌즈들이 구성된 메인 렌즈 어레이와, 상기 메인 렌즈의 개수와 동일한 개수의 포토 센서를 갖는 포토 센서 어레이와, 상기 메인 렌즈 어레이를 통과한 광의 라이트 필드 데이터를 획득하기 위하여 상기 메인 렌즈 어레이와 포토 센서 어레이 사이에 배치되는 마이크로 렌즈 어레이를 포함한다. An image capturing apparatus according to the present embodiment includes an optical means and a data processor which processes image data photographed by the optical means, wherein the optical means comprises: a main lens array including a plurality of main lenses And a photo sensor array having the same number of photo sensors as the number of the main lenses, and a micro lens array disposed between the main lens array and the photo sensor array to obtain light field data of light passing through the main lens array. It includes.

제안되는 본 실시예에 의해서, 영상 촬영 장치의 양단에서의 시차가 크기 때문에, 이로 인한 3D 카메라 적용이 용이하다는 장점이 있다. 또한, 방향 해상력과 공간 해상력을 특성을 향상시키면서 크기를 소형화할 수 있는 장점이 있다. According to the present exemplary embodiment, since the parallax at both ends of the image capturing apparatus is large, there is an advantage in that the application of the 3D camera is easy. In addition, there is an advantage that the size can be reduced while improving the characteristics of the direction resolution and spatial resolution.

도 1 내지 도 3은 영상 촬영 장치의 비교예들의 구성을 보여주는 도면.
도 4는 본 실시예에 따른 영상 촬영 장치의 구성을 보여주는 도면.
도 5와 도 6은 본 실시예에 따른 마이크로 렌즈 어레이의 구성들을 보여주는 도면.
도 7은 본 실시예에 따라 메인 렌즈당 마이크로 렌즈를 구성하는 패턴들을 보여주는 도면.
도 8은 본 실시예에 따른 메인 렌즈 어레이를 구성하는 각 메인 렌즈들이 서로 다른 어퍼쳐를 갖는 것을 설명하기 위한 도면.
도 9는 미스얼라인된 메인 렌즈의 액정소자 보상방법을 설명하기 위한 도면.
도 10은 미스얼라인된 메인 렌즈를 평행광조사를 이용한 보상방법을 설명하기 위한 도면. 1 to 3 are views showing the configuration of comparative examples of an image photographing apparatus.
4 is a diagram illustrating a configuration of an image capturing apparatus according to the present embodiment.
5 and 6 show configurations of the micro lens array according to the present embodiment.
7 shows patterns constituting a micro lens per main lens according to the present embodiment;
8 is a view for explaining that each main lens constituting the main lens array according to the present embodiment has a different aperture.
9 is a view for explaining a liquid crystal element compensation method of a misaligned main lens;
FIG. 10 is a view for explaining a compensation method using parallel light irradiation on a misaligned main lens; FIG.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다. Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings. It should be understood, however, that the scope of the inventive concept of the present embodiment can be determined from the matters disclosed in the present embodiment, and the spirit of the present invention possessed by the present embodiment is not limited to the embodiments in which addition, Variations.

그리고, 이하의 설명에서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다. In the following description, the word " comprising " does not exclude the presence of other elements or steps than those listed.

본 발명의 실시예를 설명하기 위하여, 다양한 비교예들을 먼저 언급하여 본다. In order to explain an embodiment of the present invention, various comparative examples are mentioned first.

도 1 내지 도 3은 영상 촬영 장치의 비교예들의 구성을 보여주는 도면이다. 1 to 3 are diagrams showing the configuration of comparative examples of an image photographing apparatus.

먼저, 도 1에 도시된 바와 같이, 단일의 메인 렌즈와 단일의 포토 센서로 이루어진 경우가 제 1의 비교예가 될 수 있을 것이며, 일반적인 영상 촬영 장치가 될 수 있다. 이러한 영상 촬영 장치는 하나의 포토 센서에 모든 방향으로 입사하는 영상의 이미지를 기록하게 되므로, 방향 해상력이 존재하지 않는다. First, as shown in FIG. 1, a case consisting of a single main lens and a single photo sensor may be the first comparative example, and may be a general image capturing apparatus. Since the image capturing apparatus records an image of an image incident in all directions on one photo sensor, there is no direction resolution.

그 다음, 도 2에 도시된 바와 같이, 다수 개의 메인 렌즈(10)와 다수 개의 포토 센서(20)로 구성되는 경우가 제 2의 비교예가 될 수 있으며, 이러한 영상 촬영 장치는 N*N 어레이의 메인 렌즈와 포토 센서를 포함하고 있으므로, 방향해상력은 N*N으로 크게 늘어날 수 있지만, N*N의 메인 렌즈로 인한 부피 증가와 제조 비용이 증가해 버릴 수 있다. Next, as shown in FIG. 2, the case of the plurality of main lenses 10 and the plurality of photo sensors 20 may be a second comparative example. Such an image photographing apparatus may include an N * N array. Since it includes a main lens and a photo sensor, the direction resolution can be greatly increased to N * N, but the volume increase and manufacturing cost due to N * N's main lens can be increased.

그 다음, 도 3에 도시된 바와 같이, 단일의 메인 렌즈와 단일의 포토 센서를 구비하되, 상기 메인 렌즈와 포토 센서 사이에서 라이트 필트 데이터를 획득하기 위한 마이크로 렌즈 어레이가 구성되는 영상 촬영 장치가 제 3의 비교예가 될 수 있다. Next, as illustrated in FIG. 3, an image photographing apparatus including a single main lens and a single photo sensor, wherein a micro lens array is configured between the main lens and the photo sensor to obtain light filter data. It can be a comparative example of 3.

이 경우, 마이크로 렌즈 어레이가 M*M 픽셀 크기의 마이크로 렌즈 어레이를 구성하는 경우에, M*M의 방향해상력을 가지게 되어, 라이트 필드 시스템으로 실시될 수 있을 것이다. 그러나, 하나의 포토 센서를 사용하고 있기 때문에, M*M의 마이크로 렌즈 어레이를 통과한 광에 대한 공간해상력이 1/(M*M)으로 감소해버릴 수 있게 되어, 라이트 필드 시스템의 활용에 제한이 될 수 있다. In this case, in the case where the microlens array constitutes a microlens array of M * M pixel size, the microlens array may have a direction resolution of M * M, and thus may be implemented as a light field system. However, since one photo sensor is used, the spatial resolution of light passing through the M * M microlens array can be reduced to 1 / (M * M), limiting the use of the light field system. This can be

이와 같이 다양하게 구성시킬 수 있는 비교예들의 이해를 바탕으로, 본 실시예의 영상 촬영 장치의 기술적 특징을 보다 정확하게 이해할 수 있다. Based on the understanding of the comparative examples that can be configured in this way, it is possible to more accurately understand the technical features of the image capturing apparatus of the present embodiment.

도 4는 본 실시예에 따른 영상 촬영 장치의 구성을 보여주는 도면이다. 4 is a diagram illustrating a configuration of an image photographing apparatus according to an exemplary embodiment.

도 4를 참조하면, 본 실시예의 영상 촬영 장치는 광학 수단(100)과, 상기 광학 수단(100)에 의해 촬영된 영상에 대해서 라이트 필드 데이터를 이용하여 영상의 리포커싱 등의 영상 처리를 수행할 수 있도록 하는 데이터 처리부(200)를 포함한다. Referring to FIG. 4, the image capturing apparatus of the present exemplary embodiment performs image processing such as refocusing of an image using light field data on the optical means 100 and the image photographed by the optical means 100. It includes a data processing unit 200 to enable.

상세히, 본 실시예의 영상 촬영 장치의 광학 수단(100)은, 적어도 2이상의 메인 렌즈들이 구성되는 메인 렌즈 어레이(110)와, 상기 메인 렌즈들 각각을 통과한 광에 대해서 라이트 필드 데이터를 획득하기 위한 마이크로 렌즈 어레이(120)와, 상기 마이크로 렌즈 어레이(120)를 통과한 광을 수광하여 전기적인 신호로 변환하는 다수의 포토 센서(130)를 포함한다. In detail, the optical means 100 of the image capturing apparatus of the present embodiment includes a main lens array 110 including at least two main lenses and a light field data for obtaining light passing through each of the main lenses. The micro lens array 120 and a plurality of photo sensors 130 for receiving the light passing through the micro lens array 120 and converts the light into an electrical signal.

상기 메인 렌즈 어레이(110)는 P*Q와 같이 다수의 메인 렌즈들(110a,110b,110c,110d)이 렌즈 고정부재 등에 의하여 고정되어 있으며, 도면에는 메인 렌즈들이 2*2 어레이로 장착된 경우가 도시되어 있다. 그리고, 상기 포토 센서(130)는 상기 메인 렌즈들의 개수에 대응되도록 동일한 P*Q의 개수로 구성된다. In the main lens array 110, a plurality of main lenses 110a, 110b, 110c, and 110d are fixed by a lens fixing member such as P * Q, and in the drawing, the main lenses are mounted in a 2 * 2 array. Is shown. The photo sensor 130 is configured with the same number of P * Qs to correspond to the number of main lenses.

또한, 상기 마이크로 렌즈 어레이(120)는, 각각의 메인 렌즈들에 대응되는 패턴으로 구성되어 있으며, 각 메인 렌즈에 대응되는 마이크로 렌즈 어레이는 마이크로 렌즈가 A*B로 배열된 구조를 갖을 수 있다. In addition, the micro lens array 120 is configured in a pattern corresponding to each of the main lenses, the micro lens array corresponding to each main lens may have a structure in which the micro lenses are arranged in A * B.

상기 마이크로 렌즈 어레이(120)는, 각각의 메인 렌즈들에 대응하는 서브 어레이 패턴들을 갖는 것으로 이해하여도 되며, 도 5의 (b)를 참조하면, 메인 렌즈가 2*2로 구성되는 경우에, 상기 마이크로 렌즈 어레이(120)는 4개의 서브 어레이 패턴(121,122,123,124)을 갖는다. 그리고, 각각의 서브 어레이 패턴들은 마이크로 렌즈들이 A*B로 배열된다. The micro lens array 120 may be understood to have sub array patterns corresponding to the respective main lenses. Referring to FIG. 5B, when the main lens is configured of 2 * 2, The micro lens array 120 has four sub array patterns 121, 122, 123, and 124. And, each of the sub array patterns is arranged in the micro lenses A * B.

즉, 본 실시예에서는, 메인 렌즈를 P*Q로 다수개 구성하고, 각각의 메인 렌즈를 통과한 광에 대해서 라이트 필드 데이터를 획득하기 위한 마이크로 렌즈들의 어레이 크기가 A*B로 배열되고, 상기 마이크로 렌즈들을 통과한 광을 수광하여 전기적인 신호로 변환하기 위한 포토 센서가 메인 렌즈의 개수에 대응되는 P*Q로 구성된다. That is, in the present embodiment, a plurality of main lenses are configured as P * Q, and the array size of microlenses for acquiring light field data with respect to the light passing through each main lens is arranged as A * B. A photo sensor for receiving light passing through the micro lenses and converting the light into an electrical signal is configured of P * Q corresponding to the number of main lenses.

이와 같은 구성은, 앞서 설명한 비교예들에 비하여 다음과 같은 우수한 효과를 갖는다. Such a configuration has the following excellent effects compared to the comparative examples described above.

제 1 비교예에서는 메인 렌즈가 1개이고, 포터 센서 역시 1개이다. 그리고, 제 2 비교예에서는 메인 렌즈와 포토 센서가 각각 다수개이므로, 메인 렌즈 어레이를 N*N으로 가정하고, 포토 센서 어레이 역시 N*N으로 가정한다. 그리고, 제 3 비교예에서는 메인 렌즈가 1개이고, 포토 센서 역시 1개이며, 마이크로 렌즈 어레이(마이크로 렌즈당 픽셀 해상도)가 다수개이므로, 마이크로 렌즈당 픽셀 해상도를 M*M으로 가정한다. In the first comparative example, there is one main lens, and also one porter sensor. In the second comparative example, since there are a plurality of main lenses and photo sensors, the main lens array is assumed to be N * N, and the photo sensor array is also assumed to be N * N. In the third comparative example, since there is one main lens, one photo sensor, and multiple micro lens arrays (pixel resolution per micro lens), the pixel resolution per micro lens is assumed to be M * M.

그리고, 이들 비교예와 대비하기 위한 본 실시예에서는, 메인 렌즈가 다수개이고, 상기 메인 렌즈의 개수에 동일한 포토 센서가 구성되고, 마이크로 렌즈 어레이 역시 구성되므로, 메인 렌즈 어레이를 (N/n)*(N*n)로 가정하고, 각 메인 렌즈에 대응되는 마이크로 렌즈당 픽셀 해상도를 m*m으로 가정하고, 상기 메인 렌즈 어레이와 동일한 개수로 구성되는 포토 센서 어레이 역시 (N/n)*(N*n)로 가정한다. In the present embodiment for contrast with these comparative examples, since there are a plurality of main lenses, the same photo sensor is configured for the number of the main lenses, and the micro lens array is also configured, the main lens array is (N / n) *. Assume (N * n), and pixel resolution per micro lens corresponding to each main lens is assumed to be m * m, and the photo sensor array configured as the same number as the main lens array is also (N / n) * (N * n).

이러한 경우에, 본 실시예의 구성에 따르면, 상기 제 1 비교예에 비하여 방향 해상력은 N*N배가 되며, 메인 렌즈 어레이는 제 2 비교예와 비교하여 1/n²가 되며, 포토 센서 어레이 역시 1/n²가 된다. In this case, according to the configuration of the present embodiment, the direction resolution is N * N times as compared with the first comparative example, the main lens array is 1 / n ² compared with the second comparative example, and the photo sensor array is also 1 / n ²

또한, m과 n이 동일한 경우라면, 방향 해상력은 제 2 비교예와 N*N으로 동일하면서, 공간 해상력은 1/n²으로 제 3 비교예보다 우수한 특성을 갖을 수 있다. In addition, if m and n are the same, the direction resolution may be the same as that of the second comparative example and N * N, while the spatial resolution is 1 / n ² and may have superior characteristics than the third comparative example.

비교예들과 본 실시예의 광학 특성을 비교한 결과를 아래의 표와 같이 정리할 수 있다. The results of comparing the optical characteristics of the comparative examples and the present embodiment can be summarized as shown in the table below.

제 1 비교예

First Comparative Example

제 2 비교예
2nd comparative example
제 3 비교예
Comparative Example 3
본 실시예
Example
메인렌즈어레이

Main Lens Array

1
One
N*N
N * N
1
One
(N/n)*(N/n)
(N / n) * (N / n)
마이크로렌즈당
픽셀 해상도

Per microlens
Pixel resolution

0
0
0
0
M*M
M * M
m*m
m * m
포토센서어레이

Photo sensor array

1
One
N*N
N * N
1
One
(N/n)*(N/n)
(N / n) * (N / n)
방향 해상력

Direction resolution

0
0
N*N
N * N
M*M
M * M
(N/n)²*m²
(N / n) ² * m ²
공간 해상력

Space resolution

1
One
1
One
1/(M*M)
1 / (M * M)
1/(m*m)
1 / (m * m)
3D 시차

3D parallax

N/A
N / A
우수
Great
좋지않음
Not good
우수
Great
크기

size

작음

littleness

큼

greatness

작음

littleness

우수

Great

한편, 상기 데이터 처리부(200)는 상기 광학 수단(100)으로부터 각 포토 센서에 대한 위치 정보와 함께 영상 데이터를 전달받는다. 그리고, 상기 데이터 처리부(200)는 상기 포토 센서(130)에서 획득한 영상들을 해석하고 원하는 영상 효과를 얻기 위하여 영상들을 재조합할 수 있다. 그리고, 적어도 2개의 배율을 갖는 영상 및 라이트 필드 데이터를 이용하여 영상의 뷰 변화, 리포커싱 등의 영상처리를 수행할 수 있다. 예를 들어, 상기 데이터 처리부(200)는 상이한 위치의 포토 센서(130)들로부터 검출되는 광, 상기 광을 검출하는 각 포토 센서의 위치에 의하여 특정되는 2차원 초점 평면상의 검출된 광의 입사각의 함수로서 뷰 변화된 영상 또는 리포커싱된 영상을 생성할 수 있다. On the other hand, the data processing unit 200 receives the image data along with the position information for each photo sensor from the optical means 100. The data processor 200 may interpret the images acquired by the photo sensor 130 and reassemble the images to obtain a desired image effect. Image processing such as view change and refocusing of an image may be performed using an image having at least two magnifications and light field data. For example, the data processor 200 is a function of the incident angle of the detected light on the two-dimensional focal plane specified by the light detected from the photo sensors 130 at different positions and the position of each photo sensor detecting the light. As an example, the view changed image or the refocused image may be generated.

한편, 본 실시예의 복수의 메인 렌즈를 갖는 메인 렌즈 어레이와, 상기 메인 렌즈들을 통과한 광에 대한 라이트 필드 데이터를 획득하기 위하여 배치되는 마이크로 렌즈 어레이의 다양한 실시예에 대해서, 도 5와 도 6을 참조하여 본다. Meanwhile, FIGS. 5 and 6 will be described with reference to various embodiments of a main lens array having a plurality of main lenses of the present embodiment and a micro lens array arranged to acquire light field data for light passing through the main lenses. See with reference.

도 5와 도 6은 본 실시예에 따른 마이크로 렌즈 어레이의 구성들을 보여주는 도면이다. 5 and 6 are diagrams showing configurations of the micro lens array according to the present embodiment.

먼저, 도 5를 참조하면, P*Q의 메인 렌즈들이 구성된 메인 렌즈 어레이가 도5(a)에 도시되어 있고, 각각의 메인 렌즈에 대응되는 마이크로 렌즈 패턴들(서브 어레이 패턴)(121,122,123,124)들이 각각 A*B의 마이크로 렌즈들로 구성되는 예가 도 5(b)에 도시되어 있다. First, referring to FIG. 5, a main lens array including main lenses of P * Q is illustrated in FIG. 5A, and micro lens patterns (sub array patterns) 121, 122, 123, and 124 corresponding to each main lens are illustrated. An example consisting of micro lenses of A * B is shown in Fig. 5 (b).

실시예에 따라 메인 렌즈가 다수개 구성되는데, A*B로 마이크로 렌즈가 다수개 배열되는 서브 어레이 패턴들에 의하여 각각의 메인 렌즈들을 통과한 광에 대한 라이트 필트 데이터를 획득하고, 이러한 데이터는 각 메인 렌즈에 대응되는 포토 센서들로 전달된다. According to an embodiment, a plurality of main lenses are configured, and light filter data of light passing through the respective main lenses is obtained by subarray patterns in which a plurality of microlenses are arranged in A * B. The sensor is transferred to photo sensors corresponding to the main lens.

상기 메인 렌즈들은 반드시 N*N의 대칭으로 구성되어야 할 필요가 없는 것으로서, P*Q로 도시되어 있고, 마이크로 렌즈 어레이의 각 서브 어레이 패턴들 역시 대칭으로 반드시 구성되어야 하는 것은 아니기 때문에 A*B로 도시되어 있다. 다만, 각각의 메인 렌즈 1개에 대하여 마이크로 렌즈의 개수는 정수로 떨어지거나 마이크로 렌즈 1개에 대하여 픽셀의 개수가 정수로 대응되어야 할 필요는 있다. The main lenses are not necessarily configured to be N * N symmetric, and are shown as P * Q, and A * B because each sub-array pattern of the micro lens array is also not necessarily symmetric. Is shown. However, for each main lens, the number of micro lenses needs to drop to an integer or the number of pixels for one micro lens needs to correspond to an integer.

메인 렌즈의 어레이에서 P가 Q보다 큰 경우에는, 영상 촬영 장치의 가로 해상력이 커지는 것을 나타내고, 상기 영상 촬영 장치가 스마트폰등의 모바일 기기에서 사용되는 경우에는 모바일 기기 특성상 가로와 세로 길이가 다른 종횡비를 가지는 것이 유리하므로, 메인 렌즈의 어레이가 P>Q이 되도록 구성할 수 있다. When P is larger than Q in the array of the main lens, the horizontal resolution of the image capturing apparatus is increased, and when the image capturing apparatus is used in a mobile device such as a smartphone, an aspect ratio having a different aspect ratio from the horizontal length and the vertical length due to the characteristics of the mobile device Since it is advantageous to have, the array of main lenses can be configured such that P> Q.

그리고, 본 발명의 실시예에서는, 메인 렌즈의 최소 개수는 2개이며, 2*2개의 메인 렌즈와, 각 메인 렌즈들에 대응되는 서브 어레이 패턴에서 2*2개의 마이크로 렌즈를 구성할 수 있다(도 5(b)). 또한, 4*4 메인 렌즈 어레이에 마이크로 렌즈 어레이의 각 서브 어레이 패턴들이 2*2 마이크로 렌즈로 구성되는 것도 가능하다. In an embodiment of the present invention, the minimum number of main lenses is two, and 2 * 2 main lenses and 2 * 2 micro lenses may be configured in sub array patterns corresponding to the respective main lenses ( 5 (b)). It is also possible for each sub-array pattern of the micro lens array to consist of 2 * 2 micro lenses in a 4 * 4 main lens array.

또 다른 예로, 도 6에 도시된 바와 같이, 메인 렌즈가 2개 구성되어 1*2의 메인 렌즈 어레이로 구성되는 경우에(도 6의 (a)), 마이크로 렌즈 어레이는 제 1 서브 어레이 패턴(125)과 제 2 서브 어레이 패턴(126)으로 구성되면서 각각의 서브 어레이 패턴들은 2*1(도 6의 (b)) 또는 1*2(도 6의 (c))로 이루어지는 것도 가능할 것이다. As another example, as shown in FIG. 6, when two main lenses are configured to constitute a 1 * 2 main lens array ((a) of FIG. 6), the micro lens array may include a first sub array pattern ( 125 and the second sub-array pattern 126, each sub-array pattern may be made of 2 * 1 (Fig. 6 (b)) or 1 * 2 (Fig. 6 (c)).

여기서, 메인 렌즈 어레이와, 각 메인 렌즈당 마이크로 렌즈들의 배열과 관련하여, A가 P보다 큰 경우에는, 공간 해상력이 보다 증가된 영상 촬영 장치가 될 것이고, 반대로 P가 A보다 큰 경우에는, 방향 해상력이 보다 증가된 영상 촬영 장치가 될 것이다. Here, with respect to the main lens array and the arrangement of the micro lenses for each main lens, when A is larger than P, the spatial imaging power will be increased, and conversely, if P is larger than A, It will be a video recording device with a higher resolution.

메인 렌즈 어레이와, 각 메인 렌즈당 마이크로 렌즈의 배열이 서로 개수는 다르더라도 유효 소자기준으로 방향별 크기는 동일할 수 있다. 그리고, 포토 센서가 메인 렌즈의 개수에 따라 다중 분할된 구조를 갖으므로 방향 해상력이 저하되는 것은, 고해상도 센서 적용으로 마이크로 렌즈 1개에 대응하는 픽셀수를 증가시켜 방향 해상력의 감소를 줄일 수 있을 것이다. Although the number of main lens arrays and microlenses per main lens is different from each other, the size of each direction may be the same based on the effective element. Since the photo sensor has a multi-divided structure according to the number of main lenses, the decrease in the direction resolution may reduce the decrease in the direction resolution by increasing the number of pixels corresponding to one microlens by applying a high resolution sensor. .

결국, 이러한 본 발명의 실시예에 따른 영상 촬영 장치는, 전술한 제 2 비교예에 비하여 시차는 작을 수 있지만, 제 1 및 제 3 비교예에 비하여 영상 촬영 장치의 양단에서의 시차가 크기 때문에, 이로 인한 3D 카메라 적용이 용이하다는 장점이 있다. 또한, 마이크로 렌즈 어레이와 칼라 필터를 일체화한 카메라 응용이 가능하고, 메인 렌즈 어레이, 마이크로 렌즈 어레이 및 포토 센서 어레이의 형상은 도시된 사각형상으로 구성될 수 있을 뿐만 아니라, 원형 또는 육각형 등 다양한 형상으로 변경하여 실시할 수도 있을 것이다. 그리고, 메인 렌즈와 마이크로 렌즈 각각은 외경과 유효경의 크기 조합 역시 다양하게 구성할 수 있다. As a result, in the image capturing apparatus according to the embodiment of the present invention, although the parallax may be smaller than that of the second comparative example, the parallax at both ends of the image capturing apparatus is larger than that of the first and third comparative examples. This has the advantage of easy application of 3D camera. In addition, a camera application in which the micro lens array and the color filter are integrated is possible, and the shapes of the main lens array, the micro lens array, and the photo sensor array may be configured in a rectangular shape as shown, and may be formed in various shapes such as a circle or a hexagon. It may be changed. In addition, each of the main lens and the microlens may have various combinations of size of the outer diameter and the effective diameter.

한편, 마이크로 렌즈 어레이와 칼라 필터 구성은 다양한 예로 실시될 수 있으며, 마이크로 렌즈 어레이에서 칼라 필터의 구성은 메인 렌즈 어레이의 메인 렌즈에서 상이한 정보 영역을 선택하여 전체 영역의 정보를 획득하는 것과 동일한 효과를 갖는다. On the other hand, the configuration of the micro lens array and the color filter may be implemented in various examples, and the configuration of the color filter in the micro lens array has the same effect as selecting different information areas from the main lenses of the main lens array to obtain information of the entire area. Have

도 7은 본 실시예에 따라 메인 렌즈당 마이크로 렌즈를 구성하는 패턴들을 보여주는 도면이다. 7 is a view showing patterns constituting a micro lens per main lens according to the present embodiment.

도 7의 (a) 내지 (d)에 도시된 마이크로 렌즈 패턴들은, 마이크로 렌즈 1개당 라이트 필드 데이터를 획득하기 위한 서브 어레이 패턴에 해당된다. 즉, 도 7(a) 내지 (d) 각각은 마이크로 렌즈 어레이를 구성하는 서브 어레이 패턴에 해당되고, 각각의 서브 어레이 패턴은 2*2로 구성되는 경우이다. The microlens patterns illustrated in FIGS. 7A to 7D correspond to subarray patterns for obtaining light field data per microlens. That is, each of FIGS. 7A to 7D corresponds to a sub array pattern constituting the micro lens array, and each sub array pattern is 2 * 2.

즉, 각각의 메인 렌즈를 통과한 광에 대하여 라이트 필드 데이터를 획득하기 위해, 각 메인 렌즈에 대응된 서브 어레이 패턴이 2*2 패턴으로 구성될 수 있다. 그리고, 이 경우, 각각의 R/G/B/IR 필터는 서브 그룹의 센서 픽셀에 해당하고, 이 픽셀들은 각각의 패턴 내에서 4*4개수만큼 형성될 수 있다. That is, in order to obtain light field data with respect to light passing through each main lens, a sub array pattern corresponding to each main lens may be configured as a 2 * 2 pattern. In this case, each R / G / B / IR filter corresponds to a sensor pixel of a subgroup, and these pixels may be formed by 4 * 4 in each pattern.

도 7(a)는 R/G/B 필터를 구성하는 예이고, (b)는 R/G/B 및 Y 필터를 구성하는 예이고, (c)는 R/G/B 및 IR 필터를 구성하는 예이고, (d)는 R/G/B/Y필터 각각을 구획되도록 구성한 예이다. 이러한 마이크로 렌즈 어레이는 센서 픽셀들을 포함하도록 반도체 칩 상에 제조될 수 있다. Figure 7 (a) is an example of configuring the R / G / B filter, (b) is an example of configuring the R / G / B and Y filter, (c) is configured an R / G / B and IR filter (D) is an example configured to partition each of the R / G / B / Y filters. Such micro lens arrays can be fabricated on semiconductor chips to include sensor pixels.

도 8은 본 실시예에 따른 메인 렌즈 어레이를 구성하는 각 메인 렌즈들이 서로 다른 어퍼쳐를 갖는 것을 설명하기 위한 도면이다. 8 is a view for explaining that each of the main lenses of the main lens array according to the present embodiment has different apertures.

본 실시예에 따라 메인 렌즈 어레이를 적어도 2개 이상의 메인 렌즈들이 구성된 것은 앞서 설명한 바와 같으며, 각각의 메인 렌즈가 갖는 어퍼쳐를 서로 다르게 구성시킴으로써 광을 받아들이는 감도를 다르게 설정하는 것 역시 가능하다. According to the present exemplary embodiment, at least two main lenses of the main lens array are configured as described above, and it is also possible to set different sensitivity to receive light by differently configuring the aperture of each main lens. .

예를 들면, 도 8에 도시된 바와 같이, 제 1 메인 렌즈(110a)는 조리개를 ㅈ조여서 F4.0의 어퍼쳐를 갖도록 구성되고, 제 2 메인 렌즈(110b)는 F2.8의 어퍼쳐를 갖도록 구성하여, 광의 입사각이 변경되면 마이크론 렌즈 어레이를 xdh한 상 역시 크기와 밀도가 달라지도록 구성하는 것이 가능하다. 어퍼쳐는 메인 렌즈에서 뿐만 아니라 마이크로 렌즈 어레이에서도 가능할 것이다. For example, as shown in FIG. 8, the first main lens 110a is configured to have an aperture of F4.0 by tightening the aperture, and the second main lens 110b is configured to have an aperture of F2.8. When the incident angle of the light is changed, the micron lens array xdh can also be configured such that its size and density are different. Apertures will be possible in the micro lens array as well as in the main lens.

이하에서는, 메인 렌즈 어레이와, 마이크로 렌즈 어레이 및 포토 센서 어레이간의 조립시에 미스-얼라인이 발생되는 경우에, 개별적으로 중심 오차를 보정하는 방법에 대하여 설명하여 본다. Hereinafter, a description will be given of a method for individually correcting the center error when a misalignment occurs in assembling the main lens array, the micro lens array and the photo sensor array.

도 9는 미스얼라인된 메인 렌즈의 액정소자 보상방법을 설명하기 위한 도면이고, 도 10은 미스얼라인된 메인 렌즈를 평행광조사를 이용한 보상방법을 설명하기 위한 도면이다. 9 is a view for explaining a liquid crystal element compensation method of a misaligned main lens, and FIG. 10 is a view for explaining a compensation method using a parallel light irradiation on a misaligned main lens.

먼저 도 9를 참조하면, 도 9(a)의 경우가 메인 렌즈, 마이크로 렌즈 어레이 및 포토 센서간 얼라인이 이루어진 경우이고, 도 9(b)는 메인 렌즈가 포토 센서 중심으로부터 소정 거리 쉬프트되어 조립된 경우가 될 수 있다. First, referring to FIG. 9, the case of FIG. 9 (a) is an alignment between the main lens, the micro lens array, and the photo sensor. In FIG. 9 (b), the main lens is assembled by shifting a predetermined distance from the center of the photo sensor. It may be the case.

이러한 경우에, 메인 렌즈를 지지하는 렌즈 고정대를 미스얼라인된 거리만큼 쉬프트 이동시키거나, 메인 렌즈 및 렌즈 고정대를 소정 각도 틸트시켜 광축이 포토 센서의 중심에 위치하도록 보상할 수 있다. In this case, the lens holder for supporting the main lens may be shifted by a misaligned distance, or the main lens and the lens holder may be tilted by an angle to compensate for the optical axis to be positioned at the center of the photo sensor.

도 10을 참조하면, 메인 렌즈 측으로 평행광을 조사하여 광축 보정을 수행하는 방법으로, 도 10(a)은 광축이 포토 센서의 중심에 일치하는 경우의 광 강도 그래프이고, 도 10(b)는 포토 센서의 중심으로부터 소정 거리 미스얼라인된 경우에 나타나는 광 강도 그래프이다. Referring to FIG. 10, a method of correcting an optical axis by irradiating parallel light toward the main lens, FIG. 10 (a) is a light intensity graph when the optical axis coincides with the center of the photo sensor, and FIG. It is a light intensity graph which shows when it misses a predetermined distance from the center of a photo sensor.

도 10(b)와 같이 메인 렌즈가 포토 센서 중심 대비 소정 거리 쉬프트되어 조립되는 경우에는, 센서의 중심과 강도(Y)의 중심이 어긋나게 되고, 이러한 경우에 센서의 픽셀 단위로 광 강도의 피크 위치를 찾아내어 그 중심을 쉬프트시켜 보상해줄 수 있다. When the main lens is assembled by shifting a predetermined distance from the center of the photo sensor as shown in FIG. 10 (b), the center of the sensor and the center of the intensity Y are shifted, and in this case, the peak position of the light intensity in units of pixels of the sensor. Can be found and the center shifted to compensate.

상술한 바와 같이, 본 실시예의 영상 촬영 장치는, 제 2 비교예의 카메라 어레이에 비하여 세밀한 깊이 정보를 제공하면서, 제 3 비교예와 같은 플레놉틱 카메라에 비해 두께가 얇고 유사한 성능을 제공할 수 있다. 그리고, 메인 렌즈 마다 상이한 노출에 의한 HDR 구현이 가능하고, 구현 속도에서도 장점을 갖는다. As described above, the image capturing apparatus of the present exemplary embodiment may provide detailed depth information as compared with the camera array of the second comparative example while providing a thinner thickness and similar performance as compared to the plenomic camera like the third comparative example. In addition, it is possible to implement HDR by different exposures for each main lens, and has an advantage in implementation speed.

상기의 수학식1은 플레놉틱 카메라에서 재초점 영상을 얻기 위한 수식이다. 쉬프팅(shifting)과 에딩(adding)에 의해 가상 초점 거리F'의 서브 어퍼쳐 이미지(sub-aperture image)를 얻을 수 있다. 그리고, 이것은 메인 렌즈 어레이까지 확장하여 쉬프팅과 에딩된 최종의 초점 조정 영상을 얻을 수 있다. Equation 1 is an equation for obtaining a refocused image in a plenoptic camera. By shifting and adding, a sub-aperture image of the virtual focal length F 'can be obtained. And this can be extended to the main lens array to obtain the shifted and final final focus image.

마이크로 렌즈를 이용한 재초점 영상을 얻기 위해서는 기본적으로 O(k⁴)의 연산량이 필요하다(k는 4D에서 각 차원의 샘플수). 제 3 비교예는 큰 샘플 개수를 갖기 때문에, 재초점 영상을 얻기 위한 연산량이 많다. To obtain a refocused image using a microlens, an operation amount of O (k ⁴ ) is basically required (k is the number of samples in each dimension in 4D). Since the third comparative example has a large number of samples, a large amount of calculation is required to obtain a refocused image.

그러나, 본 실시예에 의하면, 비교예들보다 k값이 작고, 메인 렌즈 단위의 마이크로 렌즈 어레이로 1차 재초점 영상을 계산하고, 메인 렌즈 모두가 1차 재초점 영상을 모아 2차 재초점 영상을 최종적으로 연산하는 단계적인 연산방법을 적용할 수 있기 때문에 보다 빠른 수행이 가능하다. However, according to the present exemplary embodiment, the k value is smaller than that of the comparative examples, and the first refocus image is calculated by the micro lens array of the main lens unit, and all the main lenses collect the first refocus image to collect the second refocus image. It is possible to perform faster because the stepwise operation method that finally calculates can be applied.

또한, 본 실시예에서는, 메인 렌즈 어레이의 메인 렌즈들은 서브-픽셀 거리 관계를 가지도록 설계되기 때문에, 각 메인 렌즈 단위마다 영상을 획득하고 수퍼-해상도 연산을 이용하여 영상의 크기를 확대할 수 있다. 이러한 방법은 수퍼-해상도 크기의 격자 안에서 서브-픽셀 거리 관계를 연산하고, 틀어진 위치관계에서 중간값으로 보간하여 처리할 수 있다. 이때, 물체로 인하여 상이한 서브-픽셀 거리가 발생할 수 있기 때문에, 이것을 고려할 필요가 있다. 그리고, 에지 성분 정보를 이용하여 결과에서 에지가 손상되는 것 역시 보완할 수 있다. In addition, in the present embodiment, since the main lenses of the main lens array are designed to have a sub-pixel distance relationship, an image may be obtained for each main lens unit and the size of the image may be enlarged by using a super-resolution operation. . This method can be handled by computing the sub-pixel distance relationship in a super-resolution sized grid and interpolating to the median in the distorted positional relationship. At this time, it is necessary to take this into account because different sub-pixel distances may occur due to the object. The edge component information can also be used to compensate for the edges being damaged in the result.

Claims (6)

광학 수단과, 상기 광학 수단에 의해 촬영된 영상 데이터를 처리하는 데이터 처리부를 포함하는 영상 촬영 장치로서,
상기 광학 수단은,
복수의 메인 렌즈들이 구성된 메인 렌즈 어레이와,
상기 메인 렌즈의 개수와 동일한 개수의 포토 센서를 갖는 포토 센서 어레이와,
상기 메인 렌즈 어레이를 통과한 광의 라이트 필드 데이터를 획득하기 위하여 상기 메인 렌즈 어레이와 포토 센서 어레이 사이에 배치되는 마이크로 렌즈 어레이를 포함하는 영상 촬영 장치. An image photographing apparatus comprising an optical means and a data processing unit for processing image data photographed by the optical means,
The optical means,
A main lens array comprising a plurality of main lenses,
A photo sensor array having the same number of photo sensors as the number of main lenses;
And a microlens array disposed between the main lens array and the photo sensor array to obtain light field data of light passing through the main lens array. 제 1 항에 있어서,
상기 메인 렌즈 어레이는 상기 메인 렌즈들이 P*Q 개수로 배열된 구조이고,
상기 마이크로 렌즈 어레이는 상기 메인 렌즈들의 개수와 동일한 서브 어레이 패턴들로 이루어지는 영상 촬영 장치. The method of claim 1,
The main lens array is a structure in which the main lenses are arranged in the number of P * Q,
And the micro lens array comprises sub-array patterns equal to the number of main lenses. 제 2 항에 있어서,
상기 마이크로 렌즈 어레이의 서브 어레이 패턴은 A*B 개수로 마이크로 렌즈가 배열되는 구조인 영상 촬영 장치. 3. The method of claim 2,
And a sub array pattern of the micro lens array is a structure in which micro lenses are arranged in an A * B number. 제 1 항에 있어서,
상기 메인 렌즈 어레이를 구성하는 메인 렌즈들 중 일부는 상이한 어퍼쳐값을 갖는 영상 촬영 장치. The method of claim 1,
And some of the main lenses constituting the main lens array have different aperture values. 적어도 2이상의 메인 렌즈들로 이루어진 메인 렌즈 어레이;
상기 메인 렌즈 어레이를 통과한 광에 대한 라이트 필드 데이터를 획득하기 위한 마이크로 렌즈 어레이; 및
상기 마이크로 렌즈 어레이를 통과한 광을 전기적 신호로 변환하기 위한 포토 센서 어레이;를 포함하고,
상기 포토 센서 어레이를 구성하는 포토 센서는 상기 메인 렌즈의 개수와 동일한 개수로 구성되고,
상기 마이크로 렌즈 어레이는 상기 메인 렌즈 각각에 대응되는 복수의 서브 어레이 패턴으로 구성되는 광학 수단.A main lens array composed of at least two main lenses;
A micro lens array for obtaining light field data for light passing through the main lens array; And
And a photo sensor array for converting light passing through the micro lens array into an electrical signal.
The photo sensor constituting the photo sensor array is composed of the same number as the number of the main lens,
And the micro lens array comprises a plurality of sub array patterns corresponding to each of the main lenses. 제 5 항에 있어서,
상기 서브 어레이 패턴 내에 구성되는 마이크로 렌즈의 개수는 상기 메인 렌즈 개수의 정수배로 이루어지는 광학 수단. The method of claim 5, wherein
And the number of micro lenses formed in the sub array pattern is an integer multiple of the number of main lenses.

Images