KR101691551B1 - Photographing apparatus and method - Google Patents

Photographing apparatus and method Download PDF

Info

Publication number
KR101691551B1
KR101691551B1 KR1020100017920A KR20100017920A KR101691551B1 KR 101691551 B1 KR101691551 B1 KR 101691551B1 KR 1020100017920 A KR1020100017920 A KR 1020100017920A KR 20100017920 A KR20100017920 A KR 20100017920A KR 101691551 B1 KR101691551 B1 KR 101691551B1
Authority
KR
South Korea
Prior art keywords
photoelectric conversion
pixels
image
mode
pixel
Prior art date
Application number
KR1020100017920A
Other languages
Korean (ko)
Other versions
KR20110073159A (en
Inventor
모리모토 야수히로
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/976,918 priority Critical patent/US8558915B2/en
Publication of KR20110073159A publication Critical patent/KR20110073159A/en
Application granted granted Critical
Publication of KR101691551B1 publication Critical patent/KR101691551B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 것의 이점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성하기 위해 촬상소자로부터 데이터를 독출할 수 있는 촬상장치를 제공하는 것으로, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고, 광전 변환부는 광전 변환 영역에 포함되는 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비한 촬상장치가 제공된다.There is provided an imaging apparatus capable of reading data from an imaging element to efficiently generate a live view image without deteriorating the advantage of having an optical system having a lens array made up of a group of microlenses, There is provided a photoelectric conversion unit having a plurality of photoelectric conversion regions composed of a plurality of pixels arranged on a single plane corresponding to the irradiation range of transmitted light from each lens of the lens array and a lens array in which a plurality of lenses are regularly arranged , The photoelectric conversion unit selects a first mode in which data is successively read out from all the pixels included in the photoelectric conversion region and some pixels whose positions are relatively coincident with the respective lenses in each photoelectric conversion region, The array is capable of generating a color image, There is provided an imaging apparatus having at least one second mode for continuously reading out data from the first mode.

Figure R1020100017920
Figure R1020100017920

Description

촬상장치 및 방법{Photographing apparatus and method}[0001] The present invention relates to a photographing apparatus and method,

본 발명은 촬상장치 및 방법에 관한 것이다.The present invention relates to an imaging apparatus and a method.

종래의 일반적인 디지털 스틸 카메라는 포커스 렌즈에서 집광한 광을 CCD이미지 센서나 CMOS 이미지 센서 등 기타 촬상소자에 조사함으로써 컬러 화상 신호를 생성하였다. 그러나 최근에는 렌즈와 촬상소자 사이에 단일 평면상에 배열된 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치가 제안되었다. 이러한 촬상장치는 플레놉틱(Plenoptic) 타입의 촬상장치라고 불린다.A conventional general digital still camera generates a color image signal by irradiating light focused by a focus lens to a CCD image sensor, a CMOS image sensor, or other imaging device. Recently, however, an imaging apparatus having an optical system having a lens array composed of a group of microlenses arranged on a single plane between a lens and an imaging element has been proposed. Such an image pickup apparatus is called a plenoptic type image pickup apparatus.

이러한 플레놉틱 촬상장치를 이용하여, 광학계에 의해 얻어진 화상을 재구성함으로써 피사계 심도를 자유롭게 결정하는 기술들 및 시차를 이용한 측거나 3D 화상에 대한 응용, 해상도를 향상시키는 기술들이 공지되어 있다. Techniques for freely determining the depth of field by reconstructing an image obtained by an optical system using such a planetary imaging apparatus, and techniques for improving the resolution and application to side-by-side or 3D images are known.

전술한 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치에서는 통상 촬상소자의 출력을 전부 메모리에 일시적으로 저장하고 필요한 화상 데이터를 선택적으로 처리함으로써 화상을 재구성하였다. 그러나 실제로 렌즈 어레이를 구비한 광학계를 구비한 촬상장치의 사용 환경을 고려하면 광학계에서 결상된 화상을 실시간으로 확인하기 위한 라이브 뷰 화상을 생성할 필요가 있다. 따라서 촬상소자의 출력을 전부 메모리에 일시적으로 저장하면 라이브 뷰 화상의 작성 처리에 시간이 걸리고 일정 프레임에서 라이브 뷰 영상이 출력되지 않는 현상이 생기는 문제가 있다.In an image pickup apparatus having an optical system having a lens array made up of the aforementioned microlens group, the output of the image pickup device is generally temporarily stored in the memory and the necessary image data is selectively processed to reconstruct the image. However, in consideration of the use environment of an image pickup apparatus having an optical system provided with a lens array, it is necessary to generate a live view image for confirming an image formed in the optical system in real time. Therefore, if the output of the image pickup device is temporarily stored in the memory, there is a problem that a process for creating a live view image takes time and a live view image is not outputted in a certain frame.

본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 일 실시 예는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성하기 위해 촬상소자에서 데이터를 독출할 수 있는 촬상장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide an image pickup apparatus capable of efficiently reading data from an image pickup element in order to efficiently generate a live view image without damaging the merit of an optical system having a lens array made up of a group of microlenses And to provide an image pickup apparatus and method capable of outputting the image.

상기 과제를 해결하기 위해 본 발명의 한 관점에 의하면, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고, 상기 광전 변환부는 상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비한 촬상장치가 제공된다.According to an aspect of the present invention, there is provided an image pickup apparatus including: a lens array in which a plurality of lenses provided on a single plane are regularly arranged; A first mode in which the photoelectric conversion unit successively reads data from all the pixels included in the photoelectric conversion region, and a second mode in which each photoelectric conversion unit is provided with a plurality of photoelectric conversion regions, It is possible to select a certain pixel whose position is relatively coincident with respect to each lens in the conversion area and to select one or more second modes for successively reading data from the selected pixel There is provided an image pickup apparatus equipped with the above-

상기 구성에 의하면, 렌즈 어레이는 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열되어 있고, 광전 변환부는 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비하고 있다. 그리고 광전 변환부는 여러 개의 모드에 의해 화소로부터 데이터를 독출할 수 있고, 그 중 하나 이상의 제2 모드에서는 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출할 수 있다. 그 결과, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있다.According to the above arrangement, the lens array is provided with a plurality of lenses arranged on a single plane regularly, and the photoelectric conversion portion includes a plurality of pixels arranged on a single plane corresponding to the irradiation range of the transmitted light from each lens of the lens array A plurality of photoelectric conversion regions are formed. The photoelectric conversion unit can read data from the pixels by a plurality of modes, and in at least one of the two modes, some pixels whose positions are relatively coincident with respect to the respective lenses in each photoelectric conversion region are selected, The pixel array is capable of generating a color image, and data can be continuously read from the selected pixel. As a result, a live view image can be efficiently generated without impairing the merit of an optical system having a lens array made up of a group of microlenses.

상기 제2 모드에서 선택 후의 화소 배열은 베이어 배열일 수 있다. 그 결과, 제2 모드에서 선택된 화소로부터 컬러 화상을 생성할 수 있다.The pixel arrangement after selection in the second mode may be a Bayer arrangement. As a result, a color image can be generated from the pixel selected in the second mode.

상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 홀수인 경우에 상기 광전 변환부는, 상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 홀수 수의 화소로 이루어진 영역에서 데이터를 독출할 수 있다. 그 결과, 컬러 화상의 생성이 가능해지도록 화소를 각 광전 변환 영역에서 선택할 수 있다.When the number of the pixels constituting the photoelectric conversion region is an odd number, the photoelectric conversion unit, when reading out in the second mode, converts data in an area consisting of odd number of pixels whose number of sides is smaller than the above- You can read it. As a result, pixels can be selected in each photoelectric conversion region so as to enable the generation of a color image.

상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 짝수인 경우에 상기 광전 변환부는 상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 짝수 수의 화소로 이루어진 영역에서 데이터를 독출해도 좋다. 그 결과, 컬러 화상의 생성이 가능해지도록 화소를 각 광전 변환 영역에서 선택할 수 있다.Wherein when the number of pixels constituting the photoelectric conversion region is an even number, the photoelectric conversion unit reads data in an area including an even number of pixels whose number of edges is smaller than the number of edges when the image is read out in the second mode Maybe. As a result, pixels can be selected in each photoelectric conversion region so as to enable the generation of a color image.

상기 제2 모드에 의해 상기 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 소정의 주기로 바꾸어 표시하는 표시부를 더 구비해도 좋다. 그 결과, 제2 모드에 의해 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 표시할 수 있다.And a display unit for displaying an image generated by using the data read from the photoelectric conversion unit in the second mode while changing the image at a predetermined cycle. As a result, an image generated by using the data read from the photoelectric conversion unit by the second mode can be displayed.

상기 광전 변환부의 각 화소로부터는 데이터를 그대로 독출하여 상기 표시부에 표시하는 화상의 생성에 사용해도 좋다. 또 상기 광전 변환부의 각 화소에서의 적,녹,청의 대표값을 사용하여 상기 표시부에 표시하는 화상을 생성하도록 해도 좋다. 대표값을 사용함으로써 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.The data may be read from each pixel of the photoelectric conversion unit as it is and used to generate an image to be displayed on the display unit. Alternatively, an image to be displayed on the display unit may be generated using representative values of red, green, and blue in each pixel of the photoelectric conversion unit. By using the representative value, it is possible to reduce the amount of computation in generating a color image using the read data.

상기 광전 변환부의 내부에서 사전에 각 상기 대표값을 연산해도 좋다. 또 상기 광전 변환부로부터 데이터를 독출한 후 각 상기 대표값을 연산하는 연산부를 더 구비해도 좋다. 그 결과, 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.And the representative values may be calculated in advance in the photoelectric conversion unit. Further, the image forming apparatus may further include an operation unit that reads data from the photoelectric conversion unit and then calculates each representative value. As a result, it is possible to reduce the amount of computation in generating a color image using the read data.

상기 제2 모드에 의해 상기 광전 변환부로부터 데이터를 독출할 때에는 상기 렌즈 어레이의 모든 렌즈에 대응하는 상기 광전 변환 영역을 대상으로 해도 좋다. 또 상기 제2 모드에 의해 상기 광전 변환부로부터 데이터를 독출할 때에는 상기 렌즈 어레이의 일부 렌즈에 대응하는 상기 광전 변환 영역을 대상으로 해도 좋다. 그 결과 독출한 데이터를 사용한 컬러 화상 생성시의 연산량을 줄일 수 있다.And when reading data from the photoelectric conversion unit by the second mode, the photoelectric conversion regions corresponding to all the lenses of the lens array may be targeted. When the data is read out from the photoelectric conversion unit by the second mode, the photoelectric conversion region corresponding to a part of the lenses of the lens array may be targeted. As a result, it is possible to reduce the amount of computation in generating color images using the read data.

상기 촬상장치는 상기 광전 변환부의 주변부로 감에 따라 상기 광전 변환부에 대해 수직으로 광을 조사하는 방향으로 상기 렌즈 어레이의 광축을 쉬프트시켜도 좋다. 광전 변환부에 대해 수직으로 광이 조사되는 방향으로 렌즈 어레이의 광축을 쉬프트함으로써 광량을 확보하여 주변부의 화질을 향상시킬 수 있다.The image pickup device may shift the optical axis of the lens array in a direction to irradiate light perpendicularly to the photoelectric conversion portion in accordance with the peripheral portion of the photoelectric conversion portion. By shifting the optical axis of the lens array in the direction in which light is vertically irradiated to the photoelectric conversion portion, the amount of light can be secured and the image quality of the peripheral portion can be improved.

또 상기 과제를 해결하기 위해 본 발명의 다른 관점에 의하면, 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비한 촬상장치의 촬상 방법에 있어서, 상기 광전 변환부는 상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 가진 데이터 독출 단계를 구비한 촬상방법이 제공된다.According to another aspect of the present invention, there is provided a liquid crystal display comprising: a lens array in which a plurality of lenses provided on a single plane are regularly arranged; And a photoelectric conversion unit having a plurality of photoelectric conversion regions formed of a plurality of pixels provided on the photoelectric conversion region, wherein the photoelectric conversion unit successively reads out data from all the pixels included in the photoelectric conversion region The first mode and some pixels whose positions are relatively coincident with respect to the respective lenses in each photoelectric conversion region are selected and the pixel array after the selection is capable of generating a color image, Is provided with an imaging method with a data reading step having at least one second mode .

본 발명의 일 실시 예에 따른 촬상장치 및 방법은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계가 갖는 장점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있다.The imaging apparatus and method according to an embodiment of the present invention can efficiently generate a live view image without sacrificing the merits of an optical system having a lens array made up of a group of microlenses.

도 1은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다.
도 2는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 촬상장치(100)의 개략도이다.
도 4은 도 3에 도시된 촬상장치(100)에서 독출 모드의 전환 처리를 설명하기 위한 흐름도이다.
도 5는 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리를 설명하기 위한 도면이다.
도 6은 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리를 설명하기 위한 도면이다.
도 7은 CMOS센서로부터의 화소의 독출 순서를 설명하기 위한 도면이다. 1 is a view for explaining an optical system having a lens array made up of a group of microlenses.
2 is a view for explaining an optical system having a lens array made up of a group of microlenses.
3 is a schematic diagram of an imaging device 100 according to an embodiment of the present invention.
4 is a flowchart for explaining the switching process of the reading mode in the image pickup apparatus 100 shown in Fig.
5 is a diagram for explaining the reading process of the pixel data of the image sensor 106 in the second mode.
6 is a diagram for explaining a reading process of the pixel data of the image sensor 106 in the second mode.
Fig. 7 is a diagram for explaining a reading order of pixels from the CMOS sensor.

이하 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, elements having substantially the same functional configuration in the present specification and drawings are denoted by the same reference numerals, and redundant description will be omitted.

우선, 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기 전에 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 구성에 대해서 설명하고, 그 후에 상기 렌즈 어레이를 구비한 촬상장치의 구성에 대해서 설명하기로 한다.First, before describing the preferred embodiments of the present invention in detail, the configuration of an optical system including a lens array made up of a group of microlenses will be described, and then the configuration of an imaging apparatus having the lens array will be described .

도 1 및 도 2는, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 설명하기 위한 도면이다. 도 1은, 피사체로부터의 광을 집광하는 렌즈와 촬상소자 사이에 렌즈 어레이를 구비한 것을 측면 방향에서 본 경우에 대해서 도시한 도면이고, 도 2는, 렌즈 어레이의 배치 상태를 개념적으로 도시한 도면이다.Figs. 1 and 2 are views for explaining an optical system having a lens array made up of a group of microlenses. Fig. Fig. 1 is a view showing a case in which a lens array is provided between a lens for condensing light from a subject and an image pickup device in a lateral direction. Fig. 2 is a view schematically showing the arrangement state of the lens array to be.

도 1에 도시된 것처럼, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계에서는 주 렌즈(11)를 통과한 피사체로부터의 광이 렌즈 어레이(12)의 각 마이크로 렌즈(12a)에 합초되도록 투영된다. 그리고 촬상센서(13)에는 마이크로 렌즈(12a)를 투과한 광이 조사된다.1, in an optical system having a lens array made up of a group of microlenses, light from a subject passing through the main lens 11 is projected so as to be focused on each microlens 12a of the lens array 12. The image sensor 13 is irradiated with light transmitted through the microlens 12a.

촬상센서(13)에는 인접한 마이크로 렌즈(12a)로부터의 광이 겹치지 않도록 주 렌즈(11)의 조리개(14)를 설정한다. 도 1에 도시한 광학계에서 얻어진 화상을 재구성함으로써 피사계 심도를 자유자재로 결정할 수 있다. 따라서 이와 같은 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계는 시차를 이용한 측거나 삼차원 화상으로의 응용, 해상도의 향상 처리에 이용된다. The iris 14 of the main lens 11 is set so that the light from the adjacent micro lens 12a does not overlap with the image sensor 13. [ The depth of field can be freely determined by reconstructing the image obtained in the optical system shown in Fig. Therefore, an optical system having such a lens array made up of such a group of microlenses is used for side-by-side difference processing, application to a three-dimensional image, and resolution enhancement processing.

그러나 상술한 것처럼 도 1 및 도 2에 도시한 마이크로 렌즈(12a)로 이루어진 렌즈 어레이(12)를 구비한 광학계를 가진 촬상장치의 사용 환경을 생각하면 광학계에서 결상된 화상을 실시간으로 확인하기 위한 라이브 뷰 화상을 생성할 필요가 있다. 따라서 촬상소자의 출력을 전부 메모리에 일시적으로 저장하면 라이브 뷰 화상의 작성 처리에 시간이 걸려 라이브 뷰 화상이 코마 드롭이 된다는 문제가 있다. 그래서 본 실시 예에서는 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 이점을 손상시키지 않고 라이브 뷰 화상을 효율적으로 생성할 수 있는 촬상장치에 대해서 설명하기로 한다.However, considering the use environment of the image pickup apparatus having the optical system having the lens array 12 composed of the microlenses 12a shown in Figs. 1 and 2 as described above, It is necessary to generate a view image. Therefore, if the output of the image pickup device is temporarily stored in the memory, there is a problem that the live view image creation process takes time and the live view image becomes a coma drop. Thus, in this embodiment, an image pickup apparatus capable of efficiently generating a live view image without deteriorating the advantage of an optical system having a lens array made up of a group of microlenses will be described.

이상, 도 1 및 도 2를 사용하여 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계의 구성에 대해서 설명하였다. 다음으로 상기 광학계를 가진 촬상장치의 구성에 대해서 설명하기로 한다.The configuration of the optical system having the lens array made up of the microlens group has been described above with reference to Figs. 1 and 2. Fig. Next, the configuration of an image pickup apparatus having the optical system will be described.

도 3은 본 발명의 일 실시 예에 따른 촬상장치(100)의 개략도이다. 이하, 도 3을 사용하여 본 발명의 일 실시 예에 따른 촬상장치(100)의 구성에 대해서 설명하기로 한다.3 is a schematic diagram of an imaging device 100 according to an embodiment of the present invention. Hereinafter, the configuration of the image pickup apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

도 3에 도시된 것처럼, 본 발명의 일 실시 예에 따른 촬상장치(100)는 주 렌즈(102)와, 마이크로 렌즈 어레이(104)와, 촬상센서(106)와, CPU(108)와, 메모리(110)와, 아날로그 프론트 엔드(AFE)부 및 A/D변환부(112)와, 화상 입력부(114)와, 컬러 화소 생성부(116)과, 화상 재구성부(118)과, 디지털 백 엔드(DBE)부(120)와, 화상 압축부(122)와, 메모리 카드 드라이버(124)와, 표시 화상 생성부(126)와, 표시 드라이버(128)와, 타이밍 제너레이터(TG)(130)와, 모터 드라이버(132)와, 포커스 렌즈 모터(134)와, LCD(Liquid Crystal Display)(136)를 포함하여 구성된다.3, an imaging apparatus 100 according to an embodiment of the present invention includes a main lens 102, a microlens array 104, an image sensor 106, a CPU 108, An analog front end (AFE) unit and an A / D conversion unit 112, an image input unit 114, a color pixel generation unit 116, an image reconstruction unit 118, (DBE) unit 120, an image compression unit 122, a memory card driver 124, a display image generation unit 126, a display driver 128, a timing generator (TG) 130, A motor driver 132, a focus lens motor 134, and a liquid crystal display (LCD)

주렌즈(102)는 피사체에 초점을 맞추기 위한 렌즈인 포커스 렌즈나, 초점 거리를 변화시키는 줌렌즈 등을 포함하여 구성된다. 포커스 렌즈 모터(134)의 구동에 의해 주렌즈(102)에 포함되는 포커스 렌즈의 위치를 이동시킴으로써 촬상장치(100)는 피사체에 초점을 맞출 수 있다.The main lens 102 includes a focus lens, which is a lens for focusing on a subject, and a zoom lens, which changes the focal distance. By moving the position of the focus lens included in the main lens 102 by driving the focus lens motor 134, the imaging apparatus 100 can focus on the subject.

마이크로 렌즈 어레이(104)는 여러 개의 마이크로 렌즈 군으로 구성된 렌즈 어레이이다. 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 단일 평면상에 규칙적으로 배열됨으로써 구성된다. 주렌즈(102)를 통과한 광은 마이크로 렌즈 어레이(104)의 각 마이크로 렌즈를 통과하여 촬상센서(106)에 조사된다.The microlens array 104 is a lens array composed of several microlens groups. The microlens array 104 is constituted by regularly arranging the microlenses 104a on a single plane. The light having passed through the main lens 102 passes through each microlens of the microlens array 104 and is irradiated to the image sensor 106. [

촬상센서(106)는 마이크로 렌즈 어레이(104)를 구성하는 각 마이크로 렌즈(104a)를 통과한 광으로부터 화상 신호를 생성하는 것이다.The image sensor 106 generates an image signal from light passing through each microlens 104a constituting the microlens array 104. [

CPU(108)는 촬상장치(100)의 각 부의 동작을 제어하는 것이다. CPU(108)는 촬상장치(100)의 내부에 저장된 컴퓨터 프로그램을 차례대로 실행함으로써 촬상장치(100)의 각 부의 동작을 제어할 수 있다. 또 메모리(110)는 촬상장치(100)의 동작시에 필요한 정보나 데이터가 저장되는 것이다.The CPU 108 controls the operations of the respective units of the image capturing apparatus 100. The CPU 108 can control the operation of each section of the image capturing apparatus 100 by sequentially executing the computer programs stored in the image capturing apparatus 100. [ The memory 110 stores information and data necessary for the operation of the image capturing apparatus 100.

아날로그 프론트 엔드부 및 A/D변환부(112)는 촬상센서(106)에서 광전 변환된 아날로그의 신호를 받아 디지털 신호로 변환하여 출력하는 것이다. 아날로그 프론트 엔드부 및 A/D변환부(112)에 디지털 신호로 변환된 신호는 화상 입력부(114)에 보내진다.The analog front end unit and the A / D conversion unit 112 receive analog signals converted by the image sensor 106 and convert them into digital signals and output them. A signal converted into a digital signal by the analog front end unit and the A / D conversion unit 112 is sent to the image input unit 114.

화상 입력부(114)는 아날로그 프론트 엔드부 및 A/D변환부(112)에서 생성된 디지털 신호를 받아 메모리(110)에 저장하는 것이다. 아날로그 프론트 엔드부 및 A/D변환부(112)에서 생성된 디지털 신호가 메모리(110)에 저장됨으로써 촬상장치(100)는 디지털 신호에 대한 각종 신호 처리를 실행할 수 있다.The image input unit 114 receives the digital signal generated by the analog front end unit and the A / D conversion unit 112 and stores the digital signal in the memory 110. By storing the digital signals generated by the analog front end unit and the A / D conversion unit 112 in the memory 110, the imaging apparatus 100 can perform various signal processing on the digital signals.

컬러 화소 생성부(116)는 촬상센서(106)가 수광한 광에서 생성된 화상 신호에 대해 색 데이터를 생성하는 신호 처리를 실행하는 것이다.The color pixel generation unit 116 performs signal processing for generating color data for the image signal generated by the light received by the image sensor 106. [

화상 재구성부(118)는 마이크로 렌즈 어레이(104)를 통과시켜 촬상된 화상을 재구성하는 것이다. 화상 재구성부(118)은, 예를 들면 마이크로 렌즈 어레이(104)를 통하여 촬상된 화상의 재구성에 의해 피사계 심도를 변경하여 합초시키는 피사체를 변화시킬 수 있다. 또 화상 재구성부(118)는 노이즈의 제거나 색의 보정 등에 의한 해상도 향상 처리를 실행해도 좋다.The image reconstruction unit 118 reconstructs the image captured by passing through the microlens array 104. [ The image reconstructing unit 118 can change the subject depth by changing the depth of field by reconstructing the image picked up through the microlens array 104, for example. The image reconstruction unit 118 may perform resolution enhancement processing by removing noise or correcting color.

디지털 백 엔드부(120)는 마이크로 렌즈 어레이(104)를 통해 촬상되고 컬러 화소 생성부(116)에서 컬러화된 화상에 대한 화상 처리를 실행하는 것으로서, 예를 들면 채도를 강조하는 처리를 실행하거나 화상 사이즈를 변환하는 처리를 실행하는 것이다.The digital back end unit 120 performs image processing on the colorized image captured by the color pixel generating unit 116 through the microlens array 104 and executes processing that emphasizes saturation, And performs a process of converting the size.

화상 압축부(122)는, 화상 데이터를 적절한 형식으로 압축하는 것이다. 화상의 압축 형식은 가역 형식이어도 좋고 비가역 형식이어도 좋다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG2000형식으로 변환해도 좋다. 메모리 카드 드라이버(124)는 화상 압축부(122)에서 압축된 후 화상 데이터의 메모리 카드(미도시)로의 기록, 및 메모리 카드에 기록된 화상 데이터의 메모리 카드로부터의 독출을 실행하는 것이다.The image compressing section 122 compresses the image data in an appropriate format. The compression format of the image may be a reversible format or a non-reversible format. As an example of a proper format, it may be converted to JPEG (Joint Photographic Experts Group) format or JPEG2000 format. The memory card driver 124 performs compression of the image data into a memory card (not shown) after compression by the image compression unit 122, and reading of image data recorded in the memory card from the memory card.

표시 화상 생성부(126)는 촬영 화상이나 촬상장치(100)의 각종 설정 화면을 표시하는 LCD(136)에 표시하는 화상(표시 화상)을 생성하는 것이다. 예를 들면, 촬영 화상을 표시부에 표시시킬 경우에는 표시 화상 생성부(126)는 표시부의 해상도나 화면 사이즈에 맞춰 화상 데이터를 변환하여 표시 화상을 생성한다. 표시 드라이버(128)는 표시 화상 생성부(126)가 생성한 표시 화상을 LCD(136)에 표시시키는 처리를 실행하는 것이다.The display image generation unit 126 generates an image (display image) to be displayed on the LCD 136 displaying the photographed image or various setting screens of the image pickup apparatus 100. For example, when a captured image is displayed on the display unit, the display image generating unit 126 converts the image data in accordance with the resolution and the screen size of the display unit to generate a display image. The display driver 128 performs a process of displaying the display image generated by the display image generation unit 126 on the LCD 136. [

타이밍 제너레이터(130)는 촬상센서(106)에 타이밍 신호를 입력한다. 타이밍 제너레이터(130)로부터의 타이밍 신호에 의해 셔터 속도가 결정된다. 즉, 타이밍 제너레이터(130)로부터의 타이밍 신호에 의해 촬상센서(106)의 구동이 제어되고 셔터에 동기하여 피사체로부터의 광을 노광하고 그 후 독출 구동을 함으로써 화상 데이터의 기초가 되는 전기 신호가 생성된다.The timing generator 130 inputs a timing signal to the image sensor 106. The shutter speed is determined by the timing signal from the timing generator 130. That is, the driving of the image sensor 106 is controlled by the timing signal from the timing generator 130, the light from the subject is exposed in synchronization with the shutter, and thereafter the reading operation is performed to generate an electric signal as the basis of the image data do.

모터 드라이버(132)는 CPU(108)의 제어에 기초하여 포커스 렌즈 모터(134)를 구동시키는 것이다. 포커스 렌즈 모터(134)는 모터에 의해 주렌즈(102)의 위치를 제어하는 것이다. 모터 드라이버(132) 및 포커스 렌즈 모터(134)를 통해 주렌즈(102)의 위치를 제어함으로써 피사체의 핀트를 조절할 수 있다.The motor driver 132 drives the focus lens motor 134 under the control of the CPU 108. [ The focus lens motor 134 controls the position of the main lens 102 by a motor. The focus of the subject can be adjusted by controlling the position of the main lens 102 through the motor driver 132 and the focus lens motor 134. [

LCD(136)는, 예를 들면 LCD패널로 이루어져 이른바 라이브 뷰 화상의 표시나 촬영 화상의 표시, 메모리 카드(미도시)에 기록된 화상 등이 표시된다.The LCD 136 is formed of, for example, an LCD panel, and displays a so-called live view image, a captured image, an image recorded in a memory card (not shown), and the like.

아울러 도 3에는 도시되지 않았으나, 촬상장치(100)에는 조리개, 해당 조리개를 조절하기 위한 모터, 및 해당 모터를 구동시키기 위한 모터 드라이버를 구비해도 좋다. 또 도 3에는 도시되지 않았으나, 촬상장치(100)에는 촬영 동작을 개시하기 위한 셔터 버튼, 조리개나 셔터 속도, 감도 등의 촬영 정보를 설정하기 위한 조작 버튼 등을 구비해도 좋다.Although not shown in FIG. 3, the image sensing apparatus 100 may include a diaphragm, a motor for adjusting the diaphragm, and a motor driver for driving the motor. Although not shown in FIG. 3, the imaging apparatus 100 may be provided with a shutter button for starting a photographing operation, an operation button for setting photographing information such as a diaphragm, a shutter speed, and a sensitivity.

이상 본 발명의 일 실시 예에 따른 촬상장치(100)의 구성에 대해서 설명하였다. 이와 같은 구성을 가진 촬상장치(100)에서는, 라이브 뷰 화상을 LCD(136)에 표시시킴에 따른 파인더 기능 탑재가 필수이다. 그때 장치의 사이즈나 비용면을 고려하면, 마이크로 렌즈 어레이(104)를 통해 촬상센서(106)에서 광전 변환된 화소 데이터를 사용한 파인더 기능을 탑재하는 것이 바람직하다.The configuration of the image pickup apparatus 100 according to the embodiment of the present invention has been described above. In the image pickup apparatus 100 having such a configuration, it is necessary to mount a finder function by displaying the live view image on the LCD 136. [ Considering the size and cost of the apparatus, it is preferable to mount the finder function using the pixel data photoelectrically converted by the image sensor 106 via the microlens array 104.

촬상센서(106)를 사용하여 라이브 뷰 화상을 생성하려면 처리 시간의 단축이나 처리 부하를 줄여야하기 때문에 촬상센서(106)에 라이브 뷰 화상을 생성하기 위한 독출 모드를 갖도록 하는 것이 바람직하다. 구체적으로는 모든 화소로부터 데이터를 독출하는 것이 아니라 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 촬상센서(106)에 구비하고 있는 것이 바람직하다. 또 촬상센서(106)를 사용하여 라이브 뷰 화상을 생성하려면 라이브 뷰 화상을 생성하기 위한 독출 모드에서 화소 데이터를 독출한 경우라 해도 컬러 화상을 생성할 수 있는 필터 배치가 촬상센서(106)에 이루어져 있는 것이 바람직하다.In order to generate a live view image using the image sensor 106, it is desirable to have a read mode for generating a live view image in the image sensor 106 because the processing time and the processing load must be reduced. More specifically, it is preferable that the image pickup sensor 106 is provided with a read mode for reading out pixel data from a pixel instead of reading data from all the pixels. In order to generate a live view image using the image sensor 106, a filter arrangement capable of generating a color image is formed in the image sensor 106 even when pixel data is read in a read mode for generating live view images .

그래서 본 실시 예에서는 라이브 뷰 화상의 효율적인 생성을 위해 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 구비하면서, 솎아내어 독출된 화소 데이터를 사용하여 컬러 화상을 생성할 수 있는 촬상센서(106)를 구비한 촬상장치(100)에 대해서 설명하기로 한다. 아울러 이하에서는 화소를 솎아내어 화소 데이터를 독출하는 독출 모드를 "제2 모드"라고 하고, 이에 대해 이하에서는 모든 화소로부터 화소 데이터를 독출하는 독출 모드를 "제1 모드" 라고 한다.Thus, in the present embodiment, an image pickup sensor 106 capable of generating a color image using pixel data read out and having a read mode for reading out pixel data by taking out a pixel for efficient generation of a live view image, Will be described with reference to FIG. Hereinafter, a read mode in which pixel data is read out from a pixel is referred to as a " second mode ", and a read mode in which pixel data is read from all pixels is referred to as a "first mode "

이하의 설명에서는 우선 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 나타내고, 해당 전환 처리에 의해 선택되는 제2 모드에 의한 화소 데이터의 독출 처리에 대해서 설명하기로 한다.In the following description, the read mode switching processing in the image pickup apparatus 100 according to the embodiment of the present invention will be described first, and the pixel data read processing in the second mode selected by the switching processing will be described .

도 4는, 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 도시한 흐름도이다. 이하, 도 4를 사용하여 본 발명의 일 실시 예에 관한 촬상장치(100)에서의, 촬상센서(106)의 독출 모드의 전환 처리에 대해서 설명하기로 한다.Fig. 4 is a flowchart showing the switching process of the reading mode in the imaging apparatus 100 according to the embodiment of the present invention. Hereinafter, the process of switching the read mode of the image sensor 106 in the image sensing apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

우선 촬상센서(106)로부터 어느 모드에서 화소 데이터를 독출할지가 CPU(108)에서 판단된다(단계S101). 여기에서는 촬상센서(106)로부터 제1 모드와 제2 모드 중 어느 모드에서 화소 데이터를 독출해야 하는지 CPU(108)에서 판단된다.First, in which mode the pixel data is to be read out from the image pickup sensor 106 is determined by the CPU 108 (step S101). In this case, the CPU 108 determines from which mode the pixel data should be read out from the image sensor 106 in the first mode or the second mode.

제1 모드와 제2 모드 중 어느 모드에서 화소 데이터를 독출해야 하는지에 대해서는 촬상장치(100)의 동작 상태에 의해 판단해도 좋다. 예를 들면, 촬상장치(100)가 라이브 뷰 화상을 LCD(136)에 표시한 상태에서는 CPU(108)는 촬상센서(106)로부터는 제2 모드에서 화소 데이터를 독출해야 한다고 판단할 수 있다. 또 촬상장치(100)의 셔터 버튼이 사용자에 의해 눌려 촬상장치(100)이 촬영 동작을 실행하는 상태에서는 CPU(108)는 촬상센서(106)로부터는 제1 모드에서 화소 데이터를 독출해야 한다고 판단할 수 있다.Whether the pixel data should be read out in the first mode or the second mode may be determined by the operation state of the image pickup apparatus 100. [ For example, in a state in which the imaging device 100 displays a live view image on the LCD 136, the CPU 108 can determine from the image sensor 106 that pixel data should be read out in the second mode. In a state in which the shutter button of the imaging apparatus 100 is pushed by the user and the imaging apparatus 100 executes the imaging operation, the CPU 108 judges from the imaging sensor 106 that pixel data should be read out in the first mode can do.

상기 단계S101에서의 판단 결과, 촬상센서(106)로부터 제1 모드에서 화소 데이터를 독출해야 한다고 CPU(108)가 판단하면, CPU(108)는 타이밍 제너레이터(130)에 대해 촬상센서(106)의 모든 화소로부터 화소 데이터를 독출하기 위한 타이밍 신호의 생성을 요구한다. 그리고 타이밍 제너레이터(130)가 생성한 타이밍 신호에 기초하여 촬상센서(106)의 모든 화소로부터 화소 데이터가 독출된다(단계S102).When the CPU 108 determines that the pixel data should be read out from the image sensor 106 in the first mode as a result of the determination in step S101, the CPU 108 instructs the timing generator 130 to read the pixel data from the image sensor 106 And requests generation of a timing signal for reading pixel data from all the pixels. Based on the timing signal generated by the timing generator 130, pixel data is read out from all the pixels of the image sensor 106 (step S102).

한편, 상기 단계S101에서의 판단 결과, 촬상센서(106)로부터 제2 모드에서 화소 데이터를 독출해야 한다고 CPU(108)가 판단하면, CPU(108)는 타이밍 제너레이터(130)에 대해 촬상센서(106)의 일부의 화소로부터 화소 데이터를 독출하기 위한 타이밍 신호의 생성을 요구한다. 그리고 타이밍 제너레이터(130)가 생성한 타이밍 신호에 기초하여 촬상센서(106)의 일부의 화소로부터 화소 데이터가 독출된다(단계S103).On the other hand, if the CPU 108 determines that the pixel data should be read out from the image sensor 106 in the second mode as a result of the determination in step S101, the CPU 108 instructs the timing generator 130 to control the image sensor 106 The pixel data is read out from a part of the pixels of the display device. Based on the timing signal generated by the timing generator 130, the pixel data is read out from a part of pixels of the image sensor 106 (step S103).

상기 단계S102 또는 단계S103에서, 촬상센서(106)의 전부 또는 일부에서 화소 데이터를 독출하면 촬상센서(106)에서 독출한 화소 데이터를 메모리(110)에 기억한다(단계S104). 이와 같이 촬상센서에서 독출한 화소 데이터를 메모리(110)에 기억함으로써 기억한 화소 데이터를 사용하여 화상 데이터나 라이브 뷰 화상을 생성할 수 있다.When the pixel data is read out from all or a part of the image sensor 106 in step S102 or step S103, the pixel data read by the image sensor 106 is stored in the memory 110 (step S104). As described above, by storing the pixel data read by the image sensor in the memory 110, it is possible to generate image data and a live view image using the stored pixel data.

이상, 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 대해서 설명하였다. 다음으로 본 발명의 일 실시 예에 관한 촬상장치(100)에서의 독출 모드의 전환 처리에 의해 선택되는 제2 모드에 의한, 촬상센서(106)에서의 화소 데이터의 독출 처리에 대해서 설명하기로 한다.The switching process of the reading mode in the image pickup apparatus 100 according to the embodiment of the present invention has been described above. Next, a description will be given of the pixel data reading process in the image sensor 106 by the second mode selected by the read mode switching process in the image pickup apparatus 100 according to the embodiment of the present invention .

우선 하나의 마이크로 렌즈(104a)에 대응되는 화소의 한 변의 수가 홀수인 경우에 대해서 설명하기로 한다. 도 5는, 하나의 마이크로 렌즈(104a)에 대응되는 화소의 한 변의 수가 5개인 경우의, 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리 개요를 도시한 설명도이다. 이하, 도 5를 사용하여 촬상센서(106)에서의 제2 모드에 의한 화소 데이터의 독출 처리 개요에 대해서 설명하기로 한다.First, a case where the number of one side of a pixel corresponding to one micro lens 104a is an odd number will be described. 5 is an explanatory view showing the outline of the reading process of the pixel data of the image sensor 106 in the second mode when the number of one side of the pixel corresponding to one micro lens 104a is five. Hereinafter, the outline of the reading process of the pixel data by the second mode in the image sensor 106 will be described with reference to FIG.

도 5에 도시한 각각의 원은 마이크로 렌즈(104a)에 의해 투영되는 영역을 나타내고 있다. 도 5에 도시한 각각의 원으로 둘러싸여 있는 영역이 마이크로 렌즈(104a)로부터의 광이 투영되는 영역에 상당한다. 또 도 5에 도시한 것처럼 촬상센서(106)는 R,G,B의 각 화소로 이루어진 베이어배열을 가지고 있다.Each circle shown in Fig. 5 represents a region projected by the microlens 104a. The area surrounded by each circle shown in Fig. 5 corresponds to a region where light from the microlens 104a is projected. As shown in FIG. 5, the image sensor 106 has a Bayer array of R, G, and B pixels.

본 실시형태에서는 제2 모드에 의해 촬상센서(106)로부터 화소 데이터를 독출할 때에는 하나의 마이크로 렌즈(104a)에 할당되어 있는 25개의 화소 중 하나의 화소를 선택하고 해당 선택한 화소의 화소 데이터를 독출한다. 또 화소 데이터를 독출하는 화소의 위치가, 각 마이크로 렌즈에 대응하는 화소 영역에서 전부 상대적으로 일치하도록 촬상센서(106)로부터 화소 데이터를 독출한다. 이와 같이 화소 데이터를 독출하는 화소를 선택하고 화소 데이터를 해당 화소로부터 독출함으로써 화소 데이터가 독출된 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 그리고 솎아내어 선택된 화소가 베이어배열을 가짐으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.In the present embodiment, when reading pixel data from the image sensor 106 in the second mode, one of the 25 pixels assigned to one microlens 104a is selected and the pixel data of the selected pixel is read out do. The pixel data is read out from the image sensor 106 so that the positions of the pixels reading the pixel data are all relatively matched in the pixel regions corresponding to the respective microlenses. A pixel read out of the pixel data by reading out the pixel data from the pixel and reading the pixel data as described above can also have a Bayer arrangement like the image sensor 106. [ Then, the selected pixel has a Bayer arrangement by using the pixel data of the selected pixel to generate a full color image.

도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소가 화소 데이터를 독출하는 화소로서 선택된다. 이 25화소로 이루어진 영역 중앙의 화소를 나열하면 이들 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 따라서 도 5와 같이 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소로 이루어진 25화소 중 하나의 화소를 선택하고 또 해당 화소는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 선택됨으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.In the example shown in Fig. 5, a pixel at the center of the area consisting of 25 pixels of five pixels and five pixels of five pixels allocated to one microlens 104a is selected as the pixel reading the pixel data. When pixels in the center of the area consisting of these 25 pixels are arranged, these pixels can have a Bayer arrangement as in the image sensor 106. [ Accordingly, as shown in FIG. 5, one pixel out of 25 pixels composed of 5 pixels and 5 pixels arranged in one microlens 104a is selected, and the corresponding pixel is selected in each area corresponding to each microlens 104a It is possible to generate a full color image using the pixel data of the selected pixel by selecting the position to be matched relatively.

아울러 도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소를 화소 데이터를 독출하는 화소로서 선택하는데, 본 발명은 상기 예로 한정되지 않는다는 것은 말할 것도 없다. 해당 영역의 사이이고 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하는 것이라면, 제2 모드에서 도 5에 도시한 위치와 다른 위치의 화소를 선택할 수 있다. 또 본 실시형태에서는 촬상센서(106)의 화소 배열은 베이어배열이지만, 본 발명은 상기 예로 한정되지 않는다. 따라서 선택 후의 화소 배열에 대해서도 베이어배열로 한정되지 않는다.In the example shown in Fig. 5, a pixel at the center of a region consisting of 25 pixels of five pixels and five pixels of five pixels allocated to one microlens 104a is selected as a pixel reading the pixel data. Needless to say, it is not limited to the above example. The pixels in positions other than the positions shown in Fig. 5 can be selected in the second mode if the position between the corresponding areas and the positions corresponding to the respective microlenses 104a are relatively coincident with each other. In the present embodiment, the pixel array of the image sensor 106 is Bayer array, but the present invention is not limited to this example. Therefore, the pixel arrangement after selection is not limited to the Bayer arrangement.

예를 들어 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역 중앙의 화소의 모임을 제(0,0)필드로 정의하고, 해당 중앙 화소에서 오른쪽으로 m화소, 아래로 n화소 쉬프트한 화소의 모임을 제(m,n)필드로 정의하면, 도 5에 도시한 예에서는 m은 -2∼2 사이의 임의의 정수값을 채용할 수 있고, n도 -2∼2 사이의 임의의 정수값을 채용할 수 있다. 아울러 제2 모드에서의 풀컬러 화상을 생성하기 위해서는 m 및 n의 값은 마이크로 렌즈(104a)에 의해 투영되는 영역에 포함되도록 결정하는 것이 바람직하다.For example, a group of pixels at the center of a region consisting of 25 pixels of five pixels and five pixels of five pixels allocated to one microlens 104a is defined as a (0, 0) field, and m (M, n) field in the example shown in FIG. 5, m can be any integer value between -2 and 2, and n Any integer value between -2 and 2 may be employed. In order to generate a full-color image in the second mode, it is desirable to determine that the values of m and n are included in the area projected by the microlens 104a.

또 도 5에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종5화소, 횡5화소의 25화소로 이루어진 영역에서 선택하는 화소의 수는 하나였지만, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 촬상센서(106)에서 제2 모드 모드에서 화소 데이터를 독출할 때에는 해당 25화소로 이루어진 영역에서 종3화소, 횡3화소 합계 9화소를 선택하여 선택한 화소로부터 화소 데이터를 독출하도록 해도 좋다.In the example shown in Fig. 5, the number of pixels to be selected is one in the area consisting of 25 pixels of five pixels and five pixels of five pixels allotted to one microlens 104a, but the present invention is not limited to the above example . For example, when the image sensor 106 reads the pixel data in the second mode, the pixel data may be read out from the selected pixel by selecting nine pixels in total, three pixels in the horizontal direction and three pixels in the horizontal direction in the area consisting of the 25 pixels .

이상, 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 홀수인 경우에 대해서 설명하였다. 계속해서 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 짝수인 경우에 대해서 설명하기로 한다. 도 6은, 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 6개인 경우의, 제2 모드에 의한 촬상센서(106)의 화소 데이터의 독출 처리 개요를 도시한 설명도이다. 이하, 도 6을 사용하여 촬상센서(106)에서의 제2 모드에 의한 화소 데이터의 독출 처리 개요에 대해서 설명하기로 한다.The case where the number of one side of the pixel corresponding to one micro lens 104a is an odd number has been described above. Next, the case where the number of one side of the pixel corresponding to one microlens 104a is an even number will be described. Fig. 6 is an explanatory view showing the outline of the reading process of the pixel data of the image sensor 106 in the second mode when the number of one side of the pixel corresponding to one micro lens 104a is six. Hereinafter, the outline of the reading process of pixel data in the second mode in the image sensor 106 will be described with reference to Fig.

도 6에 도시한 각각의 원은 마이크로 렌즈(104a)에 의해 투영되는 영역을 나타내고 있다. 도 6에 도시한 각각의 원으로 둘러싸여 있는 영역이, 마이크로 렌즈(104a)로부터의 광이 투영되는 영역에 상당한다. 또 도 6에 도시한 것처럼, 촬상센서(106)는 R,G,B의 각 화소로 이루어진 베이어배열을 가지고 있다.Each circle shown in Fig. 6 represents a region projected by the microlens 104a. The area surrounded by each circle shown in Fig. 6 corresponds to a region where light from the microlens 104a is projected. As shown in Fig. 6, the image sensor 106 has a Bayer array of R, G, and B pixels.

본 실시형태에서는 제2 모드에 의해 촬상센서(106)로부터 화소 데이터를 독출할 때에는 하나의 마이크로 렌즈(104a)에 할당되어 있는 36개의 화소 중 종2화소, 횡2화소로 이루어진 합계 4개의 화소를 선택하고 해당 선택한 4개의 화소의 화소 데이터를 독출한다. 또 화소 데이터를 독출하는 화소의 위치가 각 마이크로 렌즈에 대응하는 화소 영역에서 전부 상대적으로 일치하도록 촬상센서(106)로부터 화소 데이터를 독출한다. 이와 같이 화소 데이터를 독출하는 화소를 선택하고 화소 데이터를 해당 화소로부터 독출함으로써 화소 데이터가 독출된 화소도 촬상센서(106)와 동일하게 베이어배열을 가질 수 있다. 그리고 솎아내어 선택된 화소가 베이어배열을 가짐으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.In the present embodiment, when reading pixel data from the image sensor 106 in the second mode, four pixels in total consisting of two pixels and two pixels in the lateral direction among the 36 pixels allocated to one microlens 104a And reads the pixel data of the selected four pixels. And the pixel data is read out from the image sensor 106 so that the positions of the pixels that read the pixel data are all relatively matched in the pixel area corresponding to each microlens. A pixel read out of the pixel data by reading out the pixel data from the pixel and reading the pixel data as described above can also have a Bayer arrangement like the image sensor 106. [ Then, the selected pixel has a Bayer arrangement by using the pixel data of the selected pixel to generate a full color image.

도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소 합계 4개의 화소가 화소 데이터를 독출하는 화소로서 선택되었다. 이 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소를 나열하면 이들 화소도 촬상센서(106)와 마찬가지로 베이어배열을 가질 수 있다. 따라서 도 6과 같이 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소로 이루어진 36화소 중 4개의 화소를 선택하고, 또 해당 화소는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 선택됨으로써 선택된 화소의 화소 데이터를 사용하여 풀컬러 화상을 생성할 수 있게 된다.In the example shown in Fig. 6, two pixels of a middle portion of a region consisting of six pixels of six pixels each assigned to one microlens 104a, six pixels of six pixels in the lateral direction, The shipment was selected as a pixel. If four pixels in total, that is, two pixels in the middle and two in the middle of the area consisting of these 36 pixels are arranged, these pixels can have a Bayer arrangement as in the image sensor 106. Therefore, as shown in FIG. 6, four pixels out of the 36 pixels consisting of six pixels and six pixels on the horizontal axis are assigned to one microlens 104a, and the pixels are selected in each area corresponding to each microlens 104a It is possible to generate a full color image using the pixel data of the selected pixel by selecting the positions to be relatively matched with each other.

아울러 도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소를 화소 데이터를 독출하는 화소로서 선택하였는데, 본 발명은 상기 예로 한정되지 않는다는 것은 말할 것도 없다. 해당 영역 사이이고 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하는 것이라면 제2 모드에서 도 6에 도시한 위치와 다른 위치의 화소를 선택할 수 있다.In the example shown in Fig. 6, four pixels in total, two pixels in the center of the area, and two pixels in the lateral direction, each of which is composed of six pixels, six pixels, six pixels, But the present invention is not limited to the above example. The pixels in positions different from the positions shown in Fig. 6 in the second mode can be selected if they are positioned between the corresponding areas and in the respective areas corresponding to the respective microlenses 104a, respectively.

예를 들어 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역 중앙 부분의 종2화소, 횡2화소의 합계 4개의 화소의 모임을 제(0,0)필드로 정의하고, 해당 중앙 부분에서 오른쪽으로 m화소, 아래로 n화소 쉬프트한 화소의 모임을 제(m,n)필드로 정의하면, 도 6에 도시한 예에서는 m은 -2∼2 사이의 임의의 정수값을 채용할 수 있고, n도 -2∼2 사이의 임의의 정수값을 채용할 수 있다. 아울러 제2 모드에서의 풀컬러 화상을 생성하기 위해서는 m 및 n의 값은 마이크로 렌즈(104a)에 의해 투영되는 영역에 포함되도록 결정하는 것이 바람직하다.For example, a group of four pixels in total of two pixels in the middle and two pixels in the middle of the area consisting of six pixels of six pixels and six pixels of six pixels allotted to one microlens 104a is referred to as (0, 0) Field, and a group of pixels shifted by m pixels to the right and n pixels downward from the center portion is defined as the (m, n) field, m is -2 to 2 in the example shown in FIG. Any integer value can be employed, and any integer value between n and -2 can be employed. In order to generate a full-color image in the second mode, it is desirable to determine that the values of m and n are included in the area projected by the microlens 104a.

또 도 6에 도시한 예에서는, 하나의 마이크로 렌즈(104a)에 할당된 종6화소, 횡6화소의 36화소로 이루어진 영역에서 선택하는 화소의 수는 4개였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 촬상센서(106)에서 제2 모드 모드에서 화소 데이터를 독출할 때에는 해당 36화소로 이루어진 영역에서 종4화소, 횡4화소의 합계 16화소를 선택하여 선택한 화소로부터 화소 데이터를 독출해도 좋다.In the example shown in Fig. 6, the number of pixels to be selected is four in the region consisting of sixteen pixels of six pixels and six pixels of six pixels allotted to one microlens 104a, but the present invention is not limited to this example . For example, when the image sensor 106 reads the pixel data in the second mode, the pixel data may be read out from the selected pixel by selecting a total of sixteen pixels of the four pixels and four pixels of the four pixels in the area of the corresponding 36 pixels .

이상 하나의 마이크로 렌즈(104a)에 대응하는 화소의 한 변의 수가 짝수인 경우에 대해서 설명하였다. 계속해서 촬상센서(106)로서 4채널 판독의 CMOS센서를 예로 들어 CMOS센서로부터의 화소의 독출 순서에 대해서 설명하기로 한다.The case where the number of one side of the pixel corresponding to one micro lens 104a is an even number has been described. Next, the reading out order of the pixels from the CMOS sensor will be described taking the CMOS sensor as a four-channel reading sensor as the image sensor 106 as an example.

도 7은, 촬상센서(106)로서 4채널의 출력을 가진 CMOS센서를 사용하고, 마이크로 렌즈의 배치가 도 6에 도시한 것과 같은 경우의, CMOS센서로부터의 화소의 독출 순서에 대해서 도시한 설명도이다. 4개의 출력 채널로부터는 인접한 4화소(Gr,Gb,R,B)가 동시에 출력된다. 도 7에 도시한 구성으로는, 최초의 클럭에서 B11, R22, Gb12, Gr21의 4화소가 출력되고 다음 클럭에서 B15, R26, Gb16, Gr25의 4화소가 동시에 출력되고 차례대로 최초의 1라인이 출력된 후 2라인, 3라인으로 출력된다.7 is a diagram illustrating a readout procedure of a pixel from a CMOS sensor when a CMOS sensor having outputs of four channels is used as the image sensor 106 and the arrangement of the micro lenses is as shown in Fig. . Four adjacent pixels (Gr, Gb, R, and B) are simultaneously output from the four output channels. In the configuration shown in Fig. 7, four pixels B11, R22, Gb12 and Gr21 are outputted from the first clock, four pixels B15, R26, Gb16 and Gr25 are outputted simultaneously at the next clock, After output, it is output to 2 lines and 3 lines.

여기에서는 4채널 출력의 CMOS센서에서 설명하였으나, 1채널 출력이나 2채널 출력의 CMOS센서에서도 대응 가능하다. 예를 들면 2채널 출력의 CMOS센서를 사용한 경우에는 최초의 클럭에서 B11, Gr21이 출력되고, 다음 클럭에서 Gb12, R22가 출력되고 차례대로 출력이 계속된다.In this example, a 4-channel CMOS sensor is described, but a 1-channel or 2-channel CMOS sensor can be used. For example, when a two-channel CMOS sensor is used, B11 and Gr21 are output at the first clock, Gb12 and R22 are output at the next clock, and the output continues in sequence.

이상 설명한 것처럼 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비한 광학계를 가진 촬상장치(100)에서 촬상센서(106)는 모든 화소에서 화소 데이터를 독출하는 제1 모드와, 일부 화소에서 화소 데이터를 독출하는 제2 모드를 가진다. 그리고 제2 모드에서 촬상센서(106)로부터 화소 데이터를 독출할 때에는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 화소 데이터를 독출하는 화소를 선택한다. 이와 같이 화소 데이터를 독출하는 화소를 선택함으로써 제2 모드의 경우라 해도 컬러 필터의 배열이 촬상센서(106)에서의 본래의 배열 상태를 유지한 상태를 유지할 수 있다.As described above, according to the embodiment of the present invention, in the image pickup apparatus 100 having the optical system having the lens array made up of the group of the microlenses, the image sensor 106 has the first mode for reading the pixel data from all pixels And a second mode for reading out pixel data from some pixels. When the pixel data is read out from the image sensor 106 in the second mode, pixels for reading out the pixel data are selected so that their positions are relatively coincident with each other in each area corresponding to each microlens 104a. By selecting pixels that read pixel data in this way, it is possible to maintain a state in which the array of color filters maintains the original arrangement state in the image sensor 106 even in the second mode.

이상 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited thereto. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims, . ≪ / RTI >

예를 들어 상기 실시형태에서는 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 각각 상대적으로 위치가 일치하도록 화소 데이터를 독출하는 화소를 선택하였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면, 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B 각각의 화소의 대표값을 구해도 좋고 이와 같이 구한 R,G,B 각각의 화소의 대표값을 사용하여 라이브 뷰 화상을 생성해도 좋다. 이 대표값은, 예를 들면 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B의 각 화소값의 가산 평균값이어도 좋다. 그리고 R,G,B 각각의 화소의 대표값을 촬상센서(106)에서 사전에 연산하여 구한 후에 촬상센서(106)에서 독출하도록 해도 좋고, 촬상센서(106)에서 화소 데이터를 독출한 후 R,G,B 각각의 화소의 대표값을 연산하도록 해도 좋다.For example, in the above-described embodiment, pixels are selected which read out pixel data so that their positions are relatively coincident with each other in each area corresponding to each microlens 104a, but the present invention is not limited to this example. For example, a representative value of each of R, G, and B pixels may be obtained in each area corresponding to each microlens 104a, and a representative value of each pixel of R, G, . This representative value may be, for example, a summed average value of pixel values of R, G, and B in each area corresponding to each microlens 104a. The representative value of each pixel of each of R, G, and B may be previously calculated by the image sensor 106 and then read out by the image sensor 106. Alternatively, the image sensor 106 may read the pixel data, G, and B of each pixel may be calculated.

예를 들어 상기 실시형태에서는 모든 마이크로 렌즈를 대상으로 하였으나, 본 발명은 상기 예로 한정되지 않는다. 예를 들면 대상이 되는 마이크로 렌즈를 솎아내어 선택하고, 선택된 마이크로 렌즈의 조사 범위로부터 화소를 선택하고, 해당 화소에서 화소 데이터를 독출하도록 해도 좋다. 마이크로 렌즈를 솎아내어 선택하는 경우라 해도 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B 각각의 화소의 대표값을 구해도 좋고, 이와 같이 구한 R,G,B 각각의 화소의 대표값을 사용하여 라이브 뷰 화상을 생성해도 좋다. 이 대표값은, 예를 들면 각 마이크로 렌즈(104a)에 대응하는 각 영역에서 R,G,B의 각 화소값의 가산 평균값이어도 좋다. 그리고 R,G,B 각각의 화소의 대표값을 촬상센서(106)에 사전에 연산하여 구한 후에 촬상센서(106)로부터 독출하도록 해도 좋고, 촬상센서(106)로부터 화소 데이터를 독출한 후 R,G,B 각각의 화소의 대표값을 연산하도록 해도 좋다.For example, although all of the microlenses are described in the above embodiment, the present invention is not limited to the above example. For example, the target micro lens may be picked out and selected, a pixel may be selected from the irradiation range of the selected micro lens, and the pixel data may be read out from the selected pixel. The representative values of the R, G, and B pixels may be obtained in each area corresponding to each microlens 104a, even if the microlenses are selected by removing the microlenses. Representative values of the respective R, G, and B pixels Value may be used to generate a live view image. This representative value may be, for example, a summed average value of pixel values of R, G, and B in each area corresponding to each microlens 104a. The representative values of the pixels of R, G, and B may be previously calculated by the image sensor 106 and then read out from the image sensor 106. Alternatively, the pixel data may be read out from the image sensor 106, G, and B of each pixel may be calculated.

또 상술한 실시형태의 설명에서는 마이크로 렌즈의 대략 중심의 화소를 선택한다고 하였으나, 실제 촬상센서에서는 주변부로 감에 따라 광이 비스듬히 입사된다. 따라서 입사에 대한 보정을 하기 위해 촬상센서의 주변부로 감에 따라 촬상센서에 대해 광을 수직으로 조사하는 방향으로 마이크로 렌즈를 쉬프트하도록 해도 좋다. 이와 같이 마이크로 렌즈를 쉬프트하여 광량을 확보함으로써 촬상센서 주변부의 화질도 향상시킬 수 있게 된다.In the above description of the embodiment, the pixel at the approximate center of the microlens is selected. However, in an actual image sensor, light is incident obliquely toward the peripheral portion. Therefore, in order to correct the incidence, the microlens may be shifted in the direction of vertically irradiating the image sensor with the image sensor toward the periphery of the image sensor. By thus shifting the microlenses and securing the amount of light, the image quality of the periphery of the image sensor can be improved.

100 촬상장치
102 주렌즈
104 마이크로 렌즈 어레이
104a 마이크로 렌즈
106 촬상센서
108 CPU
110 메모리
112 아날로그 프론트 엔드부 및 A/D변환부
114 화상 입력부
116 컬러 화소 생성부
118 화상 재구성부
120 디지털 백 엔드부
122 화상 압축부
124 메모리 카드 드라이버
126 표시 화상 생성부
128 표시 드라이버
130 타이밍 제너레이터
132 모터 드라이버
134 포커스 렌즈 모터
136 LCD100 imaging device
102 main lens
104 micro lens array
104a microlens
106 Image sensor
108 CPU
110 memory
112 analog front end unit and A / D conversion unit
114 image input section
116 color pixel generation unit
118 Image reconstruction unit
120 digital back end unit
122 image compression section
124 Memory card driver
126 display image generation section
128 display driver
130 timing generator
132 motor driver
134 Focus lens motor
136 LCD

Claims (8)

단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이 및 상기 렌즈 어레이의 각 렌즈로부터의 투과 광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비하고,
상기 광전 변환부는,
상기 광전 변환 영역에 포함된 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와,
상기 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고, 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능하며, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 구비하고,
상기 제2 모드에서의 선택 후의 화소 배열은 베이어 배열인 것을 특징으로 하는 촬상장치.A plurality of photoelectric conversion regions formed of a plurality of pixels arranged on a single plane corresponding to the irradiation range of the transmitted light from each lens of the lens array, And a photoelectric conversion unit,
Wherein the photoelectric conversion unit comprises:
A first mode for continuously reading data from all the pixels included in the photoelectric conversion region,
A plurality of pixels arranged in a matrix form, each pixel in the photoelectric conversion region having a position that is relatively coincident with respect to each lens is selected, a pixel array after the selection is capable of generating a color image, Mode,
And the pixel arrangement after selection in the second mode is a Bayer arrangement. 삭제delete 제 1 항에 있어서,
상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 홀수인 경우에,
상기 광전 변환부는,
상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 홀수 수의 화소로 이루어진 영역에서 데이터를 독출하는 것을 특징으로 하는 촬상장치.The method according to claim 1,
When the number of pixels of the pixels constituting the photoelectric conversion region is an odd number,
Wherein the photoelectric conversion unit comprises:
And when reading in the second mode, reads out data in an area made up of an odd number of pixels whose number of sides is smaller than the above-mentioned number of negatives. 제 1 항에 있어서,
상기 광전 변환 영역을 구성하는 화소의 한 변당 수가 짝수인 경우에,
상기 광전 변환부는,
상기 제2 모드에서 독출하는 경우, 한 변의 수가 상기 한 변당 수보다 작은 짝수 수의 화소로 이루어진 영역에서 데이터를 독출하는 것을 특징으로 하는 촬상장치.The method according to claim 1,
When the number of the parasitic capacitances of the pixels constituting the photoelectric conversion region is an even number,
Wherein the photoelectric conversion unit comprises:
And reads data in an area including an even number of pixels whose number of edges is smaller than the number of edges when the image is read out in the second mode. 제 1 항에 있어서,
상기 제2 모드에 의해 상기 광전 변환부로부터 독출한 데이터를 사용하여 생성된 화상을 소정의 주기로 바꾸어 표시하는 표시부를 더 포함하는 것을 특징으로 하는 촬상장치.The method according to claim 1,
Further comprising a display unit for displaying an image generated by using the data read from the photoelectric conversion unit in the second mode in a predetermined cycle. 제 5 항에 있어서,
상기 광전 변환부의 각 화소로부터는 데이터를 그대로 독출하여 상기 표시부에 표시하는 화상의 생성에 사용하거나, 상기 광전 변환부의 각 화소에서의 적, 녹, 청의 대표값을 사용하여 상기 표시부에 표시하는 화상을 생성하는 것을 특징으로 하는 촬상장치.6. The method of claim 5,
The image read out from each pixel of the photoelectric conversion unit is used as it is for the generation of an image to be displayed on the display unit or an image to be displayed on the display unit by using representative values of red, green and blue in each pixel of the photoelectric conversion unit is And generates an image of the object. 제 1 항에 있어서,
상기 광전 변환부의 주변부로 감에 따라 상기 광전 변환부에 대해 수직으로 광을 조사하는 방향으로 상기 렌즈 어레이의 광축을 이동시키는 것을 특징으로 하는 촬상장치.The method according to claim 1,
And moves the optical axis of the lens array in a direction perpendicular to the photoelectric conversion unit in accordance with the peripheral portion of the photoelectric conversion unit. 단일 평면상에 설치되는 여러 개의 렌즈가 규칙적으로 배열된 렌즈 어레이 및 상기 렌즈 어레이의 각 렌즈로부터의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 여러 개의 화소로 이루어진 광전 변환 영역을 여러 개 구비한 광전 변환부를 구비한 촬상장치의 촬상 방법에 있어서,
상기 광전 변환부는 상기 광전 변환 영역에 포함되는 모든 화소로부터 데이터를 연속하여 독출하는 제1 모드와, 각 광전 변환 영역에서 각 렌즈에 대해 상대적으로 위치가 일치하는 일부 화소를 선택하고 해당 선택 후의 화소 배열은 컬러 화상의 생성이 가능한 것으로서, 해당 선택한 화소로부터 데이터를 연속하여 독출하는 하나 이상의 제2 모드를 가진 데이터 독출 단계를 구비하고,
상기 제2 모드에서의 선택 후의 화소 배열은 베이어 배열인 것을 특징으로 하는 촬상방법.A plurality of photoelectric conversion regions each including a lens array in which a plurality of lenses provided on a single plane are regularly arranged and a plurality of pixels provided on a single plane in correspondence with an irradiation range of transmitted light from each lens of the lens array An image pickup method of an image pickup apparatus having one photoelectric conversion section,
Wherein the photoelectric conversion unit includes a first mode for continuously reading data from all the pixels included in the photoelectric conversion region and a second mode for selecting some pixels whose positions are relatively coincident with respect to the respective lenses in each photoelectric conversion region, Wherein the arrangement is capable of generating a color image and has a data reading step having at least one second mode for continuously reading data from the selected pixel,
And the pixel arrangement after selection in the second mode is a Bayer arrangement.
KR1020100017920A 2009-12-22 2010-02-26 Photographing apparatus and method KR101691551B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/976,918 US8558915B2 (en) 2009-12-22 2010-12-22 Photographing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-290773 2009-12-22
JP2009290773A JP5490514B2 (en) 2009-12-22 2009-12-22 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
KR20110073159A KR20110073159A (en) 2011-06-29
KR101691551B1 true KR101691551B1 (en) 2016-12-30

Family

ID=44347472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017920A KR101691551B1 (en) 2009-12-22 2010-02-26 Photographing apparatus and method

Country Status (2)

Country Link
JP (1) JP5490514B2 (en)
KR (1) KR101691551B1 (en)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
WO2011081187A1 (en) * 2009-12-28 2011-07-07 株式会社ニコン Image capture element, and image capture device
JP6019568B2 (en) 2011-11-28 2016-11-02 ソニー株式会社 Image processing apparatus and method, recording medium, and program
US8941750B2 (en) 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5267708B2 (en) * 2011-12-27 2013-08-21 カシオ計算機株式会社 Image processing apparatus, imaging apparatus, image generation method, and program
JP5947548B2 (en) * 2012-01-13 2016-07-06 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM
WO2013111598A1 (en) * 2012-01-27 2013-08-01 パナソニック株式会社 Array optical element, imaging member, imaging element, imaging device, and distance measurement device
US9300932B2 (en) 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP6168794B2 (en) 2012-05-31 2017-07-26 キヤノン株式会社 Information processing method and apparatus, program.
JP6046922B2 (en) * 2012-06-07 2016-12-21 キヤノン株式会社 FOCUS DETECTION DEVICE, IMAGING DEVICE, CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
JP6780537B2 (en) * 2017-02-22 2020-11-04 オムロン株式会社 Optical sensors, learning devices, and image processing systems
US10110869B2 (en) * 2017-03-08 2018-10-23 Ricoh Company, Ltd. Real-time color preview generation for plenoptic imaging systems
US10778889B2 (en) 2017-03-15 2020-09-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method
JP7092111B2 (en) * 2017-03-15 2022-06-28 ソニーグループ株式会社 Imaging device, video signal processing device and video signal processing method
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (en) * 2005-06-23 2007-01-11 Nikon Corp Image synthesis method and image pickup apparatus
JP2007019967A (en) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp Inspection device and inspecting method of solid-state imaging element

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
JP4483951B2 (en) * 2008-01-28 2010-06-16 ソニー株式会社 Imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (en) * 2005-06-23 2007-01-11 Nikon Corp Image synthesis method and image pickup apparatus
JP2007019967A (en) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp Inspection device and inspecting method of solid-state imaging element

Also Published As

Publication number Publication date
JP5490514B2 (en) 2014-05-14
KR20110073159A (en) 2011-06-29
JP2011135170A (en) 2011-07-07

Similar Documents

Publication Publication Date Title
KR101691551B1 (en) Photographing apparatus and method
US8558915B2 (en) Photographing apparatus and method
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
US20110058070A1 (en) Mage pickup apparatus
JP2013201752A (en) Image processing device, image pickup device, control method, and program
US9521395B2 (en) Imaging apparatus and method for controlling same
JP3854754B2 (en) Imaging apparatus, image processing apparatus and method, and memory medium
CN104580921A (en) Imaging apparatus and its control method
US8902294B2 (en) Image capturing device and image capturing method
JP5394814B2 (en) Photodetection element and imaging device
JP3738652B2 (en) Digital camera
JP4817529B2 (en) Imaging apparatus and image processing method
JP6053276B2 (en) Imaging apparatus, control method therefor, and image processing apparatus
JP4187512B2 (en) Imaging device
JP5871535B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6752942B2 (en) Image processing equipment, image processing methods and programs, and imaging equipment
JP3738654B2 (en) Digital camera
JP2012124650A (en) Imaging apparatus, and imaging method
JP6138222B2 (en) Image processing apparatus, imaging apparatus, control method, and program
JP4133179B2 (en) Image signal processing device
JP6433474B2 (en) Imaging apparatus and control method thereof
JP2004153710A (en) Control method of imaging apparatus, and imaging apparatus
JP6289515B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6234097B2 (en) Imaging apparatus and control method thereof
JP5582945B2 (en) Imaging system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant