KR20110046314A - Imaging Devices, Methods and Program Products for Controlling Imaging Devices - Google Patents

Abstract

PURPOSE: An image device, control method thereof, and program are provided to improve the performance of an image device and to continuously implement a pipeline process and an image data output process and to rapidly stabilize exposure control. CONSTITUTION: An ISP(Image Sensor Processor)(20) sets up exposure time of an imaging element(11). The ISP accumulates light by using the exposure time of a second frame. The ISP outputs image data by applying a gain of the second frame. A pipeline process is consecutively implemented.

Description

이미징 디바이스, 이미징 디바이스를 제어하는 방법 및 프로그램 제품{IMAGING DEVICE, METHOD FOR CONTROLLING IMAGING DEVICE AND PROGRAM PRODUCT}IMAGING DEVICE, METHOD FOR CONTROLLING IMAGING DEVICE AND PROGRAM PRODUCT}

본 출원은, 전체가 참조문헌으로 본원에 포함되는 개시인, 2009년 10월 27일에 출원된 일본 특허 출원 제 2009-246378 호의 우선권의 혜택에 기초하여 우선권을 주장한다.This application claims priority based on the benefit of priority of Japanese Patent Application No. 2009-246378, filed on October 27, 2009, the disclosure of which is incorporated herein by reference in its entirety.

본 발명은 디지털 카메라와 같은 이미징 디바이스, 이미징 디바이스를 제어하는 방법 및 프로그램 제품에 관한 것이며, 보다 상세하게는 자동 노출 제어를 실시할 수 있는 이미징 디바이스, 이미징 디바이스를 제어하는 방법 및 프로그램 제품에 관한 것이다.TECHNICAL FIELD The present invention relates to an imaging device such as a digital camera, a method and a program product for controlling an imaging device, and more particularly to an imaging device capable of performing automatic exposure control, a method and a program product for controlling an imaging device. .

일반적으로, CCD (Charge Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor) 의 노출 제어가 실시되는 경우, 설정 시 "노출 시간 (셔터 속도)" 과 "이득" 둘 모두를 제어하는 것이 필요하다 (예를 들어, 일본 미심사청구된 특허 출원 공보 제 2000-78461 호). 이들 2개의 제어 정보는 하나의 이미지 데이터에 관하여 상이한 타이밍으로 제어된다는 것이 중요하다. 표준 노출 제어에서, "노출 시간"이 먼저 결정되어 설정될 것이 요구된다. 그런 다음, 제 1 스테이지 처리 및 제 2 스테이지 처리를 포함하는 2개의 별개의 처리가 실행된다. 제 1 스테이지 처리에서, 수광 소자는, 결정되는 노출 시간에 따라서 입사광에 응답하여 차지를 저장하고 누적된 차지 (휘도) 를 출력한다. 제 2 스테이지 처리에서, 이 출력에 대하여 적절한 노출을 얻기 위해 결함을 보상하는 이득 (센서티브)(후처리) 에 의해 노출이 제어 된다. 즉, "입사광 × 노출 시간 × 이득"에 의해 적절한 노출이 획득된다. 디지털 카메라에서 이것을 달성하기 위해서, "노출 시간 설정", "노출 (광 축적)", 및 이득 (센서티브)"인 3 단계가 연속적으로 실시되는 것이 필수적이다. 이들 처리는 하나의 이미지 데이터에 대하여 동시에 수행될 수 없다.In general, when exposure control of a Charge Coupled Device (CCD) or Complementary Metal Oxide Semiconductor (CMOS) is performed, it is necessary to control both "exposure time (shutter speed)" and "gain" at the time of setting (e.g., Japanese Unexamined Patent Application Publication No. 2000-78461). It is important that these two control information are controlled at different timings with respect to one image data. In standard exposure control, the "exposure time" needs to be determined and set first. Then, two separate processes are executed, including the first stage process and the second stage process. In the first stage processing, the light receiving element stores the charge and outputs the accumulated charge (luminance) in response to the incident light in accordance with the determined exposure time. In the second stage processing, exposure is controlled by a gain (sensitive) (post-processing) that compensates for defects in order to obtain adequate exposure for this output. That is, appropriate exposure is obtained by "incident light x exposure time x gain". In order to achieve this in a digital camera, it is essential that three steps of "exposure time setting", "exposure (light accumulation)", and gain (sensitivity) are carried out in succession. Cannot be performed.

따라서, 미리 외부 (입사광) 의 정보가 없는 경우, 예를 들어, 카메라가 부팅되거나 장면이 크게 변경되는 경우, 외부의 상황에 따라서 적절한 노출값을 설정하기 위해 다음 처리가 필수적이다. 먼저, 적절한 "노출 시간" 및 "이득"이 설정되고, 획득된 이미지 데이터 (이미지의 휘도 = 입사광 × 노출 시간 × 이득) 가 평가되고, 평가된 결과가 다음 노출 시간 및 이득에 피드백된다. 적절한 노출은 이러한 처리의 실시없이 획득될 수 없다. 이러한 처리를 실시하기 위해서, 제 1 스테이지에 의해 획득되는 광범위한 이미지 (전체 이미지) 를 평가하는 것이 필수적이다. 이미지 데이터가 일단 축적되고, 평가를 종료한 후, 이득 처리가 전체 이미지에 대하여 다시 실시될 필요가 있다. 이것은 회로 사이즈를 증가시키고 처리 시간을 지연시키고 카메라의 제어 노출을 안정시키기 위해 오랜 시간이 걸린다는 문제가 있다.Therefore, when there is no external (incident light) information beforehand, for example, when the camera is booted or the scene is greatly changed, the following processing is necessary to set an appropriate exposure value according to the external situation. First, appropriate "exposure time" and "gain" are set, and the obtained image data (luminance of the image = incident light x exposure time x gain) is evaluated, and the evaluated result is fed back to the next exposure time and gain. Proper exposure cannot be obtained without the implementation of this treatment. In order to carry out this processing, it is necessary to evaluate the wide range of images (full image) obtained by the first stage. Once the image data has been accumulated and the evaluation has been completed, the gain processing needs to be performed on the entire image again. This has the problem that it takes a long time to increase the circuit size, delay the processing time and stabilize the control exposure of the camera.

그런데, 일본 미심사청구된 특허 출원 공보 제 2006-154642 호에서, 노출 제어는 시동 시 수동 AF (수동 자동 포커스) 의 광을 채움으로써 피드백에 기초하여 실시된다. 그러나, 카메라의 일 측에 수동 AF와 같은 수광 및 투광 조명등에 의해 광량을 측정할 수 있는 특수 디바이스를 장착하지 않은 카메라는 적용될 수 없다. 일부 값비싼 디지털 카메라는 그 디바이스를 장착할 수도 있지만, 가격, 사이즈 및 전력과 같은 문제로 인해, 이동 전화기 등을 위한 시스템에 그 디바이스를 장착하는 것은 종종 곤란하다.By the way, in Japanese Unexamined Patent Application Publication No. 2006-154642, exposure control is performed based on feedback by filling light of manual AF (manual autofocus) at startup. However, a camera that is not equipped with a special device capable of measuring the amount of light by light reception and flood illumination such as manual AF on one side of the camera cannot be applied. Some expensive digital cameras may mount the device, but due to issues such as price, size and power, it is often difficult to mount the device in a system for a mobile phone or the like.

노출 설정에 관하여, 다음 기술이 공지되어 있다. 일본 미심사청구된 특허 출원 공보 제 2004-363658 호에서, 이미징 디바이스의 노출 시간은 처음에 장시간 셔터로 제어되고 두 번째로 전력 작동 직후 단시간 셔터로 제어된다. 이후, 각각의 셔터 동작에서 휘도 평균값이 휘도 평균값 계산 수단에 의해 계산된다. 계산된 값에 기초하여, 이미징 엘리먼트 구동 수단은 휘도 평균값 계산 수단에 의해 노출 제어의 수렴 목표인 휘도 평균값이 되도록 셔터 시간 제어 신호를 제어하고, 이미징 디바이스의 셔터 시간을 제어한다. 이것에 의해, 이미징 디바이스의 출력이 포화되더라도, 제 3 셔터 시간으로부터 적절한 노출 제어가 실시되기 때문에, 노출 제어에 요구되는 시간이 짧아질 수 있다.Regarding the exposure setting, the following technique is known. In Japanese Unexamined Patent Application Publication No. 2004-363658, the exposure time of the imaging device is first controlled by a long time shutter and secondly by a short time shutter immediately after power operation. Thereafter, the luminance average value in each shutter operation is calculated by the luminance average value calculating means. Based on the calculated value, the imaging element driving means controls the shutter time control signal to be the luminance average value that is the convergence target of the exposure control by the luminance average value calculating means, and controls the shutter time of the imaging device. By this, even if the output of the imaging device is saturated, since the appropriate exposure control is performed from the third shutter time, the time required for the exposure control can be shortened.

그러나, 노출 시간이 얼마나 변경되는지는 상관없고, 전체 이미지가 환경에 따라서 "화이트 아웃" 또는 "블랙 아웃"일 수도 있는 것은 불가피하다. 이러한 포화가 발생된다면, 화이트 밸런스가 또한 평가될 수 없고, 정확한 노출 시간의 추정도 마찬가지이다. 더욱이, 다음 몇 개의 프레임들부터 피드백이 대기되어야 하기 때문에, 노출의 안정성과 화이트 밸런스가 지연되는 문제가 있다.However, it does not matter how much the exposure time changes, and it is inevitable that the entire image may be "white out" or "black out" depending on the environment. If such saturation occurs, the white balance cannot also be evaluated, and so does the estimation of the correct exposure time. Moreover, since feedback has to wait from the next few frames, there is a problem that the stability of exposure and the white balance are delayed.

특허 문헌 3뿐만 아니라 노출 제어와 관련된 특허 문헌 대부분은 제어 목표 (센서) 의 제어 타이밍을 고려하지 않는다.In addition to Patent Document 3, most of the patent documents related to exposure control do not consider the control timing of the control target (sensor).

본 발명의 제 1 예시적 양태는 이미지를 획득하는 이미징 엘리먼트, 및 이미징 엘리먼트에 의해 획득된 이미지 데이터에 기초하여 피드백 제어에 의해 이미징 엘리먼트의 노출을 재설정하는 이미징 센서 처리 유닛을 포함하는 이미징 디바이스이다. 이미징 센서 처리 유닛은 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 것, 제 2 프레임에서, 이전 프레임에서 설정된 노출 시간을 이용하여 이미징 엘리먼트로 하여금 광을 축적하게 하는 것, 제 3 프레임에서 제 2 프레임에 의해 설정된 이득을 적용함으로써 이미지 데이터를 출력하는 것의 처리를, 파이프라인 처리에 의해 연속적으로 실시한다.A first exemplary aspect of the invention is an imaging device comprising an imaging element for obtaining an image and an imaging sensor processing unit for resetting exposure of the imaging element by feedback control based on image data acquired by the imaging element. The imaging sensor processing unit may be configured to set an exposure time of the imaging element in the first frame immediately after startup of the imaging device, in the second frame, to cause the imaging element to accumulate light using the exposure time set in the previous frame; The process of outputting the image data by applying the gain set by the second frame in three frames is continuously performed by pipeline processing.

본 발명의 제 2 예시적 양태는 이미징 엘리먼트에 의해 획득된 이미지 데이터에 기초하여 피드백 제어에 의해 이미징 엘리먼트의 노출을 재설정하는 이미징 디바이스를 제어하는 방법이다. 이 방법은 피드백 제어 전에, 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 것, 제 2 프레임에서, 이전 프레임에서 설정된 노출 시간을 이용하여 이미징 엘리먼트로 하여금 광을 축적하게 하는 것, 제 3 프레임에서 상기 제 2 프레임에 의해 설정된 이득을 적용함으로써 이미지 데이터를 출력하는 것의 처리를, 파이프라인 처리에 의해 연속적으로 실시하는 단계, 및 제 3 프레임 및 후속 프레임들에서 연속적으로 획득된 이미지 데이터를 순차적으로 평가하고, 평가 결과에 기초하여 최적의 노출을 결정하고, 그리고 최적의 노출을 이미징 엘리먼트에 설정하는 단계를 포함한다.A second exemplary aspect of the present invention is a method of controlling an imaging device that reestablishes exposure of an imaging element by feedback control based on image data acquired by the imaging element. The method comprises setting the exposure time of the imaging element in the first frame immediately after startup of the imaging device, before the feedback control, and causing the imaging element to accumulate light using the exposure time set in the previous frame, in the second frame. Continuously performing, by pipeline processing, the process of outputting the image data by applying the gain set by the second frame in a third frame, and the image obtained continuously in the third frame and subsequent frames. Evaluating the data sequentially, determining an optimal exposure based on the evaluation result, and setting the optimal exposure to the imaging element.

본 발명에 따르면, 이미징 디바이스는 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 처리, 제 2 프레임에서, 이전 프레임에서 설정된 노출 시간을 이용하여 이미징 엘리먼트로 하여금 광을 축적하게 하는 처리, 제 3 프레임에서 제 2 프레임에 의해 설정된 이득을 적용함으로써 이미지 데이터를 출력하는 처리를 파이프라인 처리에 의해 연속적으로 실시한다. 이것에 의해, 이미징 디바이스는 피드백 제어를 위한 대기 없이 이미지 데이터를 연속적으로 획득한다. 그런 다음, 연속적으로 획득된 복수의 이미지 데이터를 이용하여 노출 제어를 실시함으로써, 노출 제어는 초기값에 따라서 더 빠르게 안정화될 수 있다.According to the present invention, an imaging device is configured to cause an imaging element to accumulate light using a process of setting an exposure time of an imaging element in a first frame immediately after startup of the imaging device, and in a second frame, an exposure time set in a previous frame. The processing and the process of outputting the image data by applying the gain set by the second frame in the third frame are continuously performed by the pipeline processing. By this, the imaging device continuously acquires image data without waiting for feedback control. Then, by performing exposure control using a plurality of continuously obtained image data, the exposure control can be stabilized faster according to the initial value.

본 발명에 따르면, 디지털 카메라와 같은 이미징 디바이스의 노출 제어의 안정한 성능을 개선할 수 있는 이미징 디바이스 및 이미징 디바이스의 제어 방법이 제공될 수 있다.According to the present invention, an imaging device and a control method of the imaging device can be provided which can improve the stable performance of exposure control of an imaging device such as a digital camera.

상기 예시적 양태 및 다른 예시적 양태들, 이점들 및 특성들은 첨부된 도면과 연결하여 취해진 특정한 예시적 실시형태의 다음 설명으로부터 더욱 명확해질 것이다.The above and other example aspects, advantages, and characteristics will become more apparent from the following description of specific example embodiments taken in conjunction with the accompanying drawings.

도 1은 본 발명의 제 1 예시적 실시형태의 이미징 디바이스를 도시하는 도이다.
도 2는 획득된 이미지에 기초하여 노출 및 화이트 밸런스 제어를 실시하는 통상적인 방법을 도시하는 흐름도이다.
도 3a는 노출 설정을 위한 방법을 도시하는 도이다.
도 3b는 전체 이미지의 휘도 평균값들을 도시하는 도이다.
도 3c는 동적 범위를 설명하는 도이다.
도 3d는 각각의 블록의 R, G, B의 평균을 도시하는 도이다.
도 4a는 최적의 노출 근접을 설명하는 도이다.
도 4b는 본 발명의 제 1 예시적 실시형태의 초기값을 설명하는 도이다.
도 5a는 관련 기술에 따른 노출 설정 타이밍을 설명하는 도이다.
도 5b는 본 발명의 제 1 예시적 실시형태의 노출 설정 타이밍을 설명하는 도이다.
도 6은 본 발명의 제 1 예시적 실시형태의 효과를 도시하는 도이다.
도 7은 본 발명의 제 2 예시적 실시형태의 노출에 대한 초기값을 설명하는 도이다.
도 8은 본 발명의 제 2 예시적 실시형태의 효과를 도시하는 도이다.
도 9는 본 발명의 제 2 예시적 실시형태의 노출에 대한 초기값의 시퀀스의 차에 의해 발생되는 효과를 설명하는 도이다.1 is a diagram illustrating an imaging device of a first exemplary embodiment of the present invention.
2 is a flow chart illustrating a conventional method of performing exposure and white balance control based on the acquired image.
3A is a diagram illustrating a method for exposure setting.
3B is a diagram showing luminance average values of the entire image.
3C is a diagram illustrating dynamic range.
3D is a diagram illustrating an average of R, G, and B of each block.
4A is a diagram illustrating an optimal exposure proximity.
4B is a diagram illustrating an initial value of the first exemplary embodiment of the present invention.
5A is a diagram for explaining exposure setting timing according to a related art.
5B is a diagram for explaining exposure setting timings in the first exemplary embodiment of the present invention.
Fig. 6 is a diagram showing the effect of the first exemplary embodiment of the present invention.
7 is a diagram illustrating an initial value for exposure of a second exemplary embodiment of the present invention.
8 is a diagram showing the effect of the second exemplary embodiment of the present invention.
9 is a diagram illustrating an effect caused by a difference in a sequence of initial values for exposure of a second exemplary embodiment of the present invention.

아래에, 본 발명의 구체적인 실시형태들을 도면을 참고로하여 상세하게 설명할 것이다. 본 예시적 실시형태는 CCD 또는 CMOS와 같은 이미징 디바이스를 포함하는 디지털 카메라에 본 발명을 적용한다.In the following, specific embodiments of the present invention will be described in detail with reference to the drawings. This exemplary embodiment applies the invention to a digital camera that includes an imaging device such as a CCD or a CMOS.

도 1은 제 1 예시적 실시형태의 이미징 디바이스를 도시하는 도이다. 이미징 디바이스 (100) 는 이미징 센서 유닛 (10), 이미징 센서 처리 유닛 (20)(아래에 "ISP"(Image Sensor Processor) 로 지칭함), 및 이미지 출력 유닛 (30) 을 포함한다.1 is a diagram illustrating an imaging device of the first exemplary embodiment. The imaging device 100 includes an imaging sensor unit 10, an imaging sensor processing unit 20 (hereinafter referred to as an “ISP” (Image Sensor Processor)), and an image output unit 30.

이미징 센서 유닛 (10) 은 CCD 또는 CMOS 등을 포함하고, 이미지를 획득하는 이미징 엘리먼트 (11), 및 이미징 엘리먼트 (11) 에 이해 획득된 이미지를 아날로그 신호로부터 디지털 신호로 변환하는 아날로그-디지털 변환기 (A/D 유닛)(12) 를 더 포함한다. ISP (20) 는 이미지 평가 유닛 (21), 이미지 저장 유닛 (22), 이미지 처리 유닛 (23), CPU (24), 및 제어 정보 저장 유닛 (25) 을 포함하고, CPU (24) 는 최적의 노출 근접 결정 유닛 (26), 노출 제어 유닛 (27), 및 화이트 밸런스 제어 유닛 (WB 제어 유닛; 28) 을 포함한다.The imaging sensor unit 10 includes a CCD or CMOS and the like, and an imaging element 11 for acquiring an image, and an analog-to-digital converter for converting an image acquired by the imaging element 11 from an analog signal to a digital signal ( A / D unit) 12 is further included. The ISP 20 includes an image evaluation unit 21, an image storage unit 22, an image processing unit 23, a CPU 24, and a control information storage unit 25, the CPU 24 having an optimum An exposure proximity determining unit 26, an exposure control unit 27, and a white balance control unit (WB control unit) 28.

이미지 평가 유닛 (21) 은 이미징 엘리먼트 (11) 에 의해 획득된 이미지 데이터의 휘도값을 계산한다. CPU (24) 는 이미지 평가 유닛 (21) 의 계산 결과에 기초하여 최적의 노출값 (개구값 (F-수) 및 셔터 속도 (노출 시간)) 을 계산하고 이들을 이미징 엘리먼트 (11) 및 A/D 유닛 (12) 에 설정한다. 이미징 엘리먼트 (11) 는 설정 노출 시간을 이용하여 이미지를 획득한다. A/D 유닛 (12) 은 설정 이득을 이용하여 이미징 엘리먼트 (11) 에 의해 획득된 이미지 데이터를 증폭한다.The image evaluation unit 21 calculates the luminance value of the image data obtained by the imaging element 11. The CPU 24 calculates an optimal exposure value (aperture value (F-number) and shutter speed (exposure time)) based on the calculation result of the image evaluation unit 21 and converts them to the imaging element 11 and the A / D unit. Set to (12). Imaging element 11 uses the set exposure time to obtain an image. The A / D unit 12 uses the set gain to amplify the image data obtained by the imaging element 11.

이미지 평가 유닛 (21) 에 의해 휘도값이 계산되는 이미지 데이터는 이미징 저장 유닛 (22) 에 일시적으로 저장되고 이미지 처리 유닛 (23) 에 출력된다. 이미지 처리 유닛 (23) 은 CPU (24) 로부터 최적의 화이트 밸런스를 수신하고, 이미지 데이터를 처리하여 화이트 밸런스를 달성한 후, 이미지 데이터가 이미지 출력 유닛 (30) 에 출력된다.The image data for which the luminance value is calculated by the image evaluation unit 21 is temporarily stored in the imaging storage unit 22 and output to the image processing unit 23. The image processing unit 23 receives the optimum white balance from the CPU 24, processes the image data to achieve the white balance, and then the image data is output to the image output unit 30.

여기서, 본 예시적 실시형태의 이미징 디바이스 (100) 는, 이미징 디바이스 (100) 가 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 처리, 제 2 프레임에서 설정된 노출 시간을 갖는 이미지를 취하는 처리, 제 3 프레임에서 제 2 프레임에 의해 설정된 이득을 캡쳐 이미지에 적용하는 처리를 피드백 제어없이 파이프라인 처리에 의해 처리를 연속적으로 실시한다는 특징을 갖는다. 본 예시적인 실시형태에 따르면, 파이프라인 처리는 로우의 3개의 프레임에서 실시된다. 즉, 제 1 내지 제 3 프레임들에서, 상이한 노출값들 및 이득이 설정되고; 제 2 내지 제 4 프레임들에서, 각각의 노출 시간으로 이미지가 획득되고; 제 3 내지 제 5 프레임들에서, 이미지 데이터가 획득된다. 이미지 평가 유닛 (21) 은 제 3 내지 제 5 프레임들에서 획득된 이미지 데이터의 평가값을 계산하고, 노출 제어 유닛 (27) 은 제 3 내지 제 5 프레임들에서 획득된 이미지 데이터의 평가 결과에 기초하여 최적의 노출을 결정하고 최적의 노출을 이미징 엘리먼트 (11) 에 설정한다.Here, the imaging device 100 of the present exemplary embodiment includes a process in which the imaging device 100 sets an exposure time of an imaging element in a first frame immediately after startup of the imaging device, an image having an exposure time set in the second frame. The processing to take the process of applying the gain set by the second frame to the captured image in the third frame is performed continuously by the pipeline processing without feedback control. In accordance with the present exemplary embodiment, pipeline processing is performed in three frames of a row. That is, in the first to third frames, different exposure values and gains are set; In the second to fourth frames, an image is obtained at each exposure time; In the third to fifth frames, image data is obtained. The image evaluation unit 21 calculates an evaluation value of the image data obtained in the third to fifth frames, and the exposure control unit 27 is based on the evaluation result of the image data obtained in the third to fifth frames. To determine the optimal exposure and set the optimal exposure to the imaging element 11.

따라서, 제어 정보 저장 유닛 (25) 은 시동 후 제 1 내지 제 3 프레임들에서 설정된 노출에 대한 노출 제어 정보를 갖는다. 또한, 제어 정보 저장 유닛 (25) 은, 다음 프레임에서 설정되는 노출 제어 설정 및 WB 설정 (적절한 노출이 획득될 수 없는 시간에서의 WB 설정값) 을 위해 요구되는 정보와 같은 노출 및 WB 제어 정보를 갖는다.Thus, the control information storage unit 25 has the exposure control information for the exposure set in the first to third frames after startup. In addition, the control information storage unit 25 stores the exposure and WB control information such as the information required for the exposure control setting set in the next frame and the WB setting (WB setting value at a time at which an appropriate exposure cannot be obtained). Have

이 방법에서, 시동 직후 노출을 위한 3개의 초기값을 이용하여 이미지를 획득하고, 그 결과에 따라서 최적의 노출값을 계산함으로써, 노출 제어는 종래 기술보다 더 빠른 속도로 안정화될 수 있다.In this way, the exposure control can be stabilized at a faster rate than in the prior art by acquiring an image using three initial values for exposure immediately after start-up and calculating the optimum exposure value accordingly.

먼저, 노출 제어 및 화이트 밸런스 제어는 간단하게 설명할 것이다. 이후에 논의될 바와 같이, 본 예시적 실시형태는 이미지가 시동 직후 획득되고 노출값 및 화이트 밸런스가 결정되는 타이밍을 특징으로 하기 때문에, 획득된 이미지로부터 노출값 및 화이트 밸런스를 결정하는 방법은 아래에 설명되는 방법으로 제한되지 않는다.First, exposure control and white balance control will be briefly described. As will be discussed later, the present exemplary embodiment is characterized by the timing at which the image is acquired immediately after startup and the exposure value and white balance are determined, so that the method of determining exposure value and white balance from the obtained image is described below. It is not limited in a way.

도 2는 획득된 이미지에 기초하여 노출 및 화이트 밸런스 제어를 실시하는 통상적인 방법을 도시하는 흐름도이다. 도 3a 내지 도 3d는 이미지 평가 유닛 (21) 의 노출 및 화이트 밸런스 제어 동작을 설명하는 도이며 도 3a는 타이밍을 설명하는 도이다. 여기서, ISP (20) 의 처리, 특히 CPU (24) 및 이미지 처리 유닛 (23) 의 처리를 설명할 것이다.2 is a flow chart illustrating a conventional method of performing exposure and white balance control based on the acquired image. 3A to 3D are diagrams for explaining the exposure and white balance control operations of the image evaluation unit 21, and FIG. 3A is a diagram for explaining timing. Here, the processing of the ISP 20, in particular the processing of the CPU 24 and the image processing unit 23 will be described.

먼저, 노출 제어를 설명한다. 노출값 및 이득은 노출 제어 유닛 (27) 에 의해 각각 이미징 센서 유닛 (10) 의 이미징 엘리먼트 (11) 및 A/D 유닛 (12) 에 설정된다 (단계 S1). 도 3에 도시된 바와 같이, 예를 들어, 이 동작은 제 1 프레임에서 실시된다. 제 1 프레임과 다음 프레임 (이 실시예에서, 제 2 프레임) 사이에서, 이미징 엘리먼트 (11) 에 의해 노출이 실시된다. 이것에 관하여, 노출 제어 유닛 (27) 은 A/D 유닛 (12) 에 센서티브 설정 (이득 설정)(G) 을 실시한다 (단계 S2). 또한, 이것에 관하여, ISP (20) 의 다른 블록들은 다음 프레임까지 대기한다.First, exposure control will be described. The exposure value and the gain are set by the exposure control unit 27 to the imaging element 11 and the A / D unit 12 of the imaging sensor unit 10, respectively (step S1). As shown in FIG. 3, for example, this operation is performed in the first frame. Between the first frame and the next frame (in this embodiment, the second frame), the exposure is carried out by the imaging element 11. In this regard, the exposure control unit 27 performs the sensitive setting (gain setting) G on the A / D unit 12 (step S2). Also in this regard, other blocks of ISP 20 wait until the next frame.

다음으로, 제 1 프레임에서 노출을 설정한 후 제 3 프레임에서 이미지 데이터가 획득된다 (단계 S3). 획득된 이미지 데이터는 A/D 유닛 (12) 에 의해 증폭되고 이미지 평가 유닛 (21) 에 입력된다. 다음으로, 이미지 평가 유닛 (21) 은 이미지 데이터의 휘도의 평균을 계산한다 (단계 S4). 예를 들어, 도 3d에 도시된 바와 같이, 하나의 이미지 데이터는 16 × 16 블록들로 분할된다. 이후, 각각의 블록의 휘도값의 평균 (휘도 평균) 이 계산된다. YUV 포맷 또는 RGB의 휘도 중 어느 하나는 휘도값을 계산하기 위해 사용될 수 있다. 먼저, 각각의 블록의 휘도 평균을 계산한 후, 블록의 중심부의 가중치가 바깥 에지 부분의 가중치보다 확장되는 가중이 필요에 따라 실시된다. 마지막으로, 전체 이미지의 휘도의 평균 Y가 도 3b에 도시된 바와 같이 각각의 블록의 휘도값으로부터 계산된다.Next, after setting the exposure in the first frame, image data is acquired in the third frame (step S3). The acquired image data is amplified by the A / D unit 12 and input to the image evaluation unit 21. Next, the image evaluation unit 21 calculates an average of the luminance of the image data (step S4). For example, as shown in FIG. 3D, one image data is divided into 16 × 16 blocks. Then, the average (luminance average) of the luminance values of each block is calculated. Either the YUV format or the luminance of RGB can be used to calculate the luminance value. First, after calculating the average of the luminance of each block, weighting in which the weight of the central portion of the block extends above the weight of the outer edge portion is performed as necessary. Finally, the average Y of the luminance of the entire image is calculated from the luminance value of each block as shown in FIG. 3B.

다음으로, 도 3c에 도시된 바와 같이, 이미징 엘리먼트 (11) 의 동적 범위에서, 최적의 노출 근접 결정 유닛 (26) 은 전체 이미지의 휘도의 평균 Y가 노출 목표값 X로부터 얼마나 떨어져 있는지를 결정한다 (단계 S5).Next, as shown in FIG. 3C, in the dynamic range of the imaging element 11, the optimal exposure proximity determining unit 26 determines how far from the exposure target value X the average Y of the luminance of the entire image. (Step S5).

노출 목표값 X와 휘도 평균 Y 사이의 차가 미리결정된 값과 같거나 이보다 더 크다면, 노출의 수정이 실시된다. 따라서, 노출 제어 유닛 (27) 은, 휘도 평균 Y가 노출 목표값 X이도록, 노출 설정 (E') 및 센서티브 설정 (G') 을 계산한다 (단계 S6). 이 차가 작다면, 노출값은 적절한 것으로 가정되고, 단계 S6이 스킵된다는 것을 주목한다. 예를 들어, 현재 노출 설정 (E) 와 센서티브 설정 (G) 를 이용하여 노출의 수정이 계산된다.If the difference between the exposure target value X and the luminance mean Y is equal to or greater than the predetermined value, correction of exposure is performed. Therefore, the exposure control unit 27 calculates the exposure setting E 'and the sensitive setting G' so that the luminance average Y is the exposure target value X (step S6). Note that if this difference is small, the exposure value is assumed to be appropriate and step S6 is skipped. For example, the correction of exposure is calculated using the current exposure setting (E) and the sensitive setting (G).

(E'-G') = (E-G) × X/Y(E'-G ') = (E-G) × X / Y

상기 식을 만족하는 많은 E' 및 G'이 있지만, ISP (20) 는 장면 등에 따라서 E' 및 G'을 어떻게 분배할지를 결정한다. 상기 식이 만족된다면, 획득된 이미지의 휘도 (노출) 는 동일하다. 단계 S4 내지 S6 의 처리는 제 3 프레임에서 실행된다. 이 수정에서, 획득된 휘도 평균 Y가 목표값 X의 값의 2배인 경우, 예를 들어, 노출 시간이 절반으로 감소되는 피드백 제어가 실시된다.There are many E's and G's that satisfy the above equation, but ISP 20 determines how to distribute E's and G's according to the scene and the like. If the above equation is satisfied, the luminance (exposure) of the acquired image is the same. The processing of steps S4 to S6 is executed in the third frame. In this modification, when the obtained luminance average Y is twice the value of the target value X, for example, feedback control is performed in which the exposure time is reduced by half.

최적의 노출 근접 결정 유닛 (26) 은 휘도 평균 Y를 평가한다 (단계 S7). 즉, 최적의 노출 근접 결정 유닛 (26) 은 이 휘도값의 휘도 평균 Y가 동적 범위에서 1 % 내지 80 % 와 같이 미리결정된 범위에 포함되는지 여부를 결정한다. 여기서, 휘도 평균 Y가 미리결정된 범위라면, 최적의 노출 근접 결정 유닛 (26) 은 화이트 밸런스 제어가 실시될 수 있는지를 결정한 후, 화이트 밸런스 제어로 이동한다. 여기서, 차가 미리결정된 범위가 아니라면, 화이트 밸런스 제어가 실시되지 않고, 노출 및 이득이 이미징 센서 유닛 (10) 에 설정되는 단계 S1로부터 처리가 다시 실시된다.The optimal exposure proximity determining unit 26 evaluates the luminance mean Y (step S7). That is, the optimum exposure proximity determining unit 26 determines whether or not the luminance average Y of this luminance value is contained in the predetermined range, such as 1% to 80% in the dynamic range. Here, if the luminance average Y is a predetermined range, the optimum exposure proximity determining unit 26 determines whether the white balance control can be performed, and then moves to the white balance control. Here, if the difference is not in the predetermined range, the white balance control is not carried out, and the process is executed again from step S1 in which the exposure and the gain are set in the imaging sensor unit 10.

다음으로, 화이트 밸런스 제어를 설명한다. 먼저, WB 제어 유닛 (28) 은 화이트 밸런스 제어의 평가 정보를 획득한다 (단계 S8). 명확하게, 예를 들어, 이미지 평가 유닛 (21) 은 이미지 데이터를 16 × 16 블록들로 분할하고, 각각의 블록에 대한 R, G 및 B의 평균을 계산하고, WB 제어 유닛 (28) 에 이들을 출력한다. WB 제어 유닛 (28) 은 톤을 수정하기 위해서 R, G 및 B의 각각의 값으로 승산되는 이득을 계산한다 (단계 S9). 이 이득의 계산 방법은 다양하기 때문에, 다양한 기술들이 잘 알려져 있고, 이것은 본 발명의 특징이 아니며, 상세한 계산 방법은 생략한다. WB 제어 유닛 (28) 은 획득된 R 이득, G 이득, 및 B 이득을 이미지 처리 유닛 (23) 에 출력하고, 이미지 처리 유닛 (23) 은 이미지 데이터의 톤을 수정한다. 마지막으로, 수정 데이터가 이미지 출력 유닛 (30) 으로부터 출력된다 (단계 S10).Next, white balance control will be described. First, the WB control unit 28 obtains evaluation information of the white balance control (step S8). Specifically, for example, the image evaluation unit 21 divides the image data into 16 × 16 blocks, calculates an average of R, G, and B for each block, and sends them to the WB control unit 28. Output The WB control unit 28 calculates a gain multiplied by respective values of R, G, and B to correct the tone (step S9). Since the method of calculating this gain is various, various techniques are well known, which is not a feature of the present invention, and detailed calculation methods are omitted. The WB control unit 28 outputs the obtained R gain, G gain, and B gain to the image processing unit 23, and the image processing unit 23 corrects the tone of the image data. Finally, the correction data is output from the image output unit 30 (step S10).

다음으로, 노출 제어 유닛 (27) 에 의해 설정되는 노출의 초기값을 설명한다. 상술된 바와 같이, 본 예시적 실시형태에서, 노출을 위한 3개의 초기값들이 제어 정보 저장 유닛 (25) 에 저장되고, 이들 값들은 제 1 내지 제 3 프레임들에 연속적으로 설정된다. 도 4a 및 도 4b는 초기값들을 설명하는 도이다. 도 4a에 도시된 바와 같이, 카메라의 동적 범위가 1 % 내지 100 %인 것으로 가정된다면, 최적의 노출 근접은 예를 들어 1 % 내지 80 %로 가정된다. 최적의 노출 근접은 정확한 노출 및 화이트 밸런스 제어를 실시할 수 있는 범위이다. 당연히 노출 제어 목표값 X는 이 범위 내이다. 값이 이 범위 내가 아니라면, 즉, 휘도 평균 Y가 동작 범위의 1 %보다 작다면, 블랙 아웃이 발생되고 최적의 노출 근접 결정 유닛 (26) 은 휘도 평균 Y를 평가할 수 없다. 휘도 평균 Y가 동적 범위의 80 % 보다 크다면, 화이트 아웃이 발생되고 평가는 불가능해진다. 여기서, 이 최적의 노출 근접 범위는 방어 범위로 지칭된다.Next, the initial value of exposure set by the exposure control unit 27 is demonstrated. As described above, in the present exemplary embodiment, three initial values for exposure are stored in the control information storage unit 25, and these values are set continuously in the first to third frames. 4A and 4B are diagrams illustrating initial values. As shown in FIG. 4A, if the dynamic range of the camera is assumed to be 1% to 100%, the optimum exposure proximity is assumed to be 1% to 80%, for example. Optimal exposure proximity is the range in which accurate exposure and white balance control can be performed. Naturally, the exposure control target value X is within this range. If the value is not within this range, that is, the luminance average Y is less than 1% of the operating range, blackout occurs and the optimum exposure proximity determining unit 26 cannot evaluate the luminance average Y. If the luminance average Y is greater than 80% of the dynamic range, white out occurs and evaluation is impossible. Here, this optimal exposure proximity range is referred to as the defense range.

예를 들어, 통상적인 디지털 카메라에서, 이 방어 범위 (동적 범위) 는 약 6 EV (Exposure Value) 의 사이즈이다. 따라서, 이러한 방어 범위들이 서로 중첩되지 않도록 노출이 설정된다면, 18 EV의 밝기는 3개의 초기값들로 커버될 수 있다. 즉, 각각의 3개의 프레임의 노출을 방어 범위들이 중첩되지 않는 범위 내에서 초기값들로 설정함으로써, 18 EV의 범위의 밝기에 대한 응답이 가능하다. 그런다음, 카메라의 시동 이후, 18 EV 밝기의 노출과 화이트 밸런스 제어는 이러한 초기값들을 이용하여 이미지를 획득함으로써 실시될 수 있다. 하나의 프레임이 6 EV이고 3개의 프레임이 18 EV인 경우, 예를 들어, 각각이 방어 범위의 일부가 중첩될 수 있다는 것을 주목한다. 즉, 각각의 노출을 이용하여 획득된 이미지 내의 동적 범위의 일부를 중첩함으로써, 미리결정된 밝기 범위들이 커버될 수 있다.For example, in a conventional digital camera, this defense range (dynamic range) is about 6 EV (Exposure Value). Thus, if the exposure is set such that these defense ranges do not overlap with each other, the brightness of 18 EV can be covered with three initial values. That is, by setting the exposure of each three frames to initial values within the range where the defense ranges do not overlap, a response to the brightness in the range of 18 EV is possible. Then, after starting the camera, exposure of 18 EV brightness and white balance control can be performed by acquiring an image using these initial values. Note that if one frame is 6 EV and three frames are 18 EV, for example, some of the defense ranges may overlap. That is, by overlapping a portion of the dynamic range in the image obtained using each exposure, predetermined brightness ranges can be covered.

도 5b는 본 예시적 실시형태의 노출 설정 타이밍을 도시하는 도이다. 도 5a는 종래의 타이밍을 도시하는 도이다. 종래 기술들에서, 제 1 프레임에서 노출 A가 설정된다면 (센서 설정), 제 3 프레임에서 이미지가 획득될 수 있다. 이후, 제 3 프레임에서 획득된 이미지 데이터에 기초하여, 피드백 제어가 실시된다. 이 경우, 피드백 제어를 위한 계산이 제 4 프레임에서 실시되고, 피드백은 제 5 프레임부터 실제로 반영된다. 즉, 제 2 및 제 3 프레임들 동안의 기간은 이미지 데이터를 획득하는 대기 시간이고, 낭비하는 시간이다.5B is a diagram illustrating the exposure setting timing of the present exemplary embodiment. 5A is a diagram showing a conventional timing. In the prior arts, if exposure A is set in the first frame (sensor setting), an image can be obtained in the third frame. Then, based on the image data obtained in the third frame, feedback control is performed. In this case, the calculation for the feedback control is performed in the fourth frame, and the feedback is actually reflected from the fifth frame. In other words, the period during the second and third frames is a waiting time for acquiring image data, and a waste of time.

반면에, 도 5b에 도시된 바와 같이, 본 예시적 실시형태에서, 노출 A, 노출 B, 및 노출 C는 각각 제 1 프레임, 제 2 프레임 및 제 3 프레임에서 설정된다. 이들 값들은, 상술된 바와 같이, 서로 방어 범위들이 중첩되지 않도록 설정되는 노출을 위한 초기값들이다. 3개의 프레임들에 대한 이미지가 제 3 내지 제 5 프레임들에서 획득될 수 있다. 상술된 바와 같이, 3개의 프레임들에 대한 이미지는 18 EV를 갖는 광범위의 밝기의 환경에 응답할 수 있고, 대부분의 경우, 그 적절한 노출은 이 18 EV에 포함된다. 따라서, 늦어도, 노출은 제 7 프레임 또는 후속 프레임들에서 안정화될 수 있다.On the other hand, as shown in FIG. 5B, in this exemplary embodiment, exposure A, exposure B, and exposure C are set in the first frame, the second frame, and the third frame, respectively. These values are initial values for the exposure that are set such that the defense ranges do not overlap with each other, as described above. Images for three frames may be obtained in the third to fifth frames. As mentioned above, the image for three frames can respond to a wide range of brightness environments with 18 EVs, and in most cases the appropriate exposure is included in this 18 EV. Thus, at the latest, the exposure can be stabilized in the seventh frame or subsequent frames.

또한, 초기값이 종래 기술에서와 같이 1이라면, 노출 A가 적절한 노출 근접이 아닌 경우, 노출 D의 다음 이미지는 제 6 프레임에서 획득되고, 이후 노출 안정화 제어는 현재 예시적 실시형태보다 더 지연된다. 제 4 내지 제 6 프레임들에서 설정되는 노출 D, E, 및 F는 노출 A, B 및 C에 의해 획득된 이미지 데이터의 피드백 결과이다. 반면에, 종래 기술에서, 제 4 내지 제 6 프레임들에서 설정되는 노출 B, C 및 D가 노출 A로부터 획득된 이미지 데이터로부터만 피드백 제어를 실시할 수 있다. 또한 이점으로부터, 본 예시적 실시형태의 노출 제어를 위한 방법은 더 빠르게 노출을 안정화시킬 수 있고, 이것에 의해 더 많은 정확한 노출값이 획득된다.Also, if the initial value is 1 as in the prior art, if exposure A is not an appropriate exposure proximity, the next image of exposure D is obtained in the sixth frame, and then the exposure stabilization control is delayed further than in the present exemplary embodiment. . The exposures D, E, and F set in the fourth to sixth frames are the feedback result of the image data obtained by the exposures A, B, and C. On the other hand, in the prior art, the exposures B, C and D set in the fourth to sixth frames can perform feedback control only from the image data obtained from the exposure A. FIG. Also from this, the method for exposure control of the present exemplary embodiment can stabilize the exposure more quickly, whereby more accurate exposure values are obtained.

도 6은 본 예시적 실시형태의 효과를 도시하는 도이다. 비교를 위해서, 종래 기술을 이용하는 경우 (이하 "비교예"로 지칭됨) 가 또한 도시된다. 도 6에 도시된 바와 같이, 비교예에서, 노출 A가 제 1 프레임에서 설정되고, 노출 A가 적절한 노출 근접 이내에 있다면, 제 5 프레임 및 후속 프레임들의 출력이 안정화될 것이다. 이것은 최선의 케이스로 가정된다. 여기서, 일 프레임의 시간이 화이트 밸런스 제어를 위해 요구되더라도, 이 시간은 화이트 밸런스를 제어하는 방법에 따라서 상이할 수도 있다는 것을 주목한다. 이 최선의 케이스와 비교하여, 최악의 케이스, 즉, 화이트 아웃 및 블랙 아웃이 노출 A에서 발생된다면, 제 4 프레임에 설정된 노출 B는 적절한 노출 근접 내에 있지않고, 제 7 프레임에 설정된 노출 C를 이용하여 안정화된 이미지가 획득되고, 제 7 프레임 또는 후속 프레임들에서 안정화된 출력이 획득된다. 이것은 최악의 케이스로 가정된다.6 is a diagram illustrating the effects of the present exemplary embodiment. For comparison, the case of using the prior art (hereinafter referred to as "comparative example") is also shown. As shown in FIG. 6, in the comparative example, if exposure A is set in the first frame and exposure A is within an appropriate exposure proximity, the output of the fifth frame and subsequent frames will be stabilized. This is assumed to be the best case. Note that even if a time of one frame is required for white balance control, this time may be different depending on the method of controlling the white balance. Compared to this best case, if the worst case, that is, white out and black out occurs in exposure A, exposure B set in the fourth frame is not within the proper exposure proximity and uses exposure C set in the seventh frame. The stabilized image is obtained, and the stabilized output is obtained in the seventh frame or subsequent frames. This is assumed to be the worst case.

대조적으로, 본 예시적 실시형태에서, 최선의 케이스에, 비교예와 같이 제 5 프레임에서 안정화된 출력이 획득될 수 있다. 반면에, 최악의 케이스에, 노출 C의 이미지가 제 5 프레임에서 획득될 수 있기 때문에, 제 7 프레임 또는 후속 프레임들에서 안정화된 출력이 획득될 수 있다. 노출 A가 적절한 노출 근접 내에 있다면, 노출 B 및 C의 다른 이미지 데이터가 폐기될 수도 있다는 것을 주목한다. 여기서, 일 프레임의 길이는 약 33.3 ms 내지 1/4 s 이다. 따라서, 최악의 케이스에도, 본 예시적 실시형태는 4개의 프레임들에 의해 더 빠르게 (133 sm 내지 1 s) 노출을 안정화할 수 있다.In contrast, in the present exemplary embodiment, in the best case, a stabilized output can be obtained in the fifth frame as in the comparative example. On the other hand, in the worst case, since the image of exposure C can be obtained in the fifth frame, a stabilized output can be obtained in the seventh frame or subsequent frames. Note that if exposure A is in the proper exposure proximity, other image data of exposures B and C may be discarded. Here, the length of one frame is about 33.3 ms to 1/4 s. Thus, even in the worst case, the present exemplary embodiment can stabilize the exposure more quickly (133 sm to 1 s) by four frames.

상기와 같이, 본 예시적 실시형태에서, 노출 설정을 위한 복수의 초기값들은 이미징 디바이스의 시동 이후 피드백을 위한 대기없이 연속적으로 설정되고, 노출 설정부터 이미지 획득까지의 처리가 동시에 실시된다. 이와 같이, 외부에 따라서 노출의 최적의 솔루션이 피드백을 위한 대기 없이 보다 빠른 속도로 획득될 수 있다. 이것은 이미지 디바이스 (100) 의 시동 시 노출 제어가 더 빠른 속도로 안정화될 수 있게 한다. 이것에 의한 노출의 안정을 위해 시동 시간을 단축시킴으로써, 유용성이 개선될 수 있다.As described above, in the present exemplary embodiment, the plurality of initial values for the exposure setting are continuously set without waiting for feedback after the start of the imaging device, and processing from exposure setting to image acquisition is simultaneously performed. As such, depending on the exterior, an optimal solution of exposure can be obtained at a faster rate without waiting for feedback. This allows the exposure control to be stabilized at a faster rate at startup of the image device 100. By shortening the startup time for stabilizing the exposure thereby, the usability can be improved.

디지털 카메라와 같은 이미징 디바이스에서, 이미징 센서 유닛 (10) 에 있어서 이미지를 획득하기 전에 2개의 프레임들의 노출 시간을 설정하는 것과 이것 전에 일 프레임 전에 신호 증폭 이득을 설정하는 것은 그 구조 때문에 필수적이다. 따라서, 하나의 이미지를 획득하기 위해서, 노출 시간을 설정하고, 이득을 설정하고, 이미지를 출력하기 위한 총 3개의 프레임이 필요하다. 이미지 디바이스 (100) 의 노출 제어 시, 이 결과로부터 획득되는 이미지 데이터가 분석되고, 노출 시간 및 신호 증폭 이득은 피드백과 같이 분석된 정보를 이용함으로써 제어된다. 따라서, 한 번의 설정으로 최적의 노출을 달성하도록 또는 3개의 프레임의 반복으로 노출을 안정화하도록 제어가 요구된다. 이와 같이, 종래의 기술들에서, 특히 시동 시간과 같이 외부의 정보가 없는 환경에서, 제어를 안정화하고 최적의 노출을 달성하기 전까지 상당히 긴 시간이 요구된다.In an imaging device such as a digital camera, it is essential for the imaging sensor unit 10 to set the exposure time of two frames before acquiring an image and to set the signal amplification gain one frame before this one because of its structure. Thus, in order to acquire one image, a total of three frames are required for setting the exposure time, setting the gain, and outputting the image. In controlling exposure of the image device 100, image data obtained from this result is analyzed, and the exposure time and signal amplification gain are controlled by using the analyzed information such as feedback. Therefore, control is required to achieve optimal exposure with one setting or to stabilize the exposure with repetition of three frames. As such, in conventional techniques, particularly in an environment without external information, such as startup time, a fairly long time is required before stabilizing control and achieving optimal exposure.

반면에, 본 예시적 실시형태에서, 통상적으로 피드백을 위한 대기 시간인 시동 시간을 이용함으로써 그리고 피드백을 강제로 무시하여 노출을 위한 복수의 초기값 (본 예시적 실시형태에서, 3단계 값들) 을 스위칭 및 설정함으로써, 노출 제어의 목표 (노출 제어 목표값) 가 빠르고 정확하게 찾아질 수 있고, 적절한 노출 정보가 획득될 수 있다.On the other hand, in this example embodiment, a plurality of initial values (in this example embodiment, three-step values) for exposure are typically obtained by using a startup time which is a waiting time for feedback and by forcibly ignoring the feedback. By switching and setting, the target of exposure control (exposure control target value) can be found quickly and accurately, and appropriate exposure information can be obtained.

3단계 노출을 위한 초기값에 있어서, 적절한 노출 근접 범위 (방어 범위들) 가 서로 중첩되지 않게 설정되는 3개의 값들이 사용된다. 노출을 위한 이러한 초기값들에 의해 제 1 프레임부터 3개의 프레임들에서 연속적으로 노출을 설정함으로써, 이미지 디바이스가 18 EV의 밝기에 응답될 수 있고 노출 제어가 정확하게 그리고 빠른 속도로 안정화될 수 있다.In the initial value for the three-stage exposure, three values are used in which the appropriate exposure proximity range (defense ranges) is set so as not to overlap each other. By setting the exposure continuously in the first to three frames by these initial values for the exposure, the image device can respond to a brightness of 18 EV and the exposure control can be stabilized accurately and at high speed.

제 2 예시적 실시형태Second exemplary embodiment

다음으로, 제 2 예시적 실시형태를 설명한다. 상기 제 1 예시적 실시형태에서, 방어 범위들이 서로 중첩되지 않게 설정되는 노출을 위한 3개의 초기값들이 사용된다. 반면에, 본 예시적 실시형태에서, 노출을 위한 3개의 초기값들의 설정 순서가 지정된다. 이것은 화이트 밸런스 제어를 더 빠른 속도로 안정화시킬 수 있다. 이미징 디바이스 (100) 의 구성은 도 1에 도시된 제 1 예시적 실시형태의 구성과 동일하다.Next, a second exemplary embodiment will be described. In the first exemplary embodiment, three initial values for the exposure are used in which the defense ranges are set not to overlap each other. On the other hand, in the present exemplary embodiment, the setting order of three initial values for exposure is specified. This can stabilize white balance control at a faster rate. The configuration of the imaging device 100 is the same as that of the first exemplary embodiment shown in FIG. 1.

도 7은 본 예시적 실시형태의 노출을 위한 초기값들을 설명하는 도이다. 제 1 예시적 실시형태에서, 방어 범위들이 서로 중첩되지 않게 설정되는 노출을 위한 초기값들이 사용되더라도, 순서가 지정되지 않는다. 반면에, 본 예시적 실시형태에서, 제 1 프레임에서 설정된 노출을 위한 초기값 (제 1 초기값) 은 실내 장소와 실외 장소를 결정할 수 있는 밝기의 이미지를 획득할 수 있는 설정값이다. 제 2 프레임에서 설정된 노출을 위한 초기값 (제 2 초기값) 은 실내 장소를 가정하는 밝기의 이미지를 획득할 수 있는 설정값이다. 제 3 프레임에서 설정된 노출을 위한 초기값 (제 3 초기값) 은 실외 장소를 가정하는 밝기의 이미지를 획득할 수 있는 설정값이다. 다음 설명에서, 도 7에 도시된 노출을 위한 초기값들은 오름 차순으로 노출 A (제 2 초기값), 노출 B (제 1 값) 및 노출 C (제 3 값) 로서 설명된다.7 is a diagram illustrating initial values for exposure of the present exemplary embodiment. In the first exemplary embodiment, the order is not specified even if initial values for exposure are used in which the defense ranges are set not to overlap each other. On the other hand, in the present exemplary embodiment, the initial value (first initial value) for the exposure set in the first frame is a setting value capable of obtaining an image of brightness that can determine the indoor place and the outdoor place. The initial value (second initial value) for the exposure set in the second frame is a setting value capable of obtaining an image of brightness assuming an indoor place. The initial value (third initial value) for the exposure set in the third frame is a setting value capable of obtaining an image of brightness assuming an outdoor place. In the following description, the initial values for the exposure shown in FIG. 7 are described as exposure A (second initial value), exposure B (first value) and exposure C (third value) in ascending order.

다음으로, 노출을 위한 초기값들이 이러한 순서로 지정되는 효과를 설명하기 전에, 종래의 기술들과 비교되는 효과를 먼저 설명한다. 도 8은 본 예시적 실시형태의 효과를 도시하는 도이다. 제 1 예시적 실시형태에서와 같이, 종래 기술에서, 최악의 케이스에, 노출 및 화이트 밸런스가 제 11 프레임 또는 후속 프레임들에서 안정화된다. 반면에, 이것은 본 발명의 예시적 실시형태의 최악의 케이스의 제 6 프레임이고, 노출 및 화이트 밸런스가 제 6 프레임 및 후속 프레임들에서 안정화될 수 있다. 먼저, 현재 환경이 실내 장소인지 또는 실외 장소인지 여부가 노출 B에 의해 획득된 이미지 데이터로부터 결정된다. 여기서, 실외 장소인 것으로 결정된다면, 현재 상황의 광원은 실질적으로 햇빛으로 지정될 수 있다. 즉, 노출 B에 의해 획득된 이미지 데이터가 화이트 아웃인 경우, 광원은 실질적으로 햇빛으로 지정된다. 따라서, 화이트 밸런스가 추정없이 평가될 수 있고, 그 값이 예비적으로 제어 정보 저장 유닛 (25) 에 저장되고, 이 값이 사용될 수 있다. 이와 같이, 화이트 밸런스를 계산하는 처리가 필요없다. 따라서, 실외 장소인 노출 C에 의해 이미지 데이터가 제 5 프레임에서 획득되더라도, 화이트 밸런스 (R, G, 및 B의 각각의 이득) 가 있기 때문에, 이미징 센서 (10) 으로부터 이미지 데이터가 획득되고 화이트 밸런스가 제어되고 이미지가 제 5 프레임과 동일한 시각에 출력될 수 있다 (실외 최악의 케이스).Next, before describing the effect that the initial values for exposure are specified in this order, the effect compared with the conventional techniques will be described first. 8 is a diagram illustrating the effects of the present exemplary embodiment. As in the first exemplary embodiment, in the prior art, in the worst case, the exposure and white balance are stabilized in the eleventh frame or subsequent frames. On the other hand, this is the sixth frame of the worst case of the exemplary embodiment of the present invention, and the exposure and white balance can be stabilized in the sixth frame and subsequent frames. First, whether the current environment is an indoor place or an outdoor place is determined from the image data obtained by the exposure B. Here, if determined to be an outdoor location, the light source of the current situation may be designated as substantially sunlight. That is, when the image data obtained by exposure B is white out, the light source is substantially designated as sunlight. Therefore, the white balance can be evaluated without estimation, and the value is preliminarily stored in the control information storage unit 25, and this value can be used. In this way, a process for calculating the white balance is not necessary. Therefore, even if image data is acquired in the fifth frame by exposure C, which is an outdoor place, since there is a white balance (gain of each of R, G, and B), image data is obtained from the imaging sensor 10 and the white balance is obtained. Can be controlled and the image output at the same time as the fifth frame (outdoor worst case).

또한, 제 1 프레임의 노출 B가 적절한 노출 근접 내에 있는 경우, 노출 B의 이미지 데이터가 제 3 프레임 내에서 획득되고, 화이트 밸런스가 제 4 프레임에서 계산되고, 종래 기술에서와 같이, 안정화된 출력이 제 5 프레임에서 획득될 수 있다 (최선의 케이스).In addition, when exposure B of the first frame is within an appropriate exposure proximity, image data of exposure B is obtained in the third frame, the white balance is calculated in the fourth frame, and as in the prior art, the stabilized output is Can be obtained in the fifth frame (best case).

다음으로, 현재 환경이 실내 장소인 경우, 화이트 밸런스가 노출 A에 의해 획득된 이미지 데이터로부터 계산된다. 즉, 노출 A가 제 2 프레임에서 설정되고, 노출이 제 3 프레임에서 실시되고, 이미지 데이터가 제 4 프레임에서 획득되고, 화이트 밸런스가 제 5 프레임에서 계산되고, 그리고 노출 및 화이트 밸런스가 제 6 프레임에서 안정화된다 (실내 최악의 케이스).Next, when the current environment is an indoor place, the white balance is calculated from the image data obtained by the exposure A. That is, exposure A is set in the second frame, exposure is performed in the third frame, image data is obtained in the fourth frame, white balance is calculated in the fifth frame, and exposure and white balance are set in the sixth frame. Stabilized in (worst case indoors).

이 방법에서, 본 예시적 실시형태에서, 노출 및 화이트 밸런스는 종래 기술의 최악의 케이스 보다 더 빠르게 5개의 프레임들에서 안정화된다. 즉, 일 프레임이 33.3 ms로 가정된다면, 약 166.5 ms 만큼 종래 기술보다 더 빨리 안정화된다.In this method, in this exemplary embodiment, the exposure and white balance stabilize in five frames faster than the worst case of the prior art. That is, if one frame is assumed to be 33.3 ms, it stabilizes faster than the prior art by about 166.5 ms.

다음으로, 본 예시적 실시형태의 노출을 위한 초기값들의 순서의 효과를 설명한다. 도 9는 노출을 위한 초기값들의 순서의 차로부터 획득되는 효과를 설명하는 도이다. 상술된 바와 같이, 제 1 예시적 실시형태에서, 노출을 위한 초기값들의 순서는 특별히 제한되지 않는다. 따라서, 예를 들어, 노출 순서가 노출 B, C 및 A 이 순서로 설정되는 경우와 비교하여 효과를 설명할 것이다 (이하, "참조예"로 지칭함). 도 9에 도시된 바와 같이, 참조예에서, 노출 B는 제 1 프레임에서 설정되고, 실내 장소인지 실외인지 여부가 결정된다. 여기서 최선의 케이스는 현재 환경이 실외 장소인 경우이다.Next, the effect of the order of the initial values for the exposure of the present exemplary embodiment is described. 9 is a diagram illustrating an effect obtained from the difference of the order of initial values for exposure. As mentioned above, in the first exemplary embodiment, the order of the initial values for the exposure is not particularly limited. Thus, for example, the effect will be described in comparison with the case where the exposure order is set to exposures B, C and A in the order (hereinafter referred to as "reference example"). As shown in Fig. 9, in the reference example, the exposure B is set in the first frame and it is determined whether it is indoor or outdoor. The best case here is when the current environment is an outdoor location.

상술된 바와 같이, 실외 장소인 것으로 결정된다면, 화이트 밸런스는 지정된 값이고, 따라서, 화이트 밸런스 적정값을 만드는 처리가 필요하지 않다. 실외 장소의 밝기에 대응하는 노출이 노출 C이고, 이것이 제 2 프레임에서 설정되기 때문에, 이미지 데이터는 제 4 프레임에서 획득될 수 있다. 이미지 데이터가 획득되는 경우와 동일하게 화이트 밸런스에 대한 RGB 이득으로 이미지 데이터를 수정하는 것이 가능하기 때문에, 이미지는 제 4 프레임에서 출력될 수 있다.As described above, if it is determined that it is an outdoor place, the white balance is a designated value, and therefore, a process for creating a white balance titration value is not necessary. Since the exposure corresponding to the brightness of the outdoor place is exposure C, which is set in the second frame, image data can be obtained in the fourth frame. Since it is possible to modify the image data with the RGB gain for the white balance as in the case where the image data is obtained, the image can be output in the fourth frame.

다음으로, 노출 B의 이미지 데이터보다 더 실내 장소인 것으로 결정된다면, 화이트 밸런스 제어가 요구된다. 이 제어는 이미지 데이터를 획득할 후 실시된다. 따라서, 실내 장소의 휘도에 대응하는 노출은 노출 A이다. 제 5 프레임에서 이미지가 획득되기 때문에, 화이트 밸런스 처리가 실시될 수 있고 이미지 데이터가 제 7 프레임에서 출력될 수 있다 (실내 장소의 최악의 케이스). 따라서, 참고예의 순서가 설정된다면, 최악의 케이스에, 노출 및 화이트 밸런스를 위한 제어가 제 2 예시적 실시형태의 그것보다 1 프레임만큼 지연된다.Next, if it is determined that it is a more indoor place than the image data of exposure B, white balance control is required. This control is performed after acquiring the image data. Therefore, the exposure corresponding to the brightness of the indoor place is exposure A. Since the image is acquired in the fifth frame, white balance processing can be performed and the image data can be output in the seventh frame (worst case of the indoor place). Thus, if the order of the reference example is set, in the worst case, the control for exposure and white balance is delayed by one frame than that of the second exemplary embodiment.

노출을 위한 초기값들의 순서가 사용자의 목적에 따라서 참고예와 다른 방법으로 설정될 수 있다는 것을 주목한다. 이 경우, 실외 장소라면, 노출 및 화이트 밸런스는 본 예시적 실시형태보다 1 프레임 더 빠르게 안정화될 수 있다.Note that the order of the initial values for the exposure can be set in a manner different from the reference example according to the purpose of the user. In this case, if it is an outdoor location, the exposure and white balance can be stabilized one frame faster than the present exemplary embodiment.

제 1 및 제 2 예시적 실시형태들은 당업자에 의해 바람직하게 결합될 수 있다.The first and second exemplary embodiments can be advantageously combined by those skilled in the art.

몇몇 예시적 실시형태들에 관하여 본 발명을 설명하였지만, 당업자는, 본 발명이 첨부된 청구범위의 정신 및 범위 내에서 다양하게 수정되어 실시될 수 있고 본 발명이 상술된 실시예로 제한되지 않는다는 것을 인식할 것이다.While the invention has been described with respect to some exemplary embodiments, those skilled in the art will recognize that the invention may be practiced in various ways within the spirit and scope of the appended claims and that the invention is not limited to the embodiments described above. Will recognize.

또한, 청구의 범위는 상술된 예시적 실시형태들로 제한되지 않는다.In addition, the claims are not limited to the example embodiments described above.

또한, 출원인은 이후 심사과정 동안 보정되더라도 모든 청구된 엘리먼트들의 등가물을 포함하는 것을 의도한다는 것을 주목한다.It is also noted that Applicant intends to include equivalents of all claimed elements even if corrected during the subsequent review process.

예를 들어, 상기 예시적 실시형태에서, 데이터 수신 디바이스는 하드웨어로서 설명된다. 그러나, CPU (중앙 처리 유닛) 에 의해 프로그램을 실행함으로써 임의적인 처리가 성취될 수 있다. 프로그램은 임의의 형태의 비일시적 컴퓨터 판독가능 매체를 이용하여 컴퓨터에 저장 및 제공될 수 있다. 비일시적 컴퓨터 판독가능 매체는 임의의 유형의 유형 저장 매체를 포함한다. 비일시적 컴퓨터 판독가능 매체의 예는 (플로피 디스크, 자기 테이프, 하드 디스크 드라이브 등과 같은) 자성 저장 매체, 광자기 저장 매체 (예를 들어, 자기 광학 디스크), CD-ROM (컴팩트 디스크 판독 전용 메모리), CD-R (기록가능한 컴팩트 디스크), CD-R/W (판독기록가능한 컴팩트 디스크), 및 (마스크 ROM, PROM (프로그램가능 ROM), EPROM (소거가능 PROM)), 플래시 ROM, RAM (랜덤 액세스 메모리) 등과 같은) 반도체 메모리를 포함한다. 프로그램은 임의의 형태의 일시적 컴퓨터 판독가능 매체를 이용하여 컴퓨터에 제공될 수도 있다. 일시적 컴퓨터 판독가능 매체의 예들은 전기 신호, 광학 신호, 및 전자기파를 포함한다. 일시적 컴퓨터 판독가능 매체는 프로그램을 유선 통신선 (예를 들어, 전기 배선 및 광섬유) 또는 무선 통신선을 통해 컴퓨터에 제공할 수 있다.For example, in the above exemplary embodiment, the data receiving device is described as hardware. However, arbitrary processing can be accomplished by executing the program by the CPU (central processing unit). The program may be stored and provided on a computer using any form of non-transitory computer readable medium. Non-transitory computer readable media includes any type of tangible storage medium. Examples of non-transitory computer readable media include magnetic storage media (such as floppy disks, magnetic tapes, hard disk drives, etc.), magneto-optical storage media (eg, magnetic optical disks), CD-ROM (compact disk read-only memory) , CD-R (Writable Compact Disc), CD-R / W (Writable Compact Disc), and (Mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM)), Flash ROM, RAM (Random Semiconductor memory), and the like. The program may be provided to the computer using any form of temporary computer readable medium. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer readable medium may provide a program to a computer via a wired communication line (eg, electrical wiring and optical fiber) or a wireless communication line.

10 이미징 센서 유닛 11 이미징 엘리먼트
21 이미지 평가 유닛 22 이미지 저장 유닛
23 이미지 처리 유닛 24 CPU
25 제어 정보 저장 유닛 26 최적의 노출 근접 결정 유닛
27 노출 제어 유닛 28 화이트 밸런스 제어 유닛 (WB 제어 유닛)10 Imaging Sensor Unit 11 Imaging Element
21 Image Evaluation Unit 22 Image Storage Unit
23 Image Processing Unit 24 CPU
25 Control information storage unit 26 Optimal exposure proximity determination unit
27 Exposure Control Unit 28 White Balance Control Unit (WB Control Unit)

Claims (21)

이미지를 획득하는 이미징 엘리먼트; 및
상기 이미징 엘리먼트에 의해 획득된 이미지 데이터에 기초하여 피드백 제어에 의해 상기 이미징 엘리먼트의 노출을 재설정하는 이미징 센서 처리 유닛을 포함하고,
상기 이미징 센서 처리 유닛은, 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 것, 제 2 프레임에서, 이전 프레임에서 설정된 노출 시간을 이용하여 상기 이미징 엘리먼트로 하여금 광을 축적하게 하는 것, 제 3 프레임에서 상기 제 2 프레임에 의해 설정된 이득을 적용함으로써 상기 이미지 데이터를 출력하는 것의 처리를, 파이프라인 처리에 의해 연속적으로 실시하는, 이미징 디바이스.An imaging element for obtaining an image; And
An imaging sensor processing unit for resetting the exposure of the imaging element by feedback control based on the image data acquired by the imaging element,
The imaging sensor processing unit is configured to set the exposure time of the imaging element in the first frame immediately after startup of the imaging device, and in the second frame, to cause the imaging element to accumulate light using the exposure time set in the previous frame. And a process of outputting the image data by applying a gain set by the second frame in a third frame, by pipeline processing. 제 1 항에 있어서,
상기 이미징 센서 처리 유닛은,
상기 이미징 엘리먼트에 의해 획득된 상기 이미지 데이터의 평가를 위한 데이터를 계산하는 이미지 평가 유닛; 및
상기 이미지 데이터를 획득하기 전 복수의 초기값들에 기초하고 상기 이미지 데이터를 획득한 후 상기 이미지 평가 유닛의 평가를 위한 데이터에 기초하여 상기 이미징 엘리먼트의 노출을 설정하는 노출 제어기를 포함하고,
상기 이미지 평가 유닛은 상기 제 3 프레임 및 후속 프레임들에서 획득된 상기 이미지 데이터의 평가를 위한 데이터를 순차적으로 계산하고, 그리고
상기 노출 제어기는 상기 제 3 프레임 및 후속 프레임들에서 획득된 평가를 위한 이터에 기초하여 최적의 노출을 결정하고 상기 최적의 노출을 상기 이미징 디바이스에 설정하는, 이미징 디바이스.The method of claim 1,
The imaging sensor processing unit,
An image evaluation unit for calculating data for evaluation of the image data obtained by the imaging element; And
An exposure controller that sets the exposure of the imaging element based on a plurality of initial values prior to acquiring the image data and based on data for evaluation of the image evaluation unit after acquiring the image data;
The image evaluation unit sequentially calculates data for evaluation of the image data obtained in the third frame and subsequent frames, and
The exposure controller determines an optimal exposure based on data for evaluation obtained in the third frame and subsequent frames and sets the optimal exposure to the imaging device. 제 1 항에 있어서,
상기 이미징 센서 처리 유닛은 피드백 제어 없이 3개의 프레임들까지의 상기 파이프라인 처리를 연속적으로 실시하는, 이미징 디바이스.The method of claim 1,
And the imaging sensor processing unit continuously performs the pipeline processing of up to three frames without feedback control. 제 2 항에 있어서,
상기 복수의 초기값들 각각은, 적절한 노출에 근접한 미리결정된 범위의 밝기의 이미지가 획득될 수 있는 값인, 이미징 디바이스.The method of claim 2,
Each of the plurality of initial values is a value from which an image of a predetermined range of brightness in proximity to a suitable exposure can be obtained. 제 4 항에 있어서,
상기 복수의 초기값들은 제 1, 제 2 및 제 3 초기값들을 포함하고, 그리고 상기 복수의 초기값들 각각에 기초한 적절한 노출에 근접한 미리결정된 범위들은 연속되게 설정되는, 이미징 디바이스.The method of claim 4, wherein
Wherein the plurality of initial values comprises first, second and third initial values, and predetermined ranges proximate to an appropriate exposure based on each of the plurality of initial values are continuously set. 제 4 항에 있어서,
상기 복수의 초기값들은 제 1, 제 2 및 제 3 초기값들을 포함하고, 그리고 상기 복수의 초기값들 각각에 기초한 적절한 노출에 근접한 미리결정된 범위들의 적어도 일부는 중첩되게 설정되는, 이미징 디바이스.The method of claim 4, wherein
The plurality of initial values comprises first, second and third initial values, and at least some of the predetermined ranges proximate to the appropriate exposure based on each of the plurality of initial values are set to overlap. 제 4 항에 있어서,
상기 적절한 노출에 근접한 미리결정된 범위들은 동적 범위들인, 이미징 디바이스.The method of claim 4, wherein
The predetermined ranges close to the appropriate exposure are dynamic ranges. 제 5 항에 있어서,
상기 제 1 초기값은, 상기 이미지가 실내 장소 또는 실외 장소에서 캡쳐되는지 여부를 결정할 수 있는 밝기의 이미지를 획득하도록 설정되는, 이미징 디바이스.The method of claim 5, wherein
And the first initial value is set to obtain an image of brightness that can determine whether the image is captured at an indoor or outdoor location. 제 8 항에 있어서,
상기 제 2 초기값은, 상기 이미지가 상기 실내 장소에서 캡쳐되는 것을 가정하는 밝기의 이미지를 획득하도록 설정되고, 상기 제 3 초기값은 상기 이미지가 상기 실외 장소에서 캡쳐되는 것을 가정하는 밝기의 이미지를 획득하도록 설정되는, 이미징 디바이스.The method of claim 8,
The second initial value is set to obtain an image of brightness assuming that the image is captured at the indoor location, and the third initial value is to obtain an image of brightness assuming the image is captured at the outdoor location. An imaging device, configured to acquire. 제 9 항에 있어서,
상기 이미징 센서 처리 유닛은 화이트 밸런스 (WB) 를 결정하는 WB 제어기를 포함하고,
상기 WB 제어기는 상기 제 3 프레임에서 획득된 상기 이미지 데이터에 기초하여 상기 실내 장소인지 상기 실외 장소인지를 결정하고, 상기 결정 결과에 기초하여 상기 화이트 밸런스를 설정하는, 이미징 디바이스.The method of claim 9,
The imaging sensor processing unit includes a WB controller for determining a white balance (WB),
And the WB controller determines whether it is the indoor place or the outdoor place based on the image data obtained in the third frame, and sets the white balance based on the determination result. 제 10 항에 있어서,
상기 이미징 센서 처리 유닛은, 상기 이미징 센서 처리 유닛이 상기 제 1 초기값으로 설정되고 최초로 획득된 이미지에 기초하여 현재 환경이 상기 실외 장소인 것으로 결정하는 경우, 상기 제 3 프레임에서 상기 제 3 초기값으로 설정되고 제 5 프레임에서 획득되는 이미지를 출력 이미지로서 출력하는, 이미징 디바이스.The method of claim 10,
The imaging sensor processing unit is further configured to determine the third initial value in the third frame when the imaging sensor processing unit determines that the current environment is the outdoor place based on an image initially set and the first initial value. And output as an output image the image set in the fifth frame. 제 10 항에 있어서,
상기 이미징 센서 처리 유닛은, 상기 이미징 센서 처리 유닛이 상기 제 1 초기값으로 설정되고 최초로 획득된 이미지에 기초하여 현재 환경이 상기 실내 장소인 것으로 결정하는 경우, 상기 제 2 프레임에서 상기 제 2 초기값으로 설정되고 제 4 프레임에서 획득되는 이미지에 대하여 상기 WB 제어기에 의해 화이트 밸런스 제어를 실시하고, 그 이미지를 출력 이미지로서 출력하는, 이미징 디바이스.The method of claim 10,
The imaging sensor processing unit is further configured to determine the second initial value in the second frame when the imaging sensor processing unit determines that the current environment is the indoor place based on the first initial value and the first acquired image. And white balance control by the WB controller for the image set in the fourth frame and outputting the image as an output image. 이미징 엘리먼트에 의해 획득된 이미지 데이터에 기초하여 피드백 제어에 의해 이미징 엘리먼트의 노출을 재설정하는 이미징 디바이스를 제어하는 방법으로서,
상기 피드백 제어 전에, 상기 이미징 디바이스의 시동 직후 제 1 프레임에서 이미징 엘리먼트의 노출 시간을 설정하는 것, 제 2 프레임에서, 이전 프레임에서 설정된 노출 시간을 이용하여 상기 이미징 엘리먼트로 하여금 광을 축적하게 하는 것, 제 3 프레임에서 상기 제 2 프레임에 의해 설정된 이득을 적용함으로써 상기 이미지 데이터를 출력하는 것의 처리를, 파이프라인 처리에 의해 연속적으로 실시하는 단계; 및
상기 제 3 프레임 및 후속 프레임들에서 연속적으로 획득된 이미지 데이터를 순차적으로 평가하고, 상기 평가 결과에 기초하여 최적의 노출을 결정하고, 그리고 상기 최적의 노출을 상기 이미징 엘리먼트에 설정하는 단계를 포함하는, 이미징 디바이스를 제어하는 방법.A method of controlling an imaging device that resets exposure of an imaging element by feedback control based on image data acquired by the imaging element,
Prior to the feedback control, setting the exposure time of the imaging element in the first frame immediately after starting the imaging device, and in the second frame, causing the imaging element to accumulate light using the exposure time set in the previous frame. Continuously performing, by pipeline processing, the processing of outputting the image data by applying a gain set by the second frame in a third frame; And
Sequentially evaluating image data obtained sequentially in the third frame and subsequent frames, determining an optimal exposure based on the evaluation result, and setting the optimal exposure to the imaging element. , How to control an imaging device. 제 13 항에 있어서,
3개의 프레임들까지의 상기 파이프라인 처리는 상기 피드백 제어 전에 실시되는, 이미징 디바이스를 제어하는 방법.The method of claim 13,
And said pipeline processing up to three frames is effected prior to said feedback control. 제 13 항에 있어서,
상기 최적의 노출의 결정은 상기 이미지 데이터를 획득하기 전 복수의 초기값들에 기초하여 그리고 상기 이미지 데이터를 획득한 후 상기 평가 결과에 기초하여 상기 이미징 엘리먼트의 노출을 설정함으로써 이루어지는, 이미징 디바이스를 제어하는 방법.The method of claim 13,
The determination of the optimal exposure is made by setting an exposure of the imaging element based on a plurality of initial values before acquiring the image data and based on the evaluation result after acquiring the image data. How to. 제 14 항에 있어서,
복수의 초기값들 각각은 적절한 노출에 근접한 미리결정된 범위의 밝기의 이미지가 획득될 수 있는 값인, 이미징 디바이스를 제어하는 방법.The method of claim 14,
Each of the plurality of initial values is a value from which an image of a predetermined range of brightness in proximity to an appropriate exposure can be obtained. 제 16 항에 있어서,
상기 복수의 초기값들은 제 1, 제 2 및 제 3 초기값들을 포함하고, 그리고 상기 복수의 초기값들 각각에 기초한 적절한 노출에 근접한 미리결정된 범위들은 연속되고 중첩되지 않게 설정되는, 이미징 디바이스를 제어하는 방법.17. The method of claim 16,
Wherein the plurality of initial values comprises first, second and third initial values, and predetermined ranges proximate to the appropriate exposure based on each of the plurality of initial values are set to be continuous and not overlapping. How to. 제 16 항에 있어서,
상기 적절한 노출에 근접한 미리결정된 범위들은 동적 범위들인, 이미징 디바이스를 제어하는 방법.17. The method of claim 16,
The predetermined ranges close to the appropriate exposure are dynamic ranges. 제 16 항에 있어서,
제 1 초기값은 실내 장소 또는 실외 장소를 결정할 수 있는 밝기의 이미지를 획득하도록 설정되는, 이미징 디바이스를 제어하는 방법.17. The method of claim 16,
The first initial value is set to obtain an image of brightness that can determine an indoor or outdoor location. 제 19 항에 있어서,
제 2 초기값은 상기 실내 장소를 가정하는 밝기의 이미지를 획득하도록 설정되고, 제 3 초기값은 상기 실외 장소를 가정하는 밝기의 이미지를 획득하도록 설정되는, 이미징 디바이스를 제어하는 방법.The method of claim 19,
And a second initial value is set to acquire an image of brightness assuming the indoor place, and a third initial value is set to obtain an image of brightness assuming the outdoor place. 제 13 항에 있어서,
상기 제 3 프레임에서 획득된 상기 이미지 데이터에 기초하여 실내 장소 또는 실외 장소를 결정하는 단계, 및 상기 결정 결과에 기초하여 화이트 밸런스를 설정하는 단계를 더 포함하는, 이미징 디바이스를 제어하는 방법.The method of claim 13,
Determining an indoor place or an outdoor place based on the image data obtained in the third frame, and setting a white balance based on the determination result.

Images