KR20160030350A

KR20160030350A - Apparatus for processing image and method for processing image

Info

Publication number: KR20160030350A
Application number: KR1020140173250A
Authority: KR
Inventors: 타케루 스즈키
Original assignee: 한화테크윈 주식회사
Priority date: 2014-09-09
Filing date: 2014-12-04
Publication date: 2016-03-17
Also published as: JP6543787B2; JP2016058889A

Abstract

The present invention provides a technology capable of smoothly reducing noise included in a WDR synthesis image. In addition, the present invention provides a technology capable of switching on and off of WDR synthesis processing in a temporally smooth way according to change in lighting environment of a subject. An apparatus for processing images (1A) comprises: a threshold control unit (30) for controlling a threshold based on a signal amplification degree of a sensor (10); a used-image selection unit (40) for generating used-image selection information by selecting any one of a short-exposure image and a long-exposure image, which are detected by the sensor (10), for each pixel based on relation between pixel values of the long-exposure image or the short-exposure image and the threshold; and a WDR synthesis unit (60) for synthesizing the short-exposure image with the long-exposure image based on the used-image selection information, and obtaining a synthesized image.

Description

화상 처리 장치 및 화상 처리 방법{APPARATUS FOR PROCESSING IMAGE AND METHOD FOR PROCESSING IMAGE}TECHNICAL FIELD [0001] The present invention relates to an image processing apparatus and an image processing method,

본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.

최근, 단시간 노광 화상(이하, 단지 「단노광 화상」이라고도 함)과 장시간 노광 화상(이하, 단지「장노광 화상」이라고도 함)을 연속적으로 촬영하여 합성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 넘는 다이나믹 레인지를 획득한 화상을 얻는 WDR(와이드 다이나믹 레인지) 혹은 HDR(하이 다이나믹 레인지)이라는 촬영 기능이 늘어나고 있다. 이러한 촬영 기능은 역광 구도 등 명암비가 매우 큰 장면에서는 특히 큰 효과가 있다.In recent years, by continuously photographing and synthesizing a short-time exposure image (hereinafter simply referred to as a "short exposure image") and a long-time exposure image (hereinafter also simply referred to as a "long exposure image"), WDR (wide dynamic range) or HDR (high dynamic range), which obtains a range-acquired image, is increasing. Such a photographing function is particularly effective in a scene having a very high contrast ratio such as a backlight composition.

WDR 신호를 얻는 방법으로서는, 노광 시간을 바꾸면서 복수 매의 화상을 연속적으로 촬영하여 합성하는 방법이 채용되는 것이 일반적이다. 이 때 얻어지는 다이나믹 레인지는 16비트에서 20비트 혹은 그 이상으로 이르는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8비트에서 12비트 정도로 레인지 압축되어 출력된다.As a method of obtaining the WDR signal, a method of continuously photographing and synthesizing a plurality of images while changing the exposure time is generally employed. The resulting dynamic range may range from 16 bits to 20 bits or more. WDR signals are range-compressed from 8 bits to 12 bits according to the display capability of the display or the printer.

이러한 WDR 합성 처리는 낮과 같은 광량이 많은 상황에서는 양호한 결과를 가져오지만, 어두운 상황에서는 단노광 화상의 노광량이 불충분하게 되어 합성 화상 중의 단노광 화상 사용 영역을 중심으로 노이즈가 눈에 띄는 결과가 된다. 특히, 센서에서 신호가 증폭되는 경우에는 단노광 화상의 노이즈가 매우 현저하게 되어 WDR 합성 처리의 효과보다 노이즈 방해가 문제가 된다. 이러한 경우에는 WDR 합성 처리를 오프로 하는 즉, 단노광 화상을 사용하지 않는 것이 좋다. 또한, 단노광 화상에 노이즈 저감 처리를 적용하는 안도 생각해 볼 수 있지만, 어두운 장면에서 센서의 증폭이 들러가는 경우 단노광 화상은 SN비가 매우 낮고 2차원 노이즈 리덕션으로는 노이즈를 충분히 저감할 수 없다.Such a WDR synthesis process produces good results in a situation where the light amount is large as in the daytime, but in a dark situation, the exposure amount of the short exposure image becomes insufficient, resulting in the noise being conspicuous around the short exposure image use area in the synthesized image . Particularly, when the signal is amplified by the sensor, the noise of the short exposure image becomes very conspicuous, and noise interference is more problematic than the effect of WDR synthesis processing. In such a case, it is preferable that the WDR combining process is turned off, that is, the exposure image is not used. It is also conceivable to apply the noise reduction processing to the short exposure image. However, when the amplification of the sensor is stopped in the dark scene, the shortened SN ratio of the short exposure image is extremely low and noise can not be sufficiently reduced by the two-dimensional noise reduction.

상황에 따라 WDR 합성 처리를 오프로 하는 방법으로서 이하에 나타내는 바와 같은 기술이 공개되어 있다. 예를 들면, 사전에 촬영을 하여 피사체가 움직임을 포함하고 있는지를 판정하여 피사체가 움직임을 포함하고 있는 경우는 WDR, 합성 처리를 오프로 하는 기술이 공개되어 있다(예를 들면, 특허문헌 1 참조). 또한 복수 마다 촬영한 화상을 겹침으로써 노이즈를 저감하는 기술을 기초로 하여 센서의 감도에 의해 각 노광 화상의 사전 촬영 매수를 결정하는 기술이 개시되어 있다(예를 들면, 특허문헌 2 참조). 이에 의해, 단노광 화상의 노이즈가 저감된 양호한 WDR 합성 처리의 결과를 얻을 수 있다.As a method for turning off the WDR synthesis processing depending on the situation, the following techniques are disclosed. For example, a technique has been disclosed in which a subject is determined to contain motion by taking a picture in advance, and when the subject includes motion, the WDR and the synthesis process are turned off (see, for example, Patent Document 1 ). Also disclosed is a technology for determining the number of pre-shooting of each exposed image based on the sensitivity of a sensor based on a technique of reducing noise by overlapping images photographed every plurality of times (see, for example, Patent Document 2). Thereby, the result of the good WDR combining process in which the noise of the single exposure image is reduced can be obtained.

일본 공개특허공보 제2000-050151호Japanese Patent Application Laid-Open No. 2000-050151 일본 공개특허공보 제2012-239077호Japanese Laid-Open Patent Publication No. 2012-239077

그러나, 특허문헌 1에 기재된 기술에서는 피사체가 움직임을 포함하고 있는지를 판정하고 있으며 노이즈량을 판정하는 것이 아니기 때문에, 이 기술은 WDR 합성 처리의 결과에 포함되는 노이즈를 저감하는 기술과는 다르다. 또한, 특허문헌 1에 기재된 기술은 사전 촬영을 전제로 하고 있기 때문에 정지영상용 기술이며, 만약 동영상에 적용해도 프레임 레이트가 대폭으로 저하된다. 특허문헌 2에 기재된 기술도 사전 촬영을 전제로 하고 있기 때문에 정지영상용 기술이며, 만약 동영상에 적용해도 프레임 레이트가 대폭으로 저하된다.However, the technique described in Patent Document 1 differs from the technique of reducing the noise included in the result of the WDR synthesis processing because it is judged whether or not the subject includes motion and the amount of noise is not determined. In addition, the technique described in Patent Document 1 is a technique for commercial use because it is premised on pre-shooting, and the frame rate is significantly lowered even when applied to moving images. The technology described in Patent Document 2 is also a commercial technology for commercial use because it is premised on the pre-shooting, and the frame rate is significantly lowered even if applied to moving images.

기타 WDR 합성 처리를 상황에 따라 오프로 하는 선행 기술이 존재하지만, WDR 합성 처리의 온 및 오프 처리 결과를 시간적으로 완만하게 전환하는 것과 같은 기술은 공개되지 않았다. WDR 합성 처리의 결과를 동영상으로서 얻는 시스템에 있어서, WDR 합성 처리의 온과 오프를 갑자기 전환하면, WDR 합성 처리에 의해 얻어지는 WDR 합성 처리의 결과에도 급격한 변화가 발생한다. WDR 합성 처리가 필요한 상황과 필요 없는 상황이 완만하게 전환되면, WDR 합성 처리의 결과도 완만하게 변화하는 것이 바람직하다.Although there are prior arts that turn off other WDR synthesis processing depending on the situation, there is no technology disclosed to smoothly switch the on / off processing result of WDR synthesis processing in time. In a system for obtaining the result of the WDR synthesis processing as a moving picture, if the WDR synthesis processing is suddenly switched on and off, a sudden change also occurs in the result of the WDR synthesis processing obtained by the WDR synthesis processing. It is desirable that the results of the WDR synthesis process change smoothly as the situation where the WDR synthesis process is required and the situation where unnecessary is smoothly switched.

그래서, 본 발명은 WDR 합성 화상에 포함되는 노이즈를 완만하게 저감할 수 있는 기술을 제공한다. 또한, 피사체의 조명 환경 변화에 따라 WDR 합성 처리의 온 및 오프를 시간적으로 완만하게 전환할 수 있는 기술을 제공한다.Therefore, the present invention provides a technique capable of gently reducing the noise included in the WDR combined image. Further, the present invention provides a technique capable of smoothly switching on and off of the WDR synthesis processing in accordance with a change in illumination environment of a subject in time.

본 발명의 어떤 실시 형태에 의하면, 센서에서의 신호 증폭도에 기초하여 문턱값을 제어하는 문턱값 제어부와, 상기 센서에 의해 검출되는 단노광 화상 및 장노광 화상 중 어느 하나를 상기 장노광 화상 또는 상기 단노광 화상의 화소값과 상기 문턱값의 관계에 기초하여 화소마다 선택함으로써 사용 화상 선택 정보를 생성하는 사용 화상 선택부와, 상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 합성 화상을 얻는 합성부를 구비하는 화상 처리 장치가 제공된다.According to an embodiment of the present invention, there is provided an exposure apparatus comprising: a threshold value control section for controlling a threshold value based on a signal amplification degree in a sensor; and a threshold value control section for controlling either one of a short exposure image and a long exposure image detected by the sensor, A use image selector for generating selection image selection information by selecting each pixel based on the relationship between the pixel value of the exposure image and the threshold value; and a synthesizer for synthesizing the short exposure image and the long exposure image according to the used image selection information And a synthesizer for obtaining a synthesized image.

이러한 구성에 의하면, 센서에서의 신호 증폭도에 기초하여 문턱값이 제어될 수 있다. 예를 들면, 센서에서의 신호 증폭도가 커짐에 따라 WDR 합성 화상에 포함되는 노이즈가 눈에 띄게 된다. 그 때문에, 문턱값 제어부가 센서에서의 신호 증폭도에 기초하여 문턱값을 변화시킴으로써, WDR 합성 화상에 포함되는 노이즈를 완만하게 저감하는 것이 가능하게 된다. 또한, 피사체의 조명 환경 변화에 따라 WDR 합성 처리의 온 및 오프를 시간적으로 완만하게 전환하는 것이 가능하게 된다.According to this configuration, the threshold value can be controlled based on the signal amplification degree in the sensor. For example, as the signal amplification degree of the sensor increases, the noise included in the WDR combined image becomes conspicuous. Therefore, by changing the threshold value based on the signal amplification degree in the sensor, the threshold value control section can gently reduce the noise included in the WDR combined image. In addition, it becomes possible to smoothly switch the WDR synthesis processing on and off in time according to the change of the illumination environment of the subject.

상기 문턱값 제어부는, 상기 신호 증폭도의 제1 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 문턱값을 증가시켜도 된다. 이러한 구성에 의하면, 제1 소정 구간에서 센서에서의 신호 증폭도가 높아질수록 장노광 화상의 선택 비율이 높아져 간다. 그 때문에, 제1 소정 구간에서 WDR 합성 화상에 포함되는 노이즈를 완만하게 저감하는 것이 가능하게 된다.The threshold value control unit may increase the threshold value in accordance with an increase in the signal amplification in a first predetermined period of the signal amplification. According to this configuration, as the signal amplification degree in the sensor increases in the first predetermined period, the selection ratio of the long-exposure image becomes higher. Therefore, it is possible to gently reduce the noise contained in the WDR combined image in the first predetermined period.

상기 합성부는, 상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 얻어진 제1 합성 화상을 라인마다 라인 메모리에 출력하고, 상기 화상 처리 장치는 상기 라인 메모리로부터 취출된 사익 제1 합성 화상에 대해 소정 처리를 행하여 제2 합성 화상을 얻는 처리부와, 상기 센서에서의 신호 증폭도에 기초하여 상기 제1 합성 화상과 상기 제2 합성 화상의 혼합 비율을 산출하고, 상기 혼합 비율에 의해 상기 제1 합성 화상과 상기 제2 합성 화상을 혼합하는 혼합부를 구비해도 된다.Wherein the synthesizing section outputs to the line memory a first synthesized image obtained by synthesizing the short exposure image and the long exposure image in accordance with the used image selection information on a line by line basis, A processing section for performing a predetermined process on a first synthesized image to obtain a second synthesized image; and a processing section for calculating a mixture ratio of the first synthesized image and the second synthesized image based on the signal amplification degree of the sensor, And a mixing unit for mixing the first synthesized image and the second synthesized image.

이러한 구성에 의하면, WDR 오프 시에 장노광 화상과 같은 화상이 출력되기 때문에 보다 자연스러운 WDR 합성 결과가 얻어지는 효과를 나타낸다. 아울러 WDR 합성부에 의해 생성된 WDR 합성 화상에 대해 2차원 계조 압축 처리 등의 소정 처리가 행해지는 경우이어도 라인 메모리의 증가를 억제하는 것이 가능하게 된다.According to such a configuration, since an image such as a long-exposure image is output at the time of WDR off, a more natural WDR synthesis result is obtained. It is possible to suppress an increase in the line memory even in the case where predetermined processing such as two-dimensional gradation compression processing is performed on the WDR synthesized image generated by the WDR combining section.

상기 혼합부는, 상기 신호 증폭도의 제2 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 제2 합성 화상의 혼합 비율을 감소시켜도 된다. 이러한 구성에 의하면, 제2 소정 구간에서 센서에서의 신호 증폭도가 높아질수록 장노광 화상의 선택 비율이 높아져 간다. 그 때문에, 제2 소정 구간에서 WDR 합성 화상에 포함되는 노이즈를 완만하게 저감하는 것이 가능하게 된다.The mixing unit may decrease the mixing ratio of the second composite image according to the increase of the signal amplification in the second predetermined period of the signal amplification. According to such a configuration, as the signal amplification degree at the sensor increases in the second predetermined section, the selection ratio of the long-exposure image increases. Therefore, it is possible to gently reduce the noise included in the WDR combined image in the second predetermined period.

본 발명의 어떤 실시형태에 의하면, 센서에서의 신호 증폭도에 기초하여 문턱값을 제어하는 단계와, 상기 센서에 의해 검출된 단노광 화상 및 장노광 화상 중 어느 하나를 상기 장노광 화상 또는 상기 단노광 화상의 화소값과 상기 문턱값의 관계에 기초하여 화소마다 선택함으로써 사용 화상 선택 정보를 생성하는 단계와, 상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 합성 화상을 얻는 단계를 포함하는 화상 처리 방법이 제공된다.According to an embodiment of the present invention, there is provided a method for controlling exposure of a photoreceptor, comprising the steps of: controlling a threshold value based on a signal amplification degree in a sensor; A step of generating use image selection information by selecting each pixel based on a relationship between a pixel value of an image and the threshold value; and a step of synthesizing the short exposure image and the long exposure image according to the used image selection information to obtain a composite image An image processing method is provided.

이러한 방법에 의하면, 센서에서의 신호 증폭도에 기초하여 문턱값이 제어될 수 있다. 예를 들면, 센서에서의 신호 증폭도가 커짐에 따라 WDR 합성 화상에 포함되는 노이즈가 눈에 띄게 된다. 그 때문에, 문턱값 제어부가 센서에서의 신호 증폭도에 기초하여 문턱값을 변화시킴으로써, WDR 합성 화상에 포함되는 노이즈를 완만하게 저감하는 것이 가능하게 된다. 또한 피사체의 조명 환경 변화에 따라 WDR 합성 처리의 온 및 오프를 시간적으로 완만하게 전환하는 것이 가능하게 된다.According to this method, the threshold value can be controlled based on the signal amplification degree at the sensor. For example, as the signal amplification degree of the sensor increases, the noise included in the WDR combined image becomes conspicuous. Therefore, by changing the threshold value based on the signal amplification degree in the sensor, the threshold value control section can gently reduce the noise included in the WDR combined image. It is also possible to smoothly switch the WDR synthesis processing on and off in time according to the change of the illumination environment of the subject.

이상 설명한 바와 같이, 본 발명에 의하면, WDR 합성 화상에 포함되는 노이즈를 완만하게 저감할 수 있는 기술이다. 또한, 본 발명에 의하면, WDR 합성 처리의 온 및 오프를 시간적으로 완만하게 전환하는 것이 가능하다.INDUSTRIAL APPLICABILITY As described above, according to the present invention, the noise included in the WDR synthesized image can be moderately reduced. Further, according to the present invention, it is possible to smoothly switch on and off the WDR synthesis processing in terms of time.

도 1은 일반적인 WDR 합성 기술을 설명하기 위한 도면이다.
도 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시 형태에 관한 화상 처리 장치의 기능 구성을 도시한 도면이다.
도 4는 포화 검출 문턱값의 제어에 대해 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시 형태의 변형 예에 관한 화상 처리 장치의 기능 구성에 대해 설명하기 위한 도면이다.
도 6은 WDR 합성 결과 비율의 산출에 대해 설명하기 위한 도면이다.
도 7은 본 발명의 제2 실시 형태에 관한 화상 처리 장치의 기능 구성을 도시한 도면이다.
도 8은 포화 검출 문턱값 및 WDR 합성 결과 비율의 제어에 대해 설명하기 위한 도면이다.1 is a diagram for explaining a general WDR synthesis technique.
2 is a diagram for explaining a general WDR synthesis technique.
3 is a diagram showing a functional configuration of an image processing apparatus according to the first embodiment of the present invention.
4 is a diagram for explaining the control of the saturation detection threshold value.
5 is a diagram for explaining a functional configuration of an image processing apparatus according to a modification of the first embodiment of the present invention.
6 is a diagram for explaining the calculation of the WDR synthesis result ratio.
7 is a diagram showing a functional configuration of an image processing apparatus according to the second embodiment of the present invention.
8 is a diagram for explaining the control of the saturation detection threshold value and the WDR synthesis result ratio.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가지는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.

또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가지는 복수의 구성 요소를 동일한 부호 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 가지는 복수의 구성 요소 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다.Further, in the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by assigning different alphabets to the same sign. However, when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numeral is given.

(일반적인 WDR 합성 기술)(General WDR synthesis technology)

우선, 일반적인 WDR 합성 기술에 대해 설명한다. 도 1 및 도 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면이다. 도 1을 참조하면, 낮에 촬영된 화상(단노광 화상(Img-a), 장노광 화상(Img-b) 및 합성 화상(Img-c))이 나타나 있다. 또한 도 2를 참조하면, 야간에 촬영된 화상(단노광 화상(Img-d), 장노광 화상(Img-e) 및 합성 화상(Img-f))이 나타나 있다.First, a general WDR synthesis technique will be described. 1 and 2 are views for explaining a general WDR synthesis technique. Referring to Fig. 1, an image photographed during the day (a short exposure image Img-a, a long exposure image Img-b, and a composite image Img-c) is shown. Referring to Fig. 2, an image photographed at night (a short exposure image Img-d, a long exposure image Img-e, and a composite image Img-f) is shown.

그런데, 저녁 시간대가 되면 실외 및 실내 모두 어두워져 피사체의 밝기가 저하됨에 따라 센서는 전자적으로 신호를 증폭하여 출력함으로써 밝기를 유지하고자 한다. WDR 합성을 행하는 블록에서 보면, 낮의 입력 신호와 저녁의 증폭된 입력 신호는 밝기가 같거나 비슷하여 구별할 수 없다. 그러나, 저녁의 입력 신호는 센서에서 증폭되어 있기 때문에 노이즈를 많이 포함하고, 특히 단노광 화상을 사용하는 영역에서는 노이즈가 눈에 띈다.However, as the brightness of the subject is reduced due to darkness both in the outside and inside of the room, the sensor electronically amplifies the signal and outputs the signal to maintain the brightness. In the block that performs the WDR synthesis, the input signal of the daytime and the amplified input signal of the evening can not be distinguished because they have the same brightness or similarity. However, since the input signal of the evening is amplified by the sensor, it includes a large amount of noise, and noise is conspicuous particularly in a region where a short exposure image is used.

나아가 도 2에 도시된 바와 같이, 야간 시간대가 되면 옥외나 옥내도 더욱 어두워져 센서도 신호를 대폭으로 증폭하여 출력하게 된다. 특히 단노광 화상은 노광량이 적은 데다가 증폭되기 때문에 매우 시끄러운 화상으로서 촬영된다. 그러나 야간의 장노광 화상(Img-e)을 보면 옥외에 존재하는 전광 간판이나 달은 포화 상태이며, WDR이 동작하고 있으면 전광 간판이나 달을 포함하는 영역에는 단노광 화상이 사용되게 된다. 그 결과, 전광 간판이나 달을 포함하는 영역에서는 노이즈가 매우 눈에 띄는 합성 결과가 된다.Further, as shown in FIG. 2, when the night time zone is reached, the outdoor and indoor areas become darker, and the sensor also amplifies and outputs the signal significantly. Particularly, the short exposure image is photographed as a very noisy image since the exposure amount is small and amplified. However, when looking at a long exposure image Img-e at night, an all-night signboard or moon existing in the outdoors is in a saturated state. When WDR is operating, a single exposure image is used in an area including an all- As a result, noise is very conspicuous synthesis result in an area including an electric signboard and a moon.

이런 상황에서는 WDR 합성 처리의 효과보다 노이즈에 의해 방해가 심각하게 인식되는 경우가 있다. 단노광 화상의 품질이 너무 낮은 경우에는 WDR 합성 처리를 멈추고 장노광 화상만을 사용하는 것이 좋다.In such a situation, interference may be seriously perceived by noise rather than the effect of WDR synthesis processing. If the quality of the exposed image is too low, it is preferable to stop the WDR synthesis processing and use only the long exposure image.

그래서, 본 명세서에서는 WDR 처리 결과를 동영상으로서 얻는 WDR 시스템을 전제로서 센서에서의 신호 증폭도를 참조하여 센서에서의 신호 증폭도가 소정 구간의 경우(예를 들면, 센서에서의 신호 증폭도가 높은 경우), 장노광 화상의 선택 비율을 높인다. 이러한 구성에 의하면, 노이즈가 적은 WDR 처리 결과가 얻어지고, 또한 WDR 처리 결과를 시간적으로 완만하게 전환할 수 있다.Therefore, in the present specification, when the signal amplification degree in the sensor is a predetermined period (for example, when the signal amplification degree in the sensor is high) by referring to the signal amplification degree in the sensor on the premise of the WDR system that obtains the WDR processing result as a moving image, Thereby increasing the selection ratio of the long-exposure image. According to such a configuration, a WDR processing result with little noise can be obtained, and the WDR processing result can be smoothly switched over in time.

(제1 실시 형태)(First Embodiment)

우선, 본 발명의 제1 실시 형태에 관한 화상 처리 장치(1A)의 기능 구성에 대해 설명한다. 도 3은 본 발명의 제1 실시 형태에 관한 화상 처리 장치(1A)의 기능을 도시한 도면이다. 도 3에 도시된 바와 같이, 화상 처리 장치(1A)는 센서(10), 프레임 메모리(20), 문턱값 제어부(30), 사용 화상 선택부(40), 움직임 검출부(50), WDR 합성부(60), 라인 메모리(70) 및 2차원 계조 압축부(80)를 구비한다.First, the functional configuration of the image processing apparatus 1A according to the first embodiment of the present invention will be described. 3 is a diagram showing the functions of the image processing apparatus 1A according to the first embodiment of the present invention. 3, the image processing apparatus 1A includes a sensor 10, a frame memory 20, a threshold value control unit 30, a used image selection unit 40, a motion detection unit 50, (60), a line memory (70), and a two-dimensional tone compression section (80).

화상 처리 장치(1A)는 센서(10)의 노광 설정을 바꾸어 2장의 화상을 연속 촬영하는데, 여기서 단노광 촬영을 먼저하고 그 다음에 장노광 촬영을 하는 것으로 한다. 그러나 장노광 촬영을 먼저하고 그 다음에 단노광 촬영을 해도 된다. 이와 같이 하여 촬영된 단노광 화상 및 장노광 화상은 쌍으로서 프레임 메모리(20)에 기입된다. 장노광 화상 및 단노광 화상의 촬영과 촬영된 장노광 화상 및 단노광 화상의 프레임 메모리(20)로의 기입은 연속적으로 행해진다.The image processing apparatus 1A changes the exposure setting of the sensor 10 to successively take two images. Here, it is assumed that short-exposure photography is first performed, and then long-exposure photography is performed. However, the long-exposure photographing may be performed first, and then the short exposure photographing may be performed. The short exposure image and long exposure image photographed in this manner are written in the frame memory 20 as a pair. The recording of the long-exposure image and the short-exposure image, and the writing of the long-exposure image and the short-exposure image to the frame memory 20 are continuously performed.

또, 도 3에 도시된 예에서는, 화상 처리 장치(1A)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 하나 가지고, 센서(10)가 장노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였지만, 장노광 화상과 단노광 화상이 동시에 출력되어도 된다. 이러한 경우, 화상 처리 장치(1A)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 2개의 계통을 가지면 좋다. 각각의 셔터 타임은 예를 들어, 촬영 대상의 다이나믹 레인지나 센서 사양 등에 따라 정해진다.In the example shown in Fig. 3, the image processing apparatus 1A has a common system for outputting a long exposure image and a short exposure image, and the sensor 10 has a system in which the long exposure image and the short exposure image are time- The long exposure image and the short exposure image may be output simultaneously. In such a case, the image processing apparatus 1A may have two systems, that is, a system for outputting a long-exposure image from the sensor 10 and a system for outputting a short-exposure image. The respective shutter times are determined in accordance with, for example, a dynamic range of a shooting object, a sensor specification, and the like.

또 본 발명의 실시 형태에서는 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 2개의 화상이 촬영된 경우에 그 2개의 화상 중 상대적으로 노광 시간이 짧은 화상이 단노광 화상에 상당하고, 상대적으로 노광 시간이 긴 화상이 장노광 화상에 상당한다.In the embodiments of the present invention, terms such as a single exposure image and a long exposure image are used, but these terms do not limit the absolute exposure time of each of the two captured images. Therefore, when two images having different exposure times are photographed, an image having a relatively short exposure time corresponds to a short exposure image, and an image having a relatively long exposure time corresponds to a long exposure image.

센서(10)는 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하여 그 전하량을 전기 신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않고, 예를 들어, CCD(Charge Coupled Device)이어도 되고, CMOS(Complementary Metal Oxide Semiconductor)이어도 된다.The sensor 10 is constituted by an image sensor for imaging light from the outside onto a light receiving plane of an image pickup element, photoelectrically converting the formed light by a charge amount, and converting the amount of electric charge into an electric signal. The type of image sensor is not particularly limited, and may be, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

예를 들면, 센서(10)는 소정 배율(예를 들면, 수배에서 수십배)의 노광비를 취하여 단노광 화상 및 장노광 화상을 검출(촬영)한다. 센서(10)는 피사체가 어두워지면 화상 신호를 전자적으로 증폭하여 출력하고, 그 증폭 게인의 정보(이하, 「신호 증폭도」라고도 함)가 문턱값 제어부(30)로 보내진다. 문턱값 제어부(30)에 의해 신호 증폭도가 수취되면, 문턱값 제어부(30)는 센서(10)에서의 신호 증폭도에 기초하여 문턱값(이하, 「포화 검출 문턱값」이라고도 함)을 제어한다. 포화 검출 문턱값의 제어의 보다 상세한 방법은 후술한다.For example, the sensor 10 detects (takes) a short exposure image and a long exposure image by taking an exposure ratio of a predetermined magnification (for example, several times to several tens of times). The sensor 10 electronically amplifies and outputs an image signal when the object becomes dark, and information on the amplification gain (hereinafter also referred to as " signal amplification degree ") is sent to the threshold value control unit 30. [ When the signal amplification degree is received by the threshold value control unit 30, the threshold value control unit 30 controls a threshold value (hereinafter also referred to as " saturation detection threshold value ") based on the signal amplification degree of the sensor 10. A more detailed method of controlling the saturation detection threshold value will be described later.

사용 화상 선택부(40)는 프레임 메모리(20)로부터 독출한 단노광 화상과 장노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하여 단노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로서 선택하기 위한 사용 화상 선택 정보를 생성한다. 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로서는 여러 가지 알고리즘이 상정된다.The used image selection unit 40 detects the saturation state or motion of each of the long exposure image and the short exposure image by referring to the short exposure image and the long exposure image read out from the frame memory 20 and outputs a short exposure image and a long exposure image To be used as a used image. Various algorithms are assumed as algorithms for selecting either the exposure image or the long exposure image.

예를 들면, 사용 화상 선택부(40)는, 단노광 화상 및 장노광 화상 중 어느 하나를 장노광 화상 또는 단노광 화상의 화소값과 문턱값 제어부(30)에 의해 제어된 포화 검출 문턱값의 관계에 기초하여 화소마다 선택함으로써 사용 화상 선택 정보를 생성한다. 예를 들면, 사용 화상 선택부(40)는 장노광 화상에 있어서 포화 검출 문턱값을 웃도는 화소값을 가지는 화소의 사용 화상으로서 단노광 화상을 선택해도 된다. 혹은 예를 들면, 사용 화상 선택부(40)는 단노광 화상에 있어서 포화 검출 문턱값을 밑도는 화소값을 가지는 화소의 사용 화상으로서 장노광 화상을 선택해도 된다.For example, the used image selection section 40 selects either the single exposure image or the long exposure image as the pixel value of the long exposure image or short exposure image and the difference between the pixel value of the single exposure image and the saturated detection threshold value controlled by the threshold value control section 30 And generates usable image selection information by selecting for each pixel based on the relationship. For example, the used image selection unit 40 may select a short-exposure image as a used image of a pixel having a pixel value exceeding the saturation detection threshold value in the long-exposure image. Alternatively, for example, the used image selector 40 may select a long exposure image as a used image of a pixel having a pixel value lower than the saturation detection threshold value in the single exposure image.

움직임 검출부(50)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출 수법은 한정되지 않지만, 단노광 화상 및 장노광 화상으로부터 움직임을 검출하는 경우에는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후에 차분을 산출하는 것이 좋다. 도한, 움직임 검출 정보의 생성 방법은 특별히 한정되지 않는다. 예를 들면, 움직임 검출부(50)는 단노광 화상과 장노광 화상에 기초하여 검출한 움직임과 소정 움직임량의 관계에 기초하여 움직임 검출 정보를 생성하면 좋다.The motion detection unit 50 detects motion and generates motion detection information. The motion detection method is not limited, but in the case of detecting a motion from a short-exposure image and a long-exposure image, it is preferable to calculate the difference after multiplying one of the images by a gain according to the exposure ratio and normalizing. The method of generating motion detection information is not particularly limited. For example, the motion detecting section 50 may generate motion detection information based on the relationship between the motion detected based on the short exposure image and the long exposure image, and the predetermined motion amount.

구체적으로 움직임 검출부(50)는 단노광 화상과 장노광 화상에 있어서 대응하는 영역의 화소값 또는 기울기의 차분을 검출하고, 차분이 소정의 움직임량보다 큰 영역을 움직임 영역으로서 검출해도 된다. 한편, 움직임 검출부(50)는 차분이 소정의 움직임량보다 작은 영역을 비움직임 영역으로서 검출해도 된다. 차분이 소정의 움직임량과 동일한 영역은 어떤 영역으로서 검출되어도 된다. 움직임 검출부(50)는 이러한 검출 결과를 움직임 검출 정보로서 생성해도 된다.Specifically, the motion detection unit 50 may detect a difference between a pixel value or a slope of a corresponding region in a short exposure image and a long exposure image, and detect an area in which the difference is larger than a predetermined motion amount, as a motion area. On the other hand, the motion detector 50 may detect an area in which the difference is smaller than a predetermined amount of motion as a non-motion area. An area where the difference is equal to a predetermined motion amount may be detected as an area. The motion detection unit 50 may generate the detection result as motion detection information.

WDR 합성부(60)는, 사용 화상 선택부(40)에 의해 생성된 사용 화상 선택 정보에 기초하여 단노광 화상과 장노광 화상을 합성함으로써 WDR 합성 화상을 생성한다. 구체적으로 WDR 합성부(60)는, 사용 화상 선택 정보를 참조하여 단노광 화상 사용 영역에는 단노광 화상을 사용하고, 장노광 화상 사용 영역에는 장노광 화상을 사용하여 합성 화상을 생성한다. 합성에 있어서는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후에 합성되는 것이 좋다.The WDR combining section 60 generates a WDR combined image by combining the short exposure image and the long exposure image based on the used image selection information generated by the used image selection section 40. [ Specifically, the WDR combining section 60 refers to the used image selection information to generate a composite image using a short exposure image in a short exposure image use area and a long exposure image in a long exposure image use area. In the synthesis, it is preferable that one of the images is synthesized after being normalized by multiplying the gain according to the exposure ratio.

이 때, WDR 합성부(60)는 사용 화상 선택부(40)에 의해 생성된 사용 화상 선택 정보에 따라 단노광 화상 및 장노광 화상을 합성해도 되지만, 이러한 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등의 아티팩트가 발생할 수 있다. 그 때문에, WDR 합성부(60)는 움직임에 기초하여 윤곽이 이중이 되는 현상을 저감하는 처리를 행해도 된다. 이러한 처리를 포함하는 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다. 또, 센서(10)의 분해 능력을 12비트로 하였을 때, WDR 합성 화상의 각 화소는 16비트 정도로 확장되어도 된다. WDR 합성부(60)는 WDR 합성 화상을 라인마다 라인 메모리(70)에 출력한다.At this time, the WDR combining section 60 may synthesize the short exposure image and the long exposure image according to the used image selection information generated by the used image selection section 40, but in such a case, An artifact such as being double may occur. Therefore, the WDR combining section 60 may perform a process for reducing the phenomenon that the outline becomes double based on the motion. The algorithm for selecting either the short-exposure image or the long-exposure image including such a process is not particularly limited. When the resolving power of the sensor 10 is set to 12 bits, each pixel of the WDR combined image may be expanded to about 16 bits. The WDR combining section 60 outputs the WDR combined image to the line memory 70 for each line.

2차원 계조 압축부(80)는, 라인 메모리(70)로부터 취출된 WDR 합성 화상의 계조 압축 및 다이나믹 레인지 조정을 2차원적으로 행한다. 예를 들면, 계조 압축의 특성으로서 화면 전체에 동일한 특성을 이용하는 것이 아니라 수평 및 수직 방향으로 크기를 가지는 2차원 영역마다 다른 특성을 사용한다. 이는 국소적인 콘트라스트를 올림으로써 오브젝트의 시인성을 향상시키는 효과를 얻는다. 또한, 다이나믹 레인지 조정에 대해서도 마찬가지로 비트 확장된 신호를 출력 비트 수에 맞출 때에 화면 전체를 균일하게 나눗셈하는 것이 아니라 일정한 영역마다 다른 연산을 적용한다. 이것도 국소적인 콘트라스트를 향상시키는 효과를 얻는다.The two-dimensional gradation compression unit 80 performs gradation compression and dynamic range adjustment of the WDR synthesized image taken out from the line memory 70 two-dimensionally. For example, as characteristics of gray scale compression, different characteristics are used for each two-dimensional region having a size in the horizontal and vertical directions, instead of using the same characteristics for the entire screen. This achieves the effect of improving the visibility of the object by increasing the local contrast. Also, regarding the dynamic range adjustment, similarly, when the bit extended signal is matched to the number of output bits, not all of the screen is divided uniformly, but different arithmetic operations are applied to certain areas. This also has the effect of improving the local contrast.

계조 압축 및 다이나믹 레인지 조정은 일체가 되어 행해져도 되고 따로따로 행해져도 된다. 이러한 2차원적인 처리를 하드웨어로 실행하는 경우, 해당 처리 블록의 전단에 라인 메모리(70)가 필요하게 된다. 2차원 처리의 단위 영역의 수직 방향 크기가 클수록, 또한 수평 화소수가 클수록 이 라인 메모리(70)의 규모는 커지고 하드웨어의 부담이 커진다.The gradation compression and the dynamic range adjustment may be performed integrally or separately. When such a two-dimensional process is executed by hardware, the line memory 70 is required in front of the process block. As the size of the unit area of the two-dimensional processing in the vertical direction is larger and the number of horizontal pixels is larger, the scale of the line memory 70 becomes larger and the burden on hardware becomes larger.

또 본 실시 형태에서는 2차원 계조 압축부(80)에 의해 WDR 합성 화상의 계조 압축 및 다이나믹 레인지 조정이 2차원적으로 행해지는 예를 설명하지만, 계조 압축 및 다이나믹 레인지 조정 대신에 다른 처리(예를 들면, 계조 처리 등)가 행해져도 된다. 예를 들면, 계조 처리는 WDR 합성 화상의 콘트라스트를 변환하는 처리이어도 된다. 즉, 화상 처리 장치(1A)는 2차원 계조 압축부(80) 대신에 WDR 합성 화상에 대해 어떠한 처리를 행하는 처리부를 구비하고 있어도 된다.In the present embodiment, an example is described in which the two-dimensional tone compression section 80 performs tone compression and dynamic range adjustment of a WDR synthesized image two-dimensionally. However, instead of tone compression and dynamic range adjustment, , Gradation processing, etc.) may be performed. For example, the grayscale processing may be processing for converting the contrast of the WDR combined image. In other words, the image processing apparatus 1A may include a processing unit for performing a certain process on the WDR synthesized image instead of the two-dimensional gray scale compression unit 80. [

2차원 계조 압축부(80)의 후단은, 예를 들어 베이어 데이터로부터 RGB 플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함하는 화상 처리 엔진에 접속된다. 그 때문에, 2차원 계조 압축부(80)로부터의 출력 신호의 데이터량은, 예를 들어 화상 처리 엔진에의 입력 데이터 크기에 적합하도록(예를 들어, 12비트 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기를 저하시키는 것만으로는 어두운 화상으로 변환되기 때문에 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.The rear end of the two-dimensional tone compression section 80 is connected to an image processing engine including, for example, a demosaic section for generating an RGB plane from Bayer data, an outline emphasis section, color management and the like. For this reason, it is preferable that the data amount of the output signal from the two-dimensional tone compression section 80 is adjusted (for example, to about 12 bits) so as to match the input data size to the image processing engine. It is only necessary to strongly compress the high-luminance side so as to be close to the human visual characteristics since the image is simply converted into a dark image by simply lowering the data size.

포화 감출 문턱값의 제어에 대해 도 4를 이용하여 구체적으로 설명한다. 피사체가 밝을 때에는 센서(10)가 아무런 신호 증폭을 행하지 않는다. 그래서, 문턱값 제어부(30)는 센서(10)로부터 입력되는 신호 증폭이 없다는 정보에 기초하여 사용 화상 선택부(40)에 의해 사용되는 포화 검출 문턱값으로서 소정의 값(예를 들어 12 비트의 신호에 대해「3000」등)을 설정한다. 이에 따라, 사용 화상 선택부(40)에서 단노광 화상 및 장노광 화상이 적절히 선택되어 WDR 합성 처리의 효과가 얻어지도록 한다. The control of the saturation decay threshold will be described in detail with reference to Fig. When the subject is bright, the sensor 10 does not perform any signal amplification. Therefore, the threshold value control unit 30 sets a predetermined value (for example, 12 bits) as the saturation detection threshold value used by the used image selection unit 40 based on the information that no signal amplification is input from the sensor 10 Quot; 3000 " for the signal). Thus, the short-exposure image and long-exposure image are appropriately selected by the used image selector 40 so that the effect of WDR synthesis processing is obtained.

한편, 피사체가 어두워지면 센서910)가 신호 증폭을 행하게 된다. 그래서, 문턱값 제어부(30)는, 센서(10)의 신호 증폭도가 소정 구간(이하 「제1 소정 구간」이라고도 함)의 범위 내에 들어가는 경우에는 센서(10)에서의 신호 증폭도의 증가에 따라 포화 검출 문턱값을 증가시켜 단노광 화상이 선택되기 어려운 상황으로 한다. 그리고, 문턱값 제어부(30)는, 센서(10)에서의 신호 증폭도가 최대값에 이르면 포화 검출 문턱값을 최대값으로 설정하여 단노광 화상이 선택되지 않도록 하여 특히 단노광 화상에서 현저해지는 노이즈의 영향을 배제한다. 예로서 피사체의 밝기가 천천히 저하되는 상황에서는, 센서(10)에서의 신호 증폭도는 천천히 상승하고, 이에 따라 장노광 화상의 선택 비율이 천천히 높아지므로 WDR 합성 처리의 효과를 시간적으로 완만하게 변경할 수 있다.On the other hand, when the subject becomes dark, the sensor 910 performs signal amplification. Therefore, when the signal amplification degree of the sensor 10 falls within a predetermined range (hereinafter also referred to as " first predetermined period "), the threshold value control section 30 controls the threshold value control section 30 to saturate The detection threshold value is increased to make it difficult to select a single exposure image. When the signal amplification degree at the sensor 10 reaches the maximum value, the threshold value control unit 30 sets the saturation detection threshold value to the maximum value, thereby preventing the short-exposure image from being selected. In particular, Exclusion of influence. For example, in a situation where the brightness of a subject is slowly lowered, the signal amplification degree at the sensor 10 slowly rises, and accordingly, the selection ratio of the long-exposure image gradually increases, so that the effect of the WDR synthesis process can be moderately changed with time .

또, 도 4에 도시된 예에서는, 화상 처리 장치(1A)가 문턱값 제어부(30)를 구비하고 있다. 예를 들면, 문턱값 제어부(30)는, 펌웨어에 의해 구성되어 있고, 센서(10)에 의한 신호 증폭도가 센서(10)로부터 해당 펌웨어에 올려져 사용 화상 선택부(40)에 의해 사용되는 포화 검출 문턱값이 해당 펌웨어에 의해 제어되어도 된다. 혹은, 문턱값 제어부(30) 및 사용 화상 선택부(40)가 모두 하드웨어에 의해 구성되어도 되고 소프트웨어의 실행에 의해 실현되어도 된다.In the example shown in Fig. 4, the image processing apparatus 1A is provided with the threshold value control unit 30. Fig. For example, the threshold value control unit 30 is constituted by firmware, and the signal amplification degree by the sensor 10 is loaded on the firmware from the sensor 10, and the saturation value used by the used image selection unit 40 The detection threshold value may be controlled by the corresponding firmware. Alternatively, both the threshold value control unit 30 and the used image selection unit 40 may be configured by hardware or may be realized by execution of software.

또한, 상기에서는 센서(10)에 의한 신호 증폭도가 최대값이 되었을 때에 포화 검출 문턱값도 최대값으로 설정되는 예를 설명하였다. 그러나, 본 발명의 실시 형태의 목적은 WDR 합성 결과의 노이즈가 눈에 띄지 않게 하는 것에 있다. 따라서, WDR 합성 화상에 포함되는 노이즈가 눈에 띄지 않는 경우 등에는 포화 검출 문턱값으로서는 최대값보다 낮은 값이 설정되어도 된다.In the above description, the saturation detection threshold value is set to the maximum value when the signal amplification degree by the sensor 10 reaches the maximum value. However, an object of the embodiment of the present invention is to make the noise of the result of WDR synthesis insignificant. Therefore, when the noise included in the WDR combined image is not conspicuous, a value lower than the maximum value may be set as the saturation detection threshold value.

또한, 센서(10)에서의 신호 증폭의 개시 타이밍과 포화 검출 문턱값을 증가시키기 시작하는 타이밍은 동시가 아니어도 된다. 이미 서술한 바와 같이, 본 발명의 실시 형태의 목적은 WDR 합성 결과의 노이즈가 눈에 띄지 않게 하는 것이다. 따라서, 센서(10)에서의 신호 증폭이 개시되어도 WDR 합성 화상에 포함되는 노이즈가 눈에 띄지 않는 경우 등에는 포화 검출 문턱값을 변경하지 않아도 된다.Also, the timing of starting the signal amplification in the sensor 10 and the timing of starting to increase the saturation detection threshold value may not be concurrent. As described above, the object of the embodiment of the present invention is to make the noise of the result of WDR synthesis insignificant. Therefore, even when the signal amplification in the sensor 10 is started, the saturation detection threshold value need not be changed in the case where the noise included in the WDR combined image is not conspicuous.

이상으로 설명한 바와 같이, 본 발명의 제1 실시 형태에 의하면, 노광 상태가 악화되어 단노광 화상에 포함되는 노이즈량이 매우 증가하는 경우에, WDR 합성 시의 장노광 화상의 선택 비율을 높임으로써 노이즈의 영향을 저감한 WDR 합성 화상을 얻을 수 있다. 또한, 피사체의 조명 환경이나 노광 상태에 따라 WDR 합성 처리의 효과를 시간적으로 완만하게 전환하는 것이 가능하다.As described above, according to the first embodiment of the present invention, when the amount of noise included in the short exposure image is greatly increased due to deterioration of the exposure state, the selection ratio of the long exposure image in the WDR synthesis is increased, A WDR synthesized image in which the influence is reduced can be obtained. In addition, it is possible to smoothly switch the effect of the WDR synthesis processing according to the illumination environment or the exposure state of the subject in time.

(제1 실시 형태의 변형 예)(Modification of First Embodiment)

이어서, 본 발명의 제1 실시 형태의 변형 예에 대해 설명한다. 본 발명의 제1 실시 형태에서는, 장노광 화상의 선택 비율을 높여도 WDR 합성 처리 후에 WDR 합성 화상에 대해 계조 압축 처리가 걸리기 때문에, 장노광 화상 그 자체와는 다소 다른 화상이 출력된다. 그러나 WDR 오프시에는 장노광 화상과 같은 화상이 출력되는 것이 보다 자연스러운 WDR 합성 결과가 얻어진다. 그래서, 제1 실시 형태의 변형 예에서는 WDR 오프 시에 장노광 화상과 같은 화상이 출력되는 예를 설명한다.Next, a modification of the first embodiment of the present invention will be described. In the first embodiment of the present invention, even if the selection ratio of the long exposure image is increased, the WDR combined image is subjected to gradation compression processing after the WDR combined image, so that an image slightly different from the long exposure image itself is output. However, when the WDR is turned off, a more natural result of WDR synthesis is obtained that an image such as a long exposure image is outputted. Thus, in the modified example of the first embodiment, an example in which an image such as a long exposure image is output when the WDR is turned off will be described.

우선, 도 5를 참조하면서 본 발명의 제1 실시 형태의 변형 예에 관한 화성 처리 장치화상 처리 장치(1A#)의 기능 구성에 대해 설명한다. 도 5에 도시된 바와 같이, 화상 처리 장치(1A#)는 본 발명의 제1 실시 형태에 관한 화상 처리 장치(1A)와 비교하여 라인 메모리(70)에 상당하는 제1 라인 메모리(71)가 존재하고, 혼합부(90) 및 제2 라인 메모리(72)가 추가되어 있다. 혼합부(90)에서는 센서(10)에서의 신호 증폭도, WDR 합성 결과 및 장노광 화상이 입력된다.First, the functional configuration of the chemical conversion apparatus image processing apparatus 1A # according to a modified example of the first embodiment of the present invention will be described with reference to Fig. 5, the image processing apparatus 1A # includes a first line memory 71 equivalent to the line memory 70 as compared with the image processing apparatus 1A according to the first embodiment of the present invention And a mixing section 90 and a second line memory 72 are added. In the mixing section 90, the signal amplification degree, WDR synthesis result and long exposure image in the sensor 10 are inputted.

제2 라인 메모리(72)는, 혼합부(90)에서 사용되는 장노광 화상에 대해 2차원 계조 압축부(80)로부터 출력되는 2차원 계조 압축 처리 결과와의 사이에서 수직 지연량을 맞추기 위해 마련된다. 혼합부(90)는, 센서(10)에서의 신호 증폭도에 기초하여 2차원 계조 압축부(80)로부터 출력된 2차원 계조 압축 처리 결과와 제2 라인 메모리(72)로부터 취출된 장노광 화상의 혼합 비율을 산출하고, 산출한 혼합 비율에 의해 2차원 계조 압축 처리 결과와 장노광 화상을 혼합한다.The second line memory 72 is provided for matching the vertical delay amount with the result of the two-dimensional gradation compression processing output from the two-dimensional gradation compression section 80 with respect to the long-exposure image used in the mixing section 90 do. The mixing section 90 performs a two-dimensional gradation compression processing on the basis of the signal amplification degree of the sensor 10 and the result of the two-dimensional gradation compression processing outputted from the two-dimensional gradation compression section 80 and the long- The mixing ratio is calculated, and the result of the two-dimensional gradation compression processing and the long exposure image are mixed by the calculated mixing ratio.

WDR 합성 결과의 혼합 비율(이하, 「WDR 합성 결과 비율」이라고도 함)의 산출에 대해 도 6을 이용하여 구체적으로 설명한다. 피사체가 밝을 때에는 센서(10)는 아무런 신호 증폭을 행하지 않는다. 그래서, 혼합부(90)는 센서(10)로부터 입력되는 신호 증폭이 없다는 정보에 기초하여 WDR 합성부(60)에 의해 생성된 WDR 합성 결과를 100% 사용하도록 WDR 합성 결과 비율을 산출하고, WDR 합성부(60)에 의해 생성된 WDR 합성 결과를 WDR의 최종 결과로서 출력한다.The calculation of the mixing ratio of the WDR synthesis result (hereinafter also referred to as " WDR synthesis result ratio ") will be described in detail with reference to FIG. When the subject is bright, the sensor 10 does not perform any signal amplification. Therefore, the mixing unit 90 calculates the WDR synthesis result ratio so as to use 100% of the WDR synthesis result produced by the WDR synthesis unit 60 based on the information that the signal inputted from the sensor 10 is not amplified, And outputs the WDR synthesis result generated by the synthesis unit 60 as the final result of the WDR.

한편, 피사체가 어두워지면 센서(10)가 신호 증폭을 하게 된다. 그래서, 혼합부(90)는 센서(10)의 신호 증폭도가 소정 구간(이하, 「제2 소정 구간」이라고도 함)의 범위 내에 들어가는 경우에는 센서(10)에서의 신호 증폭도의 증가에 따라 WDR 합성 결과 비율을 감소시켜 장노광 화상의 혼합 비율을 높이도록 제어한다. 그리고, 혼합부(90)는 센서(10)에서의 신호 증폭도가 최대값에 이르면 장노광 화상의 혼합 비율을 100%로 한다. 이러한 구성에 의해, WDR 오프시에 장노광 화상과 같은 화상을 혼합부(90)로부터 출력시키는 것이 가능하게 된다.On the other hand, when the subject becomes dark, the sensor 10 performs signal amplification. Therefore, when the signal amplification degree of the sensor 10 falls within a predetermined range (hereinafter also referred to as " second predetermined period "), the mixing section 90 performs WDR synthesis The result ratio is decreased to control the blending ratio of the long-exposure image to be increased. When the signal amplification degree at the sensor 10 reaches the maximum value, the mixing section 90 sets the mixing ratio of the long-exposure image to 100%. With this configuration, it becomes possible to output an image such as a long-exposure image from the mixing section 90 when the WDR is turned off.

이상 본 발명의 제1 실시 형태의 변형 예에 관한 화상 처리 장치(1A#)의 기능 구성에 대해 설명하였지만, 제2 라인 메모리(72)는 WDR의 온/오프를 시간적으로 완만하게 변환시키는 목적을 위해서만 추가되는 메모리로서 간주되고, 하드웨어 규모의 증가에 대해 심하게 보이기 쉽다. 하드웨어 규모의 관점에서 제2 라인 메모리(72)를 확보할 수 없으면, WDR 온과 오프를 완만하게 변화시키는 기능을 단념하는 상황이 된다. 그래서, 본 발명의 제2 실시 형태에서는 제2 라인 메모리(72)를 필요 없게 하는 실시 형태에 대해 설명한다.Although the functional configuration of the image processing apparatus 1A # according to the modification of the first embodiment of the present invention has been described above, the second line memory 72 has a purpose of gently changing the on / Is considered to be added memory only and is likely to be heavily exposed to an increase in hardware scale. If the second line memory 72 can not be secured from the viewpoint of the hardware scale, it becomes a situation that the function of gently changing the WDR on and off is abandoned. Thus, in the second embodiment of the present invention, an embodiment for eliminating the second line memory 72 will be described.

(제2 실시 형태)(Second Embodiment)

도 7은 본 발명의 제2 실시 형태에 관한 화상 처리 장치(1B)의 기능 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 제2 실시 형태에 관한 화상 처리 장치(1B)는 화상 처리 장치(1A#)와 비교하여 제2 라인 메모리(72)를 구비하지 않는 구성으로 되어 있다. 혼합부(90)는, 2차원 계조 압축부(80)와 같은 수직 지연량의 신호를 라인 메모리(70)로부터 취출한다. 예를 들면, 2차원 계조 압축부(80)에서의 처리 지연량만큼 플립플롭 등에서 라인 메모리(70)로부터의 신호를 지연시켜 이를 장노광 화상을 대신하는 신호로서 혼합부(90)에 입력한다.Fig. 7 is a diagram showing a functional configuration of the image processing apparatus 1B according to the second embodiment of the present invention. As shown in Fig. 7, the image processing apparatus 1B according to the second embodiment of the present invention is configured so as not to include the second line memory 72 as compared with the image processing apparatus 1A #. The mixing section 90 extracts a signal of a vertical delay amount such as the two-dimensional tone compression section 80 from the line memory 70. For example, the signal from the line memory 70 is delayed in the flip-flop or the like by the amount of processing delay in the two-dimensional tone compression section 80 and is inputted to the mixing section 90 as a signal to replace the long exposure image.

그러나, 통상은 WDR 합성 화상과 장노광 화상은 다르다. 그래서, 본 발명의 제2 실시 형태에서는 WDR 합성 화상을 장노광 화상에 가까이 하는 제어를 병용하는 것이 포인트 이다. 구체적으로, 문턱값 제어부(30)가 포화 검출 문턱값을 최대값으로 설정함으로써, 사용 화상 선택부(40)에 의해 단노광 화상이 사용되지 않도록 한다. 움직임에 적응한 합성처리는 오프로 한다. 이에 따라, 단노광 화상이 사용되지 않게 되면 WDR 합성 화상은 장노광 화상 상당의 화상으로 간주할 수 있다.However, the WDR synthesized image is usually different from the long exposure image. Thus, in the second embodiment of the present invention, the point is that the WDR synthesized image is used in combination with the control for bringing it closer to the long exposure image. Specifically, the threshold value control unit 30 sets the saturation detection threshold value to the maximum value so that the used image selection unit 40 does not use the single exposure image. The synthesis process adapted to the motion is turned off. Thus, if the short exposure image is not used, the WDR combined image can be regarded as an image equivalent to a long exposure image.

이와 같이 하여 얻어진 장노광 화상 상당의 화상과 2차원 계조 압축 처리 결과를 혼합부(90)에서 혼합하면, 본 발명의 제1 실시 형태의 변형 예에 관한 화상 처리 장치(1A#)가 얻는 효과와 마찬가지의 효과(즉, WDR 오프시에 장노광 화상과 같은 화상을 혼합부(90)로부터 출력시키는 것이 가능하게 되는 효과)를 얻는다. 아울러 도 5에 도시된 2차원 계조 압축부(80)와의 사이에서 장노광 화상의 수직 지연량을 맞추기 위한 제2 라인 메모리(72)가 필요 없어진다.By mixing the image corresponding to the long exposure image thus obtained and the result of the two-dimensional gradation compression processing in the mixing section 90, the effect obtained by the image processing apparatus 1A # according to the modification of the first embodiment of the present invention (That is, an effect such that an image such as a long-exposure image can be output from the mixing section 90 when the WDR is turned off) is obtained. The second line memory 72 for matching the vertical delay amount of the long-exposure image with the two-dimensional gradation compression unit 80 shown in Fig. 5 is unnecessary.

포화 검출 문턱값 및 WDR 합성 처리 결과 비율의 제어에 대해 도 8을 이용하여 구체적으로 설명한다. 피사체가 밝을 때에는 센서(10)는 아무런 신호 증폭을 행하지 않는다. 그래서, 문턱값 제어부(30)는 센서(10)로부터 입력되는 신호 증폭이 없다는 정보에 기초하여 사용 화상 선택부(40)에 의해 사용되는 포화 검출 문턱값으로서 소정의 값(예를 들면, 12비트 신호에 대해「3000」등)을 설정한다.The control of the saturation detection threshold value and the WDR synthesis result ratio will be described in detail with reference to Fig. When the subject is bright, the sensor 10 does not perform any signal amplification. Therefore, the threshold value control unit 30 sets a predetermined value (for example, 12 bits) as the saturation detection threshold value used by the used image selection unit 40 based on the information that no signal is amplified from the sensor 10 Quot; 3000 " for the signal).

나아가 혼합부(90)는, 센서(10)로부터 입력되는 신호 증폭이 없다는 정보에 기초하여 WDR 합성부(60)에 의해 생성된 WDR 합성 결과를 100% 사용하도록 WDR 합성 결과 비율을 산출하고, WDR 합성부(60)에 의해 생성된 WDR 합성 결과를 WDR의 최종 결과로서 출력한다.Furthermore, the mixing section 90 calculates the WDR synthesis result ratio so as to use 100% of the WDR synthesis result produced by the WDR synthesis section 60 based on the information that there is no signal amplification from the sensor 10, And outputs the WDR synthesis result generated by the synthesis unit 60 as the final result of the WDR.

한편, 피사체가 어두워지면 센서(10)가 신호 증폭을 행하게 된다. 그래서, 문턱값 제어부(30)는, 센서(10)의 신호 증폭도가 제1 소정 구간의 범위 내에 들어가는 경우에는 센서(10)에서의 신호 증폭도 증가에 따라 포화 검출 문턱값을 증가시켜 단노광 화상이 선택되기 어려운 상황으로 한다. 나아가 혼합부(90)는, 센서(10)의 신호 증폭도가 제2 소정 구간의 범위 내에 들어가는 경우에는 센서(10)에서의 신호 증폭도의 증가에 따라 WDR 합성 결과 비율을 감소시켜 장노광 화상의 혼합 비율을 높이도록 제어한다. 그리고, 혼합부(90)는 센서(10)에서의 신호 증폭도가 최대값에 이르면 장노광 화상의 혼합 비율을 100%로 한다.On the other hand, when the subject becomes dark, the sensor 10 performs signal amplification. Therefore, when the signal amplification degree of the sensor 10 falls within the first predetermined section, the threshold value control section 30 increases the saturation detection threshold value as the signal amplification in the sensor 10 increases, This is a situation that is difficult to be selected. Further, when the signal amplification degree of the sensor 10 falls within the range of the second predetermined section, the mixing section 90 reduces the WDR synthesis result ratio as the signal amplification degree of the sensor 10 increases, So as to increase the ratio. When the signal amplification degree at the sensor 10 reaches the maximum value, the mixing section 90 sets the mixing ratio of the long-exposure image to 100%.

이상으로 설명한 바와 같이, 본 발명의 제2 실시 형태에 의하면, 본 발명의 제1 실시 형태의 변형 예와 마찬가지로 WDR 오프시에 장노광 화상과 같은 화상이 출력되기 때문에 보다 자연스러운 WDR 합성 결과가 얻어지는 효과를 나타낸다. 아울러 본 발명의 제2 실시 형태에 의하면, WDR 합성부(60)에 의해 생성된 WDR 합성 화상에 대해 2차원 계조 압축 처리 등의 소정의 처리가 행해지는 경우이어도 라인 메모리의 증가를 억제하는 것이 가능하게 된다.As described above, according to the second embodiment of the present invention, an image similar to a long-exposure image is output at the time of WDR-off in the same manner as the modification of the first embodiment of the present invention, . According to the second embodiment of the present invention, it is possible to suppress the increase of the line memory even when predetermined processing such as two-dimensional gradation compression processing is performed on the WDR combined image generated by the WDR combining section 60 .

(결론)(conclusion)

본 발명의 실시 형태에서는, 센서에서 신호가 증폭되는 것과 같은 노광 상태가 열악한 상황에서는 단노광 화상을 사용하는 WDR 처리를 오프로 한다는 생각에 기초하여 센서에서의 신호 증폭도에 기초하여 장노광 화상의 비율을 제어한다. 예를 들면, 센서에서의 신호 증폭도가 소정 구간에서는(예를 들어, 센서에서의 신호 증폭도가 높을 때에는) 장노광 화상의 비율을 높인다. 이에 따라, WDR 처리 화상 중에 포함되는 노이즈를 완만하게 저감할 수 있다. 또한, 피사체의 조명 환경 변화에 따라 WDR 처리의 온과 오프를 시간적으로 완만하게 전환할 수 있다.In the embodiment of the present invention, on the basis of the idea of turning off the WDR process using a short exposure image in a situation where the exposure state such as a signal amplified by the sensor is poor, the ratio of the long exposure image . For example, when the signal amplification degree of the sensor is within a predetermined section (for example, when the signal amplification degree at the sensor is high), the ratio of the long exposure image is increased. Thus, the noise included in the WDR-processed image can be moderately reduced. In addition, it is possible to smoothly switch the WDR processing on and off in a temporal manner in accordance with the change of the illumination environment of the subject.

WDR(와이드 다이나믹 레인지) 기술은 중요시되고 있다. 종래 기술에서는 어두운 장면에서 단노광 화상이 합성되면 노이즈가 매우 눈에 띄는 것이 큰 문제가 되었다. 또한, 이러한 상황에서 WDR 처리를 오프로 하고자 하면 처리 화상에 갑작스러운 변화를 발생시키고, 가능한 한 이러한 변화를 억제하고자 하는 요청이 있었다.WDR (wide dynamic range) technology is becoming important. In the prior art, when a short-exposure image is synthesized in a dark scene, noise becomes very noticeable. In addition, there has been a request to turn off the WDR processing in such a situation to cause a sudden change in the processed image and to suppress such a change as much as possible.

본 발명의 실시 형태는, 피사체의 조명 환경과 관련성이 높은, 센서에서의 신호 증폭도를 참조하여 장노광 화상의 사용 비율을 높임으로써 종래 문제가 되었던 노이즈를 효과적으로 저감할 수 있다. 또한 WDR 처리의 온과 오프를 시간적으로 완만하게 변환시키는 것도 가능하다. WDR 처리 결과와 장노광 화상의 혼합 비율을 변화시키는 구성으로는 보다 자연스러운 WDR 처리 화상이 얻어진다. 또한, 2차원 계조 처리와 조합하는 경우에도 적은 사용 메모리로 실현하는 구성을 제시하였다.The embodiment of the present invention can effectively reduce the noise that has been a problem in the past by increasing the use ratio of the long-exposure image with reference to the signal amplification degree in the sensor, which is highly related to the illumination environment of the subject. It is also possible to smoothly convert the WDR processing on and off in time. A more natural WDR-processed image can be obtained by a configuration in which the mixing ratio of the WDR processing result and the long-exposure image is changed. In addition, a structure is realized in which even with a two-dimensional gradation process, a small amount of memory is used.

종래의 문제를 효과적으로 해결할 뿐만 아니라 프레임 레이트 저하 등의 성능 저하 없이 실현할 수 있는 점, 구성이 간단하고 작은 회로 규모로 실현 가능한 점도 우수한 점으로서 들 수 있다.The present invention can be realized not only effectively solving the conventional problem but also realizing without deterioration of the performance such as the decrease of the frame rate, being simple in structure and realizing with a small circuit scale.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 자이면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경 예 또는 수정 예에 상도할 수 있는 것은 명백하고, 이들에 대해서도 당연히 본 발명이 기술적 범위 속하는 것으로 이해된다.While the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents, It is understood to be within the scope.

1(1A, 1B): 화상 처리 장치
10: 센서
20: 프레임 메모리
30: 문턱값 제어부
40: 사용 화상 선택부
50: 움직임 검출부
60: WDR 합성부
70: 라인 메모리
71: 제1 라인 메모리
72: 제1 라인 메모리
80: 2차원 계조 압축부
90: 혼합부1 (1A, 1B): Image processing apparatus
10: Sensor
20: Frame memory
30: threshold value control section
40: Used image selection unit
50:
60: WDR synthesis section
70: line memory
71: first line memory
72: first line memory
80: Two-dimensional gradation compression unit
90:

Claims

센서에서의 신호 증폭도에 기초하여 문턱값을 제어하는 문턱값 제어부;
상기 센서에 의해 검출된 단노광 화상 및 장노광 화상 중 어느 하나를 상기 장노광 화상 또는 상기 단노광 화상의 화소값과 상기 문턱값의 관계에 기초하여 화소마다 선택함으로써 사용 화상 선택 정보를 생성하는 사용 화상 선택부; 및
상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 합성 화상을 얻는 합성부;를 구비하는 화상 처리 장치.A threshold value control unit for controlling a threshold value based on a signal amplification degree in the sensor;
And selecting one of the short exposure image and the long exposure image detected by the sensor for each pixel based on the relationship between the pixel value of the long exposure image or the short exposure image and the threshold value, An image selection unit; And
And a synthesizing unit for synthesizing the short exposure image and the long exposure image according to the used image selection information to obtain a synthesized image.

제 1항에 있어서,
상기 문턱값 제어부는, 상기 신호 증폭도의 제1 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 문턱값을 증가시키는 화상 처리 장치.The method according to claim 1,
Wherein the threshold value control section increases the threshold value in accordance with an increase in the signal amplification degree in a first predetermined period of the signal amplification degree.

제 1항에 있어서,
상기 합성부는, 상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 얻어진 제1 합성 화상을 라인마다 라인 메모리에 출력하고,
상기 화상 처리 장치는,
상기 라인 메모리로부터 취출된 상기 제1 합성 화상에 대해 소정 처리를 행하여 제2 합성 화상을 얻는 처리부;
상기 센서에서의 신호 증폭도에 기초하여 상기 제1 합성 화상과 상기 제2 합성 화상의 혼합 비율을 산출하고, 상기 혼합 비율에 의해 상기 제1 합성 화상과 상기 제2 합성 화상을 혼합하는 혼합부;를 구비하는 화상 처리 장치.The method according to claim 1,
The synthesizing section outputs to the line memory a first synthesized image obtained by synthesizing the short exposure image and the long exposure image according to the used image selection information,
The image processing apparatus includes:
A processing unit for performing a predetermined process on the first synthesized image taken out from the line memory to obtain a second synthesized image;
A mixing unit for calculating a mixing ratio of the first synthesized image and the second synthesized image based on a signal amplification degree of the sensor and mixing the first synthesized image and the second synthesized image by the mixing ratio; And the image processing apparatus.

제 3항에 있어서,
상기 혼합부는, 상기 신호 증폭도의 제2 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 제2 합성 화상의 혼합 비율을 감소시키는 화상 처리 장치.The method of claim 3,
Wherein the mixing unit reduces the blending ratio of the second composite image in accordance with an increase in the signal amplification in a second predetermined period of the signal amplification.

센서에서의 신호 증폭도에 기초하여 문턱값을 제어하는 단계;
상기 센서에 의해 검출된 단노광 화상 및 장노광 화상 중 어느 하나를 상기 장노광 화상 또는 상기 단노광 화상의 화소값과 상기 문턱값의 관계에 기초하여 화소마다 선택함으로써 사용 화상 선택 정보를 생성하는 단계; 및
상기 사용 화상 선택 정보에 따라 상기 단노광 화상 및 상기 장노광 화상을 합성하여 합성 화상을 얻는 단계;를 포함하는 화상 정치 방법.Controlling a threshold value based on a signal amplification degree in the sensor;
Generating selected image selection information by selecting any one of the short exposure image and the long exposure image detected by the sensor for each pixel based on the relationship between the pixel value of the long exposure image or the short exposure image and the threshold value ; And
And combining the short exposure image and the long exposure image according to the used image selection information to obtain a composite image.