KR20160030352A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
KR20160030352A
KR20160030352A KR1020150040961A KR20150040961A KR20160030352A KR 20160030352 A KR20160030352 A KR 20160030352A KR 1020150040961 A KR1020150040961 A KR 1020150040961A KR 20150040961 A KR20150040961 A KR 20150040961A KR 20160030352 A KR20160030352 A KR 20160030352A
Authority
KR
South Korea
Prior art keywords
image
exposure
long
exposure image
wdr
Prior art date
Application number
KR1020150040961A
Other languages
Korean (ko)
Other versions
KR102247597B1 (en
Inventor
타케루 츠즈키
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of KR20160030352A publication Critical patent/KR20160030352A/en
Application granted granted Critical
Publication of KR102247597B1 publication Critical patent/KR102247597B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/35554—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

The present invention provides an apparatus for processing images (1) comprising: a used-image selection unit (40) for generating used-image selection information in order to select any one of a short-exposure image and a long-exposure image, which are detected by an image sensor (10), for each pixel; a WDR synthesis unit (60) for synthesizing the short-exposure image and the long-exposure image according to the used-image selection information, and obtaining a synthesized image; and a mixing unit (90) for calculating a mixing ratio of the long-exposure image and the synthesized image according to a signal amplification degree of the image sensor (10), and mixing the synthesized image with the long-exposure image based on the mixing ratio.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}[0001] DESCRIPTION [0002] Image processing apparatus and image processing method [

본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method.

최근, 단시간 노광의 영상(이하, 단순히 "단노광 영상"이라 함)과 장시간 노광의 영상(이하, 단순히 "장노광 영상"이라 함)을 연속적으로 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 넘은 다이나믹 레인지를 캡쳐한 영상을 얻는 WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 늘어나고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서는 특히 큰 효과가 있다. 2. Description of the Related Art In recent years, an image of a short time exposure (hereinafter simply referred to as a "short exposure image") and an image of a long time exposure (hereinafter simply referred to as a "long exposure image" (Wide Dynamic Range) or HDR (High Dynamic Range) to acquire images that capture a dynamic range exceeding a predetermined value. Such a photographing function is particularly effective in a scene having a very high contrast ratio, such as a composition of backlight.

WDR 신호를 얻는 방법으로는 노광 시간을 바꾸면서 여러 장의 영상들을 연속적으로 촬영하여 합성하는 방법을 채용하는 것이 일반적이다. 여기에서 얻어지는 다이나믹 레인지는 16 비트 내지 20 비트 또는 그 이상에 달하는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8 비트에서 12 비트 정도로 레인지(range) 압축되어 출력된다. As a method of obtaining the WDR signal, a method of continuously photographing and synthesizing a plurality of images while varying the exposure time is generally employed. The dynamic range obtained here may reach 16 bits to 20 bits or more. The WDR signal is outputted in a range compressed from 8 bits to 12 bits according to the display or the display capability of the printer.

이러한 WDR 합성 처리는 낮과 같이 광량이 많은 상황에서는 양호한 결과를 가져오지만, 어두운 상황에서는 단노광 영상의 노광량이 불충분해져서 합성 영상 중의 단노광 영상 사용 영역을 중심으로 노이즈가 눈에 띄는 결과가 발생한다. 특히, 영상 센서에 있어서 신호가 증폭되는 경우에는 단노광 영상의 노이즈가 매우 현저해짐에 따라, WDR 합성 처리의 효과에 비하여 노이즈 방해 문제가 커진다. 이러한 경우에는 WDR 합성 처리를 오프(Off)로 하여 단노광 영상을 사용하지 않는 것이 바람직하다. 또한, 단노광 영상에 노이즈 저감 처리를 적용하는 방안도 생각할 수 있는데, 어두운 장면에서 영상 센서의 증폭에 의한 단노광 영상은 신호 대 잡음 비율(SNR : Signal-to-Noise Ratio)이 매우 낮아서, 이차원 노이즈 축소에 의하여 노이즈를 충분히 저감할 수 없다. Such a WDR synthesis process produces good results in a situation where the light amount is large as in the daytime, but in the dark situation, the exposure amount of the short exposure image becomes insufficient, and noise is conspicuous around the area of the short exposure image used in the composite image . Particularly, when the signal is amplified in the image sensor, the noise of the short exposure image becomes very remarkable, and the problem of noise interference becomes larger than the effect of WDR synthesis processing. In this case, it is preferable that the WDR synthesis processing is turned off so that a single exposure image is not used. In addition, a noise reduction process may be applied to a single exposure image. In a dark scene, a single exposure image by amplifying an image sensor has a very low signal-to-noise ratio (SNR) Noise can not be sufficiently reduced by noise reduction.

상황에 따라 WDR 합성 처리를 오프(Off)로 하는 방법으로서 이하에 나타내는 바와 같은 기술들이 공개되어 있다. The following techniques are disclosed as a method of turning off the WDR synthesis processing depending on the situation.

예를 들어, 사전 촬영을 수행하여 피사체가 움직임을 포함하는지 여부를 판정하고, 피사체가 움직임을 포함하고 있는 경우에는 WDR 합성 처리를 오프(Off)로 하는 기술이 공개되어 있다(특허 문헌 1로서의 일본 특허공개 2000－50151호 공보 참조). 또한, 여러장 촬영한 영상들을 중첩시킴으로써 노이즈를 저감하는 기술을 이용하여, 영상 센서의 감도에 의하여 각 노광 영상의 사전 촬영 매수를 결정하는 기술이 개시되어 있다(특허 문헌 2로서의 일본 특허공개 2012－239077호 공보 참조). 이에 따라 단노광 영상의 노이즈가 저감된 양호한 WDR 합성 처리의 결과를 얻을 수 있다. For example, a technique has been disclosed in which pre-shooting is performed to determine whether a subject includes motion, and when the subject includes motion, WDR synthesis processing is turned off (Japanese Patent Laid- Japanese Patent Laid-Open No. 2000-50151). There is also disclosed a technique of determining the number of pre-shooting of each exposed image by the sensitivity of the image sensor by using a technique of reducing noise by overlapping images taken by multiple images (Japanese Patent Application Laid- 239077). As a result, good WDR synthesis processing results with reduced noise of the single exposure image can be obtained.

일본 특허공개 2000－50151호 공보Japanese Patent Application Laid-Open No. 2000-50151 일본 특허공개 2012－239077호 공보Japanese Patent Application Laid-Open Publication No. 2012-239077

그러나, 특허 문헌 1(일본 특허공개 2000－50151호)에 기재된 기술에서는, 피사체가 움직임을 포함하는지의 여부를 판정하지만 노이즈 양을 판정하는 것은 아니므로, 이 기술은 WDR 합성 처리의 결과에 포함되는 노이즈 저감 기술과는 다르다. However, in the technique described in Patent Document 1 (Japanese Patent Application Laid-Open No. 2000-50151), it is determined whether or not the subject includes motion, but the amount of noise is not determined. Therefore, this technique is included in the result of WDR synthesis processing It is different from noise reduction technology.

또한, 특허 문헌 1에 기재된 기술은 사전 촬영을 전제로 하고 있기 때문에, 정지 화면용의 기술로서, 만일 동영상에 적용한다 하더라도 프레임 레이트(frame rate)가 큰 폭으로 저하되게 된다. 특허 문헌 2(일본 특허공개 2012－239077호)에 기재된 기술도 사전 촬영을 전제로 하고 있기 때문에, 정지 화면용의 기술로서, 만일 동영상에 적용한다 하더라도 프레임 레이트가 큰 폭으로 저하되게 된다. In addition, since the technique described in Patent Document 1 is based on a pre-shooting, it is a technology for still images, and even if applied to moving images, the frame rate is greatly reduced. The technique described in Patent Document 2 (Japanese Patent Application Laid-Open Publication No. 2012-239077) is premised on pre-shooting, and therefore, as a still picture technique, the frame rate is significantly reduced even if applied to moving pictures.

그밖에, WDR 합성 처리를 상황에 따라 오프(Off)로 하는 선행 기술이 존재하지만, WDR 합성 처리의 온(On) 및 오프(Off)의 처리 결과를 시간적으로 서서히 전환하는 기술은 공개되어 있지 않다. WDR 합성 처리의 결과를 동영상으로 얻는 시스템에 있어서, WDR 합성 처리의 온(On)과 오프(Off)를 갑자기 전환하면, WDR 합성 처리에 의하여 얻어지는 WDR 합성 처리의 결과에도 급격한 변화가 발생한다. WDR 합성 처리가 필요한 상황과 불필요한 상황이 서서히 전환되어야 함을 감안하면, WDR 합성 처리의 결과도 서서히 변화하는 것이 바람직하다. In addition, there is a prior art in which the WDR synthesis processing is turned off depending on the situation, but there is no technology disclosed that gradually shifts the processing result of On and Off of the WDR synthesis processing in terms of time. In the system for obtaining the result of the WDR synthesis processing as a moving picture, if the WDR synthesis processing is turned on or off suddenly, the result of the WDR synthesis processing obtained by the WDR synthesis processing also changes abruptly. Given the situation where the WDR synthesis process is necessary and the unnecessary situation must be gradually changed, it is desirable that the result of the WDR synthesis process also gradually changes.

따라서, 본 발명은 WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있는 기술을 제공하고자 한다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있는 기술을 제공 하고자 한다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있는 기술을 제공 하고자 한다.Accordingly, the present invention provides a technique for gradually reducing the noise included in the WDR combined image. Further, it is intended to provide a technique capable of gradually switching On and Off of the WDR synthesis process in accordance with a change in illumination environment of a subject in time. In addition, by setting the WDR synthesis-result ratio, a technique of outputting the same image as the long exposure image from the mixing unit at the time of WDR off (Off) is provided.

본 발명의 일 측면의 영상 처리 장치는 사용-영상 선택부, 합성부, 및 혼합부를 포함한다.An image processing apparatus according to an embodiment of the present invention includes a use-image selecting unit, a combining unit, and a mixing unit.

상기 사용-영상 선택부는 영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성한다.The use-image selector generates use-image selection information for selecting one of the short-exposure image and the long-exposure image detected by the image sensor for each pixel.

상기 합성부는 상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻는다.The combining unit synthesizes the short exposure image and the long exposure image according to the use-image selection information to obtain a composite image.

상기 혼합부는, 상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합한다.The mixing unit calculates a mixing ratio of the long-exposure image and the composite image according to a signal amplification degree of the image sensor, and mixes the composite image and the long-exposure image by the mixing ratio.

이러한 구성에 의하면, 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율이 제어될 수 있다. 예를 들어, 영상 센서의 신호 증폭도가 커짐에 따라 WDR 합성 영상에 포함되는 노이즈가 눈에 띄게 된다. 이에 따라, 혼합부가 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율을 변화시킴으로써, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있게 된다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있게 된다. According to this configuration, the WDR synthesis-result ratio can be controlled according to the signal amplification degree of the image sensor. For example, as the signal amplification of the image sensor increases, the noise included in the WDR composite image becomes conspicuous. Accordingly, the noise included in the WDR combined image can be gradually reduced by changing the WDR synthesis-result ratio according to the signal amplification degree of the mixed-signal image sensor. In addition, on and off of the WDR synthesis process can be gradually changed over time in accordance with the change of the illumination environment of the subject. Further, by setting the WDR synthesis-result ratio, it is possible to output the same image as the long exposure image from the mixing unit at the time of WDR off (Off).

상기 혼합부는, 상기 신호 증폭도의 소정 구간에서 상기 신호 증폭도의 증가에 따라, 상기 장노광 영상에 대한 상기 합성 영상의 혼합 비율을 감소시킬 수도 있다. 이러한 구성에 의하면, 소정 구간에서 영상 센서의 신호 증폭도가 높아질수록 장노광 영상의 선택 비율이 높아진다. 이에 따라, 소정 구간에서 WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다. The mixing unit may reduce the mixing ratio of the composite image with respect to the long-exposure image according to an increase in the signal amplification in a predetermined section of the signal amplification. According to this configuration, as the signal amplification degree of the image sensor increases in a predetermined section, the selection ratio of the long exposure image increases. Accordingly, it is possible to gradually reduce the noise included in the WDR combined image in a predetermined section.

본 발명의 다른 측면의 영상 처리 방법에 의하면, According to the image processing method of the other aspect of the present invention,

영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성함; Generating use-image selection information for selecting one of the short-exposure image and the long-exposure image detected by the image sensor for each pixel;

상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻음; 및 Synthesizing the short exposure image and the long exposure image according to the use-image selection information to obtain a composite image; And

상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합함;을 포함한다.Calculating a mixture ratio of the long-exposure image and the composite image according to a signal amplification degree of the image sensor, and mixing the composite image and the long-exposure image according to the mixing ratio.

이러한 방법에 의하면, 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율이 제어될 수 있다. 예를 들어, 영상 센서의 신호 증폭도가 커짐에 따라 WDR 합성 영상에 포함되는 노이즈가 눈에 띄게 된다. 이에 따라, 혼합부가 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율을 변화시킴으로써, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있게 된다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있게 된다. According to this method, the WDR synthesis-result ratio can be controlled according to the signal amplification degree of the image sensor. For example, as the signal amplification of the image sensor increases, the noise included in the WDR composite image becomes conspicuous. Accordingly, the noise included in the WDR combined image can be gradually reduced by changing the WDR synthesis-result ratio according to the signal amplification degree of the mixed-signal image sensor. In addition, on and off of the WDR synthesis process can be gradually changed over time in accordance with the change of the illumination environment of the subject. Further, by setting the WDR synthesis-result ratio, it is possible to output the same image as the long exposure image from the mixing unit at the time of WDR off (Off).

상기 본 발명에 의하면, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있다. 또한, 본 발명에 의하면, WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있다.According to the present invention, the noise included in the WDR combined image can be gradually reduced. Further, according to the present invention, on and off of WDR synthesis processing can be gradually changed over time. Further, by setting the WDR synthesis-result ratio, the same image as the long exposure image can be output from the mixing unit at the time of WDR off (Off).

도 1 및 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면들이다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치의 기능 및 구성을 나타내는 도면이다.
도 4는 WDR 합성-결과 비율의 산출에 대해 설명하기 위한 도면이다.1 and 2 are diagrams for explaining a general WDR synthesis technique.
3 is a diagram showing functions and configurations of an image processing apparatus according to an embodiment of the present invention.
4 is a diagram for explaining the calculation of the WDR synthesis-result ratio.

이하, 첨부된 도면을 참조하면서, 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.

또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소에 대해 동일한 부호의 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우에는 동일 부호만 붙인다. Also, in the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be identified by the same reference numerals with different alphabets. However, in the case where it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numeral is attached.

(일반적인 WDR 합성 기술) (General WDR synthesis technology)

우선, 일반적인 WDR 합성 기술에 대해 설명하기로 한다. First, a general WDR synthesis technique will be described.

도 1 및 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면이다. 도 1을 참조하면, 낮에 촬영된 영상들(단노광 영상(Img－a), 장노광 영상(Img－b) 및 합성 영상(Img－c))이 개시되어 있다. 1 and 2 are diagrams for explaining a general WDR synthesis technique. Referring to Fig. 1, images photographed during the day (a single exposure image Img-a, a long exposure image Img-b, and a composite image Img-c) are disclosed.

또한, 도 2를 참조하면, 야간에 촬영된 영상들(단노광 영상(Img－d), 장노광 영상(Img－e) 및 합성 영상(Img－f))이 개시되어 있다. Referring to Fig. 2, images taken at night (short exposure image Img-d, long exposure image Img-e, and composite image Img-f) are disclosed.

도 1에 도시한 바와 같이, 낮에 실내에서 맑은 하늘의 옥외를 촬영하는 장면에서, 실내에는 장노광 영상(Img－b)이 사용되고, 실외에는 단노광 영상(Img－a)이 사용되어 합성됨으로써, 실내 및 실외 모두 시인성이 높은 합성 영상(Img－c)을 얻을 수 있다. 1, a long exposure image Img-b is used in the room and a short exposure image Img-a is used outside the room in a scene where the outdoor of the clear sky is photographed in the daytime as shown in Fig. , A composite image (Img-c) with high visibility both indoors and outdoors can be obtained.

그런데, 저녁 시간대가 되면, 실외 및 실내 모두 어두워져 피사체의 밝기가 저하됨에 따라, 영상 센서는 전자적으로 신호를 증폭하여 출력함으로써 밝기를 유지하려고 한다. WDR 합성을 실시하는 블록에서 보면, 주간의 입력 신호와, 저녁 시간대의 증폭된 입력 신호는 밝기가 같거나 비슷하여 구별할 수 없다. 그러나, 저녁 시간대의 입력 신호는 영상 센서에 의하여 증폭되어 있으므로, 노이즈를 많이 포함하고, 특히 단노광 영상을 사용하는 영역에서는 노이즈가 눈에 띈다. However, in the evenings, when the outdoor and indoor areas become dark and the brightness of the subject drops, the image sensor electronically amplifies the signal and outputs it to maintain the brightness. In the block that performs the WDR synthesis, the input signal of the daytime and the amplified input signal of the evening time zone can not be distinguished because the brightness is the same or similar. However, since the input signal in the evening time zone is amplified by the image sensor, it includes a large amount of noise, and noise is conspicuous in a region where a short exposure image is used.

또한 도 2에 도시한 바와 같이, 야간의 시간대에서는 옥외나 옥내 모두 더욱 어두워져서, 영상 센서도 신호를 큰 폭으로 증폭하여 출력하게 된다. 특히 단노광 영상은 노광량이 적은 데다가 증폭되기 때문에, 노이즈 양이 큰 영상으로서 촬영된다. 그러나, 야간의 장노광 영상(Img－e)을 보면, 옥외에 존재하는 전광 간판이나 달은 포화 상태이고, WDR이 동작하고 있다면 전광 간판이나 달을 포함하는 영역에는 단노광 영상이 사용되게 된다. 그 결과, 전광 간판이나 달을 포함하는 영역에서는 노이즈가 상당히 현저한 합성 결과가 되는 문제가 있다. In addition, as shown in Fig. 2, in the night time zone, both outdoors and indoors become darker, and the image sensor also amplifies and outputs a signal with a large amplitude. Particularly, since the exposure amount of the short exposure is small and the amount of exposure is amplified, it is photographed as a large noise amount image. However, when viewing the long field exposure image (Img-e) at night, all the outdoor signboards and moon in the outdoor are saturated, and if the WDR is in operation, an exposure image is used in the area including the light signboard and the moon. As a result, there is a problem in that noise is significantly remarkably synthesized in an area including an all-electric signboard and a moon.

이러한 상황에서는 WDR 합성 처리의 효과에 비하여 노이즈에 의한 방해가 커질 수 있다. 단노광 영상의 품질이 너무 낮은 경우에는, WDR 합성 처리를 중지하고, 장노광 영상만을 사용하는 것이 바람직하다. In such a situation, noise interference may be greater than the effect of WDR synthesis processing. If the quality of the exposure image is too low, it is preferable to stop the WDR synthesis processing and use only the long exposure image.

따라서, 본 명세서에서는 WDR 처리 결과를 동영상으로 얻는 WDR 시스템을 전제로 하여 영상 센서의 신호 증폭도를 참조하고, 영상 센서의 신호 증폭도가 소정 구간인 경우(예를 들어, 영상 센서의 신호 증폭도가 높은 경우), 장노광 영상의 선택 비율을 높인다. 이러한 구성에 의하면, 노이즈가 적은 WDR 처리 결과가 얻어지고, WDR 처리 결과를 시간적으로 서서히 전환시킬 수 있다. Therefore, in the present specification, the signal amplification of the image sensor is referred to as a premise of a WDR system in which the WDR processing result is obtained as a moving image, and when the signal amplification degree of the image sensor is a predetermined period (for example, ), The selection ratio of the long exposure image is increased. According to such a configuration, a WDR processing result with little noise can be obtained, and the WDR processing result can be gradually changed over time.

(실시예) (Example)

우선, 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성을 나타내는 도면이다. First, the functional configuration of the image processing apparatus 1 according to the embodiment of the present invention will be described. 3 is a diagram showing a functional configuration of the image processing apparatus 1 according to the embodiment of the present invention.

도 3에 도시한 바와 같이, 영상 처리 장치(1)는 영상 센서(10), 프레임 메모리(20), 사용-영상 선택부(40), 움직임 검출부(50), WDR 합성부(60), 계조 압축부(80) 및 혼합부(90)를 구비한다. 이하, 영상 처리 장치(1)가 포함하는 각 기능 블록의 기능에 대해 차례로 상세히 설명하기로 한다. 3, the image processing apparatus 1 includes an image sensor 10, a frame memory 20, a use-image selecting unit 40, a motion detecting unit 50, a WDR combining unit 60, A compression section 80 and a mixing section 90. Hereinafter, the function of each functional block included in the image processing apparatus 1 will be described in detail.

영상 처리 장치(1)는 영상 센서(10)의 노광 설정을 바꾸면서 2장의 영상들을 연속 촬영한다. 본 실시예의 경우, 단노광 촬영이 먼저 수행되고, 그 다음에 장노광 촬영이 수행된다. 물론, 장노광 촬영이 먼저 수행되고, 그 다음에 단노광 촬영이 수행될 수도 있다. The image processing apparatus 1 successively captures two images while changing the exposure setting of the image sensor 10. In the case of this embodiment, the single exposure exposure is performed first, and then the long exposure exposure is performed. Of course, the long exposure exposure may be performed first, and then the short exposure exposure may be performed.

이와 같이 촬영된 단노광 영상 및 장노광 영상은 쌍으로서 프레임 메모리(20)에 기입된다. 장노광 영상 및 단노광 영상의 촬영과, 촬영된 장노광 영상 및 단노광 영상의 프레임 메모리(20)로의 기입은 연속적으로 행해진다. The photographed short exposure image and long exposure image are written to the frame memory 20 as a pair. The photographing of the long exposure image and the short exposure image, and the writing of the long exposure image and the short exposure image to the frame memory 20 are successively performed.

또한, 도 3에 도시한 예에 있어서, 영상 처리 장치(1)는 장노광 영상 및 단노광 영상을 출력하기 위한 공통의 계통을 하나 가지고, 영상 센서(10)가 장노광 영상과 단노광 영상을 시분할로 출력한다. 하지만, 영상 처리 장치(1)는 장노광 영상과 단노광 영상을 동시에 출력할 수도 있다. 이러한 경우, 영상 처리 장치(1)는 영상 센서(10)로부터의 장노광 영상을 출력하기 위한 계통과, 단노광 영상을 출력하기 위한 계통을 가질 수 있다. 각각의 셔터 타임은, 예를 들어, 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의하여 정해진다. 3, the image processing apparatus 1 has a common system for outputting a long exposure image and a short exposure image, in which the image sensor 10 outputs a long exposure image and a short exposure image Output in time division. However, the image processing apparatus 1 may simultaneously output the long exposure image and the short exposure image. In this case, the image processing apparatus 1 may have a system for outputting a long-exposure image from the image sensor 10 and a system for outputting a short-exposure image. The respective shutter times are determined, for example, by the dynamic range of the subject, the image sensor specification, and the like.

또한 본 발명의 실시예에서는, 단노광 영상 및 장노광 영상이라는 용어를 사용하고 있는데, 이러한 용어가 촬영된 2 개의 영상들 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 2 개의 영상들이 촬영된 경우, 그 2 개의 영상들 중 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 해당하고, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 해당한다. Also, in the embodiment of the present invention, the term " single exposure image " and " long exposure image " are used, but the term does not limit the absolute exposure time of each of two captured images. Accordingly, when two images having different exposure times are photographed, an image having a relatively short exposure time corresponds to a short exposure image, and a relatively long exposure time corresponds to a long exposure image.

영상 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하며, 당해 전하량을 전기 신호로 변환하는 이미지 영상 센서에 의하여 구성된다. 이미지 영상 센서의 종류는 특별히 한정되지 않고, 예를 들어, CCD(Charge　Coupled　Deｖice)일 수도 있고, CMOS(Complementary　Metal　Oxide　Semiconductor)일 수도 있다. The image sensor 10 is constituted by an image image sensor that forms an image on the light receiving plane of an image pickup element from outside, photoelectrically converts the formed light into a charge amount, and converts the amount of electric charge into an electric signal. The type of the image sensor is not particularly limited, and may be, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

예를 들어, 영상 센서(10)는 소정의 배율(수 내지 수십 배)의 노광 비율을 취하고 단노광 영상 및 장노광 영상을 검출(촬영)한다. 영상 센서(10)는, 피사체가 어두워지면 영상 신호를 전자적으로 증폭하여 출력하고, 그 증폭도의 정보(이하, "신호 증폭도"라고도 함)를 혼합부(90)에게 제공한다. For example, the image sensor 10 takes an exposure ratio of a predetermined magnification (several to several tens of times) and detects (captures) a single exposure image and a long exposure image. The image sensor 10 electronically amplifies and outputs a video signal when the object becomes dark, and provides information about the amplification degree (hereinafter, also referred to as "signal amplification degree") to the mixing section 90.

사용-영상 선택부(40)는, 프레임 메모리(20)로부터 독출한 단노광 영상과 장노광 영상을 참조하여 장노광 영상 및 단노광 영상 각각의 포화 상태나 움직임 등을 검출하고, 단노광 영상과 장노광 영상 중 어느 하나를 사용-영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 단노광 영상과 장노광 영상 중 어느 하나를 선택하는 알고리즘으로서 다양한 알고리즘들이 있다. The use-image selecting unit 40 detects the saturation state or motion of each of the long-exposure image and the short-exposure image by referring to the short exposure image and the long exposure image read from the frame memory 20, And the long-exposure image-use-image selection information for selecting as the image. There are various algorithms for selecting either an exposure image or a long exposure image.

예를 들어, 사용-영상 선택부(40)는, 장노광 영상 또는 단노광 영상의 화소값과 문턱값 제어부(30)에 의하여 제어된 포화 검출 문턱값과의 관계에 따라, 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성한다. For example, the use-image selecting unit 40 may select a single exposure image and a long exposure image according to the relationship between the pixel value of the long exposure image or the short exposure image and the saturation detection threshold value controlled by the threshold value controller 30 And generates use-image selection information for selecting any one of the exposure images for each pixel.

보다 상세하게는, 사용-영상 선택부(40)는, 장노광 영상에서 포화 검출 문턱값을 초과하는 화소값을 갖는 화소인 경우, 이 화소의 사용-영상으로서 단노광 영상을 선택할 수 있다. 또한, 사용-영상 선택부(40)는, 단노광 영상에서 포화 검출 문턱값보다 낮은 화소값을 갖는 화소인 경우, 이 화소의 사용-영상으로서 장노광 영상을 선택할 수 있다.More specifically, when the use-image selecting unit 40 is a pixel having a pixel value exceeding the saturation detection threshold value in the long-exposure image, the use-image selecting unit 40 can select the short-exposure image as the use-image of the pixel. If the use-image selector 40 is a pixel having a pixel value lower than the saturation detection threshold value in the single-exposure image, the use-image selector 40 can select the long-exposure image as the use-image of the pixel.

움직임 검출부(50)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출 방법은 한정되지 않지만, 단노광 영상 및 장노광 영상으로부터 움직임을 검출하는 경우, 어느 하나의 영상에 대해 노광 비율에 따른 게인을 곱하여 정규화한 후에 차분을 산출하는 것이 바람직하다. 또한, 움직임 검출 정보의 생성 방법은 특별히 한정되지 않는다. 예를 들어, 움직임 검출부(50)는 단노광 영상과 장노광 영상과에 따라 검출한 움직임과 소정의 움직임량과의 관계에 따라 움직임 검출 정보를 생성할 수 있다. The motion detection unit 50 detects motion and generates motion detection information. The motion detection method is not limited. However, in the case of detecting motion from a short-exposure image and a long-exposure image, it is preferable to calculate the difference after multiplying one of the images by a gain according to an exposure ratio and performing normalization. The method of generating motion detection information is not particularly limited. For example, the motion detection unit 50 may generate motion detection information according to a relationship between a motion detected according to a short exposure image and a long exposure image, and a predetermined amount of motion.

구체적으로, 움직임 검출부(50)는 단노광 영상과 장노광 영상에 있어서, 대응되는 영역의 화소값 또는 기울기의 차분을 검출하고, 차분이 소정의 움직임량 보다 큰 영역을 움직임 영역으로 검출할 수 있다. 한편, 움직임 검출부(50)는 차분이 소정의 움직임량 보다 작은 영역을 비움직임 영역으로 검출할 수 있다. 차분이 소정의 움직임량과 동일한 영역은 어느 하나의 영역으로 검출될 수도 있다. 움직임 검출부(50)는 이러한 검출 결과를 움직임 검출 정보로서 생성할 수 있다. Specifically, the motion detector 50 detects a difference between a pixel value or a gradient of a corresponding region in a short-exposure image and a long-exposure image, and detects a region in which the difference is larger than a predetermined amount of motion as a motion region . On the other hand, the motion detecting section 50 can detect an area having a difference smaller than a predetermined amount of motion as a non-moving area. An area where the difference is equal to a predetermined motion amount may be detected as any one area. The motion detection section 50 can generate the detection result as motion detection information.

WDR 합성부(60)는 사용-영상 선택부(40)에 의하여 생성된 사용-영상 선택 정보에 따라 단노광 영상과 장노광 영상을 합성함으로써 WDR 합성 영상을 생성한다. 구체적으로는, WDR 합성부(60)는 사용-영상 선택 정보를 참조하여 단노광 영상 사용 영역에는 단노광 영상을 사용하고, 장노광 영상 사용 영역에는 장노광 영상을 사용하여 합성 영상을 생성한다. 합성시에는 어느 하나의 영상에 대해 노광 비율에 따른 게인을 곱하여 정규화한 후에 합성되는 것이 바람직하다. The WDR synthesis unit 60 generates a WDR composite image by synthesizing a short exposure image and a long exposure image according to the use-image selection information generated by the use-image selection unit 40. [ Specifically, the WDR synthesis unit 60 refers to the use-image selection information to generate a composite image using a short-exposure image in a short exposure image use region and a long exposure image in a long exposure image use region. It is preferable that one image is synthesized after being normalized by multiplying the gain according to the exposure ratio at the time of synthesis.

여기에서, WDR 합성부(60)는 사용-영상 선택부(40)에 의하여 생성된 사용-영상 선택 정보에 따라 단노광 영상 및 장노광 영상을 합성할 수도 있다. 하지만, 이러한 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등의 아티팩트(artifact)가 발생할 수 있다. 그 때문에, WDR 합성부(60)는 움직임에 따라 윤곽이 이중이 되는 현상을 저감하는 처리를 수행할 수도 있다. 이러한 처리를 포함하는 단노광 영상과 장노광 영상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다. 또한 영상 센서(10)의 분해 능력을 12비트로 하였을 때, WDR 합성 영상의 각 화소는 16 비트 정도로 확장될 수 있다. Here, the WDR combining unit 60 may combine the short exposure image and the long exposure image according to the use-image selection information generated by the use-image selection unit 40. FIG. However, such processing may cause an artifact such as a double contour in a region with large motion. Therefore, the WDR combining section 60 may perform a process of reducing the phenomenon that the contour becomes double according to the motion. The algorithm for selecting either the short-exposure image or the long-exposure image including such a process is not particularly limited. Also, when the resolution of the image sensor 10 is set to 12 bits, each pixel of the WDR combined image can be expanded to about 16 bits.

계조 압축부(80)는 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 거두기 위한 압축 처리를 WDR 합성부(60)에 의하여 생성된 WDR 합성 영상에 대해 실시한다. 이러한 압축 처리에 있어서, 룩업 테이블(LUT : Look-Up Table)에 따른 톤 매핑이 이용될 수 있는데, 이에 특별히 한정되는 것은 아니며 어떠한 방법이나 이용 가능하다.The gradation compression unit 80 performs a compression process on the WDR synthesized image generated by the WDR synthesis unit 60 to adjust the bit range of the video signal having a wide dynamic range to a predetermined bit range. In such a compression process, tone mapping according to a look-up table (LUT) can be used. However, the present invention is not particularly limited thereto and any method can be used.

계조 압축부(80)의 후단은, 예를 들어, 베이어 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 관리 등을 포함하는 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 신호의 데이터 양은, 예를 들어, 영상 처리 엔진으로의 입력 데이터의 크기(size)에 적합하도록(예를 들어, 12 비트 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기(size)만 저하시켜서는 어두운 영상으로 변환되기만 할 뿐이므로, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되는 것이 바람직하다. The rear end of the gradation compression unit 80 is connected to an image processing engine that includes, for example, a demosaic unit for generating RGB frames from Bayer data, an outline emphasis unit, color management, and the like. Therefore, it is preferable that the data amount of the output signal from the tone compression section 80 is adjusted (for example, to about 12 bits) so as to match the size of the input data to the image processing engine, for example. It is preferable that the high luminance side is strongly compressed so as to approximate human visual characteristics since it is merely converted into a dark image by simply lowering the data size.

혼합부(90)는, 영상 센서(10)의 신호 증폭도에 따라 계조 압축부(80)로부터 출력된 계조 압축 처리 결과와 프레임 메모리(20)로부터 취출된 장노광 영상의 혼합 비율을 산출하고, 산출한 혼합 비율에 의하여 계조 압축 처리 결과와 장노광 영상을 혼합한다. The mixing section 90 calculates the mixture ratio of the gradation compression processing result output from the gradation compression section 80 and the long exposure image extracted from the frame memory 20 in accordance with the signal amplification degree of the image sensor 10, The gradation compression processing result and the long exposure image are mixed by one mixing ratio.

장노광 영상에 대한 WDR 합성 결과의 혼합 비율(이하, "WDR 합성-결과 비율"이라 함)의 산출에 대해 도 4를 이용하여 구체적으로 설명하기로 한다. The calculation of the blending ratio of the WDR combining result (hereinafter referred to as "WDR combining-result ratio") with respect to the long exposure image will be described in detail with reference to FIG.

피사체가 밝을 때, 영상 센서(10)는 어떠한 신호 증폭도 하지 않는다. 따라서, 혼합부(90)는, 영상 센서(10)로부터 입력되는 신호 증폭이 없다는 취지의 정보에 따라 WDR 합성부(60)에 의하여 생성된 WDR 합성 결과를 100 퍼센트(%) 사용하도록 WDR 합성-결과 비율을 산출하고, WDR 합성부(60)에 의하여 생성된 WDR 합성 결과를 WDR의 최종 결과로서 출력한다. When the subject is bright, the image sensor 10 does not amplify any signal. Therefore, the mixing section 90 performs WDR synthesis so that 100% (%) of the WDR synthesis result produced by the WDR synthesis section 60 is used in accordance with the information indicating that there is no signal amplification from the image sensor 10, And outputs the WDR synthesis result generated by the WDR synthesis unit 60 as the final result of the WDR.

한편, 피사체가 어두워지면, 영상 센서(10)가 신호 증폭을 실시하게 된다. 따라서, 혼합부(90)는 영상 센서(10)의 신호 증폭도가 소정 구간의 범위 내에 들어가는 경우, 영상 센서(10)의 신호 증폭도의 증가에 따라 WDR 합성-결과 비율을 감소시키고, 장노광 영상의 혼합 비율을 높이도록 제어한다. 그리고, 혼합부(90)는 영상 센서(10)의 신호 증폭도가 최대 값에 이르면, 장노광 영상의 혼합 비율을 100 퍼센트(%)로 하여 특히 단노광 영상에서 현저해지는 노이즈의 영향을 배제한다. On the other hand, when the subject becomes dark, the image sensor 10 performs signal amplification. Therefore, when the signal amplification degree of the image sensor 10 falls within a predetermined range, the mixing unit 90 reduces the WDR synthesis-result ratio in accordance with the increase of the signal amplification degree of the image sensor 10, So that the mixing ratio is increased. When the signal amplification degree of the image sensor 10 reaches the maximum value, the mixing unit 90 eliminates the influence of the noise that becomes remarkable especially in the short exposure image, with the blending ratio of the long exposure image being 100% (%).

예를 들어, 피사체의 밝기가 서서히 저하하는 상황에서는, 영상 센서(10)의 신호 증폭도는 서서히 상승하고, 이에 따라 WDR 합성-결과 비율이 서서히 감소되므로(장노광 영상의 선택 비율이 서서히 높아지므로), WDR 합성 처리의 효과를 시간적으로 서서히 변경할 수 있다. 또한, 이러한 구성에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부(90)로부터 출력시킬 수 있게 된다. For example, in a situation in which the brightness of the subject gradually decreases, the signal amplification degree of the image sensor 10 gradually increases, and the WDR synthesis-result ratio is gradually decreased (the selection ratio of the long exposure image gradually increases) , The effect of the WDR synthesis processing can be gradually changed over time. Also, with this configuration, it is possible to output the same image as the long exposure image from the mixing unit 90 at the time of WDR off (Off).

도 3에 도시한 예에 있어서, 영상 센서(10)로부터 영상 센서의 신호 증폭도가 혼합부(90)에 직접 출력되고 있다. 예를 들어, 혼합부(90) 전체가 하드웨어에 의하여 구성되어 있는 경우나, 소프트웨어의 실행에 의하여 실현되고 있는 경우에는 이러한 구성을 가질 수 있다. 그러나, 혼합부(90) 중 WDR 합성-결과 비율을 제어하는 구성이 펌 웨어에 의하여 구성될 수도 있다. 이러한 경우에는 영상 센서(10)에 의한 신호 증폭도가 영상 센서(10)로부터 당해 펌 웨어에 올려지고, 혼합부(90)에 의하여 사용되는 WDR 합성-결과 비율이 당해 펌 웨어에 의하여 제어될 수 있다. In the example shown in Fig. 3, the signal amplification degree of the image sensor is directly output from the image sensor 10 to the mixing section 90. [ For example, when the entire mixing section 90 is constituted by hardware, or when the mixing section 90 is realized by execution of software, such configuration can be provided. However, a configuration for controlling the WDR synthesis-result ratio among the mixing units 90 may be configured by the firmware. In this case, the signal amplification by the image sensor 10 is uploaded to the firmware from the image sensor 10, and the WDR synthesis-result ratio used by the mixing unit 90 can be controlled by the firmware .

또한, 영상 센서(10)에 의한 신호 증폭도가 최대 값이 되었을 때, 장노광 영상의 혼합 비율도 100 퍼센트(%)로 설정되는 예에 대하여 위에서 설명하였다. 그러나, 본 발명의 실시예의 목적은 WDR 합성 결과의 노이즈가 두드러지지 않게 하는 데에 있다. 따라서, WDR 합성 영상에 포함되는 노이즈가 두드러지지 않는 경우 등에 있어서는 장노광 영상의 혼합 비율로서 100 퍼센트(%) 보다 낮은 값으로 설정할 수도 있다. In addition, the example in which the mixing ratio of the long exposure image is set to 100 percent (%) when the signal amplification degree by the image sensor 10 becomes the maximum value has been described above. However, an object of the embodiment of the present invention is to prevent noise from being a result of WDR synthesis. Therefore, when the noise included in the WDR composite image is not noticeable, the blending ratio of the long exposure image may be set to a value lower than 100 percent (%).

또한, 영상 센서(10)에서의 신호 증폭의 개시 타이밍과 WDR 합성-결과 비율을 감소시키기 시작하는 타이밍은 동시가 아닐 수 있다. 상술한 바와 같이, 본 발명의 실시예의 목적은 WDR 합성 결과의 노이즈가 두드러지지 않게 하는 것이다. 따라서, 영상 센서(10)의 신호 증폭이 개시된다 하더라도, WDR 합성 영상에 포함되는 노이즈가 두드러지지 않는 경우 등에 있어서는 WDR 합성-결과 비율을 변경하지 않을 수 있다. In addition, the timing of starting the signal amplification in the image sensor 10 and the timing of starting to reduce the WDR synthesis-result ratio may not be simultaneous. As described above, the object of the embodiment of the present invention is to prevent the noise of the WDR synthesis result from being conspicuous. Therefore, even if the signal amplification of the image sensor 10 is started, the WDR synthesis-result ratio may not be changed in a case where the noise included in the WDR combined image is not noticeable.

이상 설명한 바와 같이, 본 발명의 실시예에 의하면, 노광 상태가 악화되어 단노광 영상에 포함되는 노이즈 양이 매우 증가하는 경우, WDR 합성시의 장노광 영상의 선택 비율을 높이므로써 노이즈의 영향을 저감한 WDR 합성 영상을 얻을 수 있다. 또한, 피사체의 조명 환경이나 노광 상태에 따라 WDR 합성 처리의 효과를 시간적으로 서서히 전환할 수 있다. 또한, 이러한 구성에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부(90)로부터 출력시킬 수 있게 된다. As described above, according to the embodiment of the present invention, when the exposure state is deteriorated and the amount of noise included in the short exposure image is greatly increased, the influence of noise is reduced by increasing the selection ratio of the long exposure image in WDR synthesis A WDR composite image can be obtained. Further, the effect of the WDR combining process can be gradually changed over time depending on the illumination environment or the exposure state of the subject. Also, with this configuration, it is possible to output the same image as the long exposure image from the mixing unit 90 at the time of WDR off (Off).

(정리) (theorem)

본 발명의 실시예에서는, 영상 센서에서 신호가 증폭되는 노광 상태가 열악한 상황에서는 단노광 영상을 사용하는 WDR 처리를 오프(Off)로 한다고 하는 사고에 따라, 영상 센서의 신호 증폭도에 따라 장노광 영상의 비율을 제어한다. 예를 들어, 영상 센서의 신호 증폭도가 소정 구간에서는(예를 들어, 영상 센서의 신호 증폭도가 높을 때는), 장노광 영상의 비율을 높인다. 이에 따라 WDR 처리 영상 중에 포함되는 노이즈를 서서히 저감할 수 있다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 처리의 온(On)과 오프(Off)를 시간적으로 서서히 전환할 수 있다. According to the embodiment of the present invention, in the event that the exposure state in which the signal is amplified by the image sensor is poor, the WDR processing using the short exposure image is turned off, . For example, when the signal amplification degree of the image sensor is a predetermined section (for example, when the signal amplification degree of the image sensor is high), the ratio of the long exposure image is increased. Thus, the noise included in the WDR-processed image can be gradually reduced. In addition, on and off of the WDR process can be gradually changed over time in accordance with the change of the illumination environment of the subject.

WDR(Wide Dynamic Range) 기술은 중요시되고 있다. 종래 기술에서는 어두운 장면에서 단노광 영상이 합성되면 노이즈가 매우 두드러지는 것이 큰 문제였다. 또한, 그러한 상황에서 WDR 처리를 오프(Off)로 하려고 하면, 처리 영상에 갑작스러운 변화를 발생시키게 되어 가능한 그러한 변화를 억제하려는 요청이 있었다. WDR (Wide Dynamic Range) technology is becoming important. In the prior art, when a short-exposure image is synthesized in a dark scene, noise becomes very prominent. In addition, there has been a demand to suppress such a change by causing a sudden change in the processed image if the WDR processing is turned off in such a situation.

본 발명의 실시예는 피사체의 조명 환경과 관련성이 높은 영상 센서의 신호 증폭도를 참조하여 장노광 영상의 사용 비율을 높이므로써, 종래에 문제가 되었던 노이즈를 효과적으로 저감할 수 있다. 또한, WDR 처리의 온(On)과 오프(Off)를 시간적으로 서서히 변화시키는 것도 가능하다. WDR 처리 결과와 장노광 영상의 혼합 비율을 변화시키는 구성에서는 보다 자연스러운 WDR 처리 영상을 얻을 수 있다. 또한, 2차원의 계조 처리와 조합하는 경우에도, 적은 사용 메모리로 실현되는 구성을 제시하였다. The embodiment of the present invention increases the use ratio of the long exposure image with reference to the signal amplification degree of the image sensor which is highly related to the illumination environment of the subject, thereby effectively reducing noise that has been a problem in the related art. It is also possible to gradually change the On and Off states of the WDR processing in terms of time. A more natural WDR processed image can be obtained in the configuration in which the mixing ratio of the WDR processing result and the long exposure image is changed. In addition, even in the case of combining with two-dimensional gradation processing, a structure realized with a small use memory has been proposed.

종래의 문제를 효과적으로 해결할 뿐만 아니라, 프레임 레이트의 저하라는 성능 저하 없이 실현할 수 있는 점, 및 구성이 간단하고 작은 회로 규모로 실현 가능한 점도 뛰어난 점으로서 들 수 있다. The present invention can be realized not only effectively solving the conventional problems but also realizing it without lowering the performance of the frame rate and achieving a simple configuration and a small circuit scale.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종의 변경예 또는 수정예에 도달할 수 있음은 명백하고, 이것들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. Of the present invention.

영상 처리와 관련된 모든 분야에서 이용될 가능성이 높다.It is likely to be used in all fields related to image processing.

1 : 영상 처리 장치, 10 : 영상 센서,
20 : 프레임 메모리, 40 : 사용-영상 선택부,
50 : 움직임 검출부, 60 : WDR 합성부,
80 : 계조 압축부, 90 : 혼합부.1: image processing apparatus, 10: image sensor,
20: frame memory, 40: use-image selector,
50: motion detection unit, 60: WDR synthesis unit,
80: gradation compression unit, 90: mixing unit.

Claims (3)

영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성하는 사용-영상 선택부;
상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻는 합성부; 및
상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합하는 혼합부;를 포함하는, 영상 처리 장치.A use-image selection unit for generating use-image selection information for selecting one of the short-exposure image and the long-exposure image detected by the image sensor for each pixel;
A synthesizer for synthesizing the short exposure image and the long exposure image according to the use-image selection information to obtain a composite image; And
And a mixing unit for calculating a mixing ratio of the long-exposure image and the composite image according to a signal amplification degree of the image sensor, and mixing the composite image and the long-exposure image by the mixing ratio. 제1항에 있어서, 상기 혼합부는,
상기 신호 증폭도의 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 장노광 영상에 대한 상기 합성 영상의 혼합 비율을 감소시키는, 영상 처리 장치.The apparatus according to claim 1,
Wherein the blending ratio of the composite image to the long-exposure image is reduced according to an increase in the signal amplification in a predetermined section of the signal amplification. 영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성함;
상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻음; 및
상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합함;을 포함하는, 영상 처리 방법.Generating use-image selection information for selecting one of the single exposure image and the long exposure image detected by the image sensor for each pixel;
Synthesizing the short exposure image and the long exposure image according to the use-image selection information to obtain a composite image; And
Calculating a mixture ratio of the long-exposure image and the composite image according to a signal amplification degree of the image sensor, and mixing the composite image and the long-exposure image according to the mixing ratio.
KR1020150040961A 2014-09-09 2015-03-24 Image processing apparatus and image processing method KR102247597B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-183727 2014-09-09
JP2014183727A JP6376339B2 (en) 2014-09-09 2014-09-09 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
KR20160030352A true KR20160030352A (en) 2016-03-17
KR102247597B1 KR102247597B1 (en) 2021-05-03

Family

ID=55651644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150040961A KR102247597B1 (en) 2014-09-09 2015-03-24 Image processing apparatus and image processing method

Country Status (2)

Country Link
JP (1) JP6376339B2 (en)
KR (1) KR102247597B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045553A (en) * 2016-10-26 2018-05-04 한화테크윈 주식회사 Wide Dynamic Range Apparatus
WO2019022812A1 (en) * 2017-07-27 2019-01-31 Raytheon Company Multiplexed high dynamic range images
KR20190126232A (en) * 2018-05-01 2019-11-11 한화테크윈 주식회사 Apparatus and method for processing images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (en) 1998-07-28 2000-02-18 Olympus Optical Co Ltd Image pickup device
JP2011010108A (en) * 2009-06-26 2011-01-13 Seiko Epson Corp Imaging control apparatus, imaging apparatus, and imaging control method
JP2012029029A (en) * 2010-07-23 2012-02-09 Seiko Epson Corp Image processing device, image processing method and imaging device
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
JP2013106151A (en) * 2011-11-11 2013-05-30 Canon Inc Image processing apparatus and image processing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119290B2 (en) * 2003-03-28 2008-07-16 松下電器産業株式会社 Video processing apparatus and imaging system
JP4893569B2 (en) * 2007-09-28 2012-03-07 ソニー株式会社 Imaging apparatus, imaging control method, and imaging control program
JP2011199785A (en) * 2010-03-23 2011-10-06 Olympus Corp Imaging apparatus and method
JP5713752B2 (en) * 2011-03-28 2015-05-07 キヤノン株式会社 Image processing apparatus and control method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (en) 1998-07-28 2000-02-18 Olympus Optical Co Ltd Image pickup device
JP2011010108A (en) * 2009-06-26 2011-01-13 Seiko Epson Corp Imaging control apparatus, imaging apparatus, and imaging control method
JP2012029029A (en) * 2010-07-23 2012-02-09 Seiko Epson Corp Image processing device, image processing method and imaging device
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
JP2013106151A (en) * 2011-11-11 2013-05-30 Canon Inc Image processing apparatus and image processing method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045553A (en) * 2016-10-26 2018-05-04 한화테크윈 주식회사 Wide Dynamic Range Apparatus
WO2019022812A1 (en) * 2017-07-27 2019-01-31 Raytheon Company Multiplexed high dynamic range images
US10467733B2 (en) 2017-07-27 2019-11-05 Raytheon Company Multiplexed high dynamic range images
KR20200022041A (en) * 2017-07-27 2020-03-02 레이던 컴퍼니 Multiplexed high dynamic range image
KR20190126232A (en) * 2018-05-01 2019-11-11 한화테크윈 주식회사 Apparatus and method for processing images
US10554902B2 (en) 2018-05-01 2020-02-04 Hanwha Techwin Co., Ltd. Apparatus and method for processing images

Also Published As

Publication number Publication date
JP6376339B2 (en) 2018-08-22
JP2016058890A (en) 2016-04-21
KR102247597B1 (en) 2021-05-03

Similar Documents

Publication Publication Date Title
US8169500B2 (en) Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus
US9363446B2 (en) Automatic exposure control for sequential images
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US20120019686A1 (en) Image synthesizing device, image synthesizing method and computer readable medium
CN110266954B (en) Image processing method, image processing device, storage medium and electronic equipment
JP2015082675A (en) Image processing device and image processing method
JP6045896B2 (en) Evaluation value calculation apparatus and evaluation value calculation method
JP2013106169A (en) Image synthesis apparatus and program
KR101964228B1 (en) Image processing apparatus and image processing method
JP6543787B2 (en) Image processing apparatus and image processing method
KR102247597B1 (en) Image processing apparatus and image processing method
CN110278386B (en) Image processing method, image processing device, storage medium and electronic equipment
KR102199472B1 (en) Apparatus and method for processing image
JP5146500B2 (en) Image composition apparatus, image composition method, and program
JP6563646B2 (en) Image processing apparatus and image processing method
JP6200687B2 (en) Image processing apparatus and image processing method
JP6173027B2 (en) Image processing apparatus and image processing method
KR102182696B1 (en) Image processing apparatus and image processing method
JP6121234B2 (en) Image processing apparatus and image processing method
KR102170697B1 (en) Image processing apparatus and image processing method
WO2015079481A1 (en) Image capture method and image capture apparatus
Choi et al. Illuminance Dynamic Range Expansion using Gamma & Multi-Point Knee for Smart Phone Camera
JP5597124B2 (en) Image signal processing device
JP2010193112A (en) Image processing apparatus and digital still camera
JP2013132082A (en) Image synthesizer and program

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant