KR20150118004A - Movement detecting apparatus and movement detecting method - Google Patents
Movement detecting apparatus and movement detecting method Download PDFInfo
- Publication number
- KR20150118004A KR20150118004A KR1020140128284A KR20140128284A KR20150118004A KR 20150118004 A KR20150118004 A KR 20150118004A KR 1020140128284 A KR1020140128284 A KR 1020140128284A KR 20140128284 A KR20140128284 A KR 20140128284A KR 20150118004 A KR20150118004 A KR 20150118004A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- exposure image
- motion detection
- long
- exposure
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims abstract description 248
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은, 움직임 검출 장치 및 움직임 검출 방법에 관한 것으로서, 보다 상세하게는, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)의 촬영 기능과 관련되어 있는 움직임 검출 장치 및 움직임 검출 방법에 관한 것이다.BACKGROUND OF THE
최근, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 증가하고 있다. 이 촬영 기능에 의하면, 단시간 노광의 영상(이하, "단노광 영상"이라 함)과 장시간 노광의 영상(이하, "장노광 영상"이라 함)을 연속 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 벗어난 다이나믹 레인지를 얻을 수 있다. 이와 같은 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서 특히 큰 효과가 있다.In recent years, imaging functions such as WDR (Wide Dynamic Range) or HDR (High Dynamic Range) have been increasing. According to this photographing function, by continuously photographing an image of a short time exposure (hereinafter referred to as a "short exposure image") and an image of a long time exposure (hereinafter referred to as "long exposure image") and synthesizing them, A dynamic range out of the range can be obtained. Such a photographing function is particularly effective in a scene having a very high contrast ratio, such as a composition of backlight.
이와 같이 단노광 영상과 장노광 영상을 합성함에 있어서, 피사체에 움직임이 있으면 합성시에 어긋남이 발생하여 윤곽이 이중이 되는 아티팩트(artifact)가 발생한다. 이러한 아티팩트를 줄이기 위하여, 촬영된 영상으로부터 움직임을 검출하여 움직임 정보를 생성하고, 움직임 정보를 사용하여 적응적인 합성 처리를 하는 기법이 이용된다. 이와 같이 움직임 정보를 사용하여 아티팩트(artifact)를 줄이기 위한 기술로서 다양한 기술이 개시되어 있다.In synthesizing the short-exposure image and the long-exposure image, if there is movement of the subject, a shift occurs in the synthesis, and an artifact occurs in which the outline is doubled. In order to reduce these artifacts, a technique of detecting motion from a photographed image to generate motion information and performing adaptive synthesis processing using motion information is used. Various techniques have been disclosed as techniques for reducing artifacts using motion information.
예를 들어, 일본 특허공개 2013-066142호 공보(이하 특허 문헌 1이라 함)를 참조하면, 장노광 영상의 노광 시간이 길기 때문에 피사체의 움직임에 기인한 흐려짐(blur, bokeh, 이하 흐려짐이라 함)이 발생하는 점에 착안하여, 움직임이 있는 영역에서는 단노광 영상을 주로 사용하면서 합성 처리를 하여, 흐려짐(blur, bokeh)이나 아티팩트(artifact)가 없는 합성 결과를 얻는다.For example, referring to Japanese Patent Laid-Open Publication No. 2013-066142 (hereinafter referred to as Patent Document 1), blur, bokeh (hereinafter referred to as blurring) caused by movement of a subject is long because of a long exposure time of a long- Attention is paid to the point where the motion occurs, and in the motion area, synthesis processing is performed while mainly using a short-exposure image to obtain a synthesis result without blur, bokeh, or artifact.
여기에서 특허 문헌 1에 기재된 기술에서는, 움직임 검출은 단노광 영상과 장노광 영상을 노광 비율로 정규화한 다음에 양자의 차이값들을 연산함으로써 이루어진다. 또한, 특허 문헌 1에 기재된 기술에서는, 노이즈(noise)의 영향을 최대한 배제하기 위해 노이즈 성분을 추정하여 영상으로부터 노이즈 성분을 감산한 후에 차이값을 연산하는 방법도 채용하였다.In the technique described in
일본 특허공개 2013-240031호 공보(이하 특허 문헌 2라 함)에는, 움직임 물체의 위치 어긋남을 보정한 후에 합성함으로써 움직임 영역의 아티팩트(artifact)를 줄이는 기술이 개시되어 있다. Japanese Patent Laid-Open Publication No. 2013-240031 (hereinafter referred to as Patent Document 2) discloses a technique of reducing the artifacts of a moving region by synthesizing after correcting a positional deviation of a moving object.
일본 특허공개 2013-093786호 공보(이하 특허 문헌 3이라 함)에는, 움직임량이 작을 때에는 복수매 합성 WDR의 결과를 출력하고, 움직임량이 클 때에는 1 매 영상의 계조 보정 결과를 출력함으로써 움직임 영역의 아티팩트를 줄이는 기술이 개시되어 있다.Japanese Patent Laid-Open Publication No. 2013-093786 (hereinafter referred to as Patent Document 3) discloses a technique of outputting a result of a plurality of combined WDRs when the amount of motion is small and outputting a result of gradation correction of a single image when the amount of motion is large, Is reduced.
그러나 특허 문헌 1에 기재된 기술에는 이하에 도시한 과제가 존재한다.However, the technique described in
첫번째로, 장노광 영상 중의 포화 영역에서는 움직임 검출이 불가능하다는 점을 과제로 들 수 있다. 장노광 영상 중의 포화 영역에는 정보가 존재하지 않기 때문에 장노광 영상 중의 포화 영역과 단노광 영상을 비교하여 움직임을 검출하기 어렵다. 특히, 장노광 영상 중의 포화 영역이 크고 그 부근에 움직임이 있는 경우에는 움직임 검출의 정밀도가 저하되기 쉽다.First, it is impossible to detect motion in a saturated region in a long exposure image. It is difficult to detect the motion by comparing the saturated region in the long exposure image with the short exposure image because there is no information in the saturated region in the long exposure image. Particularly, when the saturated region in the long-exposure image is large and there is motion in the vicinity thereof, the accuracy of motion detection tends to be lowered.
두번째로, 단노광 영상의 신호 진폭이 매우 작은 영역에서는 신호-잡음 비율(Signal-to-Noise Ratio)이 저하되어 움직임 검출이 어려워진다는 점을 과제로서 들 수 있다. 특허 문헌 1에 기재된 기술에서는 노이즈 성분을 추정하여 영향을 배제하였으나, 일단 신호-잡음 비율(Signal-to-Noise Ratio)이 저하된 신호를 정확하게 복원하기는 어렵고 노이즈 성분의 추정 정밀도에도 한계가 있다. 더 나아가, WDR(Wide Dynamic Range) 처리에서 다이나믹 레인지를 확장하려고 하면, 단노광 영상의 노광 시간이 매우 짧아져야 하므로, 단노광 영상 전체가 어둡게 촬영되어야 한다. 이 경우, 노이즈 진폭이 커지고, 단노광 영상과 장노광 영상을 비교하여 얻어지는 움직임 검출의 정밀도가 쉽게 저하된다.Second, in the region where the signal amplitude of the short exposure image is very small, the signal-to-noise ratio is lowered, and the motion detection becomes difficult. In the technique described in
세번째로, 장노광 영상과 단노광 영상의 화소값을 노광 비율로 정규화할 경우에 정규화의 정밀도가 확보하기 어렵다는 점을 과제로서 들 수 있다. 기본적으로, 노광 시간의 차이로써 노광 비율을 결정하는데, 실제로 촬영된 화소값로부터 산출되는 노광 비율과 설정된 노광 시간으로부터 상정된 노광 비율이 일치하지 않는 경우가 있다. 또한, 실제로 촬영된 화소값로부터 산출되는 노광 비율이 정수 정밀도가 아닌 소수점 정밀도로 얻어지는 경우가 있다. 따라서 장노광 영상과 단노광 영상의 화소값 레벨을 정확히 맞추기는 쉽지 않다. 정규화의 정밀도가 낮으면 움직임과 정규화의 정밀도 부족이 판별되지 않기 때문에 움직임 검출의 정밀도가 저하된다.Third, it is difficult to secure the accuracy of normalization when the pixel values of the long exposure image and the short exposure image are normalized by the exposure ratio. Basically, the exposure ratio is determined by the difference in exposure time. In some cases, the exposure ratio calculated from the actually photographed pixel value does not match the assumed exposure ratio from the set exposure time. In addition, the exposure ratio calculated from actually photographed pixel values may be obtained with decimal point accuracy rather than integer precision. Therefore, it is not easy to exactly match the pixel value level of the long exposure image and the short exposure image. If the precision of the normalization is low, the accuracy of the motion detection and the precision of the normalization are not discriminated.
네번째로, 피사체가 플리커 광원을 포함할 경우 움직임 검출의 정밀도가 저하된다는 점을 과제로서 들 수 있다. 장노광 영상은 노광 시간이 길기 때문에 플리커의 영향을 받지는 않지만, 단노광 영상은 플리커의 영향을 받아 화면 일부의 화소값이 오르내리는 경우가 있다. 이 경우, 단노광 영상 중의 플리커가 움직임으로서 검출되어 WDR 처리에 악영향을 미치거나 WDR 출력 영상중에 플리커가 남는다. 따라서, 일반적으로, 피사체가 플리커를 포함할 경우에 움직임 검출을 무효로 한다.Fourth, the problem is that when the subject includes a flicker light source, the precision of motion detection is lowered. The long exposure image is not affected by the flicker because of the long exposure time, but the exposure value of the short exposure image may be influenced by the flicker and the pixel value of a part of the screen may be increased or decreased. In this case, the flicker in the exposed image is detected as a motion and adversely affects the WDR processing, or a flicker remains in the WDR output image. Therefore, generally, the motion detection is invalidated when the subject includes a flicker.
또 특허 문헌 2, 3에 기재된 기술도 단노광 영상과 장노광 영상의 비교에 의해 움직임을 검출하기 때문에 특허 문헌 1에 기재된 기술이 갖는 과제와 동일한 문제를 가지고 있다.The techniques described in Patent Documents 2 and 3 also have the same problems as the techniques described in
본 발명의 실시예들은, 움직임 검출의 정밀도를 향상시킬 수 있는 움직임 검출 장치 및 방법을 제공하고자 한다.Embodiments of the present invention seek to provide a motion detection apparatus and method capable of improving the precision of motion detection.
본 발명의 일 측면의 움직임 검출 장치는 단노광-영상 움직임 검출부, 장노광-영상 움직임 검출부, 및 통합부를 포함한다.A motion detection apparatus of one aspect of the present invention includes a single exposure-image motion detection unit, a long exposure-image motion detection unit, and an integration unit.
상기 단노광-영상 움직임 검출부는, 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성한다.The short exposure-image motion detection unit detects motion of the short exposure image according to the past short exposure image and the short exposure image of the current time, and generates motion detection information of the short exposure image.
상기 장노광-영상 움직임 검출부는, 과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성한다.The long-exposure-image motion detection unit detects motion of the long-exposure image according to the long-exposure image of the past and the long-exposure image of the current time to generate motion detection information of the long-exposure image.
상기 통합부는 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력한다.The merging unit integrates the motion detection information of the long exposure image and the motion detection information of the short exposure image and outputs the combined motion detection information.
상기 구성에 의하면, 단노광 영상끼리의 비교에 의하여 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의하여 장노광 영상의 움직임 검출 정보가 생성되어, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의해 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도를 향상시킬 수 있다.According to the above arrangement, motion detection information of a short-exposure image is generated by comparison between short exposure images, motion detection information of a long exposure image is generated by comparison between long exposure images, And the motion detection information of the long exposure image are integrated. Therefore, since the motion detection information generated by the comparison of images having the same exposure conditions is integrated, the accuracy of motion detection can be improved.
바람직하게는, 상기 단노광-영상 움직임 검출부는 상기 단노광 영상의 움직임과 제1 문턱값과의 관계에 따라 상기 단노광 영상의 움직임 검출 정보를 생성한다. 아울러, 상기 장노광-영상 움직임 검출부는 상기 제1 문턱값과 다른 제2 문턱값과 상기 장노광 영상의 움직임의 관계에 따라 상기 장노광 영상의 움직임 검출 정보를 생성한다.Preferably, the short exposure-image motion detection unit generates motion detection information of the short exposure image according to the relationship between the motion of the short exposure image and the first threshold value. In addition, the long-exposure-image motion detector generates motion detection information of the long-exposure image according to a relationship between a second threshold value different from the first threshold value and a motion of the long-exposure image.
물론, 상기 제1 문턱값 및 상기 제2 문턱값은 고정적으로 설정되어 있거나, 사용자에 의해 가변적으로 설정될 수 있다.Of course, the first threshold value and the second threshold value may be fixedly set or may be variably set by a user.
바람직하게는, 상기 통합부는, 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우, 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보 중에서 어느 하나를 출력한다.Preferably, when the motion detection information of the long-exposure image and the motion detection information of the short-exposure image are not combined, the merging unit may detect motion detection information of the long-exposure image and motion detection of the short- And outputs any one of the information.
예를 들어, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있을 때, 상기 통합부는, 단노광 영상의 움직임 검출 정보를 출력하지 않고 장노광 영상의 움직임 검출 정보만을 출력한다. 이 경우, 상기 플리커(flicker)가 포함되어 있는 단노광 영상으로부터 생성된 단노광 영상의 움직임 검출 정보는 사용되지 않고, 플리커가 포함되지 않은 장노광 영상으로부터 생성된 장노광 영상의 움직임 검출 정보만이 사용될 수 있다.For example, when it is set that the motion detection information of the long-exposure image and the motion detection information of the short-exposure image are not integrated, the merging unit may not output the motion detection information of the short exposure image, . In this case, only the motion detection information of the short exposure image generated from the short exposure image including the flicker is not used and only the motion detection information of the long exposure image generated from the long exposure image not including the flicker Can be used.
바람직하게는, 상기 움직임 검출 장치는 사용 영상 선택부, 갱신부, 및 합성부를 포함한다.Preferably, the motion detection device includes a used image selecting unit, an updating unit, and a combining unit.
상기 사용 영상 선택부는 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성한다.The used image selector generates use-image selection information for selecting a long-exposure image or a short-exposure image to be used for each region of an image.
상기 갱신부는 상기 통합된 움직임 검출 정보에 따라 상기 사용-영상 선택 정보를 갱신한다.The updating unit updates the use-video selection information according to the integrated motion detection information.
상기 합성부는, 상기 갱신된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써, 합성 영상을 생성한다.The combining unit combines the long-exposure image and the short-exposure image according to the updated use-image selection information to generate a composite image.
상기 구성에 의하면, 생성된 사용-영상 선택 정보와 통합된 움직임 검출 정보에 따라, 보다 안정적인 합성 영상이 생성된다.According to the above configuration, a more stable composite image is generated according to the generated use-image selection information and the combined motion detection information.
바람직하게는, 상기 움직임 검출 장치는 상기 과거의 장노광 영상, 상기 현재 시각의 장노광 영상, 상기 과거의 단노광 영상, 및 상기 현재 시각의 단노광 영상을 축소하는 축소 처리부를 구비한다. 또한, 상기 단노광-영상 움직임 검출부는 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 상기 단노광 영상의 움직임 검출 정보를 생성한다. 아울러, 상기 장노광-영상 움직임 검출부는 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 상기 장노광 영상의 움직임 검출 정보를 생성한다.Preferably, the motion detection device includes a reduction processor for reducing the past long exposure image, the long exposure image of the current time, the past short exposure image, and the short exposure image of the current time. Also, the short exposure-image motion detection unit generates motion detection information of the short exposure image according to the reduced exposure image of the past and the reduced exposure image of the reduced present time. In addition, the long-exposure-image motion detector generates motion detection information of the long-exposure image according to a reduced long-exposure image and a long-exposure image at a reduced current time.
상기 구성에 의하면, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 메모리에 기입되어, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 움직임 검출부에 전송된다. 또한, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 메모리에 기입되어, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 움직임 검출부에 전송된다. 따라서 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있다.According to the above arrangement, the reduced exposure image of the past and the reduced exposure image of the reduced current time are written to the memory, and the reduced exposure image of the past and the reduced exposure image of the reduced exposure time are transmitted to the motion detection unit. In addition, the reduced long exposure image and the long exposure image of the reduced current time are written in the memory, and the reduced exposure image of the past and the reduced exposure image of the current time are transmitted to the motion detection unit. Therefore, an increase in the memory area and an increase in the data transfer amount can be suppressed.
본 발명의 다른 측면의 움직임 검출 방법은, According to another aspect of the present invention,
과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성함;Detecting movement of the long exposure image according to the long exposure image of the past and the long exposure image of the current time to generate motion detection information of the long exposure image;
과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성함; 및Detecting motion of a short exposure image according to a past short exposure image and a short exposure image of a current time to generate motion detection information of a short exposure image; And
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력함;을 포함한다.And combining the motion detection information of the long exposure image and the motion detection information of the short exposure image to output the combined motion detection information.
상기 방법에 의하면, 단노광 영상끼리의 비교에 의해 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의해 장노광 영상의 움직임 검출 정보가 생성되어, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의하여 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도가 향상될 수 있다.According to the above method, motion detection information of a short-exposure image is generated by comparison between short exposure images, motion detection information of a long-exposure image is generated by comparison between long exposure images, And the motion detection information of the long exposure image are integrated. Therefore, since the motion detection information generated by the comparison of images having the same exposure condition is integrated, the accuracy of motion detection can be improved.
상기한 바와 같이, 본 발명의 상기 움직임 검출 방법 및 장치에 의하면 움직임 검출의 정밀도가 향상될 수 있다.As described above, according to the motion detection method and apparatus of the present invention, the accuracy of motion detection can be improved.
도 1은 본 발명의 제1 실시예의 움직임 검출 장치의 구성을 보여주는 블록도이다.
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 보여주는 도면이다.
도 3은 도 1에서의 움직임 검출부의 상세한 구성을 보여주는 블록도이다.
도 4는 도 1에서의 사용 영상 선택부 및 갱신부에 의하여 수행되는 사용 영상 선택의 과정을 보여주는 흐름도이다.
도 5는 도 1의 제1 실시예가 발휘하는 효과의 제1 예를 설명하기 위한 도면이다.
도 6은 제1 실시예가 발휘하는 효과의 제2 예를 설명하기 위한 도면이다.
도 7은 본 발명의 제1 실시예의 움직임 검출 장치의 구성을 보여주는 블록도이다.1 is a block diagram showing a configuration of a motion detection apparatus according to the first embodiment of the present invention.
2 is a view showing a state in which pairs of a long exposure image and a short exposure image are successively photographed.
3 is a block diagram showing a detailed configuration of the motion detection unit in FIG.
4 is a flowchart illustrating a process of selecting a used image performed by the used image selector and the updating unit in FIG.
Fig. 5 is a view for explaining a first example of the effect exerted by the first embodiment of Fig. 1;
Fig. 6 is a diagram for explaining a second example of the effect of the first embodiment.
7 is a block diagram showing a configuration of a motion detection apparatus according to the first embodiment of the present invention.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art can be omitted.
또한, 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. Further, the specification and drawings are not provided for the purpose of limiting the present invention, and the scope of the present invention should be determined by the claims. The terms used in the present specification should be construed to mean the meanings and concepts consistent with the technical idea of the present invention in order to best express the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명된다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and redundant description will be omitted.
(제1 실시예)(Embodiment 1)
본 발명의 제1 실시예에 대해 설명하기로 한다. 우선, 본 발명의 제1 실시예에 관한 움직임 검출 장치(1A)에 대하여 설명하기로 한다. A first embodiment of the present invention will now be described. First, the
도 1은 본 발명의 제1 실시예의 움직임 검출 장치(1A)의 구성을 보여준다.Fig. 1 shows a configuration of a motion-detecting
도 1을 참조하면, 움직임 검출 장치(1A)는 영상 센서(10), 프레임 메모리(20A), 사용 영상 선택부(30), 움직임 검출부(40), 갱신부(50), WDR 합성부(70) 및 계조 압축부(80)를 구비한다. 이하, 움직임 검출 장치(1A)가 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.1, the
움직임 검출 장치(1A)는, 영상 센서(10)의 노광 설정을 바꾸어 2매의 영상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 다음으로 장노광 촬영을 하는 것으로 한다. 하지만, 장노광 촬영을 먼저 하고 그 다음에 단노광 촬영을 해도 좋다. 이와 같이 하여 촬영된 단노광 영상 및 장노광 영상은 쌍으로 프레임 메모리(20A)에 기입된다. 장노광 영상 및 단노광 영상의 촬영과 촬영된 장노광 영상 및 단노광 영상의 프레임 메모리(20A)로의 기입은 연속적으로 이루어진다.The
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 보여준다. FIG. 2 shows a state in which pairs of a long exposure image and a short exposure image are successively photographed.
도 2를 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t), 장노광 영상(t), 단노광 영상(t＋1) 및 장노광 영상(t＋1)이 시계열을 따라 촬영되는 모습이 도시되어 있다. 도 2에서 각 영상의 촬영 시각은 괄호 안에 표시되어 있는데, 본 명세서 및 본 도면에서도 동일하게 각 영상의 촬영 시각이 괄호 안에 표시되는 경우가 있다.1, a short exposure image t, a short exposure image t, a long exposure image t, a short exposure image t + 1, and a long exposure image t + 1, ) Is taken along the time series. In Fig. 2, the photographing time of each image is indicated in parentheses. In this specification and this drawing, the photographing time of each image may be similarly displayed in parentheses.
여기에서 본 명세서에서는, 적어도 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상이 프레임 메모리(20A)에 남아 있으면 된다. 따라서 장노광 영상 및 단노광 영상이 촬영되는 간격은 특별히 한정되지 않는다. 또한, 장노광 영상 및 단노광 영상은 매(每)프레임이 프레임 메모리(20A)에 기입되어도 좋고, 복수 프레임으로 한 번에 프레임 메모리(20A)에 기입되어도 좋다.In this specification, at least the past long exposure image, the long exposure image of the current time, the past short exposure image, and the short exposure image of the current time may be left in the
예를 들어, 도 1에 도시된 예와 같이 장노광 영상 및 단노광 영상의 쌍을 기입하는 영역이 2 쌍 존재하는 경우, 움직임 검출 장치(1A)는 장노광 영상 및 단노광 영상의 쌍을 2 쌍의 영역에 대해 번갈아 기입하면 된다. 예를 들어, 프레임 메모리(20A)에 기입된 단노광 영상(t-1) 및 장노광 영상(t-1)은 단노광 영상(t+1) 및 장노광 영상(t+1)에 의해 덮어쓰여질 수 있다.For example, when there are two pairs of regions for writing pairs of long exposure images and short exposure images as in the example shown in FIG. 1, the
아울러, 도 1에 도시한 예에서는, 움직임 검출 장치(1A)는 장노광 영상 및 단노광 영상을 출력하기 위한 공통의 계통을 1개 가지고 영상 센서(10)가 장노광 영상과 단노광 영상을 시분할로 출력하는 것으로 하였으나, 장노광 영상과 단노광 영상이 동시에 출력되어도 좋다. 이러한 경우, 움직임 검출 장치(1A)는 영상 센서(10)로부터 장노광 영상을 출력하기 위한 계통과 단노광 영상을 출력하기 위한 계통, 2 개의 계통들을 가지면 된다. 각각의 셔터 타임은, 예를 들어 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의해 결정된다.In the example shown in Fig. 1, the
본 발명의 실시예에서는, 단노광 영상 및 장노광 영상이라는 용어를 사용하는데, 이들 용어는, 촬영된 2 개의 영상 각각의 절대적인 노광 시간으로 한정되지는 않는다. 따라서 노광 시간이 다른 2 개의 영상이 촬영된 경우에 해당 2 개의 영상 중 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 상당하며, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 상당한다.In the embodiment of the present invention, the term short-exposure image and long-exposure image are used, but these terms are not limited to the absolute exposure time of each of the two captured images. Therefore, when two images having different exposure times are photographed, an image having a relatively short exposure time corresponds to a short exposure image, and a relatively long exposure time corresponds to a long exposure image.
영상 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하는 영상 센서로 구성된다. 영상 센서의 종류는 특별히 한정되지 않으며, 예를 들어 CCD(Charge Coupled Deｖice)여도 좋고 CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.The
사용 영상 선택부(30)는, 프레임 메모리(20A)로부터 독출한 단노광 영상(t)과 장노광 영상(t)을 참조하고 장노광 영상(t) 및 단노광 영상(t) 각각의 포화 상태나 움직임 등을 검출하여, 단노광 영상(t)과 장노광 영상(t) 중 어느 한쪽을 사용 영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 단노광 영상과 장노광 영상 중에서 어느 한쪽을 선택하는 알고리즘으로서는 다양한 알고리즘이 상정된다.The used
예를 들어, 장노광 영상에서 포화된 영역은 단노광 영상에서는 포화되지 않을 가능성이 높기 때문에, 해당 영역의 사용 영상으로서는 단노광 영상을 선택하면 된다. 그러나 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 아티팩트(artifact)가 발생할 수 있다. 따라서 움직임을 검출하고 움직임에 따라 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 영상과 장노광 영상 중에서 어느 한쪽을 선택하는 알고리즘은 특별히 한정되지 않는다.For example, since a saturated region in a long exposure image is highly likely not to be saturated in a short exposure image, a short exposure image can be selected as a used image in the corresponding region. However, this processing alone can result in artifacts having a double outline in a region with large motion. Therefore, a process of detecting a motion and reducing the phenomenon that the outline becomes double according to the motion may be performed. The algorithm for selecting either the short-exposure image or the long-exposure image including the above process is not particularly limited.
아울러 상기한 바와 같이 사용-영상 선택 정보는 단노광 영상 및 장노광 영상 중에서 어느 쪽을 선택할지를 나타내는 이진 데이터의 집합이어도 좋지만, 장노광 영상 및 단노광 영상 각각을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 집합이어도 좋다. 예를 들어, 사용 영상 선택부(30)는 장노광 영상의 포화 정도가 강할수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 또한, 사용 영상 선택부(30)는 단노광 영상 또는 장노광 영상의 움직임이 클수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 단노광 영상과 장노광 영상의 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.As described above, the use-image selection information may be a set of binary data indicating which one of a short-exposure image and a long-exposure image is to be selected. However, it may be a mixture of long exposure images and short exposure images, It may be a set of ratios. For example, the use
움직임 검출부(40)는 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)을 참조하여 움직임을 검출한다. 움직임 검출부(40)가 가진 기능의 상세에 대해 도 3을 참조하여 설명하기로 한다. The
도 3은 도 1에서의 움직임 검출부의 상세한 구성을 보여준다. Fig. 3 shows a detailed configuration of the motion detection unit in Fig.
도 3을 참조하면, 움직임 검출부(40)는 단노광-영상 움직임 검출부(41), 장노광-영상 움직임 검출부(42) 및 통합부(43)를 구비한다. 이하, 단노광-영상 움직임 검출부(41), 장노광-영상 움직임 검출부(42) 및 통합부(43) 각각이 가진 기능에 대해 설명하기로 한다.Referring to FIG. 3, the
단노광-영상 움직임 검출부(41)는, 단노광 영상(t-1)과 단노광 영상(t)에 따라 단노광 영상의 움직임을 검출하고 단노광 영상의 움직임에 따라 단노광 영상의 움직임 검출 정보를 생성한다. 단노광 영상의 움직임 검출 정보의 생성 수법은 특별히 한정되지 않는다. 예를 들어, 단노광-영상 움직임 검출부(41)는, 검출한 단노광 영상의 움직임과 제1 문턱값(이하, "단노광-영상 움직임 검출용 문턱값이라 함)과의 관계에 따라 단노광 영상의 움직임 검출 정보를 생성하면 된다.The single-exposure-image
구체적으로는 단노광-영상 움직임 검출부(41)는 단노광 영상(t-1)과 단노광 영상(t)에서, 대응하는 영역의 화소값 또는 구배의 차이값을 검출하고, 차이값이 단노광-영상 움직임 검출용 문턱값보다 큰 영역을 움직임 영역으로서 검출해도 좋다. 한편, 단노광-영상 움직임 검출부(41)는, 차이값이 단노광-영상 움직임 검출용 문턱값보다 작은 영역을 비움직임 영역으로서 검출해도 좋다. 차이값이 단노광-영상 움직임 검출용 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 단노광-영상 움직임 검출부(41)는 이러한 검출 결과를 단노광 영상의 움직임 검출 정보로서 생성해도 좋다.Specifically, the short-exposure-image
장노광-영상 움직임 검출부(42)는, 장노광 영상(t-1)과 장노광 영상(t)에 따라 장노광 영상의 움직임을 검출하고, 장노광 영상의 움직임에 따라 장노광 영상의 움직임 검출 정보를 생성한다. 장노광 영상의 움직임 검출 정보의 생성 수법은 특별히 한정되지는 않는다. 예를 들어 장노광-영상 움직임 검출부(42)는, 검출한 장노광 영상의 움직임과 제2 문턱값(이하, "장노광-영상 움직임 검출용 문턱값"이라 함)과의 관계에 따라 장노광 영상의 움직임 검출 정보를 생성하면 된다.The long exposure-image
구체적으로는, 장노광-영상 움직임 검출부(42)는 장노광 영상(t-1)과 장노광 영상(t)에서, 대응하는 영역의 화소값 또는 구배의 차이값을 검출하고, 차이값이 장노광-영상 움직임 검출용 문턱값보다 큰 영역을 움직임 영역으로서 검출해도 좋다. 한편, 장노광-영상 움직임 검출부(42)는, 차이값이 장노광-영상 움직임 검출용 문턱값보다 작은 영역을 비움직임 영역으로서 검출해도 좋다. 차이값이 장노광-영상 움직임 검출용 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 장노광-영상 움직임 검출부(42)는 이러한 검출 결과를 장노광 영상의 움직임 검출 정보로서 생성해도 좋다.Specifically, the long-exposure-image
통합부(43)는 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력한다. 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 어떻게 통합할지에 대해서는 특별히 한정되지 않는다. 예를 들어 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 적어도 어느 한쪽에서 움직임 영역으로 되어 있는 영역을 움직임 영역으로 해도 좋다. 한편, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 양쪽에서 비움직임 영역으로 되어 있는 영역을 비움직임 영역으로 해도 좋다.The
이와 같이 하여 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보가 통합됨으로써, 움직임 검출의 정밀도가 향상될 것으로 기대된다. 아울러, 상기 단노광-영상 움직임 검출용 문턱값 및 장노광-영상 움직임 검출용 문턱값은 미리 고정적으로 설정되거나, 사용자에 의해 가변적으로 설정될 수 있다. 또한, 단노광-영상 움직임 검출용 문턱값과 장노광-영상 움직임 검출용 문턱값은 서로 다른 값이 설정되어도 좋다. 여기에서 단노광-영상 움직임 검출용 문턱값과 장노광-영상 움직임 검출용 문턱값은 어느 쪽이 큰 값이든 상관없다.Thus, the motion detection information of the long-exposure image and the motion detection information of the short-exposure image are integrated, thereby improving the accuracy of motion detection. In addition, the threshold value for the short exposure-image motion detection and the threshold value for the long exposure-image motion detection may be fixedly set in advance or may be variably set by the user. In addition, the threshold value for short-exposure-image motion detection and the threshold value for long-exposure-image motion detection may be set to different values. Here, the threshold value for single-exposure-image motion detection and the threshold value for long-exposure-image motion detection do not matter, whichever value is larger.
예를 들어, 화소값의 차이값과 문턱값의 관계에 따라 움직임 검출 정보가 생성되는 경우, 단노광-영상 움직임 검출용 문턱값은 장노광-영상 움직임 검출용 문턱값보다 큰 값이면 좋다. 장노광 영상의 경우, 포함되는 노이즈가 적기 때문에, 미소한 화소값의 차이값이 발생하는 영역도 움직임 영역이라고 판정되면 움직임 검출의 정밀도가 높아진다. 왜냐하면, 단노광 영상은 진폭이 큰 노이즈(noise)를 포함하는 경향이 있기 때문에, 노이즈가 생기는 영역이 움직임 영역으로 잘못 판정되는 것을 방지할 수 있기 때문이다.For example, when the motion detection information is generated according to the relationship between the difference value of the pixel values and the threshold value, the threshold value for the short exposure-image motion detection may be a value larger than the threshold value for the long exposure-image motion detection. In the case of a long exposure image, since the included noise is small, if the area where the difference value of the small pixel value is generated is also determined as the motion area, the accuracy of motion detection is enhanced. This is because the short-exposure image tends to include noise having a large amplitude, so that it is possible to prevent a region where noise is generated from being erroneously determined as a moving region.
또한, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 항상 통합해도 좋지만, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는 경우가 있어도 좋다. 예를 들어, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우에, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 어느 쪽을 출력해도 좋다. 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용의 설정은 사용자에 의해 이루어지도록 해도 좋다.The
장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 어느 쪽을 출력할지는 특별히 한정되지 않는다. 여기에서, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는 경우의 예로서, 피사체가 플리커(flicker)를 포함할 때 등을 들 수 있다. 일반적으로, 장노광 영상은 노광 시간이 길기 때문에 플리커를 포함하지 않고, 단노광 영상에만 플리커가 포함된다. 또한, 플리커는 이동하는 경우가 많아 실제로는 오브젝트가 전혀 이동하지 않았는데도 플리커가 움직임으로 검출되는 경우가 있다. 그 결과, 단노광 영상의 움직임 검출 정보를 사용하면 WDR 합성 결과에 악영향을 주는 경우가 있다.It is not particularly limited to which of the motion detection information of the long exposure image and the motion detection information of the short exposure image is outputted. Here, as an example in which the motion detection information of the long-exposure image and the motion detection information of the short-exposure image are not integrated, the subject may include a flicker. In general, a long exposure image does not include a flicker because of a long exposure time, and flicker is included only in a short exposure image. In addition, since the flicker is often moved, the flicker may be detected as a motion even though the object is not moved at all. As a result, when the motion detection information of the single exposure image is used, the WDR synthesis result may be adversely affected.
이러한 악영향을 방지하기 위하여, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용이 설정되어 있을 때에, 단노광 영상의 움직임 검출 정보를 출력하지 않고 장노광 영상의 움직임 검출 정보만을 출력하면 된다. 이 경우, 통합부(43)의 후단에서는, 플리커가 포함되어 있는 단노광 영상으로부터 생성된 단노광 영상의 움직임 검출 정보는 사용되지 않고, 플리커가 포함되지 않은 장노광 영상으로부터 생성된 장노광 영상의 움직임 검출 정보만이 사용된다.In order to prevent such an adverse effect, the
갱신부(50)는, 움직임 검출부(40)의 통합부(43)에 의해 통합된 움직임 검출 정보에 따라, 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보를 갱신한다. 구체적으로는, 갱신부(50)는, 통합된 움직임 검출 정보를 참조하여 움직임 영역에서는 사용 영상으로서 단노광 영상이 선택되도록 사용-영상 선택 정보를 갱신하면 된다. 그러면 합성 영상의 윤곽이 이중이 되는 아티팩트(artifact)가 줄어들 수 있다. 한편, 갱신부(50)는, 통합된 움직임 검출 정보를 참조하여, 비움직임 영역에서 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보를 갱신하지 않도록 하면 된다.The
여기에서 사용 영상 선택의 동작에 대해 더욱 상세히 설명하기로 한다. Here, the operation of the used image selection will be described in more detail.
도 4는 도 1에서의 사용 영상 선택부(30) 및 갱신부(50)에 의하여 수행되는 사용 영상 선택의 과정을 보여준다. 도 4에 도시된 사용 영상 선택의 과정은 일 예에 불과하다. 즉, 사용 영상 선택의 과정은 도 4에 도시한 예로 한정되지 않는다.FIG. 4 shows a process of selecting a used image performed by the used
도 4를 참조하면, 통합된 움직임 검출 정보가 참조되어, 대상의 화소가 움직임 영역이면(단계 S11에서 "예"이면), 단노광 영상이 선택된다(단계 S13). 한편 대상의 화소가 비움직임 영역인 경우(단계 S11에서 "아니오"인 경우), 장노광 영상이 포화되어 있으면(단계 S12에서 "예"이면) 단노광 영상이 선택되고(단계 S13), 장노광 영상이 포화되어 있지 않으면(단계 S12에서 "아니오"이면) 장노광 영상이 선택된다(단계 S14).Referring to FIG. 4, if the integrated motion detection information is referenced and the pixel of interest is a motion area (YES in step S11), a short exposure image is selected (step S13). On the other hand, if the target pixel is a non-moving region (NO in step S11), if the long exposure image is saturated (YES in step S12), the short exposure image is selected (step S13) If the image is not saturated (NO in step S12), the long exposure image is selected (step S14).
여기에서 모든 화소들에 대한 사용 영상 선택의 동작이 아직 종료되지 않은 경우(단계 S15에서 "아니오"인 경우), 단계 S11로 동작이 이행되고, 다음 화소에 대한 사용 영상 선택의 동작이 계속해서 이루어진다. 모든 화소들에 대한 사용 영상 선택의 동작이 종료된 경우(단계 S15에서 "예"인 경우), 사용 영상 선택의 동작이 종료된다.Here, if the operation of the used image selection for all the pixels has not yet ended (NO in step S15), the operation goes to step S11, and the operation of the used image selection for the next pixel is continued . When the operation of the used image selection for all the pixels is ended (YES in step S15), the operation of the used image selection is ended.
WDR 합성부(70)는, 갱신부(50)로부터의 갱신된 사용-영상 선택 정보를 받아 해당 갱신된 사용-영상 선택 정보에 따라 단노광 영상과 장노광 영상을 합성함으로써 WDR 영상을 생성한다. 구체적으로는, WDR 합성부(70)는, 갱신된 사용-영상 선택 정보를 참조하여 단노광 영상 사용 영역에는 단노광 영상을 사용하고, 장노광 영상 사용 영역에는 장노광 영상을 사용하여 합성 영상을 생성한다.The
WDR 합성부(70)에 의한 합성 기법은 특별히 한정되지 않는다. 예를 들어, 장노광 영상을 선택한다는 내용을 나타내는 값이 영(0)이며, 단노광 영상을 선택한다는 내용을 나타내는 값이 일(1)일 수 있다. 이 경우, WDR 합성부(70)는, 사용-영상 선택 정보를 구성하는 혼합 비율을 α로 하여, 장노광 영상과 단노광 영상에서 대응하는 화소에 대해 "α × (단노광 영상의 화소값) + (1-α) × (장노광 영상의 화소값)"을 산출하고 산출 결과를 합성 후의 영상(WDR 영상)으로 출력할 수 있다.The synthesis technique by the
계조 압축부(80)는, 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 수용하기 위한 압축 처리를, WDR 합성부(70)에 의해 생성된 WDR 영상에 대해 행한다. 상기 압축 처리로서는, 룩-업 테이블(Look-Up Table)에 따른 톤 매핑(tone mapping)이 이용되어도 좋지만, 어떠한 기법이 이용되어도 좋다.The
계조 압축부(80)의 후단은, 예를 들어 베이어 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함한 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 신호의 데이터 양은, 예를 들어 영상 처리 엔진으로의 입력 데이터 크기(size)에 적합하게(예를 들어 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기(size)를 줄이는 것만으로는 어두운 영상으로 변환되기 때문에, 인간의 시각 특성에 가깝게 고휘도측이 강하게 압축되면 좋다.The rear end of the
이상에서 설명한 예에서는, 노광량이 다른 2 종류의 영상(단노광 영상 및 장노광 영상)을 촬영하여 합성하는 예를 설명하였다. 그러나 합성에 사용되는 영상의 종류는 특별히 한정되지 않는다. 예를 들어, 노광량이 다른 3종류 이상의 영상을 촬영하여 합성하는 예에도 본 실시예는 적용될 수 있다.In the example described above, an example of photographing and synthesizing two kinds of images (exposure image with single exposure and exposure image with long exposure) having different exposure amounts has been described. However, the type of image used for synthesis is not particularly limited. For example, the present embodiment can also be applied to an example in which three or more images having different exposure amounts are captured and synthesized.
예를 들어, 단노광 영상, 중노광 영상 및 장노광 영상을 사용할 경우, 3 개의 영상 각각에 대응하는 움직임 검출부가 마련되어 3 개의 움직임 검출 정보가 통합된다. 이 때 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우, 플리커가 포함되지 않은 영상의 움직임 검출 정보만을 사용하도록 하면 된다. 플리커가 포함되지 않은 영상은, 플리커의 주파수 등에 의해 변화될 가능성이 있기 때문에 특별히 한정되지는 않지만, 장노광 영상이어도 좋다.For example, when a single exposure image, a medium exposure image, and a long exposure image are used, a motion detector corresponding to each of three images is provided, and three motion detection information are integrated. In this case, when it is set that the motion detection information is not integrated, only the motion detection information of the image not including the flicker may be used. An image not including the flicker is not particularly limited because it may change depending on the frequency of the flicker or the like, but it may be a long exposure image.
계속해서 본 발명의 제1 실시예가 발휘하는 효과의 예를 설명하기로 한다. Next, examples of the effects of the first embodiment of the present invention will be described.
도 5는 도 1의 제1 실시예가 발휘하는 효과의 제1 예를 설명하기 위한 도면이다.Fig. 5 is a view for explaining a first example of the effect exerted by the first embodiment of Fig. 1;
도 5를 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)이 도시되어 있다. 각각의 영상에는 실내에서 밝은 옥외를 촬영한 장면(scene)이 촬영되어 있다. 그리고, 단노광 영상에는 창 밖의 구름이 이동하고 있는 모습이 촬영되었으나, 장노광 영상에서는 창 영역이 포화되었다.5, a short exposure image t-1, a long exposure image t-1, a short exposure image t, and a long exposure image t are shown. Each scene is photographed with a bright outdoor scene taken in the room. In the single exposure image, the image of the cloud moving outside the window was shot, but the window area was saturated in the long exposure image.
이러한 장면(scene)에서는, 단노광 영상과 장노광 영상을 비교하는 종래 기술을 이용한 경우에는 구름의 움직임을 검출할 수 없다. 구체적으로는, 종래 기술을 이용한 경우에는 장노광 영상의 포화 영역에는 정보가 존재하지 않기 때문에, 단노광 영상에 찍혀 있는 구름이 움직이고 있는지 정지되어 있는지를 구별할 수 없다. 도 5를 참조하면, 종래 기술을 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "종래 기술의 움직임 검출 정보"로서 도시되어 있다.In such a scene, it is impossible to detect the movement of the cloud when the conventional technique of comparing the short-exposure image with the long-exposure image is used. Specifically, in the case of using the conventional technique, since there is no information in the saturation region of the long exposure image, it can not be distinguished whether the cloud photographed on the single exposure image is moving or stopped. Referring to FIG. 5, an example of motion detection information obtained when using the prior art is shown as "prior art motion detection information ".
한편, 본 발명의 제1 실시예에서는, 같은 노광량으로 촬영된 과거 및 현재 시각의 영상으로부터 움직임을 검출한다. 따라서 과거 및 현재 시각의 단노광 영상을 비교함으로써 구름의 움직임을 검출할 수 있다. 도 5를 참조하면, 본 발명의 실시예를 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "본 실시예의 움직임 검출 정보"로서 도시되어 있다. 또한, 본 발명의 제1 실시예에 의하면, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합됨으로써, 정확도가 높은 움직임 검출 정보를 얻을 수 있다.On the other hand, in the first embodiment of the present invention, motion is detected from images of past and present times photographed at the same exposure amount. Therefore, it is possible to detect the movement of clouds by comparing the exposure images of past and present time. Referring to Fig. 5, an example of motion detection information obtained when the embodiment of the present invention is used is shown as "motion detection information of this embodiment ". According to the first embodiment of the present invention, the motion detection information of the short-exposure image and the motion detection information of the long-exposure image are integrated, thereby obtaining motion detection information with high accuracy.
이와 같이 본 발명의 제1 실시예에서 같은 노광 조건으로 촬영한 영상끼리 움직임 검출을 하는 것은 포화 이외의 방해에 대해서도 유효하게 적용될 수 있다. 예를 들어, 장노광 영상에 흐려짐(blur, bokeh)이 존재하는 경우라 해도, 단노광 영상끼리의 비교에 의해 움직임을 검출하면 흐려짐(blur, bokeh)이 없는 영상끼리의 비교에 의해 움직임을 검출할 수 있기 때문에, 정확도가 높은 움직임 검출 결과를 얻을 수 있다.As described above, motion detection between images photographed under the same exposure conditions in the first embodiment of the present invention can be effectively applied to disturbance other than saturation. For example, even when blur and bokeh exist in a long exposure image, if motion is detected by comparison between exposure images, motion detection is performed by comparing images without blur and bokeh The motion detection result with high accuracy can be obtained.
또한, 단노광 영상이 진폭이 큰 노이즈를 포함한 경우에도, 노이즈가 적은 장노광 영상끼리의 비교에 의해 움직임을 검출함으로써, 노이즈의 영향을 고려하지 않은 정확한 움직임을 검출할 수 있다. 또한, 노이즈를 포함한 단노광 영상끼리의 비교에 의해 움직임을 검출함으로써, 노이즈에 의한 오류 검출을 포함하지 않은 명확한 움직임을 검출할 수 있다. 그리고 양자의 움직임 검출 정보를 통합함으로써 정확도가 높은 움직임 검출 정보를 얻을 수 있다.In addition, even when the short-exposure image includes noise having a large amplitude, it is possible to detect an accurate motion without considering the influence of the noise by detecting the motion by comparing the long-exposure images with little noise. In addition, by detecting the motion by comparing the exposure images including the noise, it is possible to detect a clear motion that does not include error detection due to noise. The motion detection information with high accuracy can be obtained by integrating the motion detection information of both of them.
나아가 종래 기술에서는, 단노광 영상과 장노광 영상을 노광 비율에 따라 정규화하고 나서 비교할 필요가 있었기 때문에, 정규화의 정밀도가 문제가 되는 경우가 있었다. 한편 본 발명의 제1 실시예에서는, 같은 노광 조건으로 촬영한 영상끼리 움직임 검출을 하면 되므로, 정규화의 정밀도가 문제가 되지 않아, 노광 비율에 의하지 않고 항상 정확한 움직임 검출 정보를 얻을 수 있다.Further, in the prior art, since it is necessary to normalize the short exposure image and the long exposure image in accordance with the exposure ratio and then compare them, the accuracy of the normalization becomes a problem in some cases. On the other hand, in the first embodiment of the present invention, motion detection is performed between images photographed under the same exposure conditions, so that the accuracy of normalization is not a problem, and accurate motion detection information can always be obtained regardless of the exposure ratio.
도 6은 제1 실시예가 발휘하는 효과의 제2 예를 설명하기 위한 도면이다.Fig. 6 is a diagram for explaining a second example of the effect of the first embodiment.
도 6을 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)이 도시되어 있다. 각각의 영상에는 실내에서 밝은 옥외를 촬영한 장면(scene)이 촬영되어 있다. 그리고, 단노광 영상(t-1)의 벽 영역에는 실내등이 플리커 광원이 되어 플리커 밴드가 나타나 있으며, 단노광 영상(t)에서는 플리커 밴드의 위치가 수직 방향으로 이동되어 있다. 한편 장노광 영상에는 플리커 밴드는 촬영되지 않았다.Referring to FIG. 6, a short exposure image t-1, a long exposure image t-1, a short exposure image t, and a long exposure image t are shown. Each scene is photographed with a bright outdoor scene taken in the room. In the wall region of the short exposure image (t-1), the interior light becomes a flicker light source, and a flicker band appears. In the short exposure image (t), the position of the flicker band is shifted in the vertical direction. On the other hand, the flicker band was not photographed in the long exposure image.
이러한 장면(scene)에서는, 단노광 영상과 장노광 영상을 비교하는 종래 기술을 이용한 경우, 플리커 밴드를 움직임으로서 검출하기 때문에 넓은 범위에서 오류 검출이 발생한다. 도 6을 참조하면, 종래 기술을 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "종래 기술의 움직임 검출 정보"로서 도시되어 있다. 이 "종래 기술의 움직임 검출 정보"를 참조하면 플리커 밴드가 움직임으로서 검출된다.In such a scene, when the conventional technique for comparing the short-exposure image with the long-exposure image is used, the flicker band is detected as motion, so that error detection occurs in a wide range. Referring to Fig. 6, an example of motion detection information obtained when using the prior art is shown as "prior art motion detection information ". Referring to this "prior art motion detection information ", a flicker band is detected as a motion.
한편 본 발명의 제1 실시예를 이용한 경우에는, 같은 노광 조건으로 촬영된 영상끼리의 비교에 의해 움직임 검출을 행한다. 따라서, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용을 설정하여 플리커의 영향을 받지 않은 장노광 영상의 움직임 검출 정보만을 사용하면, 플리커 밴드를 움직임으로 판정하지 않아 정확한 움직임 검출 결과를 얻을 수 있다. 도 6을 참조하면, 본 발명의 실시예를 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "본 실시예의 움직임 검출 정보"로서 도시되어 있다. 이 "본 실시예의 움직임 검출 정보"를 참조하면 플리커 밴드가 움직임으로서 검출되지 않는다.On the other hand, when the first embodiment of the present invention is used, motion detection is performed by comparing images photographed under the same exposure conditions. Therefore, if the motion detection information of the long-exposure image and the motion detection information of the short-exposure image are not integrated, only the motion detection information of the long-exposure image that is not affected by the flicker is used, Accurate motion detection results can be obtained. Referring to Fig. 6, an example of motion detection information obtained when the embodiment of the present invention is used is shown as "motion detection information of this embodiment ". Referring to this "motion detection information of this embodiment ", the flicker band is not detected as a motion.
(제2 실시예)(Second Embodiment)
계속해서 본 발명의 제2 실시예에 대해 설명하기로 한다. 본 발명의 제1 실시예의 경우, 과거의 단노광 영상 및 장노광 영상을 메모리에 보존 유지할 필요가 있으며, 메모리 영역의 증가나 데이터 전송량의 증가가 하드웨어면에서 장애물이 될 수도 있다. 본 발명의 제2 실시예에 의하면, 본 발명의 제1 실시예가 발휘하는 효과를 동일하게 발휘함과 동시에, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있다.Next, a second embodiment of the present invention will be described. In the case of the first embodiment of the present invention, it is necessary to preserve and maintain the past short exposure image and long exposure image in the memory, and an increase in the memory area and an increase in the data transfer amount may become hardware obstacles. According to the second embodiment of the present invention, the effects exerted by the first embodiment of the present invention are exhibited equally, and an increase in the memory area and an increase in the data transfer amount can be suppressed.
도 7은 본 발명의 제1 실시예의 움직임 검출 장치(1B)의 구성을 보여준다. 도 7을 참조하면, 본 발명의 제2 실시예에 관한 움직임 검출 장치(1B)는, 본 발명의 제1 실시예의 움직임 검출 장치(1A)와 비교하여 영상 센서(10)의 후단에 축소 처리부(15)를 더 구비한다. 이하, 축소 처리부(15)에 대해 주로 상세히 설명하기로 한다.Fig. 7 shows the configuration of the
축소 처리부(15)는 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상을 축소한다. 축소 영상을 생성하는 수법은 특별히 한정되지 않지만, 영상을 구성하는 직사각형 영역마다의 평균치의 집합을 축소 영상으로서 생성해도 좋다. 도 7을 참조하면, 각각의 축소 영상으로서 축소 장노광 영상(t-1), 축소 장노광 영상(t), 축소 단노광 영상(t-1) 및 축소 단노광 영상(t)이 프레임 메모리(20B)에 기입되어 있다.The
장노광-영상 움직임 검출부(42)는, 축소 장노광 영상(t-1) 및 축소 장노광 영상(t)에 따라 장노광 영상의 움직임 검출 정보를 생성한다. 또한, 단노광-영상 움직임 검출부(41)는, 축소 단노광 영상(t-1) 및 축소 단노광 영상(t)에 따라 단노광 영상의 움직임 검출 정보를 생성한다. 상기 구성에 의하면, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다. 아울러, 사용 영상 선택부(30)에 의해 참조되는 단노광 영상 및 장노광 영상은 축소되지 않아도 된다. 도 7을 참조하면, 축소되지 않은 단노광 영상 및 장노광 영상은 원래의 단노광 영상(t) 및 원래의 장노광 영상(t)으로서 프레임 메모리(20B)에 기입되어 있다.The long exposure-image
본 발명의 제2 실시예가 발휘하는 효과에 대해 구체적인 예를 들어 설명하기로 한다. 예를 들어, 축소 비율을 종횡 각각 1/10로 설정하면 축소 영상의 데이터 양은 원래의 영상의 데이터 양의 1/100이 된다. 따라서 축소 영상 4 프레임들(과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상, 및 현재 시각의 단노광 영상)의 데이터 양도 원래의 영상의 데이터 양의 1/25(4%) 밖에 되지 않기 때문에, 종래 기술과 비교하여 본 발명의 제2 실시예에서는 데이터 양의 증가를 현저히 억제할 수 있게 된다.The effects of the second embodiment of the present invention will be described with specific examples. For example, if the reduction ratio is set to 1/10 of vertical and horizontal, the amount of data in the reduced image is 1/100 of the amount of data in the original image. Therefore, the data amount of the reduced image 4 frames (past long exposure image, long exposure image of current time, past short exposure image, and short exposure image of current time) , The increase in the amount of data can be significantly suppressed in the second embodiment of the present invention as compared with the prior art.
물론 움직임 검출 정보의 공간 해상도도 1/100이 된다고 생각된다. 그러나, 축소 영상을 참조하여 움직임 검출을 하면 축소 과정에서 노이즈가 감소되어 고품질의 영상을 사용하여 움직임 검출을 할 수 있다는 장점도 있다. 또한, 축소 영상을 참조하여 움직임 검출을 하는 것은, 일정 영역을 참조하여 움직임 검출을 하는 것과 등가(等價)이므로, 공간적으로 고성능의(robust) 검출 결과를 얻을 수 있다는 장점도 있다. 또한, 움직임 검출 정보의 공간 해상도가 다소 저하되더라도, 소정의 크기를 가진 움직임 오브젝트에 대해 움직임 적응 처리를 적용하기에 충분한 정밀도의 움직임 검출 정보를 얻을 수 있기 때문에, 축소 영상을 사용하는 본 구성의 실질적인 단점은 거의 없다고 볼 수 있다.Of course, the spatial resolution of the motion detection information is also considered to be 1/100. However, when motion detection is performed with reference to a reduced image, noise is reduced in the reduction process, and motion detection can be performed using a high-quality image. In addition, motion detection with reference to a reduced image is equivalent to motion detection with reference to a certain area, so there is an advantage that a robust detection result can be obtained spatially. Further, even if the spatial resolution of the motion detection information is somewhat lowered, the motion detection information with sufficient accuracy to apply the motion adaptive processing to the motion object having the predetermined size can be obtained. Therefore, There are few disadvantages.
이상, 본 발명의 제1 실시예 및 제2 실시예에 대해 설명하였다. 본 발명의 제1 실시예에 의하면, 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여 단노광 영상의 움직임 검출 정보를 생성하는 단노광-영상 움직임 검출부(41)와, 과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여 장노광 영상의 움직임 검출 정보를 생성하는 장노광-영상 움직임 검출부(42)와, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력하는 통합부(43)를 구비한 움직임 검출 장치(1A)가 제공된다.The first and second embodiments of the present invention have been described above. According to the first embodiment of the present invention, a short exposure-image
상기 구성에 의하면, 단노광 영상끼리의 비교에 의해 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의해 장노광 영상의 움직임 검출 정보가 생성되어 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의해 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도를 향상시킬 수 있다.According to the above arrangement, the motion detection information of the short exposure image is generated by comparison between the short exposure images, and the motion detection information of the long exposure image is generated by comparison between the long exposure images, The motion detection information of the long exposure image is integrated. Therefore, since the motion detection information generated by the comparison of images having the same exposure conditions is integrated, the accuracy of motion detection can be improved.
또한, 본 발명의 제2 실시예에 의하면, 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상을 축소하는 축소 처리부(15)를 구비하고, 단노광-영상 움직임 검출부(41)는, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임 검출 정보를 생성하고, 장노광-영상 움직임 검출부(42)는, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임 검출 정보를 생성하는 움직임 검출 장치(1B)가 제공된다.Further, according to the second embodiment of the present invention, there is provided a
상기 구성에 의하면, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 메모리에 기입되고, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 움직임 검출부에 전송된다. 또한, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 메모리에 기입되고, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 움직임 검출부에 전송된다. 따라서 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다.According to the above configuration, the reduced exposure past single exposure image and the reduced exposure exposure image at the current time are written into the memory, and the reduced exposure image of the past and the reduced exposure image of the reduced exposure time are transmitted to the motion detection unit. In addition, the reduced long exposure image and the long exposure image of the reduced current time are written into the memory, and the reduced long exposure image and the reduced long exposure image of the current time are transmitted to the motion detection unit. Therefore, it is possible to suppress an increase in the memory area and an increase in the data transfer amount.
본 발명의 기술 분야에 있어서, 움직임 대상의 영상들을 합성할 때에 발생하는 아티팩트(artifact)는 매우 큰 문제로서, 이 아티팩트 저감에 사용하는 움직임 검출 정보의 정밀도가 중요하다. 본 발명의 실시예들에 의하면, 촬영 영상이 다양한 방해를 포함하고 있는 경우라 해도 안정적인 움직임 검출이 가능하다. 더 나아가 본 발명의 실시예들은 그것을 현실적인 회로 규모로 실현할 수 있다는 점에서 우수하다.In the technical field of the present invention, artifacts generated when composing images of a motion object are very big problems, and precision of motion detection information used for artifact reduction is important. According to the embodiments of the present invention, stable motion detection is possible even when the photographed image contains various obstacles. Furthermore, the embodiments of the present invention are superior in that it can be realized with a realistic circuit scale.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and the inventions claimed by the claims and the inventions equivalent to the claimed invention are to be construed as being included in the present invention.
WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)의 촬영 기능이 없는 촬영 장치에도 이용될 가능성이 있다.There is a possibility that the present invention may be used for a photographing apparatus having no photographing function of WDR (Wide Dynamic Range) or HDR (High Dynamic Range).
1(1A,1B) : 움직임 검출 장치,
10 : 영상 센서,
15 : 축소 처리부,
20(20A,20B) : 프레임 메모리,
30 : 사용 영상 선택부,
40 : 움직임 검출부,
41 : 단노광-영상 움직임 검출부,
42 : 장노광-영상 움직임 검출부,
43 : 통합부,
50 : 갱신부,
70 : WDR 합성부,
80 : 계조 압축부.1 (1A, 1B): motion detection device, 10: image sensor,
15: reduction processing section, 20 (20A, 20B): frame memory,
30: used image selection unit, 40: motion detection unit,
41: Single-exposure-image motion detector,
42: long exposure-image motion detection unit, 43: integration unit,
50: update unit, 70: WDR synthesis unit,
80: Gray scale compression section.
Claims (6)
과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성하는 장노광-영상 움직임 검출부; 및
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력하는 통합부;를 포함한 움직임 검출 장치.A single exposure-image motion detector for detecting a motion of a short exposure image according to a past short exposure image and a short exposure image of a current time and generating motion detection information of a short exposure image;
A long exposure-image motion detector for detecting a motion of a long-exposure image according to a long-exposure image of the past and a long-exposure image of a current time to generate motion detection information of a long exposure image; And
And an integration unit for integrating motion detection information of the long-exposure image and motion detection information of the short exposure image to output integrated motion detection information.
상기 단노광-영상 움직임 검출부는,
상기 단노광 영상의 움직임과 제1 문턱값과의 관계에 따라 상기 단노광 영상의 움직임 검출 정보를 생성하고,
상기 장노광-영상 움직임 검출부는,
상기 제1 문턱값과 다른 제2 문턱값과 상기 장노광 영상의 움직임의 관계에 따라 상기 장노광 영상의 움직임 검출 정보를 생성하는, 움직임 검출 장치.The method according to claim 1,
The end-exposure-image motion detection unit includes:
Generating motion detection information of the short exposure image according to a relationship between a motion of the short exposure image and a first threshold value,
Wherein the long-exposure-image motion detector comprises:
And generates motion detection information of the long-exposure image according to a relationship between a second threshold value different from the first threshold value and motion of the long-exposure image.
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우, 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보 중에서 어느 하나를 출력하는, 움직임 검출 장치.The image processing apparatus according to claim 1,
And outputting any one of motion detection information of the long exposure image and motion detection information of the short exposure image when it is determined that the motion detection information of the long exposure image and the motion detection information of the short exposure image are not integrated, A motion detection device.
영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성하는 사용 영상 선택부;
상기 통합된 움직임 검출 정보에 따라 상기 사용-영상 선택 정보를 갱신하는 갱신부; 및
상기 갱신된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써, 합성 영상을 생성하는 합성부;를 포함한 움직임 검출 장치.The apparatus according to claim 1,
A use image selection unit for generating use-image selection information for selecting a long exposure image or a short exposure image to be used for each region of an image;
An updating unit updating the use-image selection information according to the integrated motion detection information; And
And a synthesizer for synthesizing the long exposure image and the short exposure image according to the updated use-image selection information, thereby generating a composite image.
상기 과거의 장노광 영상, 상기 현재 시각의 장노광 영상, 상기 과거의 단노광 영상, 및 상기 현재 시각의 단노광 영상을 축소하는 축소 처리부를 구비하고,
상기 단노광-영상 움직임 검출부는, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 상기 단노광 영상의 움직임 검출 정보를 생성하고,
상기 장노광-영상 움직임 검출부는, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 상기 장노광 영상의 움직임 검출 정보를 생성하는, 움직임 검출 장치.The apparatus according to claim 1,
And a reduction processing unit for reducing the past long exposure image, the long exposure image of the current time, the past short exposure image, and the short exposure image of the current time,
Wherein the short exposure-image motion detection unit generates motion detection information of the short exposure image in accordance with the reduced exposure image of the past and the reduced exposure image of the reduced present time,
Wherein the long-exposure-image motion detection unit generates motion detection information of the long-exposure image according to a reduced long-exposure image and a long-exposure image of a reduced current time.
과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성함; 및
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력함;을 포함한 움직임 검출 방법.Detecting movement of the long exposure image according to the long exposure image of the past and the long exposure image of the current time to generate motion detection information of the long exposure image;
Detecting motion of a short exposure image according to a past short exposure image and a short exposure image of a current time to generate motion detection information of a short exposure image; And
And combining the motion detection information of the long exposure image and the motion detection information of the short exposure image to output the combined motion detection information.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014081995A JP6678376B2 (en) | 2014-04-11 | 2014-04-11 | Motion detection device and motion detection method |
| JPJP-P-2014-081995 | 2014-04-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150118004A true KR20150118004A (en) | 2015-10-21 |
| KR102127306B1 KR102127306B1 (en) | 2020-06-26 |
Family
ID=54400309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140128284A KR102127306B1 (en) | 2014-04-11 | 2014-09-25 | Movement detecting apparatus and movement detecting method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6678376B2 (en) |
| KR (1) | KR102127306B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180045553A (en) * | 2016-10-26 | 2018-05-04 | 한화테크윈 주식회사 | Wide Dynamic Range Apparatus |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6700028B2 (en) * | 2015-11-24 | 2020-05-27 | ハンファテクウィン株式会社 | Vector calculating device and vector calculating method |
| US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
| JP6601351B2 (en) * | 2016-09-13 | 2019-11-06 | 株式会社デンソー | Eye gaze measurement device |
| JP7374630B2 (en) | 2019-07-09 | 2023-11-07 | キヤノン株式会社 | Imaging device and its driving method |
| CN114173064B (en) * | 2021-12-07 | 2024-04-09 | 天地伟业技术有限公司 | Multiple exposure method and device and electronic equipment |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010116731A1 (en) * | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | Image pickup device, reproduction device, image pickup method and reproduction method |
| JP2010239277A (en) * | 2009-03-30 | 2010-10-21 | Fujifilm Corp | Imaging device and imaging method |
| KR20130066142A (en) | 2011-12-12 | 2013-06-20 | 삼성디스플레이 주식회사 | Lens, backlight module and display apparatus having the lens |
| KR20130093786A (en) | 2011-12-30 | 2013-08-23 | 한국전자통신연구원 | Modulation method for optical modem and signal transmitting apparatus for performing the method |
| JP2013240031A (en) | 2012-04-19 | 2013-11-28 | Canon Inc | Image processing apparatus and image processing method, program, and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311367A (en) * | 2005-04-28 | 2006-11-09 | Toshiba Corp | Imaging apparatus and imaging method |
| JP2011166535A (en) * | 2010-02-10 | 2011-08-25 | Mitsubishi Electric Corp | Imaging apparatus |
| JP5682434B2 (en) * | 2011-04-26 | 2015-03-11 | 株式会社ニコン | Imaging device |
| JP5837463B2 (en) * | 2012-07-06 | 2015-12-24 | 株式会社東芝 | Image processing apparatus and image processing system |
| JP6055224B2 (en) * | 2012-07-27 | 2016-12-27 | クラリオン株式会社 | Lens cleaning device |
-
2014
- 2014-04-11 JP JP2014081995A patent/JP6678376B2/en active Active
- 2014-09-25 KR KR1020140128284A patent/KR102127306B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239277A (en) * | 2009-03-30 | 2010-10-21 | Fujifilm Corp | Imaging device and imaging method |
| WO2010116731A1 (en) * | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | Image pickup device, reproduction device, image pickup method and reproduction method |
| KR20130066142A (en) | 2011-12-12 | 2013-06-20 | 삼성디스플레이 주식회사 | Lens, backlight module and display apparatus having the lens |
| KR20130093786A (en) | 2011-12-30 | 2013-08-23 | 한국전자통신연구원 | Modulation method for optical modem and signal transmitting apparatus for performing the method |
| JP2013240031A (en) | 2012-04-19 | 2013-11-28 | Canon Inc | Image processing apparatus and image processing method, program, and storage medium |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180045553A (en) * | 2016-10-26 | 2018-05-04 | 한화테크윈 주식회사 | Wide Dynamic Range Apparatus |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102127306B1 (en) | 2020-06-26 |
| JP6678376B2 (en) | 2020-04-08 |
| JP2015204488A (en) | 2015-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9544505B2 (en) | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof | |
| KR102127306B1 (en) | Movement detecting apparatus and movement detecting method | |
| US8233062B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| US6720993B1 (en) | Apparatus and method for expanding dynamic range in image processing system | |
| KR102182695B1 (en) | Method and Apparatus for Noise Reduction | |
| KR20150045877A (en) | Image processing apparatus and image processing method | |
| KR20150145725A (en) | Method and apparatus for dynamic range expansion of ldr video sequence | |
| KR20150035315A (en) | Method for generating a High Dynamic Range image, device thereof, and system thereof | |
| KR101964228B1 (en) | Image processing apparatus and image processing method | |
| CN115104120A (en) | Method and device for merging low dynamic range images into single image | |
| JP5882702B2 (en) | Imaging device | |
| JP6227935B2 (en) | Image processing apparatus and image processing method | |
| JP7133979B2 (en) | Image processing device, image processing method, image processing program, and storage medium | |
| JP6800806B2 (en) | Image processing equipment, image processing methods and programs | |
| US9460492B2 (en) | Apparatus and method for image processing | |
| KR20160030350A (en) | Apparatus for processing image and method for processing image | |
| KR102199472B1 (en) | Apparatus and method for processing image | |
| KR102247597B1 (en) | Image processing apparatus and image processing method | |
| WO2021127972A1 (en) | Image processing method and apparatus, imaging device, and movable carrier | |
| KR102282464B1 (en) | Image processing apparatus and image processing method | |
| KR102050415B1 (en) | Apparatus and method for image processing. | |
| KR102182696B1 (en) | Image processing apparatus and image processing method | |
| CN113905185A (en) | Image processing method and device | |
| US20160284066A1 (en) | Method to improve video quality under low light conditions | |
| KR102170697B1 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |