KR101287521B1 - Apparatus and method for generating high dynamic range image based on single frame - Google Patents

Apparatus and method for generating high dynamic range image based on single frame Download PDF

Info

Publication number
KR101287521B1
KR101287521B1 KR1020110104996A KR20110104996A KR101287521B1 KR 101287521 B1 KR101287521 B1 KR 101287521B1 KR 1020110104996 A KR1020110104996 A KR 1020110104996A KR 20110104996 A KR20110104996 A KR 20110104996A KR 101287521 B1 KR101287521 B1 KR 101287521B1
Authority
KR
South Korea
Prior art keywords
image
ldr
histogram
hdr
noise
Prior art date
Application number
KR1020110104996A
Other languages
Korean (ko)
Other versions
KR20130040321A (en
Inventor
백준기
임재현
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020110104996A priority Critical patent/KR101287521B1/en
Publication of KR20130040321A publication Critical patent/KR20130040321A/en
Application granted granted Critical
Publication of KR101287521B1 publication Critical patent/KR101287521B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법이 개시된다. 히스토그램 확장부는 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 복수의 히스토그램 부분집합을 각각 확장하여 원본 영상으로부터 서로 다른 발기 분포를 갖는 복수의 LDR 영상을 생성한다. HDR 영상 합성부는 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성한다. 본 발명에 따르면, 한 장의 원본 영상으로부터 복수의 LDR 영상을 생성하여 HDR 결과 영상을 합성하기 때문에 다수의 LDR 영상 합성 시 피사체 또는 영상 장치의 움직임에 의해서 발생하는 고스트 현상을 제거할 수 있다. 또한 히스토그램 확장 과정에서 발생하는 노이즈를 에지를 보존하는 동시에 제거할 수 있다.Disclosed are a single frame based high dynamic band image generating apparatus and method. The histogram extension divides the luminance histogram of the original image of the subject into a plurality of histogram subsets based on a preset threshold value, and expands the plurality of histogram subsets to respectively display different erection distributions from the original image. A plurality of LDR images are generated. The HDR image synthesizer generates a HDR result image by synthesizing a plurality of LDR images. According to the present invention, since a plurality of LDR images are generated from a single original image to synthesize an HDR result image, ghost phenomenon caused by the movement of a subject or an imaging device can be eliminated when synthesizing a plurality of LDR images. In addition, noise generated during histogram expansion can be removed while preserving edges.

Description

단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법{Apparatus and method for generating high dynamic range image based on single frame}Apparatus and method for generating high dynamic range image based on single frame}

본 발명은 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법에 관한 것으로, 보다 상세하게는, 고스트 현상(ghost effect) 등의 노이즈(noise)가 제거된 높은 동적 대역 영상(high dynamic range image : HDR)을 생성하는 장치 및 방법에 관한 것이다. The present invention relates to a device and method for generating a high dynamic band image based on a single frame, and more particularly, to a high dynamic range image (HDR) in which noise such as a ghost effect is removed. And apparatus and method for generating the same).

실제 환경에서 인간의 시각 인지 시스템(human visual system : HVS)은 일반적인 영상 장치보다 높은 동적 대역을 다룰 수 있다. 따라서 기존의 영상 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display)할 수 없다. 이처럼 기존의 영상 장치가 다룰 수 있는 것보다 큰 동적 대역을 갖는 영상의 처리에 관한 필요성이 커지게 되었으며, 이러한 영상을 높은 동적 대역(high dynamic range : HDR) 영상이라고 한다. In a real environment, the human visual system (HVS) can handle a higher dynamic band than a general imaging device. Therefore, the existing imaging apparatus cannot capture or display an image perceived by a human as it is. As such, the necessity for processing an image having a larger dynamic band than that of an existing imaging apparatus can be increased, and such an image is called a high dynamic range (HDR) image.

높은 동적 대역 영상을 생성하는 가장 대표적인 기술은 서로 다른 노출 조건에서 동일한 장면을 연속적으로 촬영하여 얻어진 다수의 낮은 동적 대역(low dynamic range : LDR) 영상을 합성하여 동적 대역을 확장하는 것이다. 구체적으로 높은 동적 대역 영상은 단 노출 영상(short exposure image : SEI)과 장 노출 영상(long exposure image : LEI)을 합성하여 얻을 수 있다. The most representative technique for generating a high dynamic band image is to expand the dynamic band by synthesizing a plurality of low dynamic range (LDR) images obtained by successively photographing the same scene under different exposure conditions. In more detail, the high dynamic band image may be obtained by synthesizing a short exposure image (SEI) and a long exposure image (LEI).

이때 단 노출 영상 및 장 노출 영상을 획득하는 과정에서 다소 시간이 걸릴 수 있다. 또한 복수의 LDR 영상을 순차적으로 촬영하는 동안 피사체 또는 영상 장치가 움직이면 단 노출 영상과 장 노출 영상이 동일하지 않으므로, 높은 동적 대역 영상 합성 시 움직임이 발생한 영역의 상이 겹쳐지는 고스트 현상(ghost effect)이 발생하게 된다.In this case, it may take some time to acquire the short exposure image and the long exposure image. In addition, if the subject or the imaging device moves while sequentially photographing a plurality of LDR images, the short exposure image and the long exposure image are not the same. Will occur.

또한 디지털 영상에서 노이즈를 제거하는 것은 양질의 영상 데이터를 획득하는데 있어서 매우 중요하다. 디지털 영상 데이터에는 백색 노이즈(white noise) 및 임펄스 노이즈(impulse moise) 등의 다양한 노이즈가 존재할 수 있다. 이러한 노이즈들은 디지털 카메라 등에 의하여 디지털 영상이 생성될 때, 디지털 데이터에 부가된다. Also, removing noise from a digital image is very important in obtaining high quality image data. The digital image data may include various noises such as white noise and impulse noise. Such noises are added to digital data when a digital image is generated by a digital camera or the like.

노이즈를 제거하기 위한 가장 단순한 방식은 메디안(median) 필터, 평균(mean) 필터 및 모드 필터를 이용하는 것이다. 이러한 필터들을 이용하면 노이즈의 상당 부분을 제거할 수 있으나, 영상의 에지(edge)가 흐려지는 블러링(blurring) 현상이 발생할 수 있다. The simplest way to remove noise is to use a median filter, a mean filter, and a mode filter. Such filters can remove a significant portion of the noise, but may cause blurring that blurs the edges of the image.

즉, 영상이 급격히 변동되는 부분에 있어서 고주파 성분의 색 정보가 필터를 거치면서 왜곡되는 현상이 발생한다. 그러므로 노이즈를 제거하기 위한 과정에 있어서 에지 보존(edge preserving) 여부도 동시에 고려해야한다. That is, the color information of the high frequency component is distorted while passing through the filter in a portion where the image is suddenly changed. Therefore, edge preserving must be considered at the same time in the process of removing noise.

본 발명과 관련된 선행논문 Recovering high dynamic range radiance maps from photographs (P. Debevec and J. Malik, 1997)에서는 서로 다른 노출 조건에서 동일한 장면을 연속적으로 촬영하여 얻어진 다수의 LDR 영상을 합성하여 HDR 영상을 생성한다(Debevec의 방법). 이 경우 앞서 설명한 바와 같이, 피사체 또는 영상 장치의 움직임이 존재하는 경우 HDR 영상에 고스트 현상이 발생하게 된다. In the preceding paper, Recovering high dynamic range radiance maps from photographs (P. Debevec and J. Malik, 1997), an HDR image is generated by synthesizing a plurality of LDR images obtained by successively photographing the same scene under different exposure conditions. (Debevec's method) In this case, as described above, when the movement of the subject or the imaging device is present, a ghost phenomenon occurs in the HDR image.

또 다른 선행논문 The retinex theoryof color vision (E. Land, 1977)에서는 라이트 소스(light source)와 반사율(reflectivity)을 측정하여 영상의 색을 복원하는 처리 방법(Retinex 방법)이 제안되었다. 그러나 복원 과정에서 색채 왜곡(color distortion) 현상이 발생하고 노이즈가 확대되는 문제점이 발생한다. In another previous paper, The retinex theory of color vision (E. Land, 1977), a method (Retinex method) for restoring image color by measuring light source and reflectivity has been proposed. However, during the restoration process, color distortion occurs and noise increases.

또한 선행논문 Improved elastic registration for ghost artifact free high dynamic range imaging (J. Im, S. Lee and J. Paik, 2011)에서는 다수의 LDR 영상을 정렬하여 카메라 움직임을 보상하는 LDR 영상 등록 방법(Im의 방법)이 제안되었다. 그러나 피사체의 움직임을 보상할 수 없기 때문에 HDR 영상에 고스트 현상이 발생하게 된다.Also, in the preceding paper, Improved elastic registration for ghost artifact free high dynamic range imaging (J. Im, S. Lee and J. Paik, 2011), LDR image registration method (Im's method), which compensates for camera movement by arranging multiple LDR images ) Has been proposed. However, since the movement of the subject cannot be compensated, a ghost phenomenon occurs in the HDR image.

마지막으로 표준 히스토그램 균등화(standard histogram equalization) 방법(SHE 방법)을 이용하여 생성된 복수의 LDR 영상을 기초로 HDR 영상을 합성하는 경우, 노이즈가 증폭되는 문제점이 생긴다. Finally, when synthesizing HDR images based on a plurality of LDR images generated using a standard histogram equalization method (SHE method), noise is amplified.

본 발명이 이루고자 하는 기술적 과제는, 하나의 LDR 영상으로부터 HDR 영상을 생성하되, 에지를 보존하는 동시에 노이즈를 제거하는 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법을 제공함에 있다. An object of the present invention is to provide an apparatus and method for generating a high dynamic band image based on a single frame which generates an HDR image from one LDR image and removes noise while preserving edges.

본 발명이 이루고자 하는 다른 기술적 과제는, 하나의 LDR 영상으로부터 HDR 영상을 생성하되, 에지를 보존하는 동시에 노이즈를 제거하는 단일 프레임 기반의 높은 동적 대역 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 있다. Another technical problem to be solved by the present invention is to generate an HDR image from one LDR image, but to record a program for executing a single frame-based high dynamic band image generation method on a computer that preserves edges and removes noise. To provide a recording medium that can be read by.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치는, 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 상기 복수의 히스토그램 부분집합을 각각 확장하여 상기 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성하는 히스토그램 확장부; 및 상기 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 HDR 영상 합성부;를 구비한다. In order to achieve the above technical problem, a single frame-based high dynamic band image generating apparatus according to the present invention comprises a plurality of histogram portions based on a preset threshold value of a luminance histogram of an original image of a subject photographed. A histogram extension unit for separating a set and generating a plurality of LDR images having different brightness distributions from the original image by respectively extending the plurality of histogram subsets; And an HDR image synthesizer configured to synthesize the plurality of LDR images to generate an HDR result image.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성방법은, 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 상기 복수의 히스토그램 부분집합을 각각 확장하여 상기 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성하는 히스토그램 확장단계; 및 상기 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 HDR 영상 합성단계;를 갖는다. In order to achieve the above technical problem, a single frame-based high dynamic band image generating method according to the present invention comprises a plurality of histogram portions based on a preset threshold value of a luminance histogram of an original image of a subject photographed. A histogram expansion step of generating a plurality of LDR images having different brightness distributions from the original image by separating them into sets and extending the plurality of histogram subsets, respectively; And an HDR image synthesizing step of synthesizing the plurality of LDR images to generate an HDR result image.

본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법에 의하면, 한 장의 원본 영상으로부터 복수의 LDR 영상을 생성하여 HDR 결과 영상을 합성하기 때문에 다수의 LDR 영상 합성 시 피사체 또는 영상 장치의 움직임에 의해서 발생하는 고스트 현상을 제거할 수 있다. 또한 히스토그램 확장 과정에서 발생하는 노이즈를 제거할 때 에지를 보존함으로써 블러(blur) 현상을 방지할 수 있다. 한편, 본 발명에 따른 HDR 영상 생성장치는 모바일 폰 카메라, 콤펙트(compact) 카메라 등과 같은 모바일 영상 장치에 내장되거나 후처리 소프트웨어(post-processing software) 형태로 구현할 수 있다. 그 결과 고스트 현상이 제거된 HDR 결과 영상을 합성하는 모바일 영상 장치가 구현될 수 있다. According to the apparatus and method for generating a high dynamic band image based on a single frame according to the present invention, since a plurality of LDR images are generated from a single original image to synthesize HDR result images, the movement of a subject or an image device when synthesizing a plurality of LDR images is performed. The ghost phenomenon caused by can be eliminated. In addition, blurring can be prevented by preserving edges when removing noise generated during histogram expansion. Meanwhile, the HDR image generating apparatus according to the present invention may be embedded in a mobile imaging apparatus such as a mobile phone camera, a compact camera, or implemented in the form of post-processing software. As a result, a mobile imaging apparatus for synthesizing the HDR result image from which the ghost phenomenon is removed may be implemented.

도 1은 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 서로 다른 노출 조건 하에서 촬영된 복수의 LDR 영상 및 그에 대응하는 히스토그램을 나타낸 도면,
도 3은 동일한 장소를 연속하여 일정한 시간 간격으로 촬영한 복수의 LDR 영상을 나타낸 도면,
도 4는 도 3의 (a) 영상에 부분적 히스토그램 확장을 적용시킨 결과 및 그에 대응하는 히스토그램을 나타낸 도면,
도 5는 부분적 히스토그램 확장을 적용시켜 노이즈가 증폭된 영상 및 그에 대응하는 색상 매핑 에지 영상을 나타낸 도면,
도 6은 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 7은 본 발명의 성능을 평가하기 위한 실험에 사용된 영상 시퀀스들을 나타낸 도면,
도 8은 Retinex 방법, SHE 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법에서 사용된 원본 영상을 나타낸 도면,
도 9는 도 8의 (a) 영상에 대하여 Debevec의 방법, Retinex 방법, Im의 방법, SHE 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 적용하여 얻어진 HDR 결과 영상을 나타낸 도면,
도 10은 도 9의 결과 영상들 각각에 대하여 병을 포함하는 일부분을 확대시켜 나타낸 도면,
도 11은 도 9의 결과 영상들 각각에 대하여 보행자를 포함하는 일부분을 확대시켜 나타낸 도면,
도 12는 도 8의 (b) 영상에 대한 Debevec의 방법, Retinex 방법, Im의 방법, SHE 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법의 HDR 결과 영상을 나타낸 도면,
도 13은 도 12의 결과 영상들 각각에 대하여 간판을 포함하는 일부분을 확대시켜 나타낸 도면,
도 14는 도 12의 결과 영상들 각각에 대하여 인물을 포함하는 일부분을 확대시켜 나타낸 도면,
도 15는 도 8의 (a) 영상에 에지 보존의 공간 적응 노이즈 제거기법을 적용한 결과를 나타낸 도면, 그리고,
도 16은 도 8의 (b) 영상에 에지 보존의 공간 적응 노이즈 제거기법을 적용한 결과를 나타낸 도면이다. 1 is a block diagram showing the configuration of a preferred embodiment of a single frame-based high dynamic band image generating apparatus according to the present invention;
2 is a view showing a plurality of LDR images taken under different exposure conditions and histograms corresponding thereto;
3 is a view showing a plurality of LDR images taken at a constant time interval in succession of the same place,
FIG. 4 is a diagram illustrating a result of applying partial histogram expansion to the image of FIG. 3A and a corresponding histogram; FIG.
5 is a diagram illustrating an image in which noise is amplified by applying a partial histogram extension and a color mapping edge image corresponding thereto;
6 is a flowchart illustrating a preferred embodiment of a method for generating a high dynamic band image based on a single frame according to the present invention;
7 is a view showing image sequences used in an experiment for evaluating the performance of the present invention;
8 is a diagram illustrating an original image used in a Retinex method, an SHE method, and a method of generating a single frame-based HDR image according to the present invention;
9 is a diagram illustrating an HDR result image obtained by applying the method of Debevec, the Retinex method, the Im method, the SHE method, and the single frame-based HDR image generation method according to the present invention with respect to the image of FIG.
FIG. 10 is an enlarged view of a portion including a bottle for each of the resultant images of FIG. 9; FIG.
FIG. 11 is an enlarged view of a portion including a pedestrian for each of the resultant images of FIG. 9; FIG.
FIG. 12 is a diagram illustrating an HDR result image of a method of Debevec, a Retinex method, an Im method, an SHE method, and a single frame-based HDR image generation method according to the present invention.
FIG. 13 is an enlarged view of a portion including a signboard for each of the resultant images of FIG. 12; FIG.
FIG. 14 is an enlarged view of a portion including a person for each of the resultant images of FIG. 12; FIG.
FIG. 15 is a diagram illustrating a result of applying a spatially adaptive noise canceling technique of edge preservation to the image of FIG. 8 (a), and
FIG. 16 is a diagram illustrating a result of applying edge adaptive spatial adaptive noise cancellation to the image of FIG.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다. Hereinafter, exemplary embodiments of a single frame-based high dynamic band image generating apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a preferred embodiment of a single frame-based high dynamic band image generating apparatus according to the present invention.

도 1을 참조하면, 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성장치는, 히스토그램 확장부(110), 노이즈 제거부(120) 및 HDR 영상 합성부(130)를 구비한다. Referring to FIG. 1, the apparatus for generating a high dynamic band image based on a single frame according to the present invention includes a histogram extension unit 110, a noise removing unit 120, and an HDR image synthesis unit 130.

히스토그램 확장부(110)는 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 복수의 히스토그램 부분집합을 각각 확장하여 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성한다.The histogram extension unit 110 divides the histogram of brightness of the original image of the subject into a plurality of histogram subsets based on a preset threshold value, and extends the plurality of histogram subsets to each other from the original image. A plurality of LDR images having different brightness distributions are generated.

앞에서 설명한 바와 같이, 현재 상용되고 있는 HDR 영상 합성 기술은 서로 다른 노출 값이 설정된 상태에서 촬영된 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성한다. 이 경우 복수의 LDR 영상은 각각 서로 다른 노출 조건에서 촬영된 것과 같이 서로 상이한 밝기 분포를 가진다. 따라서 각각의 LDR 영상에 대응하는 히스토그램은 특정한 밝기 영역에 편중된다. 이는 동적 영역이 밝기 레벨(level)에 대응하여 제한된다는 것을 의미한다. As described above, currently-available HDR image synthesis technology generates a HDR result image by synthesizing a plurality of LDR images taken with different exposure values set. In this case, the plurality of LDR images have different brightness distributions, as photographed under different exposure conditions. Therefore, the histogram corresponding to each LDR image is biased in a specific brightness region. This means that the dynamic range is limited in correspondence with the brightness level.

도 2는 서로 다른 노출 조건 하에서 촬영된 복수의 LDR 영상 및 그에 대응하는 히스토그램을 나타낸 도면이다.  2 is a diagram illustrating a plurality of LDR images photographed under different exposure conditions and histograms corresponding thereto.

도 2를 참조하면, (a) 영상은 과노출(over-exposed) 상태에서 촬영된 LDR 영상 및 그에 대응하는 히스토그램, (b) 영상은 정상적인 노출(normal-exposed) 상태에서 촬영된 LDR 영상 및 그에 대응하는 히스토그램, (c) 영상은 저노출(under-exposed) 상태에서 촬영된 LDR 영상 및 그에 대응하는 히스토그램이다. Referring to FIG. 2, (a) an image is an LDR image taken in an over-exposed state and a histogram corresponding thereto, and (b) an image is an LDR image taken in a normal-exposed state and The corresponding histogram, (c) the image is an LDR image taken in an under-exposed state and the corresponding histogram.

만약 적절하게 (a) 영상, (b) 영상 및 (c) 영상을 합성한다면 밝기 레벨 전체에 최대한 균일하게 분포된 히스토그램을 갖는 HDR 결과 영상을 합성할 수 있다. 이러한 기법은 피사체 또는 영상 장치의 움직임이 없는 정적인 상태일 때 효과적이다. 그러나 현실적으로 대부분의 영상은 피사체 또는 영상 장치의 움직임이 존재하는 동적인 상태에서 얻어진다. If properly synthesized (a) image, (b) image and (c) image, it is possible to synthesize HDR result image with histogram distributed as uniformly as possible throughout the brightness level. This technique is effective when there is no static state of the subject or the image device. In reality, however, most images are obtained in a dynamic state in which movement of a subject or an imaging device exists.

도 3은 동일한 장소를 연속하여 일정한 시간 간격으로 촬영한 복수의 LDR 영상을 나타낸 도면이다.FIG. 3 is a diagram illustrating a plurality of LDR images taken at a constant time interval in the same place.

도 3을 참조하면, (a) 영상은 피사체의 움직임이 없는 상태에서 촬영된 정상적인 노출의 LDR 영상, (b) 영상은 촬영 장소의 오른쪽에서 자동차가 나타나는 순간에 촬영된 과노출의 LDR 영상, (c) 영상은 촬영 장소의 중앙을 자동차가 가로지르는 순간에 촬영된 저노출의 LDR 영상이다. Referring to FIG. 3, (a) an image is an LDR image of a normal exposure photographed without a subject's movement, (b) an image is an LDR image of an overexposure photographed at a moment when a car appears on the right side of a photographing place, ( c) The image is a low-exposure LDR image taken at the moment the car crosses the center of the shooting location.

도 3의 (a) 영상, (b) 영상 및 (c) 영상은 움직이는 자동차와 보행하는 행인을 포함하는, 즉 움직이는 피사체를 포함하고 있는 영상이다. 이처럼 복수의 LDR 영상이 움직이는 피사체를 포함하는 경우, 합성된 HDR 결과 영상은 움직임이 있는 영역에 고스트 현상(ghost artifact)을 포함하게 된다. The images (a), (b) and (c) of FIG. 3 are images including a moving vehicle and a pedestrian walking, that is, a moving subject. As described above, when the plurality of LDR images include a moving subject, the synthesized HDR result image includes ghost artifacts in the moving region.

이와 같이 피사체 또는 영상 장치의 움직임이 존재하지 않는 상태에서만 효과적인 기존의 HDR 합성 기술의 제약을 극복하기 위해, 히스토그램 확장부(110)는 한 장의 원본 영상으로부터 부분적 히스토그램 확장(local histogram stretching)을 이용하여 복수의 LDR 영상을 생성한다. 이때 원본 영상 역시 복수의 LDR 영상 중 하나가 될 수 있다. In order to overcome the limitations of the existing HDR synthesis technique effective only in the absence of the movement of the subject or the imaging device, the histogram extension unit 110 uses local histogram stretching from a single original image. Generate a plurality of LDR images. In this case, the original image may also be one of a plurality of LDR images.

대표적인 방식으로, 히스토그램 확장부(110)는 원본 영상의 밝기 히스토그램을 임계값을 기준으로 두 개의 히스토그램 부분집합으로 분리하고, 히스토그램 부분집합을 각각 확장하여 과노출(over-exposed)의 LDR 영상 및 저노출(under-exposed)의 LDR 영상을 생성할 수 있다. 또한 원본 영상은 기준 LDR 영상이 된다. In a representative manner, the histogram extension unit 110 separates the brightness histogram of the original image into two histogram subsets based on a threshold value, and expands the histogram subsets, respectively, to over-exposed LDR images and low images. An LDR image of an under-exposed may be generated. The original video also becomes a reference LDR video.

구체적으로, 히스토그램 확장부(110)는 부분적 히스토그램 확장 방법을 적용할 때 가중치 히스토그램 분리 방법(weighted histogram separation; WHS)을 사용할 수 있다. Specifically, the histogram extension unit 110 may use a weighted histogram separation (WHS) when applying the partial histogram expansion method.

WHS는 데이터 분리 단위(data separation units : DSUs)를 기초로 구성된다. 구체적으로, 그레이 레벨 영상(gray level image)의 밝기 히스토그램(luminance histogram) 데이터 집합인 H는 두 개의 부분집합(subsets)인 H0와 H1으로 분리된다. 또한 H(p)는 데이터 집합에서 p번째 값을 나타낸다. WHS is based on data separation units (DSUs). Specifically, H, the luminance histogram data set of the gray level image, is divided into two subsets H 0 and H 1 . H (p) also represents the pth value in the data set.

H 데이터 집합을 분리하기 위해서 임계치 τ를 측정한다. 임계치 τ는 다음의 수학식 1과 같이 산출된다. Threshold τ is measured to separate the H data set. The threshold τ is calculated as shown in Equation 1 below.

Figure 112011080300940-pat00001
Figure 112011080300940-pat00001

여기서, w는 두 개로 분리된 부분집합의 크기를 조절하는 가중치 인자, H(p)는 데이터 집합에서 p번째 값, 그리고 M은 H 데이터 집합의 데이터의 총 수를 나타낸다. 또한 M은 다음의 수학식 2와 같이 산출된다. Here, w is a weighting factor for adjusting the size of the divided subset, H (p) is the p-th value in the data set, and M is the total number of data in the H data set. In addition, M is calculated as shown in Equation 2 below.

Figure 112011080300940-pat00002
Figure 112011080300940-pat00002

여기서, L은 밝기 레벨인 256과 동일한 값으로 H 데이터 집합의 차원(dimension)을 나타낸다. Here, L represents the dimension of the H data set with the same value as the brightness level 256.

히스토그램 확장부(110)는 측정된 임계치 τ값을 사용하여 H 데이터 집합을 두 개의 부분집합 H0 및 H1으로 분리할 수 있다. 구체적으로, 두 개의 부분집합 H0 및 H1은 다음의 수학식 3에 의해 결정된다. The histogram extension unit 110 may divide the H data set into two subsets H 0 and H 1 using the measured threshold value τ. Specifically, the two subsets H 0 and H 1 are It is determined by equation (3).

Figure 112011080300940-pat00003
Figure 112011080300940-pat00003

Figure 112011080300940-pat00004
Figure 112011080300940-pat00004

수학식 3과 같이 H0는 0부터 임계치 τ까지의 밝기 레벨을, H1은 임계치 τ부터 255까지의 밝기 레벨을 포함한다. 그러므로 히스토그램 확장부(110)는 부분집합 H0 및 H1을 각각 확장하여 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성할 수 있다. As shown in Equation 3, H 0 includes a brightness level from 0 to a threshold τ and H 1 includes a brightness level from a threshold τ to 255. Therefore, the histogram expansion unit 110 may generate a plurality of LDR images having different brightness distributions by extending the subsets H 0 and H 1 , respectively.

또한, 히스토그램 확장부(110)는 히스토그램 확장을 위해 RGB(red, green, blue) 색 공간을 HSV(hue, saturation, value) 색 공간으로 변환하고, 히스토그램의 V 값을 다음의 수학식 4에 의해 확장한다. In addition, the histogram extension unit 110 converts the RGB (red, green, blue) color space into the HSV (hue, saturation, value) color space to expand the histogram, and converts the V value of the histogram by Equation 4 below. Expand.

Figure 112011080300940-pat00005
Figure 112011080300940-pat00005

여기서,

Figure 112011080300940-pat00006
는 히스토그램 확장으로 얻어진 영상,
Figure 112011080300940-pat00007
는 히스토그램 확장 전의 부분집합 영상, i는 두 개로 분리된 부분집합 중 하나를 나타내는 첨자이다. 확장된 V 채널의 히스토그램은 H 및 S 채널과 함께 다시 RGB 색 공간으로 변환된다. 결과적으로 확장된 히스토그램 H0는 과노출 영상(over-exposed image)에 해당하며, H1은 저노출 영상(under-exposed image)에 해당된다. here,
Figure 112011080300940-pat00006
Is an image obtained by histogram expansion,
Figure 112011080300940-pat00007
Is a subset image before histogram expansion, and i is a subscript representing one of two divided subsets. The histogram of the extended V channel is converted back to RGB color space along with the H and S channels. As a result, the expanded histogram H 0 corresponds to an over-exposed image and H 1 corresponds to an under-exposed image.

도 4는 도 3의 (a) 영상에 부분적 히스토그램 확장을 적용시킨 결과 및 그에 대응하는 히스토그램을 나타낸 도면이다. FIG. 4 is a diagram illustrating a result of applying partial histogram extension to the image of FIG. 3A and a histogram corresponding thereto.

도 4를 참조하면, (a) 영상은 원본 영상 및 그에 대응하는 히스토그램, (b) 영상은 밝은 레벨(bright level)의 히스토그램을 확장하여 얻어진 과노출 영상(over-exposed image) 및 그에 대응하는 히스토그램, (c) 영상은 중간 레벨(mid-level)의 히스토그램을 확장하여 얻어진 정상노출 영상(normally exposed image) 및 그에 대응하는 히스토그램, (d) 영상은 어두운 레벨(dark level)의 히스토그램을 확장하여 얻어진 저노출 영상(under exposure image) 및 그에 대응하는 히스토그램이다. Referring to FIG. 4, (a) the original image and a histogram corresponding thereto, and (b) the image is an over-exposed image obtained by extending a histogram of a bright level and a histogram corresponding thereto. (c) the image is a normally exposed image obtained by expanding a mid-level histogram and a corresponding histogram, and (d) the image is obtained by expanding a histogram of a dark level. An under exposure image and a corresponding histogram.

이 경우 복수의 LDR 영상은 하나의 원본 영상으로부터 얻어진 것이어서 정확히 같은 기하학적 좌표값(geometric coordinate)을 갖기 때문에, 최종적으로 합성된 HDR 결과 영상에서 고스트 현상을 감소시킬 수 있다. In this case, since the plurality of LDR images are obtained from one original image and have exactly the same geometric coordinates, the ghost phenomenon may be reduced in the finally synthesized HDR result image.

다시 도 1을 참조하면, 노이즈 제거부(120)는 복수의 LDR 영상 각각에 대하여 에지(edge) 영역을 검출하여 에지(edge) 영역을 보존하는 동시에 각각의 LDR 영상의 노이즈를 제거한다.Referring back to FIG. 1, the noise remover 120 detects edge regions for each of the plurality of LDR images, preserves the edge regions, and removes noise of each LDR image.

히스토그램 확장부(110)가 부분적 히스토그램 확장 과정을 수행하는 동안 노이즈가 함께 증폭되고, 결과적으로 HDR 결과 영상의 화질이 떨어지게 된다. 이러한 노이즈를 제거하기 위한 가장 간단한 방법으로 평균 필터(averaging filter) 방법이 있다. 그러나 이 방법은 노이즈 뿐만 아니라 에지와 같은 중요한 디테일도 제거한다는 문제점을 갖는다. While the histogram extension unit 110 performs the partial histogram expansion process, the noise is amplified together, and as a result, the image quality of the HDR result image is degraded. The simplest way to remove this noise is the averaging filter. However, this method has the problem of removing not only noise but also important details such as edges.

노이즈 제거부(120)는 에지를 보존하면서 노이즈는 제거하기 위하여, 공간 적응적 잡음제거 알고리즘(spatially adaptive denoising algorithm)을 사용한다. 이를 통해 노이즈가 증폭된 복수의 LDR 영상 각각에 대하여 디테일한 높은 주파수 영역(detailed high-frequency regions)인 에지 영역을 검출하고, 적절한 가중치 값을 갖는 평균 필터(averaging filter)의 결과값으로부터 평탄한 영역(flat regions)인 비 에지 영역(non-edge region)을 검출한다. The noise remover 120 uses a spatially adaptive denoising algorithm to remove noise while preserving edges. This detects edge regions, which are detailed high-frequency regions, for each of a plurality of LDR-amplified LDR images, and obtains a flat region from the result of an average filter having an appropriate weight value. Detect non-edge regions that are flat regions.

적응적 잡음제거 알고리즘에 의한 노이즈 제거 과정은 다음의 수학식 5와 같이 표현할 수 있다. The noise removal process by the adaptive noise removal algorithm may be expressed as Equation 5 below.

Figure 112011080300940-pat00008
Figure 112011080300940-pat00008

Figure 112011080300940-pat00009
Figure 112011080300940-pat00009

여기서,

Figure 112011080300940-pat00010
는 노이즈가 제거된 LDR 영상,
Figure 112011080300940-pat00011
는 노이즈를 제거하기 전의 LDR 영상,
Figure 112011080300940-pat00012
는 평균 필터를 적용한 LDR 영상,
Figure 112011080300940-pat00013
는 영상의 (i,j) 좌표에 적용되는 가중치,
Figure 112011080300940-pat00014
는 (i,j) 좌표를 중심으로 하는 지역 분산(local variance),
Figure 112011080300940-pat00015
는 α의 분포를 [0,1]의 영역에서 균일하게 나타나도록 해주는 조정 파라미터(tuning parameter) 값이다. here,
Figure 112011080300940-pat00010
Is a noise-free LDR image,
Figure 112011080300940-pat00011
Is the LDR image before removing the noise,
Figure 112011080300940-pat00012
Is an LDR image with an average filter,
Figure 112011080300940-pat00013
Is the weight applied to the (i, j) coordinates of the image,
Figure 112011080300940-pat00014
Local variance around (i, j) coordinates,
Figure 112011080300940-pat00015
Is a tuning parameter value that allows the distribution of α to appear uniformly in the region of [0,1].

도 5는 부분적 히스토그램 확장을 적용시켜 노이즈가 증폭된 영상 및 그에 대응하는 색상 매핑 에지 영상(color-mapped edge image)을 나타낸 도면이다.FIG. 5 is a diagram illustrating an image in which noise is amplified by applying a partial histogram extension and a color-mapped edge image corresponding thereto.

도 5를 참조하면, (a) 영상은 부분적 히스토그램 확장에 의해 노이즈가 증폭된 영상이다. (b) 영상은 (a) 영상에 대응하는 색상 매핑 에지 영상(color-mapped edge image)으로, 블랙 영역(black regions)은 모든 RGB 색상 채널에서 일반적인 에지(common edge)를 나타낸다. Referring to FIG. 5, the (a) image is an image in which noise is amplified by partial histogram expansion. (b) An image is a color-mapped edge image corresponding to (a) image, and black regions represent a common edge in all RGB color channels.

반면, 화이트 영역(white regions)은 평탄한 비 에지 영역(flat non-edge region)을 나타낸다. 예를 들어, 만약 R 채널(red channel)에만 에지가 있다면 대응되는 영역은 적색(red)으로 나타난다. White regions, on the other hand, represent flat non-edge regions. For example, if there is an edge only in the red channel, the corresponding area is shown in red.

다시 도 1을 참조하면, HDR 영상 합성부(130)는 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성한다. HDR 영상 합성을 위한 복수의 LDR 영상이 하나의 원본 영상으로부터 생성됨에 따라 고스트 현상을 방지할 수 있으며, 에지를 보존하는 노이즈 제거에 의해 블러 현상을 방지할 수 있다. Referring back to FIG. 1, the HDR image synthesizer 130 generates a HDR result image by synthesizing a plurality of LDR images. As a plurality of LDR images for HDR image synthesis are generated from one original image, ghosting can be prevented, and blur can be prevented by removing noise that preserves edges.

도 6은 본 발명에 따른 단일 프레임 기반의 높은 동적 대역 영상 생성방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다. 6 is a flowchart illustrating a preferred embodiment of the method for generating a high dynamic band image based on a single frame according to the present invention.

히스토그램 확장부(110)는 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 복수의 히스토그램 부분집합을 각각 확장하여 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성한다(S610).The histogram extension unit 110 divides the histogram of brightness of the original image of the subject into a plurality of histogram subsets based on a preset threshold value, and extends the plurality of histogram subsets to each other from the original image. A plurality of LDR images having different brightness distributions are generated (S610).

그 다음으로 노이즈 제거부(120)는 복수의 LDR 영상 각각에 대하여 에지(edge) 영역을 검출하여 에지(edge) 영역을 보존하는 동시에 각각의 LDR 영상의 노이즈를 제거한다(S620). Next, the noise removing unit 120 detects edge regions for each of the plurality of LDR images, preserves the edge regions, and removes noise of each LDR image (S620).

마지막으로 HDR 영상 합성부(130)는 노이즈가 제거된 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성한다(S630). Finally, the HDR image synthesizer 130 synthesizes the plurality of LDR images from which the noise is removed to generate an HDR result image (S630).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에는 2592 X 1944 크기의 세 가지 영상 시퀀스를 사용하였다. 또한 각각의 영상 시퀀스는 카메라 또는 피사체의 움직임이 존재하는 상태에서 서로 다른 노출 조건으로 얻어진 세 개의 LDR 영상으로 구성된다. Experiments were conducted to evaluate the performance of the present invention. Three imaging sequences, 2592 × 1944, were used for the experiment. In addition, each image sequence is composed of three LDR images obtained under different exposure conditions in the presence of camera or subject movement.

도 7은 본 발명의 성능을 평가하기 위한 실험에 사용된 영상 시퀀스들을 나타낸 도면이다. 7 is a diagram illustrating image sequences used in an experiment for evaluating the performance of the present invention.

도 7을 참조하면, (a) 영상 시퀀스는 병(bottle)을 포함하고 있는 영상으로 카메라 및 보행자의 움직임이 존재한다. (b) 영상 시퀀스는 카페를 촬영한 영상으로 카메라 및 자동차의 움직임이 존재한다. Referring to FIG. 7, (a) the image sequence is an image including a bottle, in which a camera and a pedestrian are present. (b) Image sequence is an image of a café and there are camera and car movements.

본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법의 유효성을 확인하기 위해서, 본 발명과 앞서 설명한 기존의 Debevec의 방법, Retinex 방법, Im의 방법 및 SHE(standard histogram equalization) 방법과의 비교를 수행하였다. In order to confirm the effectiveness of the method for generating a single frame based HDR image according to the present invention, a comparison between the present invention and the conventional Debevec method, Retinex method, Im method, and standard histogram equalization (SHE) method was performed. .

Debevec의 방법 및 Im의 방법은 도 7의 세 장의 LDR 영상 시퀀스를 사용하여 HDR 결과 영상을 합성한다. 반면에 Retinex 방법, SHE 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법은 한 장의 원본 영상을 사용하여 HDR 결과 영상을 합성한다. Debevec's method and Im's method synthesize the HDR result image using the three LDR image sequences of FIG. 7. On the other hand, the Retinex method, the SHE method, and the single frame-based HDR image generating method according to the present invention synthesize the HDR result image using a single original image.

도 8은 Retinex 방법, SHE 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법에서 사용된 원본 영상을 나타낸 도면이다. 8 is a diagram illustrating an original image used in a Retinex method, an SHE method, and a method of generating a single frame-based HDR image according to the present invention.

도 9는 도 8의 (a) 영상에 대하여 Debevec의 방법, Retinex 방법, Im의 방법, SHE(standard histogram equalization) 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 적용하여 얻어진 HDR 결과 영상을 나타낸 도면이다. 9 is a HDR result image obtained by applying the method of Debevec, Retinex method, Im method, standard histogram equalization (SHE) method and a single frame-based HDR image generation method according to the present invention with respect to the image (a) of FIG. It is a diagram showing.

도 9를 참조하면, (a) 영상은 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상을 나타낸다. Referring to FIG. 9, (a) the image is the original image, (b) the image is the result image obtained using the method of Debevec, (c) the image is the result image obtained using the method of Im, and (d) the image is Retinex. The resultant image obtained using the method, (e) the image represents the resultant image obtained using the SHE method, and (f) the image represents the resultant image obtained using the single frame-based HDR image generation method according to the present invention.

(d) 영상을 제외한 모든 결과 영상은 도로와 횡단 보도 영역에서 콘트라스트(contrast)가 성공적으로 향상되었다. 그러나 (d) 영상의 밝은 영역에서는 초과 포화도(excessive saturation)가 측정된다. (d) All the resulting images, except the images, successfully improved contrast in the road and crosswalk areas. However, (d) excess saturation is measured in bright areas of the image.

도 10은 도 9의 결과 영상들 각각에 대하여 병을 포함하는 일부분을 확대시켜 나타낸 도면이다. FIG. 10 is an enlarged view of a portion including a bottle with respect to each of the resultant images of FIG. 9.

도 10을 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상을 나타낸다. Referring to FIG. 10, (a) an image is an original image indicating a portion to be enlarged, (b) an image is an enlarged portion of a resultant image obtained using Debevec's method, and (c) an image is a method of Im. An enlarged image of a portion of the resulting image obtained using (d) an image of an enlarged portion of the resulting image obtained using the Retinex method, and (e) an enlarged image of a portion of the resulting image obtained using the SHE method. The image, and (f) the image represents an enlarged image of a portion of the resultant image obtained by using the HDR method for generating a single frame based on the present invention.

이 경우 (b) 영상에서는 고스트 현상이 발생하지만, (c) 영상에서는 전역 움직임 추정(global motion estimation) 및 보상 함수(compensation function) 때문에 고스트 현상이 제거된다. In this case, the ghost phenomenon occurs in the image (b), but the ghost phenomenon is removed in the image (c) because of the global motion estimation and the compensation function.

또한 (d) 영상 및 (e) 영상에서는 노이즈가 확대된다. 한편, 다른 방법들과 대조적으로 (f) 영상은 고스트 현상이 제거되었으며 노이즈도 확대되지 않는다. In addition, the noise is magnified in the (d) and (e) images. On the other hand, in contrast to the other methods, the (f) image has been eliminated ghosting and noise is not magnified.

도 11은 도 9의 결과 영상들 각각에 대하여 보행자를 포함하는 일부분을 확대시켜 나타낸 도면이다. FIG. 11 is an enlarged view of a portion including a pedestrian with respect to each of the resultant images of FIG. 9.

도 11을 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상을 나타낸다. Referring to FIG. 11, (a) an image is an original image indicating a portion to be enlarged, (b) an image is an enlarged portion of a resultant image obtained using Debevec's method, and (c) an image is a method of Im. An enlarged image of a portion of the resulting image obtained using (d) an image of an enlarged portion of the resulting image obtained using the Retinex method, and (e) an enlarged image of a portion of the resulting image obtained using the SHE method. The image, and (f) the image represents an enlarged image of a portion of the resultant image obtained by using the HDR method for generating a single frame based on the present invention.

(b) 영상은 고스트 현상을 포함한다. 이는 Debevec의 방법은 카메라와 피사체 사이의 상대적 움직임을 보상할 수 없기 때문이다. (b) The image contains a ghost phenomenon. This is because Debevec's method cannot compensate for the relative movement between the camera and the subject.

또한 (c) 영상도 고스트 현상을 포함한다. Im의 방법은 카메라의 움직임과 같은 전역 움직임(global motion)을 보상할 수 있으나, 걸어가고 있는 보행자의 움직임과 같은 지역 움직임(local motion)은 보상할 수 없기 때문이다. 따라서 고스트 현상은 움직임이 있는 피사체가 존재하는 영역에서 발생 된다. (C) The image also includes a ghost phenomenon. Im's method can compensate for global motion, such as camera movement, but not local motion, such as the movement of a walking pedestrian. Therefore, the ghost phenomenon occurs in a region where a moving subject exists.

한편, (d) 영상에서는 포화도(saturation) 문제가 발생한다. 이는 어두운 영역의 콘트라스트(contrast)를 향상시키는 동안에, 밝기 레벨(bright levels)이 떨어지기 때문이다. Meanwhile, a saturation problem occurs in the image (d). This is because the brightness levels fall while improving the contrast in the dark areas.

(e) 영상에서는 노이즈가 심각하게 확대된다. 한편 (f) 영상에서는 고스트 현상이 제거되었으며 노이즈도 확대되지 않는다. (e) The noise is seriously magnified in the image. On the other hand, in the image (f), the ghost phenomenon is removed and the noise is not expanded.

도 12는 도 8의 (b) 영상에 대한 Debevec의 방법, Retinex 방법, Im의 방법, SHE(standard histogram equalization) 방법 및 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법의 HDR 결과 영상을 나타낸 도면이다.FIG. 12 is a diagram illustrating an HDR result image of a method of Debevec, a Retinex method, an Im method, a standard histogram equalization (SHE) method, and a single frame-based HDR image generation method according to the present invention. to be.

도 12를 참조하면, (a) 영상은 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상을 나타낸다. Referring to FIG. 12, (a) the image is the original image, (b) the image is the result image obtained using the method of Debevec, (c) the image is the result image obtained using the method of Im, and (d) the image is Retinex. The resultant image obtained using the method, (e) the image represents the resultant image obtained using the SHE method, and (f) the image represents the resultant image obtained using the single frame-based HDR image generation method according to the present invention.

획득한 입력 영상에는 카메라 및 피사체의 움직임이 존재하기 때문에 (b) 영상 및 (c) 영상에서는 고스트 현상이 나타난다. (d) 영상 및 (e) 영상에서는 고스트 현상이 나타나지 않으나, 노이즈가 극심하게 확대된다. 특히 (e) 영상에서는 색채 왜곡(color distortion) 현상도 나타난다. 반면 (f) 영상은 고스트 현상 및 노이즈 확대 현상이 존재하지 않는다. Since the motion of the camera and the subject is present in the acquired input image, ghost phenomenon appears in the images (b) and (c). Ghosts do not appear in the (d) and (e) images, but the noise is greatly enlarged. In particular, (e) color distortion also occurs in the image. On the other hand, (f) the image does not have ghost phenomenon and noise magnification.

도 13은 도 12의 결과 영상들 각각에 대하여 간판을 포함하는 일부분을 확대시켜 나타낸 도면이다.FIG. 13 is an enlarged view of a portion including a signboard for each of the resultant images of FIG. 12.

도 13을 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상을 나타낸다. Referring to FIG. 13, (a) an image is an original image indicating a portion to be enlarged, (b) an image is an enlarged portion of a resultant image obtained using Debevec's method, and (c) an image is a method of Im. An enlarged image of a portion of the resulting image obtained using (d) an image of an enlarged portion of the resulting image obtained using the Retinex method, and (e) an enlarged image of a portion of the resulting image obtained using the SHE method. The image, and (f) the image represents an enlarged image of a portion of the resultant image obtained by using the HDR method for generating a single frame based on the present invention.

Debevec의 방법은 카메라 움직임을 보상할 수 없기 때문에 (b) 영상에 고스트 현상이 우세하게 나타난다. 또한 비록 Im의 방법이 전역 카메라 움직임(global camera motion)을 보상할 수 있다 하더라도, (c) 영상에 있어서 고스트 현상은 여전히 존재한다. Because Debevec's method cannot compensate for camera movement, (b) ghosting predominates in the image. Also, although Im's method can compensate for global camera motion, (c) ghosting still exists in the image.

한편, (d) 영상 및 (e) 영상은 확대된 노이즈를 포함한다. 반면 (f) 영상에는 고스트 현상 및 노이즈 확대 현상이 존재하지 않는다. Meanwhile, the (d) image and the (e) image include enlarged noise. On the other hand, ghosting and noise magnification do not exist in the image.

도 14는 도 12의 결과 영상들 각각에 대하여 인물을 포함하는 일부분을 확대시켜 나타낸 도면이다. FIG. 14 is an enlarged view of a portion including a person for each of the resultant images of FIG. 12.

도 14를 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상, (b) 영상은 Debevec의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (c) 영상은 Im의 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (d) 영상은 Retinex 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, (e) 영상은 SHE 방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상, 그리고 (f) 영상은 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법을 사용하여 얻어진 결과 영상의 일부분을 확대한 영상을 나타낸다. Referring to FIG. 14, (a) an image is an original image indicating a portion to be enlarged, (b) an image is an enlarged portion of a resultant image obtained by using the method of Debevec, and (c) an image is a method of Im. An enlarged image of a portion of the resulting image obtained using (d) an image of an enlarged portion of the resulting image obtained using the Retinex method, and (e) an enlarged image of a portion of the resulting image obtained using the SHE method. The image, and (f) the image represents an enlarged image of a portion of the resultant image obtained by using the HDR method for generating a single frame based on the present invention.

인물이 움직이고 있기 때문에 지역 움직임(local motion)이 발생한다. 그러므로 Debevec의 방법을 사용한 (b) 영상 및 Im의 방법을 사용한 (c) 영상에서는 고스트 현상이 나타난다. Local motion occurs because the character is moving. Therefore, the ghost phenomenon appears in (b) images using Debevec's method and (c) images using Im's method.

반면에 (d) 영상, (e) 영상 및 (f) 영상에서는 고스트 현상이 발생하지 않는다. 이는 하나의 입력 영상을 사용하기 때문이다. 그러나 (d) 영상 및 (e) 영상에서는 노이즈가 확장된다. On the other hand, ghosting does not occur in (d), (e) and (f) images. This is because one input image is used. However, noise is extended in the (d) and (e) images.

반면에 (f) 영상에서 볼 수 있듯이 본 발명에 따른 단일 프레임 기반의 HDR 영상 생성방법은 고스트 현상 및 노이즈 확장 현상 없이 HDR 영상을 생성한다. On the other hand, as can be seen in (f) image, the single frame-based HDR image generation method according to the present invention generates an HDR image without ghosting and noise expansion.

도 15는 도 8의 (a) 영상에 에지 보존의 공간 적응 노이즈 제거기법(edge-preserving spatially adaptive denoising method)을 적용한 결과를 나타낸 도면이다. FIG. 15 is a diagram illustrating a result of applying an edge-preserving spatially adaptive denoising method to the image of FIG. 8 (a).

도 15를 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상이고 (b) 영상, (c) 영상 및 (d) 영상은 (a) 영상에 표시된 부분을 확대시킨 영상들이다. 구체적으로, (b) 영상은 컬러 에지 맵, (c) 영상은 세 장의 LDR 영상을 합성 후 노이즈가 포함된 HDR 결과 영상, (d) 영상은 노이즈가 제거된 HDR 결과 영상을 나타낸다. Referring to FIG. 15, (a) images are original images displaying portions to be enlarged, and (b) images, (c) images, and (d) images are enlarged portions of images displayed on (a) images. Specifically, (b) the image shows the color edge map, (c) the image shows the HDR result image including the noise after synthesizing three LDR images, and (d) the image shows the HDR result image from which the noise is removed.

도 16은 도 8의 (b) 영상에 에지 보존의 공간 적응 노이즈 제거기법(edge-preserving spatially adaptive denoising method)을 적용한 결과를 나타낸 도면이다. FIG. 16 is a diagram illustrating a result of applying an edge-preserving spatially adaptive denoising method to the image of FIG. 8 (b).

도 16을 참조하면, (a) 영상은 확대될 일부분을 표시한 원본 영상이고 (b) 영상, (c) 영상 및 (d) 영상은 (a) 영상에 표시된 부분을 확대시킨 영상들이다. 구체적으로, (b) 영상은 컬러 에지 맵, (c) 영상은 세 장의 LDR 영상을 합성 후 노이즈가 포함된 HDR 결과 영상, (d) 영상은 노이즈가 제거된 HDR 결과 영상을 나타낸다. Referring to FIG. 16, (a) images are original images indicating portions to be enlarged, and (b) images, (c) images, and (d) images are images obtained by magnifying portions displayed on (a) images. Specifically, (b) the image shows the color edge map, (c) the image shows the HDR result image including the noise after synthesizing three LDR images, and (d) the image shows the HDR result image from which the noise is removed.

한편, 본 발명에 따른 HDR 영상 생성장치는 모바일 폰 카메라, 콤펙트(compact) 카메라 등과 같은 모바일 영상 장치에 내장되거나 후처리 소프트웨어(post-processing software) 형태로 구현될 수 있다. 그 결과 고스트 현상이 제거된 HDR 결과 영상을 합성하는 모바일 영상 장치가 구현될 수 있다. Meanwhile, the HDR image generating apparatus according to the present invention may be embedded in a mobile imaging apparatus such as a mobile phone camera, a compact camera, or implemented in the form of post-processing software. As a result, a mobile imaging apparatus for synthesizing the HDR result image from which the ghost phenomenon is removed may be implemented.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

Claims (9)

피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 상기 복수의 히스토그램 부분집합을 각각 확장하여 상기 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성하는 히스토그램 확장부; 및
상기 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 HDR 영상 합성부;를 포함하고,
상기 히스토그램 확장부는 상기 원본 영상의 밝기 히스토그램을 두 개의 히스토그램 부분집합으로 분리하고, 상기 히스토그램 부분집합들을 각각 확장하여 과노출(over-exposed)의 LDR 영상 및 저노출(under-exposed)의 LDR 영상을 생성하며,
상기 HDR 영상 합성부는 상기 원본 영상에 대응하는 기준 LDR 영상, 상기 과노출의 LDR 영상 및 상기 저노출의 LDR 영상을 합성하여 상기 HDR 결과 영상을 생성하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성장치.The luminance histogram of the original image photographing the subject is divided into a plurality of histogram subsets based on a preset threshold value, and the plurality of histogram subsets are respectively extended to have different brightness distributions from the original image. A histogram extension unit generating a plurality of LDR images; And
And an HDR image synthesizer configured to synthesize the plurality of LDR images to generate an HDR result image.
The histogram extension unit separates the brightness histogram of the original image into two histogram subsets, and expands the histogram subsets, respectively, to generate an over-exposed LDR image and an under-exposed LDR image. Create,
The HDR image synthesizing unit generates the HDR result image by synthesizing a reference LDR image corresponding to the original image, the LDR image of the overexposure and the LDR image of the low exposure, and generating the HDR result image. . 삭제delete 제 1항에 있어서,
상기 복수의 LDR 영상 각각에 대하여 에지(edge) 영역을 검출하여 상기 에지(edge) 영역을 보존하는 동시에 상기 각각의 LDR 영상의 노이즈를 제거하는 노이즈 제거부;를 더 포함하고,
상기 HDR 영상 합성부는 노이즈가 제거된 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성장치.The method of claim 1,
And a noise removing unit which detects edge regions for each of the plurality of LDR images, preserves the edge regions, and removes noise of each LDR image.
The HDR image synthesizing unit generates a HDR result image by synthesizing a plurality of LDR images from which noise is removed. 제 3항에 있어서,
상기 노이즈 제거부는 하기 수학식에 의해 상기 각각의 LDR 영상의 노이즈를 제거하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성장치:
Figure 112011080300940-pat00016

Figure 112011080300940-pat00017

여기서,
Figure 112011080300940-pat00018
는 노이즈가 제거된 LDR 영상,
Figure 112011080300940-pat00019
는 노이즈를 제거하기 전의 LDR 영상,
Figure 112011080300940-pat00020
는 평균 필터를 적용한 LDR 영상,
Figure 112011080300940-pat00021
는 영상의 (i,j) 좌표에 적용되는 가중치,
Figure 112011080300940-pat00022
는 (i,j) 좌표를 중심으로 하는 지역 분산(local variance),
Figure 112011080300940-pat00023
는 α의 분포를 [0,1]의 영역에서 균일하게 나타나도록 해주는 조정 파라미터(tuning parameter) 값이다. The method of claim 3, wherein
The noise removing unit removes the noise of each LDR image by the following equation: Single frame-based HDR image generating apparatus:
Figure 112011080300940-pat00016

Figure 112011080300940-pat00017

here,
Figure 112011080300940-pat00018
Is a noise-free LDR image,
Figure 112011080300940-pat00019
Is the LDR image before removing the noise,
Figure 112011080300940-pat00020
Is an LDR image with an average filter,
Figure 112011080300940-pat00021
Is the weight applied to the (i, j) coordinates of the image,
Figure 112011080300940-pat00022
Local variance around (i, j) coordinates,
Figure 112011080300940-pat00023
Is a tuning parameter value that allows the distribution of α to appear uniformly in the region of [0,1]. 피사체를 촬영한 원본 영상의 밝기(luminance) 히스토그램을 사전에 설정된 임계값을 기준으로 복수의 히스토그램 부분집합으로 분리하고, 상기 복수의 히스토그램 부분집합을 각각 확장하여 상기 원본 영상으로부터 서로 다른 밝기 분포를 갖는 복수의 LDR 영상을 생성하는 히스토그램 확장단계; 및
상기 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 HDR 영상 합성단계;를 포함하고,
상기 히스토그램 확장단계에서는 상기 원본 영상의 밝기 히스토그램을 두 개의 히스토그램 부분집합으로 분리하고, 상기 히스토그램 부분집합들을 각각 확장하여 과노출(ove r-exposed)의 LDR 영상 및 저노출(under-exposed)의 LDR 영상을 생성하며,
상기 HDR 영상 합성단계에서는 상기 원본 영상에 대응하는 기준 LDR 영상, 상기 과노출의 LDR 영상 및 상기 저노출의 LDR 영상을 합성하여 상기 HDR 결과 영상을 생성하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성방법.The luminance histogram of the original image photographing the subject is divided into a plurality of histogram subsets based on a preset threshold value, and the plurality of histogram subsets are respectively extended to have different brightness distributions from the original image. A histogram expansion step of generating a plurality of LDR images; And
And a HDR image synthesizing step of synthesizing the plurality of LDR images to generate an HDR result image.
In the histogram expanding step, the brightness histogram of the original image is divided into two histogram subsets, and the histogram subsets are extended, respectively, to reveal the over-exposed LDR image and the under-exposed LDR. Create an image,
In the HDR image synthesis step, the HDR result image is generated by synthesizing the reference LDR image corresponding to the original image, the LDR image of the overexposure and the LDR image of the low exposure, and generating the HDR result image. Way. 삭제delete 제 5항에 있어서,
상기 복수의 LDR 영상 각각에 대하여 에지(edge) 영역을 검출하여 상기 에지(edge) 영역을 보존하는 동시에 상기 각각의 LDR 영상의 노이즈를 제거하는 노이즈 제거단계;를 더 포함하고,
상기 HDR 영상 합성단계에서는 노이즈가 제거된 복수의 LDR 영상을 합성하여 HDR 결과 영상을 생성하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성방법.6. The method of claim 5,
And a noise removing step of detecting edge regions of each of the plurality of LDR images to preserve the edge regions and removing noise of the respective LDR images.
In the HDR image synthesis step, the HDR image generation method based on a single frame, characterized in that to generate a HDR result image by synthesizing a plurality of LDR images from which the noise is removed. 제 7항에 있어서,
상기 노이즈 제거단계에서는 하기 수학식에 의해 상기 각각의 LDR 영상의 노이즈를 제거하는 것을 특징으로 하는 단일 프레임 기반의 HDR 영상 생성방법:
Figure 112011080300940-pat00024

Figure 112011080300940-pat00025

여기서,
Figure 112011080300940-pat00026
는 노이즈가 제거된 LDR 영상,
Figure 112011080300940-pat00027
는 노이즈를 제거하기 전의 LDR 영상,
Figure 112011080300940-pat00028
는 평균 필터를 적용한 LDR 영상,
Figure 112011080300940-pat00029
는 영상의 (i,j) 좌표에 적용되는 가중치,
Figure 112011080300940-pat00030
는 (i,j) 좌표를 중심으로 하는 지역 분산(local variance),
Figure 112011080300940-pat00031
는 α의 분포를 [0,1]의 영역에서 균일하게 나타나도록 해주는 조정 파라미터(tuning parameter) 값이다. 8. The method of claim 7,
In the noise removing step, the HDR image generation method based on a single frame, characterized in that to remove noise of each LDR image by the following equation:
Figure 112011080300940-pat00024

Figure 112011080300940-pat00025

here,
Figure 112011080300940-pat00026
Is a noise-free LDR image,
Figure 112011080300940-pat00027
Is the LDR image before removing the noise,
Figure 112011080300940-pat00028
Is an LDR image with an average filter,
Figure 112011080300940-pat00029
Is the weight applied to the (i, j) coordinates of the image,
Figure 112011080300940-pat00030
Local variance around (i, j) coordinates,
Figure 112011080300940-pat00031
Is a tuning parameter value that allows the distribution of α to appear uniformly in the region of [0,1]. 제 5항, 제 7항 또는 제 8항 중 어느 한 항에 기재된 단일 프레임 기반의 HDR 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing a method of generating a single frame-based HDR image according to any one of claims 5, 7 and 8.
KR1020110104996A 2011-10-14 2011-10-14 Apparatus and method for generating high dynamic range image based on single frame KR101287521B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110104996A KR101287521B1 (en) 2011-10-14 2011-10-14 Apparatus and method for generating high dynamic range image based on single frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110104996A KR101287521B1 (en) 2011-10-14 2011-10-14 Apparatus and method for generating high dynamic range image based on single frame

Publications (2)

Publication Number Publication Date
KR20130040321A KR20130040321A (en) 2013-04-24
KR101287521B1 true KR101287521B1 (en) 2013-07-18

Family

ID=48440164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110104996A KR101287521B1 (en) 2011-10-14 2011-10-14 Apparatus and method for generating high dynamic range image based on single frame

Country Status (1)

Country Link
KR (1) KR101287521B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072027A (en) 2017-12-15 2019-06-25 현대자동차주식회사 Method for improving low illumination image

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2556992A (en) * 2016-09-29 2018-06-13 Univ Warwick Tone Mapping
KR102460390B1 (en) * 2018-01-24 2022-10-28 삼성전자주식회사 Image processing apparatus, method for processing image and computer-readable recording medium
KR20210101941A (en) 2020-02-11 2021-08-19 삼성전자주식회사 Electronic device and method for generating high dynamic range images
US11677898B2 (en) 2021-05-25 2023-06-13 Samsung Electronics Co., Ltd. Electronic device for applying effect for moving object to image and method for operating the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355787A (en) * 1998-06-09 1999-12-24 Konica Corp Picture processor and picture output device
JP2007306083A (en) * 2006-05-09 2007-11-22 Konica Minolta Holdings Inc Imaging apparatus and signal processing apparatus
KR20070117840A (en) * 2006-06-09 2007-12-13 서강대학교산학협력단 Image processing apparatus and method for contrast enhancement
JP2011171842A (en) 2010-02-16 2011-09-01 Olympus Corp Image processor and image processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355787A (en) * 1998-06-09 1999-12-24 Konica Corp Picture processor and picture output device
JP2007306083A (en) * 2006-05-09 2007-11-22 Konica Minolta Holdings Inc Imaging apparatus and signal processing apparatus
KR20070117840A (en) * 2006-06-09 2007-12-13 서강대학교산학협력단 Image processing apparatus and method for contrast enhancement
JP2011171842A (en) 2010-02-16 2011-09-01 Olympus Corp Image processor and image processing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072027A (en) 2017-12-15 2019-06-25 현대자동차주식회사 Method for improving low illumination image

Also Published As

Publication number Publication date
KR20130040321A (en) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101574733B1 (en) Image processing apparatus for obtaining high-definition color image and method therof
US8050509B2 (en) Method of and apparatus for eliminating image noise
KR101633893B1 (en) Apparatus and Method for Image Fusion
JP5389903B2 (en) Optimal video selection
US20110090352A1 (en) Image deblurring using a spatial image prior
KR102106537B1 (en) Method for generating a High Dynamic Range image, device thereof, and system thereof
US20110102642A1 (en) Image deblurring using a combined differential image
US20120182451A1 (en) Apparatus and method for noise removal in a digital photograph
JP7104575B2 (en) Image processing equipment, control methods, and programs
KR101287521B1 (en) Apparatus and method for generating high dynamic range image based on single frame
US8611690B2 (en) Real-time video deblurring
JP2004522372A (en) Spatio-temporal adaptive noise removal / high-quality image restoration method and high-quality image input device using the same
US20060109903A1 (en) Method and apparatus for providing noise reduction
KR102221116B1 (en) A device and method for removing the noise on the image using cross-kernel type median filter
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
KR101874738B1 (en) Apparatus and method for generating hdr image from ldr image through image processing
CN113344821B (en) Image noise reduction method, device, terminal and storage medium
CN110942427A (en) Image noise reduction method and device, equipment and storage medium
KR20190072027A (en) Method for improving low illumination image
TW202025085A (en) Image processing device and method
Lee et al. Motion deblurring using edge map with blurred/noisy image pairs
KR101437898B1 (en) Apparatus and method for generating a High Dynamic Range image using single image
KR101468433B1 (en) Apparatus and method for extending dynamic range using combined color-channels transmission map
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
KR20160056729A (en) Video quality enhancement device and method for extremely low-light video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 7