KR20120039348A - Apparatus and method for enhancing color image quality in wavelet domain - Google Patents

Apparatus and method for enhancing color image quality in wavelet domain Download PDF

Info

Publication number
KR20120039348A
KR20120039348A KR1020100101011A KR20100101011A KR20120039348A KR 20120039348 A KR20120039348 A KR 20120039348A KR 1020100101011 A KR1020100101011 A KR 1020100101011A KR 20100101011 A KR20100101011 A KR 20100101011A KR 20120039348 A KR20120039348 A KR 20120039348A
Authority
KR
South Korea
Prior art keywords
wavelet
equation
noise
region
image
Prior art date
Application number
KR1020100101011A
Other languages
Korean (ko)
Inventor
백준기
김상진
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100101011A priority Critical patent/KR20120039348A/en
Publication of KR20120039348A publication Critical patent/KR20120039348A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

PURPOSE: A device for enhancing the quality of a color image in a wavelet domain and a method thereof are provided to correct and shrink wavelet transform coefficients based on local variance and the entropy of high frequency band. CONSTITUTION: An image dividing unit(110) divides an input image into an edge region and a flat region by using an alpha map. A flat area processing unit(120) reduces the noise in the flat region by using a wavelet shrinkage. An edge area processing unit(130) reduces the noise in the edge area by using an entropy-adaptive noise elimination method. A filtering unit(140) filters wavelet coefficients of the input image by using a filtered base function based on the noise quantity of the input image.

Description

웨이블릿 도메인에서 컬러 영상의 화질을 개선하기 위한 장치 및 방법{Apparatus and method for enhancing color image quality in wavelet domain}Apparatus and method for enhancing color image quality in wavelet domain}

본 발명은 영상 신호의 화질을 개선하기 위한 기술에 관한 것으로, 보다 상세하게는 개선된 방향성(directional) 웨이블릿 기저 및 다중 가변 축소(multivariate shrinkage) 기법을 이용하여 웨이블릿 도메인에서 영상 신호로부터 잡음을 제거하기 위한 기술에 관한 것이다. The present invention relates to a technique for improving the image quality of a video signal, and more particularly, to remove noise from a video signal in the wavelet domain using an improved directional wavelet basis and a multivariate shrinkage technique. It relates to technology for.

최근에 디지털 정지 영상 카메라, 캠코더, 이동 전화 카메라 및 감시용 비디오 카메라와 같은 다양한 어플리케이션에서 단일 센서 컬러 촬상 기술이 점점 널리 이용된다. 다양한 영상 처리 기법들 중에서, 컬러 영상의 화질을 개선하기 위해서는 잡음 제거 기술이 가장 중요하다. 센서 출력은 신호 성분 및 잡음 성분을 모두 포함하며, 이것 때문에 고품질 영상을 얻는 것이 용이하지 않다. 특히, 단일 센서 카메라로 촬영한 컬러 영상은 다양한 타입의 잡음에 취약하다. 따라서 영상의 첨예한 상세(sharp detail)에 영향을 미치지 않으면서 잡음을 감소시키는 것이 중요하다. In recent years, single-sensor color imaging technology has become increasingly popular in a variety of applications such as digital still image cameras, camcorders, mobile phone cameras and surveillance video cameras. Among various image processing techniques, noise reduction technology is the most important to improve the quality of color images. The sensor output includes both signal components and noise components, which makes it difficult to obtain high quality images. In particular, color images taken with a single sensor camera are vulnerable to various types of noise. Therefore, it is important to reduce the noise without affecting the sharp detail of the image.

거의 모든 영상 시스템 및 비디오 시스템에 채택되는 잡음 감소 방법은 공통성을 많이 가지고 있기 때문에, 최근 수십 년간 영상의 잡음을 감소시키는데 방대한 연구가 행해져 왔다. 종래의 잡음 필터링 방법은 가변 계수 선형 필터, 적응형 비선형 필터, 반복하는 방법, 이산 여현 변환(DCT) 기반의 방법 및 클러스터 필터링과 같은 방법들을 포함한다. Since the noise reduction methods employed in almost all video systems and video systems have a lot in common, extensive research has been conducted in recent decades to reduce noise in images. Conventional noise filtering methods include methods such as variable coefficient linear filters, adaptive nonlinear filters, iterative methods, discrete cosine transform (DCT) based methods and cluster filtering.

그러나, 종래의 잡음제거 알고리즘은 오리지널 신호 특성을 감소시키는 문제점을 가진다. 이러한 문제점을 해결하기 위하여, 이산 웨이블릿 변환(discrete wavelet transform, DWT)이 디지털 영상 내의 잡음을 억제하는데 이용된다. 일반적으로, 웨이블릿 기반 영상 잡음 제거 알고리즘은 i) 잡음을 포함한 입력 영상의 웨이블릿 변환, ii) 웨이블릿 계수의 선택 영역의 축소(shrinking), 및 iii) 수정된 계수들의 역 웨이블릿 변환의 세 단계를 거친다. 이와 같은 웨이블릿 기반 잡음 감소 방법에는 두 가지 종류가 있으며, 하나는 고주파수 해상도에 적합한 적절한 웨이블릿 기저를 찾는 방법이고, 다른 하나는 축소될 더 적합한 웨이블릿 계수들을 선택하는 방법이다. However, the conventional noise reduction algorithm has a problem of reducing the original signal characteristics. In order to solve this problem, discrete wavelet transform (DWT) is used to suppress noise in a digital image. In general, the wavelet-based image noise cancellation algorithm comprises three steps: i) wavelet transform of the input image including noise, ii) shrinking the selection region of the wavelet coefficients, and iii) inverse wavelet transform of the modified coefficients. There are two kinds of wavelet-based noise reduction methods. One is to find a suitable wavelet basis suitable for high frequency resolution, and the other is to select more suitable wavelet coefficients to be reduced.

첫 번째 방법과 관련하여, 다중-스케일 분석 기반 하에 다양한 방향성 웨이블릿 변환들이 개발되어 왔다. 이들 중에는 조절 웨이블릿(steerable wavelet), 웨질렛(wedgelet), 커블렛(curvelet), 콘투어렛(contourlet), 및 디렉셔널렛(directionalet)들이 포함된다. 비록 이러한 기법들이 점단위 특이점(pointwise singularity)을 정확하게 표현할 수 있지만, 이들은 영상의 콘투어 및 에지와 같은 다른 불연속점을 표현하는 데에는 취약하다. 두 번째 방법과 관련하여, SureShrink, BayesShrink, 및 VisuShrink와 같은 다양한 웨이블릿 축소 기법들이 잡음 제거를 위하여 개발되어 왔다. 이러한 방법은 계수들 간의 의존성을 이용하는 장점을 가진다. 하지만, 첨예 상세가 손실되는 단점이 있다. 따라서 점단위 특이점은 물론 다른 타입의 불연속점을 양호하게 표현할 수 있을 뿐만 아니라, 첨예 상세를 손실시키지 않으면서도 잡음을 효과적으로 제거할 수 있는 기술이 절실히 요구된다. In relation to the first method, various directional wavelet transforms have been developed based on multi-scale analysis. Among these are steerable wavelets, wedgelets, curvelets, contourlets, and directionalets. Although these techniques can accurately represent pointwise singularity, they are vulnerable to expressing other discontinuities, such as contours and edges of the image. In connection with the second method, various wavelet reduction techniques such as SureShrink, BayesShrink, and VisuShrink have been developed for noise reduction. This method has the advantage of taking advantage of the dependencies between the coefficients. However, there is a disadvantage that the sharp detail is lost. Therefore, not only the point-specific singularity but also other types of discontinuities can be well represented, and there is an urgent need for a technique capable of effectively removing noise without losing sharp details.

본 발명이 이루고자 하는 기술적 과제는, 영상 신호의 불연속점을 양호하게 표현할 수 있을 뿐만 아니라, 첨예 상세를 손실시키지 않으면서도 잡음을 효과적으로 제거할 수 있는 컬러 화상 개선 장치 및 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a color image improvement apparatus and method capable of effectively expressing discontinuities in an image signal and effectively removing noise without losing sharp details.

본 발명이 이루고자 하는 다른 기술적 과제는, 영상 신호의 불연속점을 양호하게 표현할 수 있을 뿐만 아니라, 첨예 상세를 손실시키지 않으면서도 잡음을 효과적으로 제거할 수 있는 컬러 화상 개선 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is to provide a program for executing a color image improvement method on a computer that can not only satisfactorily represent a discontinuity point of an image signal, but also effectively remove noise without losing sharp details. To provide a computer-readable recording medium for recording.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 웨이블릿 도메인에서 컬러 영상의 화질 개선 장치에 대한 바람직한 실시예는, 알파 맵(alpha map)을 이용하여 입력 영상으로부터 에지 영역(edge region) 및 평탄 영역(flat region)을 분해하는 영상 분해부, 웨이블릿 축소(wavelet shrinkage) 기법을 이용하여 평탄 영역 내의 잡음을 저감하는 평탄 영역 처리부, 엔트로피-적응형 잡음 제거 기법을 이용하여 에지 영역에서의 잡음을 저감하는 에지 영역 처리부, 및 입력 영상의 잡음량에 기반하여 필터링된 기저 함수를 이용하여 입력 영상의 웨이블릿 계수들을 필터링하는 필터링부를 구비한다. In order to achieve the above technical problem, a preferred embodiment of the apparatus for improving the image quality of a color image in the wavelet domain according to the present invention is an edge region and a flat region from an input image using an alpha map. an image decomposition unit that decomposes a flat region, a flat region processing unit that reduces noise in a flat region using wavelet shrinkage, and an edge region reduction using an entropy-adaptive noise reduction technique. And an edge region processor and a filter configured to filter wavelet coefficients of the input image using a filtered basis function based on the amount of noise of the input image.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 웨이블릿 도메인에서 컬러 영상의 화질 개선 방법에 대한 바람직한 실시예는, 알파 맵을 이용하여 입력 영상으로부터 에지 영역 및 평탄 영역을 분해하는 영상 분해 단계, 웨이블릿 축소 기법을 이용하여 평탄 영역 내의 잡음을 저감하는 평탄 영역 처리 단계, 엔트로피-적응형 잡음 제거 기법을 이용하여 에지 영역에서의 잡음을 저감하는 에지 영역 처리 단계, 및 입력 영상의 잡음량에 기반하여 필터링된 기저 함수를 이용하여 입력 영상의 웨이블릿 계수들을 필터링하는 필터링 단계를 갖는다.In accordance with another aspect of the present invention, there is provided a method of improving image quality of a color image in a wavelet domain according to the present invention, including: an image decomposition step of decomposing an edge region and a flat region from an input image using an alpha map, A flat region processing step of reducing noise in a flat region using a wavelet reduction technique, an edge region processing step of reducing noise in an edge region using an entropy-adaptive noise cancellation technique, and an amount of noise of an input image And filtering the wavelet coefficients of the input image using the filtered basis function.

본 발명에 따른 웨이블릿 도메인에서 컬러 영상의 화질 개선 장치 및 방법에 의하면, 국부 분산 및 고주파 영역에서의 엔트로피에 기반하여 웨이블릿 변환 계수들을 수정하고 축소하기 때문에 첨예 상세를 손실하지 않고서도 추가적 가우시안 잡음을 효과적으로 저감할 수 있다. 또한, 본 발명에 의하면 평탄 영역에서는 국부 분산에 기반하여 웨이블릿 변환 계수를 수정하지만, 고주파 영역에서는 엔트로피 계산을 이용하기 때문에 평탄 영역 및 고주파 영역 모두에서 효과적으로 잡음을 저감할 수 있다. According to the apparatus and method for improving the image quality of a color image in the wavelet domain according to the present invention, since the wavelet transform coefficients are modified and reduced based on entropy in the local variance and high frequency domain, additional Gaussian noise can be effectively avoided without losing sharp detail. Can be reduced. In addition, according to the present invention, the wavelet transform coefficient is modified based on local variance in the flat region, but the entropy calculation is used in the high frequency region, thereby effectively reducing noise in both the flat region and the high frequency region.

도 1은 본 발명에 따른 컬러 영상 화질 개선 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 2대역 필터 뱅크를 나타내는 블록도,
도 3은 웨이블릿 변환과정을 도시한 도면,
도 4는 본 발명에 따른 컬러 영상 화질 개선 장치가 적용될 수 있는 영상 신호 처리 체인을 나타내는 블록도,
도 5는 본 발명에 의한 잡음 저감 알고리즘의 동작을 개념적으로 도시한 블록도,
도 6은 웨이블릿 계수들을 축소시키는 동작의 잡음 제거 효과를 나타낸 도면,
도 7은 에지 영역에서의 잡음 제거 과정을 도시한 도면,
도 8은 본 발명에 적용될 수 있는 1D, 8-탭 symlet 필터를 도시한 도면,
도 9는 도 8에 도시된 함수를 이용하여 생성된 웨이블릿 함수들을 도시한 도면,
도 10은 도 9에 도시된 2D 웨이블릿을 필터링한 결과를 도시한 도면,
도 11은 본 발명에 따른 컬러 영상 화질 개선 방법의 수행과정을 도시한 흐름도,
도 12는 본 발명에 따른 컬러 영상 화질 개선 기법의 효과를 보여주는 도면,
도 13은 본 발명에 의한 필터를 NAST 필터와 비교한 결과를 도시한 도면, 그리고,
도 14 및 도 15는 본 발명을 종래 기술과 비교한 결과를 도시한 도면이다.1 is a block diagram showing the configuration of a preferred embodiment of an apparatus for improving color image quality according to the present invention;
2 is a block diagram illustrating a two-band filter bank;
3 is a diagram illustrating a wavelet transform process;
4 is a block diagram illustrating an image signal processing chain to which an apparatus for improving color image quality according to the present invention can be applied;
5 is a block diagram conceptually illustrating the operation of a noise reduction algorithm according to the present invention;
6 is a diagram illustrating a noise canceling effect of an operation of reducing wavelet coefficients;
7 is a view illustrating a noise removing process in an edge region;
8 illustrates a 1D, 8-tap symlet filter applicable to the present invention;
9 illustrates wavelet functions generated using the function illustrated in FIG. 8;
FIG. 10 is a diagram illustrating a result of filtering the 2D wavelet illustrated in FIG. 9;
11 is a flowchart illustrating a process of improving a color image quality improving method according to the present invention;
12 is a view showing the effect of the color image quality improvement technique according to the present invention,
13 is a view showing a result of comparing the filter according to the present invention with a NAST filter, and
14 and 15 show the results of comparing the present invention with the prior art.

이하에서, 첨부한 도면들을 참조하여 본 발명에 따른 컬러 영상의 화질 개선 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 가질 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Hereinafter, a preferred embodiment of an apparatus and method for improving image quality of a color image according to the present invention will be described in detail with reference to the accompanying drawings. When a part of the specification is said to "include" any component, this means that it may have other components, not to exclude other components unless specifically stated otherwise. In addition, the terms "... unit", "... unit", "module", "block", etc. described in the specification mean a unit for processing at least one function or operation, which means hardware, software, or hardware. And software.

본 발명은 개선된 방향성 웨이블릿 기저 및 다중 가변 축소 기법 모두를 이용하는 신규한 웨이블릿 기반 잡음 제거 알고리즘을 제안한다. 특히, 본 발명은 결합(combined) 웨이블릿 함수 및 적응형 가우시안 저역 통과 필터를 이용하는 신규한 방향성 변환(directional transform)을 제공한다. 본 발명에 의한 축소 방법은 평탄 영역에서는 국부 분산에 기반하여 웨이블릿 변환 계수를 수정하지만, 고주파 영역에서는 엔트로피 계산을 이용한다. The present invention proposes a novel wavelet based noise cancellation algorithm utilizing both an improved directional wavelet basis and multiple variable reduction techniques. In particular, the present invention provides a novel directional transform that uses a combined wavelet function and an adaptive Gaussian low pass filter. The reduction method according to the present invention modifies the wavelet transform coefficients based on local variance in the flat region, but uses entropy calculation in the high frequency region.

도 1은 본 발명에 따른 컬러 영상 화질 개선 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a preferred embodiment of a color image quality improving apparatus according to the present invention.

도 1을 참조하면, 본 발명에 따른 컬러 영상 화질 개선 장치(100)는, 영상 분해부(110), 평탄 영역 처리부(120), 에지 영역 처리부(130), 및 필터링부(140)를 구비한다. 컬러 영상 화질 개선 장치(100)는 디지털 카메라와 같은 촬상 장치에서 수신한 입력 영상의 화질을 개선하기 위하여 촬상 장치의 디지털 후단부(DBE)에 구비될 수 있다.Referring to FIG. 1, the apparatus 100 for improving color image quality according to the present invention includes an image resolving unit 110, a flat region processing unit 120, an edge region processing unit 130, and a filtering unit 140. . The color image quality improving apparatus 100 may be provided at the digital rear end DBE of the imaging apparatus to improve the image quality of the input image received by the imaging apparatus such as a digital camera.

본 발명에 따른 컬러 영상 화질 개선 장치(100)는 필터링된 방향성 기저 및 주파수-적응형 축소를 이용하여 컬러 영상의 잡음을 제거한다. 이 과정에서 고주파 상세를 과도하게 억제하는 종래 기술의 문제점을 해결하기 위하여, 본 발명에 따른 컬러 영상 화질 개선 장치(100)는 입력 영상을 평탄 영역 및 에지 영역으로 분해하고, LH, HL 및 HH 밴드의 웨이블릿 변환 계수들로부터 연산된 알파 맵을 이용하여 잡음을 제거한다. 또한, 평탄 영역 내의 잡음을 제거한 이후에 엔트로피에 기반하여 웨이블릿 계수를 적응적으로 축소시킴으로써 에지 영역 내의 잡음을 추가적으로 제거한다. 이하에서는 컬러 영상 화질 개선 장치(100)의 동작을 이해하기 위해서 웨이블릿 기반 잡음 감소 기법에 대하여 간략하게 설명한다. The color image quality improving apparatus 100 according to the present invention removes the noise of the color image by using the filtered directional basis and frequency-adaptive reduction. In order to solve the problems of the prior art for excessively suppressing high frequency detail in this process, the color image quality improving apparatus 100 according to the present invention decomposes an input image into a flat region and an edge region, and LH, HL and HH bands. Noise is removed using an alpha map computed from the wavelet transform coefficients of. In addition, after removing the noise in the flat region, the noise in the edge region is further removed by adaptively reducing the wavelet coefficient based on entropy. Hereinafter, a wavelet-based noise reduction technique will be briefly described to understand the operation of the color image quality improving apparatus 100.

디지털 영상의 잡음의 주된 타입은 일반적으로 추가적 0-평균 백색 가우시안 잡음(Additive zero-mean white Gaussian noise, AWGN) 프로세스로서 모델링된다. 가우시안 랜덤 변수 x의 확률 밀도 함수(PDF)는 다음 수학식 1과 같이 제공된다. The main type of noise in digital images is generally modeled as an additive zero-mean white Gaussian noise (AWGN) process. The probability density function (PDF) of the Gaussian random variable x is given by Equation 1 below.

Figure pat00001
Figure pat00001

여기서, x는 강도값을 나타내고,

Figure pat00002
는 x의 평균값을 나타내며,
Figure pat00003
는 표준 편차를 나타낸다. Where x represents an intensity value,
Figure pat00002
Represents the mean value of x,
Figure pat00003
Represents the standard deviation.

또한 잡음이 포함된 영상 모델은 다음 수학식 2와 같이 표현된다. In addition, an image model including noise is represented by Equation 2 below.

Figure pat00004
Figure pat00004

여기서, g(i,j) 및 f(i,j)는 각각 유잡음 및 무잡음 영상을 나타내고, N(i, j)는 AWGN 잡음을 나타낸다. Here, g (i, j) and f (i, j) represent noise and noise-free images, respectively, and N (i, j) represents AWGN noise.

이산 웨이블릿 변환(DWT)은 입력 신호를 일련의 필터를 거치도록 통과시킨다. 임의의 신호는 일련의 대역-제한(band-limited) 성분으로 분해될 수 있는데, 이것은 서브-대역이라고 불리고 원본 영상을 완전히 복원하기 위하여 재조합될 수 있다. h0(n) 및 h1(n)을 분해 필터(analysis filter)라고 하고, g0(n) 및 g1(n)을 합성 필터(synthesis filter)라고 한다. Discrete wavelet transform (DWT) passes an input signal through a series of filters. Any signal can be decomposed into a series of band-limited components, which are called sub-bands and can be recombined to completely reconstruct the original image. h 0 (n) and h 1 (n) are called analysis filters and g 0 (n) and g 1 (n) are called synthesis filters.

도 2는 2대역 필터 뱅크를 나타내는 블록도이다. 2 is a block diagram illustrating a two-band filter bank.

도 2에 도시된 바와 같이, 저역 통과 필터 h0(n)의 출력은 x(n)의 근사 성분(approximation)을 나타내고, 고역 통과 필터 h1(n)의 출력은 x(n)의 상세 성분(detail part)을 나타낸다. 두 개의 출력들은 정보 손실없이 다운샘플링되는데, 그 이유는 저역 통과 및 고역 통과 필터링을 통하여 대역폭이 감소되기 때문이다. As shown in FIG. 2, the output of the low pass filter h 0 (n) represents an approximation of x (n), and the output of the high pass filter h 1 (n) is a detailed component of x (n). (detail part). The two outputs are downsampled without loss of information because the bandwidth is reduced through low pass and high pass filtering.

복원된 신호

Figure pat00005
은 y0(n) 및 y1(n)의 업샘플링 필터링된 버전들을 합산함으로써 얻을 수 있다. 이때 오류가 없도록 복원하기 위하여(즉,
Figure pat00006
), 다음 수학식 3과 같은 조건이 만족되어야 한다. Restored signal
Figure pat00005
Can be obtained by summing upsampling filtered versions of y 0 (n) and y 1 (n). To restore error-free (i.e.
Figure pat00006
), The following condition must be satisfied.

Figure pat00007
Figure pat00007

여기서, Hi(z) 및 Gi(z)는 각각 hi(n) 및 gi(n)의 z-변환을 나타낸다(단, i∈{0,1}). Where H i (z) and G i (z) represent the z-transformations of h i (n) and g i (n), respectively, i i {0,1}.

완전 복원 조건을 의미하는 수학식 3으로부터 몇 가지 수학적 연산 과정을 거치면, 완전 복원(perfect reconstruction) 조건은 다음 수학식 4와 같은 배직교성 제한(biorthogonality constraint)으로 표현될 수 있다. After performing some mathematical operations from Equation 3, which implies a perfect reconstruction condition, a perfect reconstruction condition may be expressed as a biorthogonality constraint as shown in Equation 4 below.

Figure pat00008
Figure pat00008

수학식 4는 모든 2-대역, 실수-계수, 완전 복원 필터 뱅크에 포함되는 분해 및 합성 필터들에 적용된다. Equation 4 applies to the decomposition and synthesis filters included in all two-band, real-coefficient, fully reconstructed filter banks.

이때 필터들이 더 나아가 정규직교성(orthonomal)을 가진다고 가정하면, 이는 필터들이 다음 수학식 5를 만족시킨다는 것을 의미한다. Assuming that the filters further have orthogonality, this means that the filters satisfy the following equation (5).

Figure pat00009
Figure pat00009

수학식 5에서 합성 저역 통과 필터 g0 및 임펄스 응답 h0이 주어지면, h1 및 g1은 다음 수학식 6과 같이 결정된다. Given the synthetic low pass filter g 0 and impulse response h 0 in Equation 5, h 1 and g 1 are determined as in Equation 6 below.

Figure pat00010
Figure pat00010

여기서, 2K는 각 필터의 길이를 타나낸다. Where 2K represents the length of each filter.

1차원 스케일링 함수(φ(x)) 및 웨이블릿 함수(ψ(x))는 다음 수학식 7을 만족한다The one-dimensional scaling function φ (x) and wavelet function ψ (x) satisfy the following equation (7).

Figure pat00011
Figure pat00011

여기서, hφ(n)과 hψ(n)은 각각 스케일링 및 웨이블릿 함수 계수를 나타낸다. Where h φ (n) and h ψ (n) represent the scaling and wavelet function coefficients, respectively.

상응하는 2차원 스케일링 및 3개의 웨이블릿들은 1차원 스케일 함수 및 웨이블릿 함수를 분리가능하도록 조합(separable combination)함으로써 얻어진다. 하드웨어의 복잡도에 따라서, 다음 수학식 8과 같이 디지털 카메라 영상을 처리하기 위한 세 가지의 상이한 모드들이 존재한다. Corresponding two-dimensional scaling and three wavelets are obtained by separating the one-dimensional scale function and the wavelet function in a separable combination. Depending on the complexity of the hardware, there are three different modes for processing the digital camera image as shown in Equation (8).

Figure pat00012
Figure pat00012

그리고 2차원 이산 웨이블릿 변환(DWT)은 다음 수학식 9와 같이 주어진다. And 2D discrete wavelet transform (DWT) is given by the following equation (9).

Figure pat00013
Figure pat00013

여기서, j0은 임의의 시작 스케일을 나타내고, Wφ(j0,m,n)은 스케일 j0에서의 f(x, y)의 추정치의 계수를 나타내며, Wψ i(j,m,n)은 j0 이상의 스케일 j에 대한 세 개의 방향성(수평, 수직 및 대각선)별 상세 계수들을 나타낸다. Where j 0 represents an arbitrary starting scale, W φ (j 0 , m, n) represents the coefficient of the estimate of f (x, y) at scale j 0 , and W ψ i (j, m, n ) represents the three-directional (horizontal, vertical and diagonal) specific details factors for scale j j 0 or more.

도 3이 전술된 웨이블릿 변환 과정을 설명하기 위한 도면이다. 도 3의 (a)는 2차원 DWT의 분해 필터 뱅크이고, (b)는 결과적으로 얻어지는 입력 영상의 분해 결과이다. 3 is a view for explaining the above-described wavelet transform process. FIG. 3A is a decomposition filter bank of a two-dimensional DWT, and FIG. 3B is a decomposition result of the resulting input image.

한편 잡음량을 결정하기 위해 웨이블릿 계수들의 엔트로피를 다음 수학식 10과 같은 방식으로 연산한다. Meanwhile, in order to determine the amount of noise, entropy of wavelet coefficients is calculated in the following equation (10).

Figure pat00014
Figure pat00014

여기서, B는 웨이블릿 서브-대역 내의 MxN 크기의 국부 블록을 나타내고,

Figure pat00015
는 국부 블록의 엔트로피를 나타내며, k는 상응하는 블록 내의 웨이블릿 계수들의 개수를 나타내고, pk는 웨이블릿 계수의 확률을 나타낸다. Where B represents a local block of size M × N in the wavelet sub-band,
Figure pat00015
Denotes the entropy of the local block, k denotes the number of wavelet coefficients in the corresponding block, and p k denotes the probability of the wavelet coefficient.

그리고 평탄 영역에서 잡음을 필터링한 이후에 인접하는 에지에 있는 잡음을 제거해야 한다. 이것을 수행하기 위하여 영상의 복잡도 및 에너지 모두에 대한 척도로서 엔트로피를 연산한다. After filtering the noise in the flat region, we need to remove the noise on the adjacent edges. To do this, entropy is calculated as a measure of both the complexity and the energy of the image.

도 4는 본 발명에 의한 컬러 영상 화질 개선 장치(100)가 적용될 수 있는 영상 신호 처리 체인(400)을 나타내는 블록도이다. 4 is a block diagram illustrating an image signal processing chain 400 to which an apparatus 100 for improving color image quality according to the present invention may be applied.

영상 신호 처리 체인(400)은 CFA/센서(410), 영상 신호 처리부(430) 및 영상 압축/저장부(470)를 구비한다. The image signal processing chain 400 includes a CFA / sensor 410, an image signal processing unit 430, and an image compression / storing unit 470.

CFA/센서(410)는 A/D 변환기(420)를 포함할 수 있으며, 영상 신호 처리부(430)는 AE/AWB/AF 모듈(440), 보간 모듈(450), 및 본 발명에 의한 잡음 저감 필터(460)를 포함할 수 있다. 일군의 광학 렌즈를 통하여 촬상된 입력 영상은 CFA/센서(410)로 수광된다. CFA/센서(410)는 아날로그 전단부(analog front end, AFE)에 포함될 수 있다. 도 4에 도시된 실시예에서, 본 발명에 의한 컬러 영상 화질 개선 장치(100)는 영상 신호 처리 체인(400)의 영상 신호 처리부(430)에 필터(460)의 형태로서 제공된다. 영상 신호 처리부(430)는 디지털 카메라의 디지털 후단부(digital back end, DBE)에 포함될 수 있다. 영상 신호 처리부(430)의 출력 신호는 영상 압축/저장부(470)로 제공되어 저장된다. 아날로그 전단부(AFE)에는 컬러 필터 어레이(color filter array, CFA), 촬상 센서, 아날로그-디지털 변환기(ADC), 및 추가적 아날로그 회로부가 구비될 수 있다. 디지털 후단부(DBE) 모듈에는 다양한 디지털 신호 처리 블록이 표함될 수 있다. The CFA / sensor 410 may include an A / D converter 420, and the image signal processor 430 may include an AE / AWB / AF module 440, an interpolation module 450, and noise reduction according to the present invention. It may include a filter 460. The input image captured by the group of optical lenses is received by the CFA / sensor 410. The CFA / sensor 410 may be included in an analog front end (AFE). In the embodiment shown in FIG. 4, the color image quality improving apparatus 100 according to the present invention is provided in the form of a filter 460 to the image signal processing unit 430 of the image signal processing chain 400. The image signal processor 430 may be included in a digital back end (DBE) of the digital camera. The output signal of the image signal processor 430 is provided to the image compressor / storage 470 and stored. The analog front end (AFE) may be equipped with a color filter array (CFA), an imaging sensor, an analog-to-digital converter (ADC), and additional analog circuitry. The digital back end (DBE) module may include various digital signal processing blocks.

도 5는 본 발명에 의한 잡음 저감 알고리즘의 동작을 개념적으로 도시한 블록도이다. 5 is a block diagram conceptually illustrating the operation of the noise reduction algorithm according to the present invention.

입력 영상은 우선 DWT 블록(510)을 거치면서 이진 웨이블릿 변환된다. 알파맵 연산 블록(530)에서 알파 맵을 연산하기 위하여 웨이블릿 변환 계수가 이용되기 때문에, 평균/분산 블록(520)에서 설정된 영역의 국부 평균 및 분산을 연산한다. 알파 맵이 연산되면, 적응형 분류 블록(540)이 연산된 알파 맵을 이용하여 입력 영상을 평탄 영역 및 에지 영역으로 분류한다. 그러면, 잡음 제거 블록(550)이 각 영역 별로 잡음을 저감시켜서 역 DWT 블록(560)으로 전달한다. 도 5의 DWT 블록(510), 평균/분산 블록(520), 알파맵 연산 블록(530), 및 적응형 분류 블록(540)이 도 1에 도시된 영상 분해부(110)에 해당된다. 또한, 도 5의 잡음 제거 블록(550)이 도 1의 평탄 영역 처리부(120) 및 에지 영역 처리부(130)의 동작을 수행한다. The input image is first subjected to a binary wavelet transform while passing through the DWT block 510. Since the wavelet transform coefficients are used to calculate the alpha map in the alphamap calculation block 530, it computes the local mean and variance of the area set in the average / distribution block 520. When the alpha map is calculated, the adaptive classification block 540 classifies the input image into a flat area and an edge area by using the calculated alpha map. Then, the noise removing block 550 reduces the noise for each region and transfers the noise to the inverse DWT block 560. The DWT block 510, the average / distribution block 520, the alpha map calculation block 530, and the adaptive classification block 540 of FIG. 5 correspond to the image decomposition unit 110 shown in FIG. 1. In addition, the noise removing block 550 of FIG. 5 performs the operations of the flat region processing unit 120 and the edge region processing unit 130 of FIG. 1.

이하에서 본 발명에 따른 컬러 영상 화질 개선 장치(100)의 동작을 상세히 설명한다. Hereinafter, the operation of the color image quality improving apparatus 100 according to the present invention will be described in detail.

영상 분해부(110)는 강한 에지(strong edge) 및 완전 잡음 영역을 분류하기 위해 저역 통과 서브-대역 웨이블릿 계수들의 국부 분산(local variance)을 이용하여 알파 맵을 계산한다. 각 픽셀 (x, y)에서의 국부 분산은 다음 수학식 11에 의해 산출된다. The image resolver 110 calculates an alpha map using a local variance of lowpass sub-band wavelet coefficients to classify the strong edge and the perfect noise region. The local variance at each pixel (x, y) is calculated by the following equation (11).

Figure pat00016
Figure pat00016

여기서, S는 (x, y)를 포함하는 사각형 영역을 나타내고, f(x, y)는 (x, y)에서의 픽셀값을 나타낸다. 또한 P 및 Q는 각각 해당 영역의 수직 및 수평 크기를 나타내고, mxy는 다음 수학식 12와 같이 해당 영역의 국부 평균을 나타낸다. Here, S represents a rectangular region including (x, y), and f (x, y) represents a pixel value at (x, y). In addition, P and Q respectively represent the vertical and horizontal size of the region, and m xy represents the local average of the region as shown in Equation 12 below.

Figure pat00017
Figure pat00017

그리고 가중 인자(weighting factor) α는 다음 수학식 13에 의해 산출된다.The weighting factor α is calculated by the following equation (13).

Figure pat00018
Figure pat00018

여기서, 조절 파라미터

Figure pat00019
는 [0, 1]의 구간에서 가능한 한 α가 균일하게 분포하도록 선택된다. Where adjustment parameters
Figure pat00019
Is chosen so that α is distributed as uniformly as possible in the interval of [0, 1].

최적으로 정규화된 α에 대하여, 전형적인 σ의 값은 실험적으로는 200으로 결정된다. 이때 잡음량에 따라 σ를 변경할 수 있다. 그리고 평탄(완전 잡음) 영역 및 에지 영역을 분류하기 위해 다음 수학식 14와 같이 정의되는 알파 맵이 이용된다. For optimally normalized α, a typical value of σ is experimentally determined to be 200. At this time, σ may be changed according to the amount of noise. In addition, an alpha map defined as in Equation 14 is used to classify a flat (complete noise) region and an edge region.

Figure pat00020
Figure pat00020

여기서,

Figure pat00021
는 i∈{H,V,D}를 만족하는 3차원 서브-대역을 나타내고, m과 n은 각각 서브-대역의 수직 및 수평 크기를 나타낸다. here,
Figure pat00021
Denotes a three-dimensional sub-band satisfying i∈ {H, V, D}, and m and n denote vertical and horizontal sizes of the sub-band, respectively.

수학식 14로부터 알 수 있는 바와 같이, 웨이블릿 계수들은 평탄 영역 rflat 및 에지 영역 redge에서 공유된다. 따라서 수학식 14에 나타난 수식 중 아무 것이나 이용하여 웨이블릿 계수들을 축소시킬 수 있다. As can be seen from equation (14), the wavelet coefficients are shared in the flat region r flat and the edge region r edge . Therefore, the wavelet coefficients may be reduced by using any of the equations shown in Equation (14).

입력 영상으로부터 평탄 영역 및 에지 영역을 분류하면, 평탄 영역 처리부(120)는 웨이블릿 축소를 이용한 평탄 영역에서의 잡음 감소 동작을 수행한다. 신호에서 잡음을 제거하기 위하여 변환 계수들에 문턱치를 적용하는 기법이 널리 이용된다. 이러한 문턱치 기법(thresholding)은 잡음에 속하는 기저 함수에 상응하는 웨이블릿 계수들을 제거하거나 감소시킴으로써 추가적 잡음을 제거한다. 이러한 기법의 첫 번째 장점은 간단하고 저비용으로 구현가능하다는 것이다. 그러나 이 기법은 웨이블릿 기저들의 주파수 국부화 속성(frequency localization property)을 완전히 이용하지는 못한다. 따라서 본 발명에 의한 평탄 영역 처리부(120)서는 공간 정보를 이용한 적응형 웨이블릿 축소 기법을 이용한다. When the flat region and the edge region are classified from the input image, the flat region processor 120 performs a noise reduction operation in the flat region using wavelet reduction. Techniques for applying a threshold to transform coefficients to remove noise in a signal are widely used. This thresholding removes additional noise by removing or reducing wavelet coefficients corresponding to the basis function belonging to the noise. The first advantage of this technique is that it is simple and low cost. However, this technique does not fully utilize the frequency localization property of wavelet basis. Therefore, the flat region processor 120 according to the present invention uses an adaptive wavelet reduction technique using spatial information.

인간의 시각은 평탄 영역에서보다 에지 영역에서 추가 잡음에 더 민감하다는 것은 주지하는 사실이다. 그러므로 가능한 한 평탄 영역에 존재하는 웨이블릿 계수들을 가능한 한 축소시켜야 한다. 특히, 평탄 영역의 웨이블릿 계수들은 상세 서브-대역 내의 알파 맵에 의하여 내적된다. 그 결과로, 평탄 영역의 잡음이 감소될 수 있다. 도 6에는 적색 채널에서 평탄 영역에서의 본 발명에 의한 웨이블릿 축소 결과가 도시되어 있다. 도 6의 (a)는 잡음을 포함하는 원본 영상이고, (b)는 적색 채널의 웨이블릿 변환을 나타내며, (c)는 본 발명에 의하여 웨이블릿 계수들을 축소시킨 결과이다. 도 6에서 알 수 있는 바와 같이, 본 발명에 의한 컬러 영상 화질 개선 기법을 이용하면 입력 영상의 잡음이 제거된다. It is well known that human vision is more sensitive to additional noise in the edge region than in the flat region. Therefore, the wavelet coefficients present in the flat region should be reduced as much as possible. In particular, the wavelet coefficients of the flat region are internalized by the alpha map in the detail sub-band. As a result, noise in the flat region can be reduced. Fig. 6 shows the wavelet reduction result according to the present invention in the flat region in the red channel. (A) of FIG. 6 is an original image including noise, (b) shows wavelet transform of a red channel, and (c) shows a result of reducing wavelet coefficients according to the present invention. As can be seen in Figure 6, using the color image quality improvement method according to the present invention to remove the noise of the input image.

평탄 영역에서의 잡음이 감소되면, 에지 영역 처리부(130)는 에지 영역의 잡음을 감소시키기 위하여 엔트로피를 이용한다. 평탄 영역에서 잡음을 필터링한 이후에, 에지에 인접한 영역의 잡음을 제거하여야 한다. 이를 위해 에지 영역 처리부(130)는 해당 영상의 복잡도 및 에너지 모두에 대한 척도로서 엔트로피를 연산한다. 엔트로피를 웨이블릿의 방향성 주파수 속성과 결합시키면 공간-주파수 도메인에서의 특징을 완전히 국부화할 수 있다. 특히, 에지 영역(redge) 내의 각 웨이블릿 계수들의 국부 엔트로피는 고주파 영역에서의 국부 복잡도에 대한 정보를 포함한다. 잡음이 있는 에지 영역이 완전한 잡음 영역에 비하여 더 높은 복잡도를 가지기 때문에, 더 높은 엔트로피를 가지는 서브-대역이 다른 서브-대역보다 더 많은 잡음을 포함한다고 간주할 수 있다. 이러한 분석에 기반하여, 본 발명에 의하면 높은 엔트로피를 가지는 웨이블릿 계수들을 수축시킴으로써 잡음을 감소시킬 수 있다.When the noise in the flat region is reduced, the edge region processor 130 uses entropy to reduce the noise in the edge region. After filtering the noise in the flat region, the noise in the region adjacent to the edge must be removed. To this end, the edge region processor 130 calculates entropy as a measure for both complexity and energy of the corresponding image. Combining entropy with the directional frequency properties of a wavelet allows localization of features in the space-frequency domain. In particular, the local entropy of each wavelet coefficients in the edge region r edge includes information about the local complexity in the high frequency region. Since the noisy edge region has higher complexity than the complete noise region, it can be considered that a sub-band with higher entropy contains more noise than other sub-bands. Based on this analysis, the present invention can reduce noise by shrinking wavelet coefficients with high entropy.

도 7은 에지 영역에서의 잡음 제거 과정을 보여주는 도면이다. 도 7에서부터 알 수 있는 바와 같이, 높은 엔트로피를 가지는 서브-대역에 대해서만 선택적으로 잡음 제거 동작이 수행된다는 것을 알 수 있다. 7 is a view illustrating a noise removal process in an edge region. As can be seen from FIG. 7, it can be seen that the noise canceling operation is selectively performed only for sub-bands having high entropy.

위와 같이 평탄 영역 및 에지 영역에서의 잡음이 제거되면, 필터링부(140)는 잡음량에 기반하여 필터링된 기저 함수를 이용하여 웨이블릿 계수들을 필터링한다. 필터링부(140)는 1차원 스케일링 함수 φ(x)와 웨이블릿 함수 ψ(x)를 선택한 이후에, 수학식 8을 이용하여 2차원 스케일링 함수 및 세 개의 2차원 방향성 웨이블릿 함수들을 생성할 수 있다. When the noise in the flat region and the edge region is removed as described above, the filtering unit 140 filters the wavelet coefficients by using the basis function filtered based on the amount of noise. After selecting the one-dimensional scaling function φ (x) and the wavelet function ψ (x), the filtering unit 140 may generate a two-dimensional scaling function and three two-dimensional directional wavelet functions using Equation 8.

도 8에는 본 발명에 적용될 수 있는 1차원, 8-탭 심릿(symlet) 필터가 도시되어 있다. 도 8의 (a)는 스케일링 함수를 나타내며, (b)는 웨이블릿 함수를 나타낸다. 도 8에 도시된 일련의 1차원, 8-탭 심릿 필터들은 수학식 7에 의한 1차원 스케일링 함수 및 웨이블릿 함수의 조건을 만족한다. 도 9에는 도 8에 도시되어 있는 1차원 심릿 필터를 이용하여 얻어지는 네 개의 2차원 웨이블릿들이 도시되어 있다. 결과적으로 네 개의 2차원 웨이블릿들의 필터링된 버전은 다음 수학식 15와 같이 가우시안 저역 통과 필터와 콘볼루션함으로써 얻어진다. 8 shows a one-dimensional, eight-tap symlet filter applicable to the present invention. (A) of FIG. 8 shows a scaling function, and (b) shows a wavelet function. The series of one-dimensional, eight-tap shimlet filters shown in FIG. 8 satisfy the conditions of the one-dimensional scaling function and the wavelet function according to Equation (7). 9 shows four two-dimensional wavelets obtained using the one-dimensional shimlet filter shown in FIG. 8. As a result, a filtered version of the four two-dimensional wavelets is obtained by convolution with a Gaussian low pass filter as shown in Equation 15 below.

Figure pat00022
Figure pat00022

여기서, hG는 그 대역폭이 웨이블릿 기저보다 작은 가우시안 저역 통과 필터를 나타내고, *은 콘볼루션 연산자를 나타낸다. Where h G represents a Gaussian low pass filter whose bandwidth is less than the wavelet basis, and * represents the convolution operator.

도 10에는 수학식 15를 이용하여 도 9에 도시된 2차원 웨이블릿을 필터링한 결과가 도시되어 있다. 필터링 동작 동안에, 각 블록의 잡음량에 따라서 필터링된 기저들 중 적절한 부분이 적용된다. 이때, 잡음량을 소정의 문턱치와 비교하여 적용될 기저를 결정할 수 있다. 필터링된 웨이블릿을 이용하여 웨이블릿 계수들을 역변환하면, 잔존 잡음들이 더욱 감소될 수 있다. FIG. 10 illustrates a result of filtering the 2D wavelet shown in FIG. 9 using Equation 15. FIG. During the filtering operation, the appropriate portion of the filtered basis is applied according to the amount of noise in each block. At this time, the amount of noise may be compared with a predetermined threshold to determine the basis to be applied. By inversely transforming the wavelet coefficients using the filtered wavelet, the residual noises can be further reduced.

도 11은 본 발명에 따른 컬러 영상의 화질 개선 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다. 11 is a flowchart illustrating a process of performing a preferred embodiment of the method for improving the quality of a color image according to the present invention.

도 11을 참조하면, 알파 맵을 이용하여 입력 영상으로부터 에지 영역 및 평탄 영역을 분해한다(S1110). 이때, 알파 맵은 저역 통과 서브-대역 웨이블릿 계수들의 국부 분산을 이용하여 연산된다. 입력 영상으로부터 평탄 영역 및 에지 영역이 분류되면, 웨이블릿 축소 기법을 이용하여 평탄 영역 내의 잡음을 저감한다(S1130). 이때, 평탄 영역의 잡음을 제거하기 위해 입력 영상에 상응하는 웨이블릿 계수를 구한 뒤에, 평탄 영역에 존재하는 웨이블릿 계수들을 추출한다. 그러면, 추출된 웨이블릿 계수들 중 잡음에 속하는 기저 함수에 상응하는 웨이블릿 계수를 제거하거나 감소시킴으로써 잡음을 제거한다. Referring to FIG. 11, an edge region and a flat region are decomposed from an input image using an alpha map in operation S1110. The alpha map is then computed using the local variance of the low pass sub-band wavelet coefficients. When the flat region and the edge region are classified from the input image, noise in the flat region is reduced by using the wavelet reduction technique (S1130). In this case, after the wavelet coefficients corresponding to the input image are obtained to remove the noise of the flat region, the wavelet coefficients existing in the flat region are extracted. Then, the noise is removed by removing or decreasing the wavelet coefficients corresponding to the basis function belonging to the noise among the extracted wavelet coefficients.

평탄 영역의 잡음이 제거되면, 엔트로피-적응형 잡음 제거 기법을 이용하여 에지 영역에서의 잡음을 저감한다(S1150). 에지 영역의 잡음을 제거하기 위해 우선 입력 영상의 엔트로피를 연산하고, 소정의 문턱치 이상의 엔트로피를 가지는 웨이블릿 계수를 수축시킨다. 이와 같이 평탄 영역 및 에지 영역에서 잡음이 제거되면, 잡음량에 기반하여 필터링된 기저 함수를 이용하여 입력 영상의 웨이블릿 계수들을 필터링한다(S1170). When the noise in the flat region is removed, noise in the edge region is reduced by using an entropy-adaptive noise cancellation technique (S1150). In order to remove noise in the edge region, entropy of the input image is first calculated, and wavelet coefficients having entropy above a predetermined threshold are shrunk. When the noise is removed in the flat region and the edge region as described above, the wavelet coefficients of the input image are filtered using the basis function filtered based on the amount of noise (S1170).

이하에서, 본 발명에 따른 컬러 영상 화질 개선 기법의 효과를 도면을 이용하여 설명한다. Hereinafter, the effect of the color image quality improvement technique according to the present invention will be described with reference to the drawings.

본 발명에 의한 알고리즘의 성능을 측정하기 위해 크기 768x512인 표준 영상 및 크기 1504x1000인 실외 테스트 영상을 이용하였다. 이 영상들은 디지털 일안 반사식(single lens reflected, DSLR) 카메라로 촬영된 것이다. 본 발명에 따른 잡음 감소 기법의 성능은 PSNR(peak-to-peak signal-to-noise ratio) 및 2.66 GHz CPU와 8GB RAM 메모리를 가지는 PC의 CPU 연산 시간을 이용하여 측정되었다. In order to measure the performance of the algorithm according to the present invention, a standard image of size 768x512 and an outdoor test image of size 1504x1000 were used. These images were taken with a digital single lens reflected (DSLR) camera. The performance of the noise reduction technique according to the present invention was measured using PSNR (peak-to-peak signal-to-noise ratio) and CPU computation time of a PC with a 2.66 GHz CPU and 8 GB RAM memory.

도 12는 본 발명에 따른 컬러 영상 화질 개선 기법의 효과를 나타내는 도면이다. 도 12의 (a)는 원본 영상을 나타내고, (b)는 본 발명을 이용하여 잡음이 제거된 영상을 나타낸다. 도 12를 참조하면, 본 발명은 잡음을 효율적으로 제거하면서도 에지 상세를 보존한다는 것을 확인할 수 있다. 12 is a view showing the effect of the color image quality improvement technique according to the present invention. 12 (a) shows an original image, and (b) shows an image from which noise is removed using the present invention. Referring to FIG. 12, it can be seen that the present invention preserves edge details while efficiently removing noise.

또한 도 13에는 본 발명의 성능을 측정하기 위해 원본 테스트 영상에 합성 잡음(표준 편차=20)을 삽입한 테스트 영상에 대해 본 발명에서 적용하는 필터와 기존의 NAST 필터를 사용하여 잡음을 제거한 결과를 도시한 도면이다. 도 13의 (a)는 유잡음 영상, (b)는 NAST 필터를 거친 결과 영상, 그리고 (c)는 본 발명에 의한 결과 영상이다. 도 13에서 알 수 있는 바와 같이, NAST 필터와 비교하여 본 발명은 잡음 제거 및 첨예 상세를 보존하는 모두에 있어서 더 나은 성능을 보여준다. 마지막으로 도 14 및 도 15에는 본 발명에 따른 잡음 제거 기법과 종래의 잡음 제거 기법의 성능을 비교한 도면이다. 도 14는 각 기법들의 PSNR 값을 비교한 결과이고, 도 15는 각 기법들의 CPU 연산 시간을 비교한 결과이다. In addition, FIG. 13 shows a result of removing noise using a filter applied in the present invention and a conventional NAST filter for a test image in which synthetic noise (standard deviation = 20) is inserted into an original test image to measure the performance of the present invention. Figure is shown. (A) of FIG. 13 is a noise image, (b) is a result image which passed the NAST filter, and (c) is a result image by this invention. As can be seen in FIG. 13, the present invention shows better performance compared to NAST filters in both noise rejection and preserving sharp details. Finally, FIGS. 14 and 15 are diagrams comparing performances of the noise cancellation method according to the present invention and the conventional noise cancellation method. 14 is a result of comparing the PSNR value of each technique, Figure 15 is a result of comparing the CPU operation time of each technique.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

Claims (11)

웨이블릿 도메인에서 컬러 영상의 화질을 개선하기 위한 장치에 있어서,
알파 맵(alpha map)을 이용하여 입력 영상을 에지 영역(edge region)과 평탄 영역(flat region)으로 분해하는 영상 분해부;
웨이블릿 축소(wavelet shrinkage) 기법을 이용하여 상기 평탄 영역 내의 잡음을 저감하는 평탄 영역 처리부;
엔트로피-적응형 잡음 제거 기법을 이용하여 상기 에지 영역에서의 잡음을 저감하는 에지 영역 처리부; 및
상기 입력 영상의 잡음량에 기반하여 필터링된 기저 함수를 이용하여 상기 입력 영상의 웨이블릿 계수들을 필터링하는 필터링부;를 포함하는 것을 특징으로 하는 컬러 영상 화질 개선 장치. An apparatus for improving the image quality of a color image in a wavelet domain,
An image decomposition unit for decomposing an input image into an edge region and a flat region using an alpha map;
A flat region processor which reduces noise in the flat region by using a wavelet shrinkage technique;
An edge region processor to reduce noise in the edge region by using an entropy-adaptive noise cancellation technique; And
And a filtering unit configured to filter wavelet coefficients of the input image by using a basis function filtered based on the amount of noise of the input image. 제 1항에 있어서,
상기 영상 분해부는 저역 통과 서브-대역 웨이블릿 계수들의 국부 분산(local variance)을 이용하여 산출된 알파 맵을 기초로 다음의 수학식 A 내지 D에 의해 상기 입력 영상을 평탄 영역과 에지 영역으로 분해하는 것을 특징으로 컬러 영상 화질 개선 장치:
[수학식 A]
Figure pat00023
,
[수학식 B]
Figure pat00024
,
[수학식 C]
Figure pat00025
,
[수학식 D]
Figure pat00026

수학식 A에서,
Figure pat00027
는 i∈{H,V,D}를 만족하는 3차원 서브-대역, m과 n은 각각 서브-대역의 수직 및 수평 크기, rflat와 redge은 각각 평탄 영역 및 에지 영역, 그리고, α는 가중치 인자이며,
수학식 B에서, σ는 [0, 1]의 구간에서 가능한 한 α가 균일하게 분포하도록 선택되는 조절 파라미터, 그리고, v(x,y)는 픽셀 (x, y)에서의 국부 분산이며,
수학식 C와 D에서, S는 (x, y)를 포함하는 사각형 영역, f(x, y)는 (x, y)에서의 픽셀값, P 및 Q는 각각 해당 영역의 수직 및 수평 크기, 그리고 mxy는 해당 영역의 국부 평균이다.The method of claim 1,
The image decomposition unit decomposes the input image into a flat region and an edge region by the following equations A to D based on an alpha map calculated using a local variance of low pass sub-band wavelet coefficients. Features of color image quality improvement device:
Equation A
Figure pat00023
,
Equation B
Figure pat00024
,
Equation C
Figure pat00025
,
[Equation D]
Figure pat00026

In Equation A,
Figure pat00027
Is a three-dimensional sub-band satisfying i∈ {H, V, D}, m and n are the vertical and horizontal dimensions of the sub-band, respectively, r flat and r edge are the flat and edge regions, respectively, and α is Weighting factor,
In equation B, sigma is an adjustment parameter selected such that α is as uniformly distributed as possible in the interval of [0, 1], and v (x, y) is the local variance in pixel (x, y),
In Equations C and D, S is a rectangular region containing (x, y), f (x, y) is the pixel value at (x, y), P and Q are the vertical and horizontal size of the region, And m xy is the local mean of the region. 제 1항에 있어서,
상기 평탄 영역 처리부는, 상기 입력 영상을 소정의 웨이블릿 기저 함수를 이용하여 웨이블릿 변환하여 얻어진 웨이블릿 계수를 중에서 상기 평탄 영역에 존재하는 웨이블릿 계수들을 추출하고, 상기 추출된 웨이블릿 계수들 중 잡음에 속하는 기저 함수에 상응하는 웨이블릿 계수를 제거하거나 감소시키는 것을 특징으로 하는 컬러 영상 화질 개선 장치. The method of claim 1,
The flat region processor extracts wavelet coefficients existing in the flat region from among wavelet coefficients obtained by wavelet transforming the input image using a predetermined wavelet basis function, and a base function belonging to noise among the extracted wavelet coefficients. And removing or reducing the wavelet coefficient corresponding to the color image quality improving apparatus. 제 1항에 있어서,
상기 에지 영역 처리부는, 상기 입력 영상의 엔트로피를 연산하고, 소정의 문턱치 이상의 엔트로피를 가지는 웨이블릿 계수를 수축시키는 것을 특징으로 하는 컬러 영상 화질 개선 장치. The method of claim 1,
And the edge region processing unit calculates entropy of the input image and contracts wavelet coefficients having entropy greater than or equal to a predetermined threshold. 제 1항에 있어서,
상기 필터링부는, 다음의 수학식 E를 만족하는 1차원 스케일링 함수 φ(x)와 웨이블릿 함수 ψ(x)를 다음의 수학식 F에 의해 2차원 스케일링 함수와 세 개의 모드별 웨이블릿 함수를 산출한 후 상기 2차원 스케일링 함수와 세 개의 모드별 웨블릿 함수를 다음의 수학식 G에 의해 저역 통과 필터링하여 필터링된 세 개의 모드별 웨이블릿 함수를 산출하는 것을 특징으로 하는 영상 화질 개선 장치:
[수학식 E]
Figure pat00028

[수학식 F]
Figure pat00029

[수학식 G]
Figure pat00030

수학식 E 내지 G에서, hφ(n)과 hψ(n)은 각각 스케일링 및 웨이블릿 함수 계수, hG는 대역폭이 웨이블릿 기저보다 작은 가우시안 저역 통과 필터, 그리고, *은 콘볼루션 연산자를 나타낸다.The method of claim 1,
The filtering unit calculates a two-dimensional scaling function and three mode-specific wavelet functions by using the one-dimensional scaling function φ (x) and the wavelet function ψ (x) satisfying the following Equation (E). An apparatus for improving image quality according to claim 2, wherein the two-dimensional scaling function and the three mode-specific wavelet functions are low-pass filtered by Equation G below to calculate three filtered mode-specific wavelet functions.
[Equation E]
Figure pat00028

Equation F
Figure pat00029

[Equation G]
Figure pat00030

In equations E through G, h φ (n) and h ψ (n) are scaling and wavelet function coefficients, respectively, h G is a Gaussian low pass filter whose bandwidth is less than the wavelet basis, and * denotes a convolution operator. 웨이블릿 도메인에서 컬러 영상의 화질을 개선하기 위한 방법에 있어서,
알파 맵을 이용하여 입력 영상을 에지 영역과 평탄 영역으로 분해하는 영상 분해 단계;
웨이블릿 축소 기법을 이용하여 상기 평탄 영역 내의 잡음을 저감하는 평탄 영역 처리 단계;
엔트로피-적응형 잡음 제거 기법을 이용하여 상기 에지 영역에서의 잡음을 저감하는 에지 영역 처리 단계; 및
상기 입력 영상의 잡음량에 기반하여 필터링된 기저 함수를 이용하여 상기 입력 영상의 웨이블릿 계수들을 필터링하는 필터링 단계;를 포함하는 것을 특징으로 하는 컬러 영상 화질 개선 방법. In the method for improving the quality of a color image in the wavelet domain,
An image decomposition step of decomposing an input image into an edge region and a flat region using an alpha map;
A planar region processing step of reducing noise in the planar region using a wavelet reduction technique;
Edge region processing to reduce noise in the edge region using an entropy-adaptive noise cancellation technique; And
And filtering the wavelet coefficients of the input image by using a basis function filtered based on the amount of noise of the input image. 제 6항에 있어서,
상기 영상 분해 단계는,
수학식 A 내지 C에 의해 저역 통과 서브-대역 웨이블릿 계수들의 국부 분산을 이용하여 알파 맵을 연산하는 단계; 및
다음 수학식 D에 의해 상기 알파 맵을 이용하여 상기 입력 영상을 평탄 영역과 에지 영역으로 분해하는 단계;를 포함하는 것을 특징으로 하는 영상 화질 개선 방법:
[수학식 A]
Figure pat00031
,
[수학식 B]
Figure pat00032
,
[수학식 C]
Figure pat00033

[수학식 D]
Figure pat00034
,
수학식 A에서, σ는 [0, 1]의 구간에서 가능한 한 α가 균일하게 분포하도록 선택되는 조절 파라미터, 그리고, v(x,y)는 픽셀 (x, y)에서의 국부 분산이며,
수학식 B와 C에서, S는 (x, y)를 포함하는 사각형 영역, f(x, y)는 (x, y)에서의 픽셀값, P 및 Q는 각각 해당 영역의 수직 및 수평 크기, 그리고 mxy는 해당 영역의 국부 평균이고,
수학식 D에서,
Figure pat00035
는 i∈{H,V,D}를 만족하는 3차원 서브-대역, m과 n은 각각 서브-대역의 수직 및 수평 크기, rflat와 redge은 각각 평탄 영역 및 에지 영역, 그리고, α는 가중치 인자이다.The method of claim 6,
The image decomposition step,
Computing an alpha map using the local variance of the lowpass sub-band wavelet coefficients by equations A through C; And
Decomposing the input image into a flat region and an edge region by using the alpha map by the following equation D;
Equation A
Figure pat00031
,
Equation B
Figure pat00032
,
Equation C
Figure pat00033

[Equation D]
Figure pat00034
,
In Equation A, σ is an adjustment parameter selected such that α is as uniformly distributed as possible in the interval of [0, 1], and v (x, y) is a local variance in pixel (x, y),
In Equations B and C, S is a rectangular region containing (x, y), f (x, y) is the pixel value at (x, y), P and Q are the vertical and horizontal sizes of the region, And m xy is the local mean of that region,
In Equation D,
Figure pat00035
Is a three-dimensional sub-band satisfying i∈ {H, V, D}, m and n are the vertical and horizontal dimensions of the sub-band, respectively, r flat and r edge are the flat and edge regions, respectively, and α is Weighting factor. 제 6항에 있어서,
상기 평탄 영역 처리 단계는,
상기 입력 영상을 소정의 웨이블릿 기저 함수를 이용하여 웨이블릿 변환하여 웨이블릿 계수를 연산하는 단계;
상기 웨이블릿 계수 중 상기 평탄 영역에 존재하는 웨이블릿 계수들을 추출하는 단계; 및
추출된 웨이블릿 계수들 중 잡음에 속하는 기저 함수에 상응하는 웨이블릿 계수를 제거하거나 감소시키는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 화질 개선 방법. The method of claim 6,
The flat area processing step,
Calculating wavelet coefficients by wavelet transforming the input image using a predetermined wavelet basis function;
Extracting wavelet coefficients existing in the flat region among the wavelet coefficients; And
Removing or reducing the wavelet coefficients corresponding to the basis function belonging to the noise among the extracted wavelet coefficients. 제 6항에 있어서,
상기 에지 영역 처리 단계는,
상기 입력 영상의 엔트로피를 연산하는 단계; 및
소정의 문턱치 이상의 엔트로피를 가지는 웨이블릿 계수를 수축시키는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 화질 개선 방법. The method of claim 6,
The edge region processing step,
Calculating entropy of the input image; And
And shrinking wavelet coefficients having entropy above a predetermined threshold. 제 6항에 있어서,
상기 필터링 단계는,
다음의 수학식 E를 만족하는 1차원 스케일링 함수 φ(x)와 웨이블릿 함수 ψ(x)를 다음의 수학식 F에 의해 2차원 스케일링 함수와 세 개의 모드별 웨이블릿 함수를 산출하는 단계; 및
상기 2차원 스케일링 함수와 세 개의 모드별 웨블릿 함수를 다음의 수학식 G에 의해 저역 통과 필터링하여 필터링된 세 개의 모드별 웨이블릿 함수를 산출하는 단계;를 포함하는 것을 특징으로 하는 영상 화질 개선 방법:
[수학식 E]
Figure pat00036

[수학식 F]
Figure pat00037

[수학식 G]
Figure pat00038

수학식 E 내지 G에서, hφ(n)과 hψ(n)은 각각 스케일링 및 웨이블릿 함수 계수, hG는 대역폭이 웨이블릿 기저보다 작은 가우시안 저역 통과 필터, 그리고, *은 콘볼루션 연산자를 나타낸다.The method of claim 6,
The filtering step,
Calculating a two-dimensional scaling function and three mode-specific wavelet functions by the following equation F, using the one-dimensional scaling function? (X) and the wavelet function? (X) satisfying the following equation E; And
Comprising the low-pass filtering the two-dimensional scaling function and the three mode-specific wavelet function by the following equation (G) to calculate the filtered three wavelet function for each mode; characterized in that it comprises:
[Equation E]
Figure pat00036

Equation F
Figure pat00037

[Equation G]
Figure pat00038

In equations E through G, h φ (n) and h ψ (n) are scaling and wavelet function coefficients, respectively, h G is a Gaussian low pass filter whose bandwidth is less than the wavelet basis, and * denotes a convolution operator. 제 6항 내지 제 10항 중 어느 한 항에 기재된 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체. A computer-readable medium having recorded thereon a program for executing the method of restoring the image according to any one of claims 6 to 10.
KR1020100101011A 2010-10-15 2010-10-15 Apparatus and method for enhancing color image quality in wavelet domain KR20120039348A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100101011A KR20120039348A (en) 2010-10-15 2010-10-15 Apparatus and method for enhancing color image quality in wavelet domain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100101011A KR20120039348A (en) 2010-10-15 2010-10-15 Apparatus and method for enhancing color image quality in wavelet domain

Publications (1)

Publication Number Publication Date
KR20120039348A true KR20120039348A (en) 2012-04-25

Family

ID=46139750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100101011A KR20120039348A (en) 2010-10-15 2010-10-15 Apparatus and method for enhancing color image quality in wavelet domain

Country Status (1)

Country Link
KR (1) KR20120039348A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206490B1 (en) * 2019-11-21 2021-01-22 주식회사 아이닉스 Image process system by applying selective filtering and image process method therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206490B1 (en) * 2019-11-21 2021-01-22 주식회사 아이닉스 Image process system by applying selective filtering and image process method therefor

Similar Documents

Publication Publication Date Title
Kim et al. Wavelet-domain color image enhancement using filtered directional bases and frequency-adaptive shrinkage
Saxena et al. Noises and image denoising techniques: A brief survey
Naimi et al. Medical image denoising using dual tree complex thresholding wavelet transform and Wiener filter
Padmavathi et al. Comparison of filters used for underwater image pre-processing
KR101044940B1 (en) Method and apparatus for deblocking using edge flow-directed filter and curvelet transform
KR101552680B1 (en) apparatus and method for eliminating noise
Rubel et al. Additive spatially correlated noise suppression by robust block matching and adaptive 3D filtering (JIST-first)
Kota et al. Fusion based Gaussian noise removal in the images using curvelets and wavelets with Gaussian filter
Kim et al. Vaguelette-wavelet decomposition for frequency adaptive image restoration using directional wavelet bases
Palacios-Enriquez et al. Sparse technique for images corrupted by mixed Gaussian-impulsive noise
Karthikeyan et al. Multiresolution joint bilateral filtering with modified adaptive shrinkage for image denoising
KR20120039348A (en) Apparatus and method for enhancing color image quality in wavelet domain
KR101025569B1 (en) Apparatus and method for reducing noise of image based on discrete wavelet transform
Ponomarenko et al. Blind estimation and suppression of additive spatially correlated gaussian noise in images
He et al. A novel hybrid model framework to blind color image deconvolution
Ezekiel et al. No-reference blur metric using double-density and dual-tree two-dimensional wavelet transformation
KR101753365B1 (en) Method and apparatus for reducing noise of image using non local means
Pakdelazar et al. Improvement of BM3D algorithm and Employment to satellite and CFA images Denoising
Jeevan et al. An algorithm for wavelet thresholding based image denoising by representing images in hexagonal lattice
Talbi et al. A hybrid technique of image denoising using the curvelet transform based denoising method and two-stage image denoising by PCA with local pixel grouping
Pearl et al. Directional basis for noise reduction and sharpness enhancement
Abdulwahed et al. Enhancement of DWT-SVD digital image watermarking against noise attack using time–frequency representation
Kawasaki et al. A multiscale retinex with low computational cost
Singh Parihar et al. Filter-based Denoising Methods for AWGN corrupted images
KR101468358B1 (en) Anti aliasing method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application