KR101517233B1

KR101517233B1 - Apparatus for removing noise using moving estimation

Info

Publication number: KR101517233B1
Application number: KR1020080078712A
Authority: KR
Inventors: 정태일; 최병태; 김응태; 김윤종; 최승종
Original assignee: 엘지전자 주식회사
Priority date: 2008-08-12
Filing date: 2008-08-12
Publication date: 2015-05-15
Also published as: KR20100020068A

Abstract

본 발명은 화소별로 움직임을 추정하여 잡음을 제거하는 움직임 추정을 이용한 잡음 제거장치에 관한 것으로서 현재 프레임에서 탬플릿의 크기를 계층적으로 축소시키면서 화소들의 움직임을 추정하고, 움직임이 추정되지 않은 화소들은 2차원 공간잡음을 제거하며, 움직임이 추정된 화소들에 대해서는 움직임 벡터 값 및 코릴레이션 값으로 가중치를 계산한 후 화소들의 잡음을 보상한다.

움직임, 잔상잡음, 추정, 잡음제거, 움직임 벡터, 코릴레이션, 탬플릿, 계층

The present invention relates to a noise cancellation apparatus using motion estimation that estimates motion for each pixel to remove noise, estimates motion of pixels while hierarchically reducing the size of a template in a current frame, Dimensional spatial noise, and compensates the noise of the pixels after calculating motion vectors and correlation values for motion-estimated pixels.

Motion, Residual Image Noise, Estimation, Noise Reduction, Motion Vector, Correlation, Template, Layer

Description

움직임 추정을 이용한 잡음 제거장치{Apparatus for removing noise using moving estimation}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a noise-

본 발명은 영상신호의 움직임을 추정하여 잡음을 제거하는 움직임 추정을 이용한 잡음 제거장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a noise cancellation apparatus using motion estimation for estimating motion of a video signal to remove noise.

아날로그 영상 표시장치에서 디지털 텔레비전 수상기 등과 같은 디지털 영상 표시장치로 변천함에 따라 디지털 영상 표시장치의 화면 대형화 및 화질의 향상 등이 매우 중요한 요소로 떠오르고 있다.As digital image display devices such as digital television sets have changed from analog image display devices to digital image display devices, enlargement of screen size and improvement of image quality of digital image display devices have become very important factors.

화면에 표시되는 영상의 화질을 향상시키기 위해서는 영상의 샘플링 율을 증가시키거나 해상도의 증가, 선명도의 증가 및 잡음을 감소시켜야 되고, 칼라 영상의 경우에는 색감을 향상시켜야 된다.In order to improve the image quality of the image displayed on the screen, it is necessary to increase the sampling rate of the image, increase the resolution, increase the sharpness and reduce the noise, and improve the color of the color image.

대형 화면을 가지고 있는 디지털 영상 표시장치에서 아날로그 영상신호를 입력하여 표시할 경우에 수신되는 아날로그 영상신호의 감도 저하에 의한 잡음이나 아날로그 영상신호를 디지털 영상신호로 변환하는 과정에서 잡음이 첨가되어 화질 을 저하시키게 된다.In the case of inputting and displaying an analog video signal in a digital video display device having a large screen, noise is added in the process of converting a noise or an analog video signal due to the deterioration of the received analog video signal into a digital video signal, .

그러므로 상기한 잡음에 대한 인간의 지각이 특별히 완만한 신호나 배경의 밝기변화(Luminance contrast)에 민감하므로 이러한 잡음들을 효과적으로 제거함으로써 화질의 개선에 기여할 수 있다.Therefore, since the human perception of the noise is particularly sensitive to a gentle signal or a luminance contrast of the background, it is possible to effectively eliminate such noise, thereby contributing to improvement in image quality.

화질에 영향을 주는 잡음에는 시스템 전반에 걸쳐 화면에 나타나는 공간잡음과 피사체들의 움직임에 따른 시간적인 잔상잡음을 고려할 수 있다. 공간잡음의 경우에 그 동안 많은 잡음제거방법들이 개발되어 왔으나, 피사체의 움직임에 대한 잔상잡음의 제거는 그 방법이 매우 복잡하여 처리속도를 고려해야 되는 영상 표시장치에 있어서는 그 적용이 부분적일 수밖에 없었다.Noise that affects picture quality can take into account spatial noise on the screen throughout the system and temporal residual noise due to movement of the objects. In the case of spatial noise, many noise cancellation methods have been developed in the past, but the application of the image display device which has to consider the processing speed has been limited in part because the method is very complicated to remove the afterimage noise from the motion of the subject.

최근에는 프로세서의 발달로 처리속도가 빨라짐에 따라 사람들의 요구에 응해 피사체의 움직임에 따른 잔상 잡음의 제거에 관심이 증가되고 있다.In recent years, as the processing speed of the processor has increased, interest in removing the afterimage noise due to the motion of the subject has been increasing in accordance with the demand of the people.

피사체의 움직임에 따른 잔상 잡음을 제거하는 잡음 제거장치는 현재 프레임의 영상과 이전 프레임의 영상을 화소별로 비교하여 움직임을 검출하고, 검출한 움직임에 정도에 따라 가중치를 설정하며, 설정한 가중치로 IIR(Infinite Impulse Response) 필터링을 수행하여 잡음을 제거하였다.A noise elimination apparatus for eliminating residual image noise according to motion of a subject detects movement by comparing an image of a current frame with an image of a previous frame on a pixel basis, sets a weight according to the detected motion, (Infinite Impulse Response) filtering to remove noise.

그러나 상기한 바와 같이 움직임을 검출하여 IIR 필터링으로 잡음을 제거하는 잡음 제거장치는 시간적인 중복성이 높은 화소들에 대해서는 좋은 결과를 얻을 수 있으나 움직임이 있는 피사체의 경우에는 시간적인 중복성이 매우 적으므로 시간적인 왜곡 현상이 나타나게 된다.However, as described above, the noise cancellation apparatus that detects motion and removes noise by IIR filtering can obtain good results for pixels with high temporal redundancy. However, since temporal redundancy is very small in the case of a moving subject, A distortion phenomenon occurs.

그러므로 본 발명이 해결하고자 하는 과제는 IIR 필터 방식이 움직임이 있는 피사체에 대하여 성능 저하 및 움직임 그을림 현상이 발생하는 단점을 개선하기 위한 것으로서 화소단위로 피사체들의 움직임을 정확하게 추정하고, 추정한 움직임에 따라 화소별로 잡음을 제거하는 움직임 추정을 이용한 잡음 제거장치를 제공한다.SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to solve the disadvantage that the IIR filter method causes degradation in performance and motion of a moving subject, and accurately estimates the motion of the subjects on a pixel by pixel basis, A noise cancellation apparatus using motion estimation for eliminating noise for each pixel is provided.

본 발명의 움직임 추정을 이용한 잡음 제거장치의 제 1 특징에 따르면, 움직임 추정과, 움직임 벡터 신뢰도 및 잡음 제거로 구성하고, 화소 단위의 움직임 추정을 통해 얻어진 움직임 정보를 이용하여 이에 대한 신뢰성을 판단하고, 그에 따라 적응적으로 움직임 보상된 시간적 잡음제거를 수행하거나 2차원 공간 필터링을 수행하게 구성된다.According to a first aspect of the present invention, there is provided a noise removal apparatus comprising motion estimation, motion vector reliability and noise cancellation, reliability determination using motion information obtained through motion estimation on a pixel-by-pixel basis, , Thereby performing adaptive motion compensated temporal noise cancellation or performing two-dimensional spatial filtering.

본 발명의 제 2 특징에 따르면, 화소 단위로 움직임을 추정하기 위하여 계층적 움직임 추정을 수행한다. 이를 위하여 본 발명에서는 원래의 영상의 해상도를 변경하지 않고, 탬플릿의 크기 및 탐색 영역의 크기를 계층적으로 줄여가면서 화소 단위로 움직임을 추정한다.According to a second aspect of the present invention, a hierarchical motion estimation is performed to estimate a motion on a pixel-by-pixel basis. To this end, in the present invention, motion is estimated on a pixel-by-pixel basis while hierarchically reducing the size of the template and the size of the search area without changing the resolution of the original image.

본 발명의 제 3 특징은 계층적 움직임을 추정할 경우에 잡음이 제거된 이전 프레임의 탐색 영역 내의 화소와 현재 프레임의 탬플릿 내의 화소들의 차이 값을 구한 후 그 차이 값의 절대치의 합(Sum Absolute Difference; SAD)을 계산하고, 계산한 SAD를 미리 설정한 임계값과 비교하여 다음 움직임 추정시 시작점을 바꾸도록 한다. SAD가 임계값 이상일 경우에 원래 초기의 제자리에서 움직임 추정을 수행하게 하고, SAD가 임계값 보다 작을 경우에 이전 단계에서 찾은 움직임 벡터를 이용하여 시작점을 바꾸도록 한다.A third aspect of the present invention is to provide a method and apparatus for estimating a hierarchical motion by obtaining differences between pixels in a search area of a previous frame in which noises have been removed and pixels in a template of a current frame and then calculating a Sum Absolute Difference ; SAD) is calculated, and the calculated SAD is compared with a preset threshold to change the starting point in the next motion estimation. When the SAD is equal to or greater than the threshold value, the motion estimation is performed in the original initial position, and when the SAD is smaller than the threshold value, the starting point is changed using the motion vector found in the previous step.

본 발명의 제 4 특징은 매칭의 기준을 탐색 영역 내의 블록 SAD를 이용하여 움직임 벡터와 코릴레이션을 얻는 것을 특징으로 한다. 이 때 SAD 최대 값과 SAD 최소 값을 이용하여 그 차이 값이 미리 설정된 임계값 이내일 경우에 코릴레이션 및 움직임 벡터를 조정하여 잡음 제거시 효과를 나타낼 수 있게 조절한다.A fourth aspect of the present invention is characterized in that a reference of matching is obtained by using a block SAD in a search area to obtain a correlation with a motion vector. In this case, using the SAD maximum value and the SAD minimum value, the correlation and the motion vector are adjusted when the difference value is within a predetermined threshold value, thereby adjusting the noise reduction effect.

본 발명의 제 5 특징에 따르면, 도 5와 같이 제안된 계층적 움직임 추정을 통해 얻어진 각 화소들에 대한 움직임 벡터와 코릴레이션 값을 이용하여 현재 위치의 화소에 대해 선택적으로 잡음 제거를 다르게 하는 것을 특징으로 한다.According to a fifth aspect of the present invention, there is provided a method for selectively removing noise from a pixel at a current position using a motion vector and a correlation value for each pixel obtained through the proposed hierarchical motion estimation as shown in FIG. 5 .

본 발명의 제 6 특징에 따르면, 움직임 벡터가 잘 찾아진 경우 이전 프레임에서 움직임 보상된 화소를 이용하여 IIR 필터링으로 잡음을 제거한다. 새로운 프레임을 생성하는데 기여하는 두 프레임간의 기여도는 적응적으로 변화하는 가중치에 의해 결정되며 이 가중치는 정합으로부터 획득된 상관계수와 사용자가 미리 정의한 값으로부터 획득됨을 특징으로 한다.According to a sixth aspect of the present invention, when a motion vector is found well, noise is removed by IIR filtering using a motion compensated pixel in a previous frame. The contribution between two frames contributing to the creation of a new frame is determined by an adaptively varying weight which is obtained from a correlation coefficient obtained from the match and a predefined value from the user.

본 발명의 제 7 특징에 따르면, 사용자가 미리 정의한 값은 0에서 1사이 값을 갖는 것으로서 0에 가까울수록 이전 프레임의 비중이 커지게 되고 1에 가까울 수록 현재 프레임의 비중이 커지게 된다. 여기서 비중이 커지는 것은 절대적인 값 이 아니고 적응적으로 변화하는 가중치에 대해서 시스템에 따라 직류 바이어스되는 것을 특징으로 한다.According to the seventh aspect of the present invention, the value predefined by the user has a value between 0 and 1, and the closer the value to 0, the greater the weight of the previous frame, and the closer to 1 the greater the weight of the current frame. Here, the DC bias is not an absolute value and the DC bias is applied to the system depending on the adaptively changing weight.

본 발명의 제 8 특징에 따르면, 만약 각 화소에 대한 움직임 벡터가 여러 가지 이유로 해서 추정되지 않을 경우에 상관계수를 0 또는 0에 가까운 값을 갖게된다. 이 상관계수를 이용하여 가중치를 결정되게 되므로 가중치 또한 0 값을 갖게되고 이것은 현재 프레임의 화소값이 그대로 반영된다는 것을 의미한다. 이 경우에 현재 프레임의 화소만을 이용하여 2차원 공간필터링을 수행함을 특징으로 한다. 이 때 이용하는 화소는 휘도신호만을 공간 필터링하며 칼라에 대해서는 공간필터링을 하지 않는다.According to the eighth aspect of the present invention, if the motion vector for each pixel is not estimated for various reasons, the correlation coefficient has a value close to 0 or 0. Since the weight is determined by using the correlation coefficient, the weight also has a value of 0, which means that the pixel value of the current frame is reflected as it is. In this case, two-dimensional spatial filtering is performed using only pixels of the current frame. In this case, only the luminance signal is spatially filtered by the pixel used, and the spatial filtering is not performed on the color.

본 발명의 제 9 특징에 따르면, 잡음을 보상한 이전 프레임의 화소의 색차신호의 값과 현재 프레임의 화소의 색차신호의 값이 서로 동일한 사분면에 위치하는지의 여부를 판단하고, 동일한 사분면에 위치할 경우에 상기 가중치에 따라 상기 색차신호를 보상하며, 서로 상이한 사분면에 위치할 경우에 현재 프레임의 화소의 색차신호의 값을 그대로 갖도록 한다.According to the ninth aspect of the present invention, it is determined whether or not the value of the color difference signal of the pixel of the previous frame compensated for the noise and the value of the color difference signal of the pixel of the current frame are located in the same quadrant, The color difference signals are compensated according to the weights, and when the color difference signals are located in different quadrants, the color difference signals of the pixels of the current frame are maintained.

그러므로 본 발명의 움직임 추정을 이용한 잡음 제거장치는 현재 프레임을 복수의 화소들로 이루어지는 탬플릿으로 분할하고, 움직임이 보상된 이전 프레임에서 상기 탬플릿의 움직임을 추정할 탐색영역을 설정하며, 상기 탬플릿을 상기 탐색 영역에서 이동시키면서 화소들의 움직임을 추정하여 움직임 벡터 값 및 코릴레이션 값을 추출하는 계층적 움직임 추정부와, 상기 계층적 움직임 추정부가 움직임 추정 을 실패한 화소들의 공간잡음을 제거하는 공간잡음 제거부와, 상기 계층적 움직임 추정부가 움직임을 추정한 화소들의 움직임 벡터 값 및 코릴레이션 값으로 잡음을 보상할 가중치를 계산하는 가중치 계산부와, 상기 가중치 계산부가 계산한 가중치와, 상기 움직임 벡터 값과, 상기 움직임이 보상된 이전 프레임의 화소신호와 현재 프레임의 화소신호를 이용하여 화소의 잡음을 보상하는 잡음 보상부를 포함하여 구성됨을 특징으로 한다.Therefore, the noise cancellation apparatus using motion estimation according to the present invention divides the current frame into templates composed of a plurality of pixels, sets a search area for estimating the motion of the template in a motion compensated previous frame, A hierarchical motion estimator for estimating a motion of pixels while moving in a search region to extract a motion vector value and a correlation value; a spatial noise removing unit for removing spatial noise of pixels that fail the motion estimation; A weight calculator for calculating a weight to compensate for a noise based on a motion vector value and a correlation value of pixels for which the hierarchical motion estimator predicted motion; a weight calculator for calculating a weight calculated by the weight calculator, The pixel signal of the previous frame in which the motion is compensated, And a noise compensating unit for compensating noise of a pixel using a small signal.

상기 계층적 움직임 추정부는 상기 탬플릿의 크기를 계층적으로 축소시키면서 화소들의 움직임을 추정하는 것을 특징으로 한다.And the hierarchical motion estimator estimates motion of pixels while hierarchically reducing the size of the template.

또한 상기 계층적 움직임 추정부는 상기 화소들의 움직임을 추정한 후 움직임을 추정한 화소들의 해당 탬플릿을 해당 탐색 영역에 위치시킨 각각의 위치에서의 SAD(Sum Absolute Difference)를 추출하고, 추출한 최대 값의 SAD에서 최소 값의 SAD를 감산한 값과 최소 SAD의 값이 모두 미리 설정된 임계값 이하일 경우에 해당 화소의 코릴레이션 값을 0으로 변환하는 것을 특징으로 한다.Also, the hierarchical motion estimator extracts SAD (Sum Absolute Difference) at each position where the corresponding template of the pixels estimated motion after the motion of the pixels is located in the search area, and calculates a SAD The correlation value of the pixel is converted to 0 when the value obtained by subtracting the SAD of the minimum value and the value of the minimum SAD are both equal to or less than a preset threshold value.

또한 상기 계층적 움직임 추정부는 상기 탬플릿을 상기 탐색영역의 중앙부부터 나선형(spiral)으로 위치시키면서 움직임을 추정하는 것을 특징으로 한다.The hierarchical motion estimator estimates motion while locating the template in a spiral form from the center of the search area.

상기 공간잡음 제거부는 2차원 공간 필터링을 수행하여 공간잡음을 제거하는 것을 특징으로 한다.And the spatial noise removing unit removes spatial noise by performing two-dimensional spatial filtering.

상기 가중치 계산부는 하기의 수학식 3에 따라 상관계수를 계산하고, 계산한 상관계수에서 사용자가 미리 정의한 값을 감산하여 가중치를 계산하는 것을 특징으로 한다.The weight calculator calculates a correlation coefficient according to Equation (3) below, and calculates a weight by subtracting a user-defined value from the calculated correlation coefficient.

수학식 3Equation 3

상기 잡음 보상부는 하기의 수학식 5에 따라 IIR(Infinite Impulse Response) 필터링을 수행하여 잡음을 보상하는 것을 특징으로 하는 움직임 추정을 이용한 잡음 제거장치.Wherein the noise compensating unit performs Infinite Impulse Response (IIR) filtering according to Equation (5) to compensate for noise.

수학식 5Equation 5

여기서, G(t)는 잡음이 보상된 현재 프레임의 화소이고, α는 가중치이며,

는 잡음이 보상된 현재 프레임의 화소로서

는 움직임 벡터 값이며, F(t)는 잡음이 보상되지 않음 이전 프레임의 화소이다.Where G (t) is the pixel of the current frame in which the noise is compensated, alpha is a weight,

Is a pixel of the current frame in which the noise is compensated

Is the motion vector value, and F (t) is the pixel of the previous frame in which the noise is not compensated.

상기 계층적 움직임 추정부와 상기 가중치 계산부 및 공간잡음 제거부의 사이에 상기 계층적 움직임 추정부가 화소의 움직임을 추정하였는지의 여부를 판단하여 상기 가중치 계산부 및 상기 공간잡음 제거부를 선택적으로 동작시키는 움직임 추정 판단부를 더 포함하는 것을 특징으로 한다.The hierarchical motion estimator determines whether the motion of the pixel is estimated between the hierarchical motion estimator, the weight calculator, and the spatial noise eliminator, and selectively operates the weight calculator and the spatial noise eliminator And a motion estimation determination unit.

또한 본 발명은 상기 공간잡음 제거부에서 출력되는 화소와 상기 잡음 보상부에서 출력되는 화소를 결합시키는 화소 결합부를 더 포함하는 것을 특징으로 한다.The present invention further includes a pixel combining unit for combining the pixel output from the spatial noise canceling unit and the pixel output from the noise compensating unit.

그리고 상기 잡음 보상부와 상기 화소 결합부의 사이에 상기 가중치 계산부가 계산한 가중치에 따라 색차신호를 보상하는 칼라 보상부를 더 포함하는 것을 특 징으로 한다.And a color compensator for compensating a color difference signal between the noise compensator and the pixel combiner according to a weight calculated by the weight calculator.

상기 칼라 보상부는 색차신호 Cr 및 Cb의 중심값을 중심으로 XY 평면을 형성하고, 이전 프레임의 화소의 색차신호 Cb 및 Cr의 값과, 이전 프레임의 화소의 움직임이 추정된 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값이 동일 사분면에 위치할 경우에 상기 가중치에 따라 색차신호 Cb 및 Cr을 보상하고, 상호간에 다른 사분면에 위치할 경우에 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값을 그대로 설정하는 것을 특징으로 한다.The color compensator forms an XY plane around the center values of the color difference signals Cr and Cb and calculates the color difference signals Cb and Cr of the pixels of the previous frame and the color difference signals Cb and Cr of the pixels of the previous frame, When the values of the signals Cb and Cr are located in the same quadrant, the chrominance signals Cb and Cr are compensated according to the weights. When the signals Cb and Cr are located in different quadrants, the values of the chrominance signals Cb and Cr of the current frame are .

본 발명의 잡음 제거장치는 계층적으로 탬플릿의 크기를 축소시키면서 화소들의 움직임을 정확히 추정하고, 움직임이 추정되지 않은 화소들에 대해서는 2차원 공간 필터링을 수행하여 공간잡음을 제거한다. 그리고 움직임이 추정된 화소들에 대해서는 추정된 움직임에 따른 움직임 벡터 값 및 코릴레이션 값을 이용하여 가중치를 계산하고, 계산한 가중치에 따라 IIR(Infinite Impulse Response) 필터링을 수행한다. 또한 IIF 필터링된 화소들의 색차신호의 값을 이용하여 칼라를 보상한다.The noise elimination apparatus of the present invention accurately estimates the motion of pixels while reducing the size of the template hierarchically and performs spatial two-dimensional filtering on pixels whose motion is not estimated to remove spatial noise. For the pixels whose motion is estimated, a weight is calculated using motion vector values and correlation values according to the estimated motion, and IIR (Infinite Impulse Response) filtering is performed according to the calculated weight values. Also, the color is compensated using the value of the color difference signal of the IIF filtered pixels.

그러므로 움직임이 있는 화소는 물론 움직임이 없는 화소들의 잡음을 정확하게 제거하여 시간적인 왜곡현상을 방지한다.Therefore, it accurately removes the noise of motionless pixels as well as motionless pixels, thereby preventing temporal distortion.

이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.The following detailed description is merely illustrative, and is merely an example of the present invention. Further, the principles and concepts of the present invention are provided for the purpose of being most useful and readily explaining.

따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.Accordingly, it is not intended to provide a more detailed structure than is necessary for a basic understanding of the present invention, but it should be understood by those skilled in the art that various forms that can be practiced in the present invention are illustrated in the drawings.

도 1은 일반적인 잡음 제거장치의 구성을 보인 블록도이다. 여기서, 부호 100은 움직임 검출부이다. 상기 움직임 검출부(100)는 입력되는 현재 프레임의 영상신호 F(t)와 잡음이 제거된 이전 프레임의 영상신호 G(t-1)를 입력하여 피사체의 움직임을 검출하고, 검출한 움직임에 따른 가중치 α를 생성한다.1 is a block diagram showing a configuration of a general noise canceller. Here, reference numeral 100 denotes a motion detection unit. The motion detection unit 100 detects a motion of a subject by inputting a video signal F (t) of a current frame and a video signal G (t-1) of a previous frame from which noise has been removed, alpha.

상기 가중치 α는 움직임이 없을 경우에 1에 가깝고, 움직임이 증가할 경우에 0에 가까운 값을 갖는다.The weight? Has a value close to 1 in the absence of motion and a value close to 0 when the motion increases.

상기 움직임 검출부(100)가 생성한 가중치 α는 IIR(Infinite Impulse Response) 필터(102)로 입력된다.The weight a generated by the motion detector 100 is input to an IIR (Infinite Impulse Response) filter 102.

그러면, IIR 필터(102)는 수학식 1과 같이 상기 가중치 α와, 상기 현재 프레임의 영상신호 F(t)와 잡음이 제거된 이전 프레임의 영상신호 G(t-1)를 이용하여 잡음이 제거된 현재 프레임의 영상신호 G(t)를 생성한다.Then, the IIR filter 102 removes noise using the weight α and the video signal F (t) of the current frame and the video signal G (t-1) of the previous frame from which noise has been removed, as shown in Equation (1) And generates a video signal G (t) of the current frame.

G(t)= αG(t-1) + (1-α)F(t)G (t) =? G (t-1) + (1-a) F (t)

그러나 상기한 바와 같이 움직임을 추정하여 잡음을 제거하는 잡음 제거장치는 시간적인 중복성이 높은 화소들에 대해서는 좋은 결과를 얻을 수 있으나 움직임이 있는 피사체의 경우에는 시간적인 중복성이 매우 적으므로 오히려 좋지 않은 결과를 얻을 수 있다. 또한 영상 내의 다양한 국부적인 변화들에 따라서 가중치 α를 적응적으로 조절하는 것이 어려우므로 잘못된 처리 결과로 인한 시간적인 왜곡 현상이 나타나게 된다.However, as described above, the noise cancellation apparatus for removing noise by estimating motion can obtain good results for pixels with high temporal redundancy, but in the case of a moving subject, temporal redundancy is very small, Can be obtained. Also, it is difficult to adjust the weight α adaptively according to various local changes in the image, so that a time distortion occurs due to a wrong processing result.

도 2는 본 발명의 움직임 추정을 이용한 잡음 제거장치의 바람직한 실시 예의 구성을 보인 블록도이다.2 is a block diagram showing a configuration of a preferred embodiment of a noise canceling apparatus using motion estimation according to the present invention.

여기서, 부호 200은 계층적 움직임 추정부이다. 상기 계층적 움직임 추정부(200)는 입력되는 현재 프레임의 영상신호 F(t)와 잡음이 제거된 이전 프레임의 영상신호 G(t-1)를 이용하여 화소별로 움직임 벡터 값 및 코릴레이션 값을 추정한다.Here, reference numeral 200 denotes a hierarchical motion estimation unit. The hierarchical motion estimation unit 200 calculates a motion vector value and a correlation value for each pixel using the input video signal F (t) of the current frame and the video signal G (t-1) of the previous frame from which noise has been removed .

상기 움직임 벡터 값 및 코릴레이션 값의 추정은 상기 계층적 움직임 추정부(200)가 도 3a에 도시된 바와 같이 입력되는 현재 프레임의 영상신호 F(t)에서 소정 크기의 화소들로 이루어지는 제 1 탬플릿을 설정한다(S300). 예를 들면, 도 4a에 도시된 바와 같이 입력되는 현재 프레임에서 8×8개의 화소들로 이루어지는 제 1 탬플릿(400)을 생성한다.The estimation of the motion vector value and the correlation value may be performed by the hierarchical motion estimation unit 200 using a first template (i.e., a first template) composed of pixels of a predetermined size in the video signal F (t) of the current frame input as shown in FIG. (S300). For example, as shown in FIG. 4A, a first template 400 composed of 8 × 8 pixels in the current frame is generated.

그리고 상기 계층적 움직임 추정부(200)는 입력되는 잡음이 제거된 이전 프 레임의 영상신호 G(t-1)에서 도 4b에 도시된 바와 같이 상기 제 1 탬플릿(400)의 위치를 기준으로 하여 소정 크기의 화소들로 이루어지는 제 1 탐색 영역(402)을 설정한다(S302). 예를 들면, 상기 제 1 탬플릿(400)의 위치가 중심에 위치되고 16×16개의 화소들로 이루어지는 제 1 탐색 영역(402)을 생성한다.4B, the hierarchical motion estimation unit 200 estimates a motion of the input image G (t-1) based on the position of the first template 400, A first search area 402 composed of pixels of a predetermined size is set (S302). For example, the first template 400 is positioned at the center and a first search area 402 composed of 16 x 16 pixels is generated.

여기서, 상기 생성하는 제 1 탐색 영역(402)의 크기는 예를 들면, 수학식 2에 따른다.Here, the size of the first search area 402 to be generated is, for example, as shown in Equation (2).

SWH - PBH = SWW - PBH = 2NSWH - PBH = SWW - PBH = 2N

여기서, SWH는 제 1 탐색 영역(402)의 높이이고, PBH는 제 1 탬플릿(400)의 높이이며, SWW는 제 1 탐색 영역의 폭이며, PBH는 제 1 탬플릿(400)의 폭이며, N은 자연수이다.Here, SWH is the height of the first search area 402, PBH is the height of the first template 400, SWW is the width of the first search area, PBH is the width of the first template 400, N Is a natural number.

상기 제 1 탬플릿(400) 및 제 1 탐색 영역(402)이 생성되면, 계층적 움직임 추정부(200)는 상기 제 1 탬플릿(400)을 상기 제 1 탐색 영역(402)의 중앙에 위치시키고(S304), 해당 위치에서의 움직임 벡터 값과 코릴레이션 값을 추출한다(S306).When the first template 400 and the first search area 402 are generated, the hierarchical motion estimation unit 200 positions the first template 400 at the center of the first search area 402 S304), and extracts a motion vector value and a correlation value at the corresponding position (S306).

그리고 상기 계층적 움직임 추정부(200)는 상기 제 1 탬플릿(400)을 이동시켜 상기 제 1 탐색 영역(402) 전체에서 탐색이 완료되었는지의 여부를 판단한다(S308). 상기 판단 결과 탐색이 완료되지 않았을 경우에 상기 계층적 움직임 추정부(200)는 제 1 탬플릿(400)을 이동시키고(S310), 상기 단계(S306)로 복귀하여 피사체들의 움직임에 따른 움직임 벡터 값과 코릴레이션 값을 추출한 후 제 1 탐색 영역(402) 전체에서 탐색이 완료되었는지의 여부를 판단하는 동작을 반복 수행한다.The hierarchical motion estimation unit 200 moves the first template 400 and determines whether the search is completed in the entire first search area 402 (S308). If the search is not completed, the hierarchical motion estimation unit 200 moves the first template 400 (S310) and returns to step S306 to calculate a motion vector value according to motion of the subject After the correlation value is extracted, it is repeatedly determined whether the search is completed in the first search area 402 or not.

여기서, 상기 제 1 탬플릿(400)의 이동은 제 1 탐색 영역(402)의 중앙으로부터 제 1 탬플릿(400)을 나선형(spiral)으로 회전시키면서 이동시켜 탐색하도록 하는 것이 바람직하다.The movement of the first template 400 is preferably performed by moving the first template 400 while spirally rotating the first template 400 from the center of the first search area 402.

그리고 상기 제 1 탬플릿(400)을 상기 제 1 탐색 영역(402) 전체에서 이동시키면서 움직임 벡터 값 및 코릴레이션 값의 추출이 완료되면, 상기 계층적 움직임 추정부(200)는 추출한 움직임 벡터 값 및 코릴레이션 값에서 최적의 움직임 벡터 값 및 코릴레이션 값을 추출한다(S312). 즉, 상기 계층적 움직임 추정부(200)는 코릴레이션 값이 가장 큰 값과, 코릴레이션 값이 가장 큰 값을 가질 때의 움직임 벡터 값을 최적의 움직임 벡터 값 및 코릴레이션 값으로 추출한다.When the motion vector value and the correlation value are extracted while moving the first template 400 in the entire first search area 402, the hierarchical motion estimation unit 200 extracts the extracted motion vector values and nose An optimal motion vector value and a correlation value are extracted from the relation value (S312). That is, the hierarchical motion estimation unit 200 extracts a motion vector value when a correlation value is the largest and a correlation value is the largest, as an optimal motion vector value and a correlation value.

그리고 상기 계층적 움직임 추정부(200)는 상기 추출한 최적의 코릴레이션 값이 미리 설정된 제 1 설정 값 이상인지의 여부를 판단한다(S314).Then, the hierarchical motion estimation unit 200 determines whether the extracted optimal correlation value is equal to or greater than a preset first preset value (S314).

상기 판단 결과 추출한 최적의 코릴레이션 값이 미리 설정된 제 1 설정 값 이상일 경우에 피사체의 움직임을 어느 정도 정확하게 추정한 것으로서 상기 계층적 움직임 추정부(200)는 도 3b에 도시된 바와 같이 제 1 탬플릿(400)을 분할하여 제 2 탬플릿을 생성한다(S316). 예를 들면, 도 4a에 도시된 바와 같이 상기 계층적 움직임 추정부(200)는 8×8개의 화소로 이루어지는 제 1 탬플릿(400)을 분할하여 4×4개의 화소들로 이루어지는 4개의 제 2 탬플릿(404)을 생성한다.As shown in FIG. 3B, the hierarchical motion estimator 200 estimates the motion of the subject to some extent accurately when the optimal correlation value extracted as the determination result is equal to or greater than a preset first preset value, 400) to generate a second template (S316). For example, as shown in FIG. 4A, the hierarchical motion estimation unit 200 divides a first template 400, which is composed of 8 × 8 pixels, into 4 second templates (4 × 4 pixels) (404).

상기 제 2 탬플릿(404)이 생성되면, 상기 계층적 움직임 추정부(200)는 상기 생성한 복수의 제 2 탬플릿(404)들 중에서 하나의 제 2 탬플릿(404)을 선택하고(S318), 그 선택한 제 2 탬플릿(404)의 위치를 기준으로 하여, 입력되는 잡음이 제거된 이전 프레임의 영상신호 G(t-1)에서 소정 크기의 화소들로 이루어지는 제 2 탐색 영역을 생성한다(S320). 예를 들면, 상기 제 2 탬플릿(404)의 위치가 중심에 위치되고 8×8개의 화소들로 이루어지는 제 2 탐색 영역을 생성한다.When the second template 404 is generated, the hierarchical motion estimation unit 200 selects one of the plurality of generated second templates 404 (S318) A second search area including pixels having a predetermined size is generated in the image signal G (t-1) of the previous frame from which noise has been removed, based on the position of the selected second template 404 (S320). For example, a second search area in which the position of the second template 404 is located at the center and is composed of 8 x 8 pixels is generated.

그리고 상기 계층적 움직임 추정부(200)는 상기 제 2 탬플릿(404)을 상기 제 2 탐색 영역의 중앙에 위치시키고(S322), 해당 위치에서의 움직임 벡터 값과 코릴레이션 값을 추출한다(S324).The hierarchical motion estimation unit 200 then positions the second template 404 at the center of the second search area in step S322 and extracts a motion vector value and a correlation value in the corresponding position in step S324, .

상기 움직임 벡터 값과 코릴레이션 값이 추출되면, 상기 계층적 움직임 추정부(200)는 상기 제 2 탬플릿(404)을 이동시켜 상기 제 2 탐색 영역 전체에서 탐색이 완료되었는 지의 여부를 판단한다(S326). 상기 판단 결과 탐색이 완료되지 않았을 경우에 상기 계층적 움직임 추정부(200)는 제 2 탬플릿(404)을 이동시키고(S328), 상기 단계(S324)로 복귀하여 해당 위치에서의 움직임 벡터 값과 코릴레이션 값을 추출한 후 제 2 탐색 영역 전체에서 탐색이 완료되었는지의 여부를 판단하는 동작을 반복 수행한다.When the motion vector value and the correlation value are extracted, the hierarchical motion estimation unit 200 moves the second template 404 and determines whether the search is completed in the entire second search area (S326 ). If the search is not completed, the hierarchical motion estimation unit 200 moves the second template 404 (S328), returns to step S324, After the relation value is extracted, it is determined whether or not the search is completed in the entire second search area.

여기서, 상기 제 2 탬플릿(404)의 이동도 제 2 탐색 영역의 중앙으로부터 제 2 탬플릿(404)을 나선형(spiral)으로 회전시키면서 이동시켜 탐색하도록 하는 것이 바람직하다.Here, it is preferable that the movement of the second template 404 is also made to move while spirally rotating the second template 404 from the center of the second search area.

그리고 상기 제 2 탬플릿(404)을 상기 제 2 탐색 영역 전체에서 이동시키면서 움직임 벡터 값 및 코릴레이션 값의 추출이 완료되면, 상기 계층적 움직임 추정 부(200)는 추출한 움직임 벡터 값 및 코릴레이션 값에서 최적의 움직임 벡터 값 및 코릴레이션 값을 추출하고(S330), 제 2 탬플릿(404)을 모두 선택하여 탐색하였는 지의 여부를 판단한다(S322).When the motion vector value and the correlation value are extracted while moving the second template 404 throughout the second search area, the hierarchical motion estimator 200 estimates the motion vector value and the correlation value The optimum motion vector values and correlation values are extracted (S330), and it is determined whether all the second templates 404 have been searched (S322).

상기 판단 결과 제 2 탬플릿(404)을 모두 선택하여 탐색을 하지 않았을 경우에 상기 계층적 움직임 추정부(200)는 상기 단계(S318)로 복귀하여 다음의 제 2 탬플릿(404)을 선택하고, 제 2 탐색영역을 설정하며, 탐색을 수행하여 제 2 탬플릿(404)을 이동시킨 위치에서의 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 반복 수행한다.If it is determined that all of the second templates 404 have not been searched, the hierarchical motion estimation unit 200 returns to step S318 to select the next second template 404, 2 search area, and searches for a motion vector value and a correlation value at a position where the second template 404 is moved is repeatedly performed.

그리고 상기 단계(S332)의 판단 결과 제 2 탬플릿(404)을 모두 선택하여 탐색을 하였을 경우에 상기 계층적 움직임 추정부(200)는 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 종료한다.If it is determined in step S332 that all the second templates 404 have been searched, the hierarchical motion estimation unit 200 ends the operation of extracting the motion vector values and the correlation values.

한편, 상기 단계(S314)에서 코릴레이션 값이 미리 설정된 제 1 설정값 보다 작을 경우에 상기 계층적 움직임 추정부(200)는 도 3c에 도시된 바와 같이 제 1 탬플릿(400)을 분할하여 제 2 탬플릿(404)을 생성한다(S334)하고, 상기 생성한 복수의 제 2 탬플릿(404)들 중에서 하나의 제 2 탬플릿(404)을 선택하며(S336), 그 선택한 제 2 탬플릿(404)의 위치를 기준으로 하여, 입력되는 잡음이 제거된 이전 프레임의 영상신호 G(t-1)에서 소정 크기의 화소들로 이루어지는 제 2 탐색 영역을 생성한다(S338).3C, the hierarchical motion estimation unit 200 may divide the first template 400 into a plurality of subframes by dividing the first template 400 into a plurality of subframes, A template 404 is generated in step S334 and one of the plurality of second templates 404 is selected in step S336 and the position of the selected second template 404 (T-1) of the previous frame from which noise has been removed (step S338).

그리고 상기 계층적 움직임 추정부(200)는 상기 제 2 탬플릿(404)을 상기 제 2 탐색 영역의 중앙에 위치시키고(S340), 해당 위치에서의 움직임 벡터 값과 코릴 레이션 값을 추출한다(S342).Then, the hierarchical motion estimation unit 200 positions the second template 404 at the center of the second search area (S340), and extracts a motion vector value and a correlation value at the corresponding position (S342) .

상기 움직임 벡터 값과 코릴레이션 값이 추출되면, 상기 계층적 움직임 추정부(200)는 상기 제 2 탬플릿(404)을 이동시켜 상기 제 2 탐색 영역 전체에서 탐색이 완료되었는지의 여부를 판단한다(S344). 상기 판단 결과 탐색이 완료되지 않았을 경우에 상기 계층적 움직임 추정부(200)는 제 2 탬플릿(404)을 이동시키고(S346), 상기 단계(S342)로 복귀하여 제 2 탬플릿(404)을 이동시킨 각각의 위치에서의 움직임 벡터 값과 코릴레이션 값을 추출한 후 제 2 탐색 영역 전체에서 탐색이 완료되었는지의 여부를 판단하는 동작을 반복 수행한다.When the motion vector value and the correlation value are extracted, the hierarchical motion estimation unit 200 moves the second template 404 and determines whether the search is completed in the entire second search area (S344 ). If the search is not completed, the hierarchical motion estimation unit 200 moves the second template 404 (S346), returns to step S342, and moves the second template 404 After extracting the motion vector values and correlation values at the respective positions, it is determined whether or not the search is completed in the entire second search area.

그리고 상기 제 2 탬플릿(404)을 상기 제 2 탐색 영역 전체에서 이동시켜 움직임 벡터 값 및 코릴레이션 값을 추출하는 것이 완료되면, 상기 계층적 움직임 추정부(200)는 추출한 움직임 벡터 값 및 코릴레이션 값에서 최적의 움직임 벡터 값 및 코릴레이션 값을 추출하고(S348), 추출한 최적의 코릴레이션 값이 미리 설정한 제 2 설정 값 이상인지의 여부를 판단한다(S350).When it is completed to extract the motion vector values and the correlation values by moving the second template 404 throughout the second search area, the hierarchical motion estimation unit 200 extracts the extracted motion vector values and correlation values The optimum motion vector value and correlation value are extracted in step S348, and it is determined whether or not the extracted optimal correlation value is equal to or greater than a predetermined second set value in step S350.

상기 판단 결과 추출한 최적의 코릴레이션 값이 미리 설정한 제 2 설정 값 이상일 경우에 상기 움직임 벡터 값 및 코릴레이션 값을 정확하게 추정한 것으로서 상기 계층적 움직임 추정부(200)는 제 2 탬플릿(404)을 모두 선택하여 탐색하였는 지의 여부를 판단한다(S352).The hierarchical motion estimation unit 200 estimates the motion vector value and the correlation value when the extracted optimal correlation value is equal to or greater than a preset second preset value, It is determined whether or not all of them have been searched (S352).

상기 판단 결과 제 2 탬플릿(404)을 모두 선택하여 탐색을 하지 않았을 경우에 상기 계층적 움직임 추정부(200)는 상기 단계(S336)로 복귀하여 다음의 제 2 탬플릿(404)을 선택하고, 제 2 탐색영역을 설정하며, 탐색을 수행하여 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 반복 수행한다.If it is determined that all of the second templates 404 have not been searched, the hierarchical motion estimation unit 200 returns to step S336 to select the next second template 404, 2 search area is set, and search is performed to extract a motion vector value and a correlation value.

그리고 상기 판단 결과 제 2 탬플릿(404)을 모두 선택하여 탐색을 하였을 경우에 상기 계층적 움직임 추정부(200)는 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 종료한다.If it is determined that all the second templates 404 have been searched, the hierarchical motion estimation unit 200 ends the operation of extracting the motion vector values and the correlation values.

한편, 상기 단계(S350)에서의 판단 결과 추출한 최적의 코릴레이션 값이 미리 설정한 제 2 설정 값 이상이 아닐 경우에 상기 움직임 벡터 값 및 코릴레이션 값을 정확하게 추정하지 못한 것으로서 상기 계층적 움직임 추정부(200)는 도 3d에 도시된 바와 같이 제 2 탬플릿(404)을 분할하여 제 3 탬플릿을 생성한다(S356). 예를 들면, 도 4a에 도시된 바와 같이 상기 계층적 움직임 추정부(200)는 4×4개의 화소로 이루어지는 제 2 탬플릿(404)을 분할하여 2×2개의 화소들로 이루어지는 4개의 제 3 탬플릿(406)을 생성한다.On the other hand, if it is determined in step S350 that the extracted optimal correlation value is not equal to or greater than the preset second set value, the motion vector value and the correlation value can not be accurately estimated, The controller 200 divides the second template 404 as shown in FIG. 3D to generate a third template (S356). For example, as shown in FIG. 4A, the hierarchical motion estimation unit 200 divides a second template 404, which is composed of 4 × 4 pixels, into four third templates (406).

상기 제 3 탬플릿(406)이 생성되면, 상기 계층적 움직임 추정부(200)는 생성한 제 3 탬플릿(406)들 중에서 하나의 제 3 탬플릿(406)을 선택하고(S358), 선택한 제 3 탬플릿(406)의 위치를 기준으로 하여 입력되는 잡음이 제거된 이전 프레임의 영상신호 G(t-1)에서 소정 크기의 화소들로 이루어지는 제 3 탐색 영역을 설정하며(S360), 상기 선택한 제 3 탬플릿(406)을 상기 제 3 탐색 영역의 중앙에 위치시킨다(S362).When the third template 406 is generated, the hierarchical motion estimation unit 200 selects one third template 406 among the generated third templates 406 (S358) (S360), which is composed of pixels of a predetermined size, from the image signal G (t-1) of the previous frame from which noise has been removed with reference to the position of the selected third template 406 (Step S362). The second search area 406 is located at the center of the third search area.

그리고 상기 계층적 움직임 추정부(200)는 제 3 탬플릿(406)의 위치에서 움직임 벡터 값 및 코릴레이션 값을 추출하고(S364), 제 3 탐색 영역에서 탐색이 완료되었는지의 여부를 판단한다(S366).The hierarchical motion estimation unit 200 extracts a motion vector value and a correlation value from the position of the third template 406 (S364), and determines whether or not the search is completed in the third search area (S366 ).

상기 판단 결과 제 3 탐색 영역에서 탐색이 완료되지 않았을 경우에 상기 계층적 움직임 추정부(200)는 제 3 탬플릿(406)을 상기 제 3 탐색 영역 내에서 이동시키고, 상기 단계(S364)로 복귀하여 제 3 탬플릿(406)을 이동시킨 각각의 위치에서의 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 반복 수행한다.As a result of the determination, if the search in the third search area is not completed, the hierarchical motion estimation unit 200 moves the third template 406 in the third search area, and returns to step S364 The motion vector value and correlation value at each position in which the third template 406 is moved are repeatedly performed.

그리고 상기 판단 결과 제 3 탐색 영역에서 탐색이 완료되었을 경우에 상기 계층적 움직임 추정부(200)는 최적의 움직임 벡터 값 및 코릴레이션 값을 추출하고(S370), 추출한 최적의 코릴레이션 값이 미리 설정된 제 3 설정값 이상인지의 여부를 판단한다(S372).If the search is completed in the third search area, the hierarchical motion estimation unit 200 extracts an optimal motion vector value and a correlation value (S370). If the extracted optimum correlation value is preset It is determined whether or not it is equal to or greater than the third set value (S372).

상기 단계(S372)의 판단 결과 최적의 코릴레이션 값이 미리 설정된 제 3 설정값 이상이 아닐 경우에 상기 계층적 움직임 추정부(200)는 움직임 추정을 실패한 것으로 판단하고, 움직임 벡터 값 및 코릴레이션 값을 모두 0으로 결정한다(S374).If it is determined in step S372 that the optimal correlation value is not equal to or greater than the preset third predetermined value, the hierarchical motion estimation unit 200 determines that the motion estimation has failed, 0 " (step S374).

그리고 상기 계층적 움직임 추정부(200)는 제 3 탬플릿(406)을 모두 선택하여 탐색하였는 지의 여부를 판단한다(S376).The hierarchical motion estimation unit 200 determines whether all of the third templates 406 have been searched for (S376).

상기 판단 결과 제 3 탬플릿(406)을 모두 선택하여 탐색을 하지 않았을 경우에 상기 계층적 움직임 추정부(200)는 상기 단계(S358)로 복귀하여 다음의 제 3 탬플릿(406)을 선택하고, 제 3 탐색영역을 설정하며, 탐색을 수행하여 움직임 벡터 값 및 코릴레이션 값을 추출하는 동작을 반복 수행한다.If it is determined that all the third templates 406 are not searched, the hierarchical motion estimation unit 200 returns to step S358 to select the next template 406, 3 search area is set, and search is performed to extract a motion vector value and a correlation value.

그리고 상기 판단 결과 제 3 탬플릿(406)을 모두 선택하여 탐색을 하였을 경우에 상기 계층적 움직임 추정부(200)는 도 3c의 단계(S352)에서 제 3 탬플릿(406)을 모두 선택하여 탐색하였는 지의 여부를 판단하는 동작부터 수행한다.If the third template 406 is selected and searched, the hierarchical motion estimation unit 200 determines whether all of the third templates 406 have been searched in step S352 of FIG. 3C From the operation of judging whether or not it exists.

이와 같이 화소별로 움직임을 추정하여 움직임 벡터 값 및 코릴레이션 값이 추출되면, 상기 계층적 움직임 추정부(200)는 움직임 추정의 수정 동작을 수행한다.When motion estimation is performed on a pixel-by-pixel basis and a motion vector value and a correlation value are extracted, the hierarchical motion estimation unit 200 performs a motion estimation correction operation.

상기 움직임 추정의 수정은 도 5에 도시된 바와 같이 상기 계층적 움직임 추정부(200)가 화소들의 움직임을 추정한 탬플릿을 해당 탐색 영역에 위치시킨 각각의 위치에서의 SAD(Sum Absolute Difference)를 추출한다(S500).5, the hierarchical motion estimation unit 200 extracts SAD (Sum Absolute Difference) at each position where a template in which the motion of the pixels is estimated is located in the search region, (S500).

상기 SAD의 추출은 예를 들면, 탬플릿을 탐색 영역에 위치시킨 각각의 위치에서 탬플릿을 구성하는 각각의 화소들의 휘도신호 값에서 탬플릿을 구성하는 각각의 화소들에 대응하는 탐색 영역 내의 화소들의 휘도신호의 값을 감산하여 차이 값을 계산하고, 계산한 복수의 차이 값의 절대 값을 각기 계산하며, 계산한 복수의 절대 값을 모두 합산하여 SAD를 추출한다.The extraction of the SAD may be performed, for example, at each position where the template is located in the search region, based on the luminance signal value of each pixel constituting the template, the luminance signal of the pixels in the search region corresponding to each of the pixels constituting the template The difference value is calculated, and the absolute values of the calculated plurality of difference values are calculated, and the calculated plurality of absolute values are summed to extract the SAD.

상기 SAD가 추출되면, 상기 계층적 움직임 추정부(200)는 추출한 SAD들 중에서 최대 값을 갖는 SAD와 최소 값을 갖는 SAD를 추출하고(S502), 추출한 최대 값의 SAD에서 최소 값의 SAD를 감산한 값이 미리 설정된 임계값 미만인지의 여부를 판단하며(S504), 상기 추출한 최소 값의 SAD가 미리 설정된 임계 값 미만인지의 여부를 판단한다(S506).When the SAD is extracted, the hierarchical motion estimation unit 200 extracts SAD having the maximum value and SAD having the minimum value among the extracted SADs (S502), and subtracting the SAD of the minimum value from the extracted SAD It is determined whether a value is less than a preset threshold value (S504), and whether or not the SAD of the extracted minimum value is less than a predetermined threshold value is determined (S506).

상기 판단 결과 최대 값의 SAD에서 최소 값의 SAD를 감산한 값이 미리 설정된 임계값 미만이고, 또한 최소 값의 SAD가 미리 설정된 임계 값 미만일 경우에 상기 계층적 움직임 추정부(200)는 해당 화소의 코릴레이션 값을 0으로 설정하고, 움직임 벡터의 값은 상기 움직임 추정에서 획득한 값으로 설정한다(S508).If the value obtained by subtracting the SAD of the minimum value from the SAD of the maximum value is less than a preset threshold value and the SAD of the minimum value is less than a predetermined threshold value, the hierarchical motion estimation unit 200 determines The correlation value is set to 0, and the value of the motion vector is set to the value obtained in the motion estimation (S508).

그리고 상기 판단 결과 최대 값의 SAD에서 최소 값의 SAD를 감산한 값이 미리 설정된 임계값 미만이 아니거나 또는 최소 값의 SAD가 미리 설정된 임계 값 미만이 아닐 경우에 상기 계층적 움직임 추정부(200)는 코릴레이션 값 및 움직임 벡터 값을 모두 움직임 추정을 수행하여 획득한 값으로 설정한다.If the value obtained by subtracting the SAD of the minimum value from the SAD of the maximum value is not less than the preset threshold value or the SAD of the minimum value is not less than the preset threshold value, Sets the correlation value and the motion vector value to values obtained by performing motion estimation.

이와 같이 상기 계층적 움직임 추정부(200)가 움직임의 추정 및 수정한 움직임 벡터 값 및 코릴레이션 값은 움직임 추정 판단부(202)로 입력된다.In this manner, the motion estimation and correction values of the motion of the hierarchical motion estimation unit 200 and the correlation values are input to the motion estimation determination unit 202.

상기 움직임 추정 판단부(202)는 상기 계층적 움직임 추정부(200)가 출력하는 각각의 화소들의 움직임 벡터 값 및 코릴레이션 값을 판단하고, 판단한 움직임 벡터 값 및 코릴레이션 값이 모두 0일 경우에 공간잡음 제거부(204)를 동작시켜 해당 화소의 공간잡음을 제거하게 한다.The motion estimation unit 202 determines a motion vector value and a correlation value of each pixel output from the hierarchical motion estimation unit 200. When the determined motion vector value and correlation value are both 0 The spatial noise removing unit 204 is operated to remove the spatial noise of the pixel.

여기서, 상기 공간잡음 제거부(204)는 민(mean) 필터 또는 미디움(medium) 필터 등과 같은 2차원 공간필터로 2차원 공간 필터링을 수행하여 공간잡음을 제거한다.The spatial noise eliminator 204 removes spatial noise by performing two-dimensional spatial filtering using a two-dimensional spatial filter such as a mean filter or a medium filter.

그리고 상기 움직임 추정 판단부(202)가 판단한 움직임 벡터 값 및 코릴레이션 값이 모두 0이 아닐 경우에 움직임 추정 판단부(202)는 가중치 설정부(206)를 동작시켜 해당 화소의 움직임 벡터 값 및 코릴레이션 값으로 움직임 보상을 위한 가중치를 계산하게 한다.If the motion vector value and the correlation value determined by the motion estimation determiner 202 are not all 0, the motion estimation determiner 202 operates the weight setting unit 206 to calculate the motion vector value of the pixel and the correlation value And calculates a weight for motion compensation with the relation value.

여기서, 상기 가중치의 계산은 먼저 수학식 3과 같이 상관 계수를 계산한다.Here, the calculation of the weights first calculates a correlation coefficient as shown in Equation (3).

그리고 상기 상관계수가 계산되면, 수학식 4와 같이 계산된 상관 계수에서 사용자가 미리 정의한 값을 감산하여 가중치를 계산한다.When the correlation coefficient is calculated, a weight value is calculated by subtracting a user-defined value from the correlation coefficient calculated by Equation (4).

가중치 = 상관계수 - 사용자 정의 값Weight = Correlation Coefficient - User Defined Value

이와 같이 가중치가 계산되면, 가중치 계산부(206)는 계산된 가중치를 잡음 보상부(208)로 출력한다.When the weight is calculated as described above, the weight calculation unit 206 outputs the calculated weight to the noise compensation unit 208. [

그러면, 잡음 보상부(208)는 입력되는 현재 프레임의 영상신호 F(t)와 잡음이 제거된 이전 프레임의 영상신호 G(t-1)와, 상기 가중치와, 상기 계층적 움직임 추정부(202)가 출력하는 움직임 벡터 값들을 이용하여 잡음을 보상한다.Then, the noise compensating unit 208 compensates the image signal F (t) of the input current frame, the image signal G (t-1) of the previous frame from which noise has been removed, the weight and the hierarchical motion estimator 202 ) To compensate for the noise.

예를 들면, 상기 잡음 보상부(208)는 IIR(Infinite Impulse Response) 필터로서 수학식 5와 같이 IIR 필터링을 수행하여 잡음을 보상한다.For example, the noise compensating unit 208 performs IIR filtering as an equation (5) as an IIR (Infinite Impulse Response) filter to compensate for noise.

는 잡음이 보상된 이전 프레임의 화소로서

는 움직임 벡터 값이며, F(t)는 잡음이 보상되지 않음 현재 프레임의 화소이다.Where G (t) is the pixel of the current frame in which the noise is compensated, alpha is a weight,

Lt; / RTI > is the pixel of the previous frame in which the noise is compensated

Is a motion vector value, and F (t) is a pixel of the current frame in which noise is not compensated.

상기 잡음 보상부(208)에서 잡음이 보상된 화소들은 칼라 보상부(210)로 입력된다.The pixels compensated for noise by the noise compensating unit 208 are input to the color compensating unit 210.

상기 칼라 보상부(210)는 잡음이 보상된 이전 프레임의 화소의 색차신호 Cb 및 Cr의 값과, 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값이 동일한 사분면에 위치하는 지의 여부를 판단한다.The color compensating unit 210 determines whether the values of the color difference signals Cb and Cr of the pixel of the previous frame in which the noise is compensated and the values of the color difference signals Cb and Cr of the pixel of the current frame are located in the same quadrant.

예를 들면, 상기 색차신호 Cb 및 Cr는 0∼255의 값을 가지는 것으로서 도 6에 도시된 바와 같이 색차신호 Cr의 중심값 128의 위치에 X축을 형성하고, 색차신호 Cb의 중심값 128의 위치에 Y축을 형성한다.For example, the color difference signals Cb and Cr have values of 0 to 255, and as shown in FIG. 6, the X-axis is formed at the center value 128 of the color difference signal Cr, and the center value 128 of the color difference signal Cb To form a Y-axis.

일 예(600)로 이전 프레임의 화소의 색차신호 Cb 및 Cr의 값(600a)과, 이전 프레임의 화소의 움직임이 추정된 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값(600b)이 모두 제 1 사분면 또는 모두 제 3 사분면에 위치할 경우에 상기 칼라 보상부(210)는 상기 가중치에 따라 색차신호 Cb 및 Cr의 값을 보상한다.The value 600a of the color difference signals Cb and Cr of the pixel of the previous frame and the value 600b of the color difference signals Cb and Cr of the pixel of the current frame, The color compensator 210 compensates the values of the color difference signals Cb and Cr according to the weight.

그리고 다른 예로 이전 프레임의 화소의 색차신호 Cb 및 Cr의 값(602a)과, 이전 프레임의 화소의 움직임이 추정된 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값(602b)이 제 1 사분면 및 모두 제 3 사분면에 분산되어 위치할 경우에 상기 칼라 보상부(210)는 상기 가중치에 따라 색차신호 Cb 및 Cr의 값을 보상하지 않고, 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값(602b)을 그대로 취한다.As another example, if the value 602a of the color difference signals Cb and Cr of the pixel of the previous frame and the value 602b of the color difference signals Cb and Cr of the pixel of the current frame in which the motion of the pixel of the previous frame is estimated are both in the first quadrant The color compensator 210 does not compensate the values of the color-difference signals Cb and Cr according to the weights, but does not compensate the values 602b of the color-difference signals Cb and Cr of the pixels of the current frame Take it as it is.

상기 칼라 보상부(210)에서 칼라가 보상된 화소 신호와 상기 공간잡음 제거부(204)에서 공간잡음이 제거된 화소 신호는 화소 결합부(212)로 입력되는 것으로 서 화소 결합부(212)는 상기 움직임 추정 판단부(202)의 출력신호에 따라 칼라 보상부(210)에서 출력되는 화소 신호와 공간잡음 제거부(204)에서 출력되는 화소 신호를 선택하여 출력한다.The color-compensated pixel signal in the color compensator 210 and the pixel signal in which the spatial noise is removed from the spatial noise canceler 204 are input to the pixel combiner 212, And selects and outputs the pixel signal output from the color compensator 210 and the pixel signal output from the spatial noise canceler 204 according to the output signal of the motion estimation determiner 202.

즉, 상기 화소 결합부(212)는 예를 들면, 멀티플렉서로서 움직임 추정 판단부(202)의 출력신호에 따라 칼라 보상부(210)에서 출력되는 화소 신호와 공간잡음 제거부(204)에서 출력되는 화소 신호를 선택하여 출력한다.That is, the pixel combining unit 212 may be a multiplexer, for example, a pixel signal output from the color compensating unit 210 and a pixel signal output from the spatial noise removing unit 204 in accordance with an output signal of the motion estimation deciding unit 202 And selects and outputs the pixel signal.

이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand.

그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

본 발명은 디지털 영상 표시장치에서 화소별로 움직임을 추정하고, 추정한 움직임에 따라 잡음을 제거하는 것으로서 사용자에게 깨끗한 영상 화면을 제공한다.The present invention estimates motion for each pixel in a digital image display device and removes noise according to the estimated motion, thereby providing a clear image screen to a user.

도 1은 일반적인 잡음 제거장치의 구성을 보인 블록도,1 is a block diagram illustrating a configuration of a general noise canceller,

도 2는 본 발명의 잡음 제거장치의 바람직한 실시 예의 구성을 보인 블록도,2 is a block diagram showing the configuration of a preferred embodiment of the noise canceling apparatus of the present invention,

도 3a 내지 도 3d는 본 발명의 잡음 제거장치에서 계층적 움직임 추정부가 움직임을 추정하는 동작을 보인 신호흐름도,FIGS. 3A to 3D are signal flow diagrams illustrating an operation of estimating a motion of a hierarchical motion estimator in the noise canceling apparatus of the present invention,

도 4a 및 도 4b는 본 발명에 따라 계층적으로 탬플릿 및 탐색 영역을 축소시키면서 움직임을 추정하는 동작을 설명하기 위한 도면,4A and 4B are views for explaining an operation of estimating a motion while reducing the template and the search area hierarchically according to the present invention;

도 5는 본 발명의 잡음 제거장치에서 움직임 추정을 수정하는 동작을 보인 신호흐름도, 및5 is a signal flow diagram illustrating the operation of modifying motion estimation in a noise canceller of the present invention, and

도 6은 본 발명의 잡음 제거장치에서 칼라를 보상하는 동작을 설명하기 위한 도면이다.6 is a diagram for explaining a color compensation operation in the noise canceller according to the present invention.

Claims

현재 프레임을 복수의 화소로 이루어지는 탬플릿으로 분할하고, 움직임이 보상된 이전 프레임에서 상기 탬플릿의 움직임을 추정할 탐색영역을 설정하며, 상기 탬플릿을 상기 탐색영역에서 이동시키면서 화소의 움직임을 추정하여 움직임 벡터 및 코릴레이션을 추출하는 계층적 움직임 추정부;A method for estimating a motion of a template by dividing a current frame into a template composed of a plurality of pixels and setting a search area for estimating a motion of the template in a previous frame in which motion compensation is performed, estimating motion of the pixel while moving the template in the search area, And a hierarchical motion estimation unit for extracting a correlation;

상기 계층적 움직임 추정부가 움직임 추정을 실패한 화소의 공간잡음을 제거하는 공간잡음 제거부;A spatial noise eliminator for removing spatial noise of a pixel in which the hierarchical motion estimator fails to perform motion estimation;

상기 계층적 움직임 추정부가 움직임을 추정한 화소의 움직임 벡터 및 코릴레이션으로 잡음을 보상할 가중치를 계산하는 가중치 계산부; A weight calculation unit for calculating a weight to compensate for noise by a motion vector and a correlation of a pixel for which the hierarchical motion estimation unit estimated motion;

상기 가중치 계산부가 계산한 가중치와, 상기 움직임 벡터와, 움직임이 보상된 이전 프레임의 화소신호와 현재 프레임의 화소신호를 이용하여 화소의 잡음을 보상하는 잡음 보상부;A noise compensator for compensating a noise of a pixel using the weight calculated by the weight calculator, the motion vector, a pixel signal of a previous frame compensated for motion and a pixel signal of a current frame;

상기 가중치 계산부가 계산한 가중치에 따라 색차신호를 보상하는 칼라 보상부; 및A color compensator for compensating the color difference signal according to the weight calculated by the weight calculator; And

상기 공간잡음 제거부에서 출력되는 화소와, 상기 칼라 보상부에서 출력되는 화소를 선택하여 출력하는 화소 결합부를 포함하는 움직임 추정을 이용한 잡음 제거장치.And a pixel combiner for selecting and outputting the pixel output from the spatial noise canceling unit and the pixel output from the color compensating unit.

제 1 항에 있어서, 상기 계층적 움직임 추정부는,The apparatus of claim 1, wherein the hierarchical motion estimator comprises:

상기 탬플릿의 크기를 계층적으로 축소시키면서 화소의 움직임을 추정하는 움직임 추정을 이용한 잡음 제거장치.And a motion estimation unit that estimates motion of the pixel while hierarchically reducing the size of the template.

상기 화소의 움직임을 추정한 후, 움직임을 추정한 화소의 해당 탬플릿을 해당 탐색영역에 위치시킨 각각의 위치에서의 SAD(Sum Absolute Difference)를 추출하고, 추출한 최대 SAD에서 최소 SAD를 감산한 값과, 최소 SAD가 모두 미리 설정된 임계값 이하일 경우에 해당 화소의 코릴레이션을 0으로 변환하는 움직임 추정을 이용한 잡음 제거장치.Extracts SAD (Sum Absolute Difference) at each position in which the corresponding template of the pixel whose motion is estimated is located in the search region, estimates the motion of the pixel, subtracts the minimum SAD from the extracted maximum SAD, And a minimum SAD is less than or equal to a preset threshold value, the correlation of the pixel is converted into zero.

상기 탬플릿을 상기 탐색영역의 중앙부부터 나선형으로 회전시켜 위치시키면서 움직임을 추정하는 움직임 추정을 이용한 잡음 제거장치.And estimating motion while rotating the template in a spiral form from the center of the search area.

제 1 항에 있어서, 상기 공간잡음 제거부는,The apparatus as claimed in claim 1,

2차원 공간 필터링을 수행하여 공간잡음을 제거하는 움직임 추정을 이용한 잡음 제거장치.A noise cancellation apparatus using motion estimation that removes spatial noise by performing two - dimensional spatial filtering.

제 1 항에 있어서, 상기 가중치 계산부는,2. The apparatus of claim 1,

아래 식에 따라 상관계수를 계산하고, 계산한 상관계수에서 사용자가 미리 정의한 값을 감산하여 가중치를 계산하는 움직임 추정을 이용한 잡음 제거장치.A noise cancellation apparatus using motion estimation that calculates a correlation coefficient according to the following equation and calculates a weight by subtracting a predefined value from a user-calculated correlation coefficient.

제 1 항에 있어서, 상기 잡음 보상부는,2. The apparatus of claim 1,

아래 식에 따라 IIR(Infinite Impulse Response) 필터링을 수행하여 잡음을 보상하는 움직임 추정을 이용한 잡음 제거장치.A noise canceling apparatus using motion estimation for performing noise reduction by performing IIR (Infinite Impulse Response) filtering according to the following equation.

(여기서, G(t)는 잡음이 보상된 현재 프레임의 화소이고, α는 가중치이며,

는 잡음이 보상된 이전 프레임의 화소로서

는 움직임 벡터 값이며, F(t)는 잡음이 보상되지 않음 현재 프레임의 화소임)(Where G (t) is the pixel of the current frame in which the noise is compensated, alpha is the weight,

Is the motion vector value, and F (t) is the pixel of the current frame in which the noise is not compensated)

제 1 항에 있어서, 상기 계층적 움직임 추정부와 상기 가중치 계산부 및 공간잡음 제거부의 사이에,2. The method of claim 1, further comprising the step of, between the hierarchical motion estimation unit and the weight calculation unit and the spatial noise removing unit,

상기 계층적 움직임 추정부가 화소의 움직임을 추정하였는지의 여부를 판단하여 상기 가중치 계산부 및 상기 공간잡음 제거부를 선택적으로 동작시키는 움직임 추정 판단부를 더 포함하는 움직임 추정을 이용한 잡음 제거장치.Further comprising a motion estimation determiner for determining whether the hierarchical motion estimator predicts motion of the pixel and selectively operating the weight calculator and the spatial noise canceller.

삭제delete

제 1 항에 있어서, 상기 칼라 보상부는,The apparatus of claim 1, wherein the color compensator comprises:

색차신호 Cr 및 Cb의 중심값을 중심으로 XY 평면을 형성하고, An XY plane is formed around the center value of the color difference signals Cr and Cb,

이전 프레임의 화소의 색차신호 Cb 및 Cr의 값과, 이전 프레임의 화소의 움직임이 추정된 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값이 동일 사분면에 위치할 경우에 상기 가중치에 따라 색차신호 Cb 및 Cr을 보상하고, When the values of the color difference signals Cb and Cr of the pixels of the previous frame and the values of the color difference signals Cb and Cr of the pixels of the current frame in which the motion of the pixels of the previous frame are estimated are located in the same quadrant, And Cr,

상호간에 다른 사분면에 위치할 경우에 현재 프레임의 화소의 색차신호 Cb 및 Cr의 값을 그대로 설정하는 움직임 추정을 이용한 잡음 제거장치.And sets the values of the color difference signals Cb and Cr of the pixels of the current frame as they are when they are located in different quadrants with respect to each other.