KR100462629B1 - Method for determining a repeated pattern, a frame interpolation method thereof and a frame interpolation apparatus thereof - Google Patents

Abstract

본 발명은 프레임 레이트 변환 장치에 관한 것으로, 특히 움직임 보상을 이용하는 프레임 레이트 변환 장치에 있어서 반복 패턴을 가지는 프레임에 대한 효율적인 프레임 보간을 위하여 반복 패턴에 속하는 블록을 판별하는 방법 그리고 이를 이용한 프레임 보간 방법 및 그 장치에 관한 것이다.The present invention relates to a frame rate conversion apparatus, and more particularly, to a frame rate conversion apparatus using motion compensation, a method for determining a block belonging to a repeating pattern for efficient frame interpolation for a frame having a repeating pattern, and a frame interpolation method using the same and To the device.

본 발명에 따른 프레임 보간 방법은 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정; 블록별 오차가 가장 작은 참조 블록의 위치 정보로서 움직임 벡터를 구하는 과정; 블록별 오차를 참조하여 반복 패턴 여부를 판단하는 과정; 보간에 의해 형성될 블록들 주변에 있는 블록들의 상관성을 산출하는 과정; 및 산출된 상관성에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는 과정을 포함하는 것을 특징으로 한다.In the frame interpolation method according to the present invention, a block-by-block method is performed for each of the reference blocks in the search range of the (M + 2P) X (N + 2P) size of the frame referenced for the reference block and the motion vector search. Finding the error; Obtaining a motion vector as position information of a reference block having the smallest error per block; Determining whether a repeating pattern is performed by referring to errors of each block; Calculating correlation of blocks around blocks to be formed by interpolation; And synthesizing a block generated by linear interpolation and a block generated by ME / MC according to the calculated correlation to obtain an interpolated image.

본 발명에 따른 프레임 보간 방법은 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에 선형 보간 방법과 움직임 보상에 의한 보간 방법을 병용하도록 함으로써 Motion artifacts가 없는 보간 영상을 얻을 수 있게 하는 효과를 가진다.The frame interpolation method according to the present invention has an effect of obtaining an interpolation image without motion artifacts by using a linear interpolation method and an interpolation method by motion compensation when an image having a repeating pattern shows inter-frame motion.

Description

반복 패턴 판단 방법 및 이를 이용한 프레임 보간 방법 및 이에 적합한 장치{Method for determining a repeated pattern, a frame interpolation method thereof and a frame interpolation apparatus thereof}Method for determining a repeated pattern, and a device suitable for the same and method for determining a repeated pattern and a frame interpolation apparatus}

본 발명은 프레임 레이트 변환 장치(frame rate converter)에 관한 것으로, 특히 움직임 보상을 이용하는 프레임 레이트 변환 장치에 있어서 반복 패턴을 가지는 프레임에 대한 효율적인 프레임 보간을 위하여 반복 패턴에 속하는 블록을 판별하는 방법 그리고 이를 이용한 프레임 보간 방법 및 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a frame rate converter. In particular, in a frame rate converter using motion compensation, a method of determining a block belonging to a repeating pattern for efficient frame interpolation for a frame having a repeating pattern and the same A frame interpolation method and apparatus therefor are used.

프레임(frame)은 한 영상화면을 말하며, 픽셀(Pixel)이라는 최소 화소로 구성된다. 프레임을 구성하는 픽셀의 수에 따라 해상도가 결정된다. 최대 해상도가 1,920 X 1,080인 프레임은 가로 1,920개의 픽셀과 세로 1,080개의 픽셀로 구성된다. 프레임 레이트(frame rate)란 초당 전송하는 프레임의 개수이다. 텔레비전 신호등의 영상신호를 전송할 때 인간의 시각 특성을 바탕으로 1초당 적당한 개수의 프레임을 전송한다.A frame refers to an image screen and is composed of a minimum pixel called a pixel. The resolution is determined according to the number of pixels constituting the frame. A frame with a maximum resolution of 1,920 X 1,080 consists of 1,920 pixels horizontally and 1,080 pixels vertically. The frame rate is the number of frames transmitted per second. When transmitting a video signal such as a television signal, an appropriate number of frames are transmitted per second based on human visual characteristics.

일반적으로 영상출력장치를 통해 출력되는 영상신호들은 지역적으로 다양한 주파수를 갖는 신호로 전송되게 된다. 예를 들어 유럽 및 중국에서는 50Hz의 수직 주파수를 갖는 영상신호를, 한국 및 북미지역은 60Hz의 수직 주파수를 갖는 영상신호를 전송한다.In general, image signals output through the image output apparatus are transmitted as signals having various frequencies locally. For example, in Europe and China, a video signal having a vertical frequency of 50 Hz is transmitted, and in Korea and North America, a video signal having a vertical frequency of 60 Hz is transmitted.

하나의 장치에서 다양한 주파수의 영상신호들을 출력하기 위해서는 주파수 변환이 수행되어야 한다. 주파수 변환과정은 프레임 레이트 변환(Frame Rate Conversion)이라 한다. 특히 낮은 주파수에서 높은 주파수로 변환하기 위해서는 프레임 개수를 증가시켜야 한다.In order to output image signals of various frequencies in one device, frequency conversion must be performed. The frequency conversion process is called frame rate conversion. In particular, in order to convert from a low frequency to a high frequency, the number of frames must be increased.

종래의 프레임 레이트 변환방법에 따라 프레임 개수를 증가시키는 방법으로는 단순하게 인접 프레임을 중복하는 방법, 인접 프레임의 차이를 기초로 검출된 움직임 벡터(Motion Vector)를 이용하여 새로운 프레임을 생성하는 방법이 있다.As a method of increasing the number of frames according to the conventional frame rate conversion method, a method of simply overlapping adjacent frames and a method of generating a new frame using a motion vector detected based on the difference of the adjacent frames include: have.

또한 높은 해상도가 요구되는 시스템에서는 보다 자연스러운 화면을 구성하기 위해 움직임 벡터를 보정하는 방법을 채용하여 화면 전체의 움직임 추세에 따라 현재의 움직임을 변경시키는 방법을 사용하기도 한다. 움직임 벡터를 보정하는 방법으로는 보정하고자 움직임 벡터를 포함한 복수개의 움직임 벡터가 포함된 소정크기의 블록을 추출하고, 이웃하는 움직임 벡터들과 다른 방향을 갖는 움직임 벡터를 주위 움직임 벡터들과 비슷한 방향을 갖도록 보정한다.In addition, in systems requiring high resolution, a method of correcting a motion vector is adopted to change a current motion according to a movement trend of the entire screen to compose a more natural screen. As a method of correcting a motion vector, a block of a predetermined size including a plurality of motion vectors including a motion vector to be corrected is extracted, and a motion vector having a direction different from neighboring motion vectors is moved in a direction similar to the surrounding motion vectors. Correct to have.

이러한 종래의 움직임 벡터를 이용한 프레임 보간 방법은 프레임 사이의 상관성을 이용하는 것으로서 일반적인 움직임을 갖는 영상이나 정지된 영상에 대해서는 충분한 성능의 프레임 보간이 가능하지만 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에는 종래의 방법으로는 정확한 움직임 벡터를 구하는 것이 어렵기 때문에 충분한 성능의 프레임 보간이 어렵다.The conventional frame interpolation method using the motion vector uses the correlation between frames, and it is possible to perform frame interpolation with sufficient performance for an image having a general motion or a still image, but when an image having a repetitive pattern shows an interframe motion Since it is difficult to obtain an accurate motion vector by the conventional method, it is difficult to interpolate a frame of sufficient performance.

예를 들어, 스트라이프(stripe) 무늬를 갖는 셔츠나 레스토랑의 테이블 보 또는 빌딩의 연속적으로 연결된 창문들과 같이 일정한 주기를 가지고 있는 반복 패턴이 프레임들 사이에서 움직이는 경우에는 일반적인 영상과는 달리 주변 화소값과의 상관성의 변동성이 매우 커져서 정확한 움직임 벡터를 추정하는 것이 어려워진다.For example, if a repeating pattern with a constant period, such as a striped shirt, a tablecloth in a restaurant, or a series of connected windows in a building, moves between frames, the surrounding pixel values The variability in correlation with is very large, making it difficult to estimate the correct motion vector.

이에 따라 반복 패턴이 프레임들 사이에서 움직이는 경우를 판별하는 방법 및 이를 이용하여 효율적으로 프레임 보간을 수행하는 방법이 요구된다.Accordingly, there is a need for a method of determining a case where a repeating pattern moves between frames and a method of efficiently performing frame interpolation using the same.

본 발명은 상기의 요구에 부응하기 위하여 고안된 것으로서 반복 패턴이 프레임들 사이에서 움직이는 경우를 판별하는 방법을 제공하는 것을 그 목적으로 한다.The present invention has been devised to meet the above requirements, and an object thereof is to provide a method for discriminating when a repeating pattern moves between frames.

본 발명의 또 다른 목적은 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에 효율적으로 프레임 보간을 수행하는 방법을 제공하는 것에 있다.Still another object of the present invention is to provide a method for efficiently performing frame interpolation when an image having a repeating pattern exhibits interframe motion.

본 발명의 또 다른 목적은 상기의 프레임 보간 방법에 적합한 장치를 제공하는 것에 있다.A further object of the present invention is to provide an apparatus suitable for the above frame interpolation method.

도 1은 대칭적 블록 매칭 방법을 도식적으로 보이기 위하여 제시된 것이다.1 is presented to schematically show a symmetric block matching method.

도 2는 종래의 Motion Estimation & Motion Compensation (ME/MC)방법에 의한 프레임 보간 장치의 구성을 보이는 블록도이다.2 is a block diagram showing the configuration of a frame interpolation apparatus using a conventional Motion Estimation & Motion Compensation (ME / MC) method.

도 3은 본 발명에 따른 반복 패턴 인식 방법을 보이는 흐름도이다.3 is a flowchart illustrating a repetitive pattern recognition method according to the present invention.

도 4는 반복 패턴을 갖는 블록에 대한 MAE Map에서 대각선상으로 존재하는 값들을 그래프로 도시한 것이다.4 graphically illustrates values that exist diagonally in a MAE Map for a block having a repeating pattern.

도 5는 일반 영상 블록에 대한 MAE Map에서 대각선상으로 존재하는 값들을 그래프로 도시한 것이다.5 is a graph illustrating values existing diagonally in a MAE Map for a general image block.

도 6은 반복 패턴을 갖는 블록에 대한 MAE Map을 소단위 블록(총16개)으로 영역 구분하고 각 영역에 대한 MAE Ratio를 계산하여 MAE Ratio가 3.0 이상인 영역을 표시한 결과이다.6 is a result of displaying a region having a MAE Ratio of 3.0 or more by dividing the MAE Map for blocks having a repeating pattern into subunit blocks (total 16) and calculating the MAE Ratio for each region.

도 7은 유사 반복 패턴을 가지고 있는 영상의 일 예를 보이는 것이다.7 shows an example of an image having a similar repeating pattern.

도 8은 도 7에 도시된 영상에 대하여 MAE Ratio가 3.0이상인 영역에 대한 분포도를 체크한 결과를 보이는 것이다.FIG. 8 illustrates a result of checking distributions of regions having a MAE Ratio of 3.0 or more for the image of FIG. 7.

도 9는 MAE Ratio가 전 영역에 분포되어 있지 않고 특정 방향으로만 집중되어 있는 Narrow Band Classification의 예들을 보이는 것이다.9 shows examples of Narrow Band Classification in which the MAE Ratio is not distributed over the entire region and is concentrated only in a specific direction.

도 10은 본 발명에 따른 프레임 보간 방법을 보이는 블록도이다.10 is a block diagram showing a frame interpolation method according to the present invention.

도 11은 보간에 의해 형성될 블록들과 주변 블록들 사이의 관계를 보이기 위하여 도시된 것이다.11 is shown to show a relationship between blocks to be formed by interpolation and neighboring blocks.

도 12는 본 발명에 따른 프레임 보간 장치의 구성을 보이는 블록도이다.12 is a block diagram showing the configuration of a frame interpolation apparatus according to the present invention.

도 13은 상관성 체크를 위한 주변 블록들의 예를 보이는 것이다.13 shows an example of neighboring blocks for correlation check.

도 14는 반복 패턴을 가지는 테스트 영상들을 보이는 것이다.14 shows test images having a repeating pattern.

도 15는 도 14에 도시된 영상들을 기존의 MC 보간 기법을 이용하여 처리한 결과를 보이는 것이다.FIG. 15 shows the results of processing the images shown in FIG. 14 using a conventional MC interpolation technique.

도 16은 도 14에 도시된 영상들을 본 발명의 프레임 보간 기법에 의해 처리한 영상의 결과를 보이는 것이다.FIG. 16 shows the results of images processed by the frame interpolation method of the present invention.

상기의 목적을 달성하는 본 발명에 따른 반복 패턴 판별 방법은Repeat pattern determination method according to the present invention to achieve the above object

반복 패턴을 가지는 이미지가 프레임간 움직임을 가지는 경우에 있어서 M X N 크기의 기준 블록이 반복 패턴에 속하는 지를 판별하는 방법에 있어서,In the method of determining whether the reference block of size M X N belongs to the repeating pattern in the case where the image having the repeating pattern has inter-frame motion,

기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정;Obtaining a block-by-block error for each of the reference blocks in a (M + 2P) X (N + 2P) search range of a reference block and a frame referenced for motion vector search by a global search method;

상기 (M+P)X(N+P)개의 블록별 오차들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 배치하는 과정;Arranging the (M + P) X (N + P) errors for each block in the form of a MAP having a size of (M + P) X (N + P) in the order of a reference block;

상기 MAP에서 좌측 대각선 방향 및 우측 대각선 방향으로 각각 인접한 블록별 오차들의 편차를 구하고 이를 누적하는 과정;Obtaining and accumulating deviations of errors for each adjacent block in the left diagonal direction and the right diagonal direction in the MAP;

좌측 대각선 방향의 누적 편차와 우측 대각선 방향의 누적 편차를 비교하여 큰 것을 취하는 과정;Comparing the cumulative deviation in the left diagonal direction with the cumulative deviation in the right diagonal direction and taking a large one;

상기 선택된 누적 편차와 제1문턱값(threshold1)을 비교하는 과정; 및Comparing the selected cumulative deviation with a first threshold; And

상기 누적 편차가 제1문턱값(threshold1)보다 크면 기준 블록이 반복 패턴에 속하는 블록인 것으로 판별하는 과정을 포함하는 것을 특징으로 한다.And determining that the reference block is a block belonging to a repetitive pattern when the cumulative deviation is greater than the first threshold.

또한, 본 발명에 따른 반복 패턴 판별 방법은In addition, the repeating pattern determination method according to the present invention

상기 MAP을 균일한 크기를 가지는 서브 블록들로 분할하는 과정;Dividing the MAP into subblocks having a uniform size;

각각의 서브 블록들에서 가장 큰 오차와 가장 작은 오차의 비율을 산출하는 과정;Calculating a ratio of the largest error and the smallest error in each subblock;

상기 서브 블록에서 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록의 개수를 계수하는 과정; 및Counting the number of subblocks having an error ratio greater than a second threshold value in the subblock; And

상기 계수값이 제3문턱값(threshold3)보다 크면 반복 패턴인 것을 판별하는 과정을 더 구비하는 것이 바람직하다.The method may further include determining that the count value is a repetitive pattern when the count value is greater than the third threshold value 3.

또한, 본 발명에 따른 반복 패턴 판별 방법은 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록들의 분포도를 조사하여 유사 반복 패턴 여부를 판별하는 과정을 더 구비하는 것이 바람직하다.In addition, the repetition pattern determination method according to the present invention preferably further comprises the step of determining whether the similar repetition pattern by examining the distribution of the sub-blocks having an error ratio greater than the second threshold (threshold2).

또한, 상기 MAP에서 수평/수직/대각선 방향으로 편중된 분포를 가지는 유사 반복 패턴의 유형들과 비교하여 유사 반복 패턴의 여부를 판별하는 것이 바람직하다.In addition, it is preferable to determine whether or not a similar repeating pattern is compared with types of similar repeating patterns having a distribution biased in the horizontal / vertical / diagonal direction in the MAP.

또한, 본 발명에 따른 반복 패턴 판별 방법은In addition, the repeating pattern determination method according to the present invention

기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 반복성을 조사하는 과정; 및Examining the repeatability of blocks determined by the repeating pattern in blocks adjacent to the reference block; And

반복성의 크기에 따라 상기 기준 블록이 반복 패턴에 속하는 것으로 판별하는 과정을 더 구비하는 것이 바람직하다.The method may further include determining that the reference block belongs to a repeating pattern according to the size of repeatability.

상기의 다른 목적을 달성하는 본 발명에 따른 프레임 보간 방법은Frame interpolation method according to the present invention to achieve the above another object

기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정;Obtaining a block-by-block error for each of the reference blocks in a (M + 2P) X (N + 2P) search range of a reference block and a frame referenced for motion vector search by a global search method;

블록별 오차가 가장 작은 참조 블록의 위치 정보로서 움직임 벡터를 구하는 과정;Obtaining a motion vector as position information of a reference block having the smallest error per block;

블록별 오차를 참조하여 반복 패턴 여부를 판단하는 과정;Determining whether a repeating pattern is performed by referring to errors of each block;

보간에 의해 형성될 블록들 주변에 있는 블록들의 상관성을 산출하는 과정; 및Calculating correlation of blocks around blocks to be formed by interpolation; And

산출된 상관성에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는 과정을 포함하는 것을 특징으로 한다.And synthesizing a block generated by linear interpolation and a block generated by ME / MC according to the calculated correlation to obtain an interpolated image.

여기서, 보간에 의해 형성될 블록들 주변에 있는 블록들의 반복성을 산출하는 과정은 기준 블록을 둘러싸고 있는 주변 블록들에서 반복 패턴으로 판정된 블록들의 개수를 계수하는 과정; 및 기준 블록을 둘러싸고 있는 주변 블록들의 총 개수와 반복 패턴으로 판정된 블록들의 개수의 비율인 것이 바람직하다.Here, the calculating of the repeatability of the blocks around the blocks to be formed by interpolation may include: counting the number of blocks determined as the repetition pattern in the neighboring blocks surrounding the reference block; And a ratio of the total number of neighboring blocks surrounding the reference block to the number of blocks determined as the repeating pattern.

또한, 보간에 의해 형성될 블록은 하기의 식으로 나타내어지는 것이 바람직하다.In addition, the block to be formed by interpolation is preferably represented by the following formula.

여기서, i,j는 보간에 의해 형성될 블록의 화소를 나타내고, α는 주변 블록들 중에서 반복 패턴에 속한 블록으로 판정된 것들의 개수이고, total은 주변 블록의 총 개수.Here, i, j represents pixels of a block to be formed by interpolation, α is the number of those determined as blocks belonging to the repetitive pattern among the neighboring blocks, and total is the total number of neighboring blocks.

상기의 또 다른 목적을 달성하는 본 발명에 따른 프레임 보간 장치는Frame interpolation apparatus according to the present invention to achieve the above another object

기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 MAE를 구하는 움직임 벡터 산출부;A motion vector calculation unit for obtaining a MAE by a global search method for each of the reference blocks and the reference blocks in a (M + 2P) X (N + 2P) search range of a frame referenced for motion vector search;

상기 (M+P)X(N+P)개의 MAE들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 저장하는 MAE MAP 저장부;A MAE MAP storage unit for storing the (M + P) X (N + P) MAEs in a MAP form having a size of (M + P) X (N + P) in the order of a reference block;

상기 MAE MAP 저장부에 저장된 블록별 오차들 중에서 가장 작은 MAE를 갖는 참조 블록의 수평 수직 방향의 위치(x, y)를 현재 블록에 대한 프레임간의 움직임 방향으로 판단하는 움직임 벡터 추출부;A motion vector extractor which determines a position (x, y) in the horizontal and vertical direction of the reference block having the smallest MAE among the block-specific errors stored in the MAE MAP storage unit as a direction of movement between frames with respect to the current block;

상기 MAE MAP 저장부에 저장된 MAE 들을 참조하여 반복 패턴의 여부를 판별하는 반복 패턴 인식부; 및A repeating pattern recognition unit determining whether a repeating pattern exists by referring to the MAEs stored in the MAE MAP storage unit; And

상기 움직임 벡터 추출부에서 추출된 움직임 벡터와 선형 보간을 이용하여 프레임 보간을 수행하는 프레임 보간부를 포함하는 것을 특징으로 한다.And a frame interpolation unit which performs frame interpolation using the motion vector extracted from the motion vector extractor and linear interpolation.

이하 첨부된 도면을 참조하여 본 발명의 구성 및 동작을 상세히 설명하기로 한다.Hereinafter, the configuration and operation of the present invention will be described in detail with reference to the accompanying drawings.

움직임 추정을 위한 블록 매칭 방법은 전방향(forward), 후방향(backward), 대칭(symmetric) 등의 종류가 있지만 프레임 레이트 컨버젼에서는 움직임의 궤적이 중요하므로 일반적으로 도 1에 도시되는 바와 같은 대칭적 블록 매칭을 사용한다.Block matching methods for motion estimation include forward, backward, and symmetric, but since the trajectory of motion is important in frame rate conversion, it is generally symmetrical as shown in FIG. 1. Use block matching.

도 1은 대칭적 블록 매칭 방법을 도식적으로 보이기 위하여 제시된 것이다.1 is presented to schematically show a symmetric block matching method.

움직임 탐색에 있어서 현재 프레임의 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 블록별 오차가 구해진다. 대칭적 블록 매칭 방법에 있어서 참조되는 프레임은 이전 프레임과 다음 프레임이 된다.In the motion search, a block-by-block error is obtained for each of the reference blocks of the current frame and each of the reference blocks in the search range of (M + 2P) X (N + 2P) size of the frame referenced for motion vector search. The frame referred to in the symmetric block matching method is a previous frame and a next frame.

도 1에 있어서, 프레임 k-1은 이전 프레임이고 프레임 k+1은 다음 프레임을 나타내며, 프레임 k는 보간하고자 하는 프레임이다. 참조부호 102는 보간에 의해 얻고자 하는 현재 프레임의 블록(기준 블록)이고, 110 및 120은 각각 움직임 벡터를 얻기 위해 참조되는 이전 프레임에서의 탐색 범위 및 다음 프레임에서의 탐색 범위이다. 기준 블록의 크기를 M X N이라 하면, 탐색 범위는 ±Ｐ 화소의 범위 즉, (M+2P) X (N+2P) 크기가 된다.In Figure 1, frame k-1 is the previous frame, frame k + 1 represents the next frame, and frame k is the frame to be interpolated. Reference numeral 102 denotes a block (reference block) of the current frame to be obtained by interpolation, and 110 and 120 denote search ranges in the previous frame and search ranges in the next frame, respectively, to obtain a motion vector. When the size of the reference block is M X N, the search range is a range of ± P pixels, that is, (M + 2P) X (N + 2P).

통상 블록의 크기는 8화소 X 8화소(총 64화소)이며, 탐색 범위는 기준 블록에 대하여 좌우 상하로 ±8 화소 즉, 16화소 X 16화소(총 256화소)가 된다.In general, the size of a block is 8 pixels by 8 pixels (64 pixels in total), and the search range is +/- 8 pixels, that is, 16 pixels X 16 pixels (256 pixels in total), left and right, up and down with respect to the reference block.

검색 방법으로서는 전역 탐색(full search), 다이아몬드 탐색(diamond search) 등의 방법이 있지만 일반적으로 전역 탐색이 많이 사용된다.Search methods include full search and diamond search, but global search is generally used.

전역 탐색에 있어서는 탐색 영역에서 기준 블록과 같은 크기를 가지는 참조 블록을 화소 단위로 이동시키면서 기준 블록과 비교하게 되므로 참조 블록의 총 개수는 256개가 된다.In the global search, a reference block having the same size as the reference block in the search area is compared with the reference block while moving in units of pixels, so that the total number of reference blocks is 256.

대칭적 블록 매칭 방법에 있어서는 이전 프레임에서의 탐색 범위에 있는 참조 블록과 대칭이 되는 다음 프레임에서의 탐색 범위에 있는 참조 블록사이의 블록별 오차를 나타내기 위해 SAD(Sum of Absolute Difference)가 사용된다.In the symmetric block matching method, SAD (Sum of Absolute Difference) is used to represent a block-by-block error between a reference block in a search range in a previous frame and a reference block in a search range in a next frame to be symmetric. .

대칭적 블록 매칭 방법에 있어서는 이전 프레임(frame k-1)의 탐색 범위(110)에서 좌상측의 참조 블록(112)과 다음 프레임(frame k+1)의 탐색범위(120)에서 우하측의 참조 블록(122)이 서로 비교되고, 이전 프레임(frame k-1)의 탐색 범위(110)에서 좌상측의 블록(112)에서 한 화소만큼 우측으로 떨어진 참조 블록(114)과 다음 프레임(frame k+1)의 탐색 범위(120)에서 우하측의 참조 블록(122)에서 한 화소만큼 좌측으로 떨어진 참조 블록(124)들이 비교된다.In the symmetric block matching method, the upper right reference block 112 in the search range 110 of the previous frame (frame k-1) and the lower right reference in the search range 120 of the next frame (frame k + 1) The block 122 is compared with each other, and the reference block 114 and the next frame (frame k +) are moved to the right by one pixel in the block 112 on the upper left side in the search range 110 of the previous frame (frame k-1). In the search range 120 of 1), the reference blocks 124 separated by one pixel to the left in the reference block 122 on the lower right side are compared.

대칭되는 참조 블록들을 비교함에 의해 얻어지는 SAD들은 SAD MAP으로 저장된다. 여기서, SAD MAP은 대칭되는 참조 블록들을 비교함에 의해 얻어지는 SAD들을 (M+P) X (N+P) 크기의 MAP에 저장한 것을 말한다.SADs obtained by comparing symmetric reference blocks are stored in SAD MAP. Here, SAD MAP refers to storing SADs obtained by comparing symmetric reference blocks in a MAP having a size of (M + P) X (N + P).

도 2는 종래의 Motion Estimation & Motion Compensation (ME/MC)방법에 의한 프레임 보간 장치의 구성을 보이는 블록도이다.2 is a block diagram showing the configuration of a frame interpolation apparatus using a conventional Motion Estimation & Motion Compensation (ME / MC) method.

SAD 산출부(202)는 대칭적 모션 벡터 추정 방법에 의해 이전 프레임(frame k-1)의 탐색 범위(220)와 다음 프레임(frame k+1)의 탐색 범위(230)에서 대칭되는 참조 블록들 사이의 SAD를 산출한다.The SAD calculator 202 is a reference block symmetrical in the search range 220 of the previous frame (frame k-1) and the search range 230 of the next frame (frame k + 1) by a symmetric motion vector estimation method. Calculate the SAD between.

여기서, M, N은 각각 블록의 폭 및 높이이고,Where M and N are the width and height of each block,

및는 각각 이전 프레임의 픽셀 및 다음 프레임의 픽셀이다. And Are the pixels of the previous frame and the pixels of the next frame, respectively.

탐색 범위에 속한 참조 블록의 수가 256개이므로 역시 256개의 SAD들이 얻어진다.Since the number of reference blocks in the search range is 256, 256 SADs are also obtained.

SAD MAP 저장부(204)는 SAD MAP을 저장한다. SAD MAP은 SAD 산출부(202)에서얻어진 256개의 SAD를 가진다.The SAD MAP storage unit 204 stores the SAD MAP. The SAD MAP has 256 SADs obtained by the SAD calculator 202.

Motion Vector 추출부(206)는 SAD MAP 저장부(204)에 저장된 SAD들 즉, Motion Candidates들 중에서 가장 작은 SAD값을 갖는 참조 블록의 수평 수직 방향의 위치(x, y)를 현재 블록에 대한 프레임간의 움직임 방향으로 판단한다.The motion vector extractor 206 determines the SADs stored in the SAD MAP storage 204, that is, the position (x, y) in the horizontal and vertical direction of the reference block having the smallest SAD value among the Motion Candidates, with respect to the current block. Judging by the direction of movement of the liver.

Motion Filter(208)는 Motion Vector의 오류를 방지하기 위하여 주위 블록과의 상관성을 고려하기 위한 것으로서 주로 미디언 필터(median filter)나 평균 필터(average filter)가 사용된다. 프레임 보간부(210)는 Motion Filter(208)를 거친 최종의 Motion Vector를 이용하여 프레임 보간을 수행하는 것으로 앞 뒤 프레임간의 평균 Motion Vector값을 취한다.The motion filter 208 is used to consider correlation with surrounding blocks in order to prevent an error of a motion vector. A median filter or an average filter is mainly used. The frame interpolation unit 210 performs frame interpolation using the final Motion Vector through the Motion Filter 208 and takes an average Motion Vector value between front and rear frames.

도 1 및 도 2를 참조하여 설명된 바와 같이 종래의 프레임 레이트 컨버젼에 사용되는 움직임 벡터 추정 방법은 앞 프레임과 뒤 프레임 사이의 블록을 중심으로 한 탐색 범위 내에서의 블록 매칭을 SAD라는 매칭 기준을 가지고 대칭적으로 변경해 가면서 가장 작은 SAD 값을 가지고 있는 수평과 수직의 위치를 최적의 Motion Vector로 판단한다.As described with reference to FIGS. 1 and 2, the motion vector estimation method used in the conventional frame rate conversion uses a matching criterion called SAD as a block matching within a search range centered on a block between a front frame and a rear frame. While changing symmetrically, the horizontal and vertical positions with the smallest SAD values are judged as the best motion vectors.

하지만 이러한 Motion Vector는 움직임의 량 및 방향 등에 의해서 오류를 가질 수 있어 주위 블록과의 상관성을 검증하는 Motion Filter(208)를 거치게 된다.However, such a motion vector may have an error due to the amount and direction of the motion, and thus passes through a motion filter 208 for verifying correlation with surrounding blocks.

이러한 Motion Filter(208)로서는 현재 블록을 포함한 주변 블록의 Motion Vector값을 크기에 따라 배열한 후 중간 값을 취하게 되는 미디언 필터나 모든 Motion Vector값들의 평균을 취하는 평균 필터 등을 사용한다.As such a motion filter 208, a median filter that takes a median value after arranging motion vector values of neighboring blocks including the current block, and an average filter that takes an average of all motion vector values.

Motion Filter(280)를 거친 최종의 Motion Vector는 현재 블록에 대한 최적의 움직임 정보를 가지고 있다고 간주되며, 앞 뒤 프레임의 Motion Vector 평균값(dx, dy)을 취하게 된다.The final Motion Vector that has passed through the Motion Filter 280 is considered to have optimal motion information for the current block, and takes the motion vector average values (dx, dy) of the front and back frames.

수학식 2는 프레임 보간을 위한 방법을 나타내고 있다.Equation 2 shows a method for frame interpolation.

여기서,는 보간된 프레임의 픽셀이다.here, Is the pixel of the interpolated frame.

일반적인 움직임을 갖는 영상이나 정지된 영상에 대해서는 도 1에 도시된 기존의 움직임 추정 기법으로 구한 Motion Vector로도 충분한 성능의 프레임 보간이 가능하지만 영상 중에서 반복 패턴을 갖는 이미지가 프레임간 움직임이 있는 경우에는 기존의 알고리즘으로는 정확한 Motion Vector를 구하는 것이 어렵다.Although the motion vector obtained by the conventional motion estimation technique shown in FIG. 1 is sufficient for interpolating the frame having the general motion or the still image, the existing image having the repetitive pattern in the image has the interframe motion. It is difficult to find the exact motion vector with the algorithm of.

예를 들어, 스트라이프 무늬를 갖는 셔츠나 레스토랑의 스트라이프 무늬를 갖는 테이블 보 또는 빌딩의 연속적으로 연결된 창문들과 같은 일정한 주기를 가지고 있는 반복 패턴이 프레임간 움직임이 있을 경우에는 일반적인 영상과는 달리 주변 화소 값과의 상관성 변동성이 커져서 정확한 움직임 정보를 추정하는 것이 어려워진다.For example, if a repeating pattern with a constant period, such as a striped shirt, a striped tablecloth in a restaurant, or a series of connected windows in a building, there is interframe movement, unlike a normal image, Correlation variability with values increases, making it difficult to estimate accurate motion information.

즉, 기존의 움직임 추정 기법으로는 반복 패턴을 갖는 영상에 대해 정확한 움직임 정보를 추정하기가 어렵고, 이렇게 보간된 영상은 영상의 깨짐과 같은 심각한 motion artifacts를 초래하게 된다.In other words, it is difficult to estimate accurate motion information for an image having a repetitive pattern using a conventional motion estimation technique, and the interpolated image causes serious motion artifacts such as a broken image.

본 발명은 이러한 반복 패턴에 대한 국부적인 인식을 위하여 반복 패턴을 인식할 수 있는 알고리즘을 제안한다. 또한, 입력되는 영상 이미지 중에서 반복 패턴을 가지고 있는 블록에 대해서는 선형 보간(linear interpolation) 기법으로 처리하고 그 이외의 영상에 대해서는 Motion Vector를 이용한 기존의 ME/MC 기법에 의해서 발생된 움직임 에러를 방지하는 프레임 보간 방법을 제안한다. 또한, 제안된 프레임 보간 방법에 따른 프레임 보간 장치를 제안한다.The present invention proposes an algorithm capable of recognizing a repetitive pattern for local recognition of the repetitive pattern. In addition, a block having a repeating pattern among the input image images is processed by linear interpolation technique, and other images are prevented from motion errors generated by the conventional ME / MC technique using a motion vector. We propose a frame interpolation method. Also, a frame interpolation apparatus according to the proposed frame interpolation method is proposed.

도 3은 본 발명에 따른 반복 패턴 인식 방법을 보이는 흐름도이다.3 is a flowchart illustrating a repetitive pattern recognition method according to the present invention.

본 발명에 따른 반복 패턴 인식 알고리즘은 세 단계로 진행된다.The iterative pattern recognition algorithm according to the present invention proceeds in three steps.

우선, 반복 패턴은 현재 화소가 주위를 둘러싸고 있는 화소의 상관성 측면에서 변동이 크다는 사실을 기초로 다음과 같은 두 가지의 가정을 설정할 수 있다.First, the repetition pattern can set the following two assumptions based on the fact that the variation in the correlation of the pixels surrounding the current pixel is large.

첫째는, 반복 패턴은 MAE Map상에서 존재하는 MAE 값들의 상호 상관성의 변동이 크게 되므로 대각선상에 존재하는 MAE 값들의 거리를 구하게 되면 일반적인 영상에 비해 크다는 것이고The first is that the repetition pattern is larger than the general image when the distance between the MAE values on the diagonal is large because the variation of the MAE values on the MAE Map becomes large.

둘째는, 이러한 MAE 변동성은 탐색 범위 전체에 고르게 분포되어 있다는 것이다. 이러한 가정 하에 본 고안에서 반복 패턴 인식 알고리즘은 다음과 같이 세 단계로 진행된다. 여기서, MAE 값들의 거리라는 용어는 MAE 값들의 편차를 말한다. 한편, 본 발명에 있어서 블록간 오차라는 용어는 MAE 혹은 SAD를 나타낸다.Second, these MAE variability is evenly distributed throughout the search range. Under these assumptions, the iterative pattern recognition algorithm in this design proceeds in three steps as follows. Here, the term distance of MAE values refers to deviation of MAE values. On the other hand, in the present invention, the term interblock error indicates MAE or SAD.

수학식 3은 블록 매칭의 기준이 되는 MAE(Mean Absolute Error)를 나타내는 것으로서 MAE는 블록 내 화소 값 차의 합에 대한 평균을 나타낸다.Equation 3 represents a mean absolute error (MAE), which is a criterion for block matching, and the MAE represents an average of sums of pixel value differences in blocks.

여기서, M, N은 각각 블록의 폭 및 높이이고,Where M and N are the width and height of each block,

및는 각각 이전 프레임의 픽셀 및 다음 프레임의 픽셀이다. And Are the pixels of the previous frame and the pixels of the next frame, respectively.

첫 번째 가정을 검증하기 위한 MAE Map Distance 판단 단계에서는 먼저 앞뒤 프레임간의 탐색 범위 내에서의 MAE Map을 구한 다음(s302), 소단위 규모의 subblock으로 영역을 구분하여(s304) 각 영역에서의 MAE min 값과 max 값을 구해 MAE Ratio(Max/Min)를 계산한다.(s306)In the MAE Map Distance Determination step to verify the first assumption, the MAE Map within the search range between the front and back frames is obtained (s302), and the subdivisions are divided into subblocks (s304). Calculate the MAE Ratio (Max / Min) by calculating the and max values (s306).

일반 영상에 비해 반복 패턴은 MAE Map상에서 존재하는 MAE 값들의 상호 상관성의 변동이 크게 되며, 움직임은 대각선 방향의 검색을 통하여 알려질 수 있다.Compared to the general image, the variation of the correlation pattern of the MAE values existing on the MAE map is greater than that of the general image, and the movement can be known through the diagonal search.

MAE Map상에서 존재하는 MAE 값들의 상호 상관성의 변동의 크고 작음은 다음과 같은 방법으로 검사될 수 있다.The large and small fluctuations in the cross-correlation of the MAE values present on the MAE Map can be examined in the following way.

먼저 (M+P)X(N+P)개의 MAE들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 배치하고, MAP에서 좌측 대각선 방향 및 우측 대각선 방향으로 각각 인접한 MAE들의 편차를 구하고 이를 누적하고, 좌측 대각선 방향의 누적 편차와 우측 대각선 방향의 누적 편차를 비교하여 큰 것을 취하고, 선택된 누적 편차와 소정의 문턱값(threshold 1)을 비교하는 것이다.First, (M + P) X (N + P) MAEs are arranged in a MAP form of (M + P) X (N + P) size according to the order of the reference block, and in the left and right diagonal directions in the MAP, Derivation of each of the adjacent MAEs is calculated and accumulated, and a large one is obtained by comparing the accumulated deviation in the left diagonal direction with the accumulated deviation in the right diagonal direction, and comparing the selected cumulative deviation with a predetermined threshold value (threshold 1).

이후, MAP을 균일한 크기를 가지는 서브 블록들로 분할하고, 각각의 서브 블록들에서 가장 큰 MAE와 가장 작은 MAE의 비율(MAE Ratio)을 산출하고 MAEratio가 소정의 문턱값(threshold 2)보다 큰 서브블록의 개수를 하고, 계수값과 소정의 문턱값(threshod 3)과 비교한다.Thereafter, the MAP is divided into subblocks having a uniform size, and the MAE Ratio of the largest MAE and the smallest MAE in each subblock is calculated, and the MAEratio is larger than a predetermined threshold (threshold 2). The number of subblocks is counted and compared with the count value and a predetermined threshold (threshod 3).

본 발명의 실시예에서는 탐색 범위를 수평/수직 방향으로 -8 ∼ +7로 설정하며, MAE Map상의 존재하는 MAE 값은 수평 16/수직 16으로 전체 256개가 되고,소단위 subblock은 수평4/수직4개를 한 영역으로 구분하여 MAE Map을 16 영역으로 구분하였다.In the embodiment of the present invention, the search range is set from -8 to +7 in the horizontal / vertical direction, and the MAE values existing on the MAE Map are horizontal 16 / vertical 16, total 256, and the sub-unit subblocks are horizontal 4 / vertical 4 The dog was divided into one area and the MAE Map was divided into 16 areas.

MAE Map에서 좌측 또는 우측 대각선 방향으로 존재하는 MAE 들에 대해 서로 이웃하고 있는 MAE 들의 차를 구한 뒤 누적 연산을 하면 대각선 방향으로 존재하는 MAE 값의 총 거리(distance)가 된다. (s308, s310)In the MAE Map, if the difference between the neighboring MAEs of the MAEs in the left or right diagonal direction is calculated and accumulated, the total distance of the MAE values in the diagonal direction is obtained. (s308, s310)

좌측 또는 우측 방향의 전체 거리를 각각 구한 뒤 그들 중에서 큰 값을 현재 블록에 대한 MAE Map Distance로 설정하고 주어진 문턱값(threshold1)과 비교하여 크게되면 두 번째 가정에 대한 판단을 수행한다.(s312)After determining the total distance in the left or right direction respectively, set the larger value among them as the MAE Map Distance for the current block and compare it with the given threshold (threshold1) to determine the second assumption (s312).

도 4는 반복 패턴을 갖는 블록에 대한 MAE Map에서 대각선상으로 존재하는 값들을 그래프로 도시한 것으로 대각선상에 존재하는 MAE 값들 사이에 상관도의 큰 변동이 있음을 알 수 있다.FIG. 4 is a graph showing values diagonally present in the MAE Map for a block having a repeating pattern, and it can be seen that there is a large variation in correlation between MAE values existing diagonally.

도 5는 일반 영상에 대한 MAE Map 그래프로서 대각선상에 존재하는 MAE 값들 사이에 상관도의 변동이 별로 없음을 알 수 있다.5 is a MAE map graph of a general image, it can be seen that there is little variation in correlation between MAE values existing on a diagonal line.

반복 패턴 인식 알고리즘의 두 번째 단계인 MAE Map Classification 단계는 유사 반복 패턴을 제한하는 것이다. 유사 반복 패턴은 실제로는 반복 패턴은 아니지만 유사한 특성을 가지고 있는 것으로서 MAE Ratio가 3.0이상을 갖는 영역의 분포도가 대각 방향 또는 좌우측 방향, 그리고 상하의 어느 한쪽 방향으로만 치우쳐있는 블록에 대해서는 유사 반복 패턴으로 간주하여 제외한다.The second step of the repetition pattern recognition algorithm, the MAE Map Classification step, is to limit the pseudo repetition pattern. The similar repeating pattern is not actually a repeating pattern, but has similar characteristics. A similar repeating pattern is considered for a block in which the distribution of an area having a MAE Ratio of 3.0 or more is skewed in a diagonal direction, left and right directions, and one of the upper and lower directions. Exclude it.

먼저, MAE Ratio가 일정 이상으로 큰 값(threshold2, 본 발명에서는 3.0으로 설정)을 가지고 있는 서브 블록이 전체 영역 중 50% 이상인 경우 (threshold3은 7로 설정)에는 일단 반복 패턴으로 간주하고 분포도 검사 과정으로 진행한다.(s314)First, when the subblock having the MAE Ratio greater than or equal to a predetermined value (threshold2, set to 3.0 in the present invention) is 50% or more of the entire area (threshold3 is set to 7), it is regarded as a repetition pattern and the distribution test process is performed. Proceed to (s314).

수학식 4에 표시되는 바와 같이 "1"로 표시된 영역을 majority region으로 그렇지 않은 영역을 minority region으로 칭한 후 그 영역의 수를 카운트한다.As shown in Equation 4, the region indicated by "1" is referred to as the majority region, and the region not otherwise referred to as the minority region, and the number of regions is counted.

여기서, f(i)는 문턱값(threshold2)을 나타낸다.Here, f (i) represents a threshold2.

s314과정에서는 수학식 4에 의해 계수된 값을 사용하여 수학식 5에 나타낸 바에 의해 유사 반복 패턴을 판단한다.In step s314, a similar repetition pattern is determined using the value counted by Equation 4 as shown in Equation 5.

여기서, region_count는 majority region의 subblock 카운트를 나타내는 것으로 본 발명의 실시예에서는 "8"로 설정하였고, 계수 α는 0.5,β=0.25로 설정하였다.Here, region_count represents the subblock count of the majority region, and is set to "8" in the embodiment of the present invention, and the coefficient α is set to 0.5, β = 0.25.

도 6은 반복 패턴을 갖는 블록에 대한 MAE Map을 소단위 블록(총16개)으로영역 구분하고 각 영역에 대한 MAE Ratio를 계산하여 MAE Ratio가 3.0 이상인 영역을 표시한 결과로서 MAE Ratio가 문턱값(threshold3)을 넘는 subblock들이 전체 영역에서 고르게 분포되어 있음을 알 수 있다. 실험에 의하면 일반 영상의 경우 MAE Ratio가 2.0이하이므로 3.0을 임계값으로 하여 일반 영상과 반복 영상을 충분히 구분할 수 있게 된다.6 is a result of dividing the MAE Map for blocks having a repeating pattern into sub-blocks (16 in total) and calculating the MAE Ratio for each region to indicate an area with a MAE Ratio of 3.0 or more. It can be seen that the subblocks above the threshold3) are evenly distributed over the entire area. According to the experiment, since the MAE Ratio is less than 2.0 in the general image, it is possible to sufficiently distinguish the normal image and the repetitive image using 3.0 as a threshold.

MAE Ratio의 분포도를 체크하여 Narrow Band의 분포를 가지는 블록을 유사 반복 패턴으로 간주하여 제외한다.(s316, s318)By checking the distribution ratio of the MAE Ratio, blocks having the distribution of narrow bands are considered as a similar repetition pattern and excluded (s316, s318).

도 7은 유사 반복 패턴을 가지고 있는 영상의 일 예이다. 도 7에 도시된 이미지에서 원으로 표시되는 대각선은 반복 패턴의 특성을 가지고 있는 유사 반복 패턴으로 도 8과 같이 MAE Ratio가 3.0이상인 영역에 대한 분포도를 체크한 결과 MAE Ratio가 3.0이상인 영역들이 대각선 방향으로만 존재하고 있음을 알 수 있다. 이는 처음에 반복 패턴이 가지고 있는 고유성에 대한 가정에 위배되는 것이므로 이러한 유사 반복 패턴은 제외되어야 한다.7 is an example of an image having a similar repeating pattern. Diagonal lines indicated by circles in the image shown in FIG. 7 are pseudo repetitive patterns having the characteristics of a repeating pattern. As a result of checking the distribution of regions having a MAE Ratio of 3.0 or more, as shown in FIG. It can be seen that only exists. This is a violation of the assumptions about the uniqueness of the repetition pattern in the first place, so this similar repetition pattern should be excluded.

도 9는 MAE Ratio가 전 영역에 분포되어 있지 않고 특정 방향으로만 집중되어 있는 Narrow Band Classification에 대한 것으로 MAE Ratio가 3.0이상인 경우에는 "1"로 표시하고 그렇지 않은 경우에는 "0"으로 표시하였다.FIG. 9 shows Narrow Band Classification in which the MAE Ratio is not distributed in the entire area and is concentrated only in a specific direction. When the MAE Ratio is 3.0 or more, it is expressed as "1", otherwise it is represented as "0".

반복 패턴을 인식하는 마지막 단계는 Modified Median Filtering이다. 이는 반복 패턴은 독립되어 있지 않고 밀집되어 있다는 특성을 고려하여 현재 블록들 주위의 주변 블록들의 반복성을 체크하여 주변 블록들이 일정 이상의 반복성을 보일 경우에만 현재 블록의 반복성을 인정하는 것이다. 즉 반복 패턴으로 인식되어 있는현재 블록의 주변에 있는 수평5개/수직5개 전체 24개의 주변 블록들에서 반복 패턴으로 판정된 블록들을 카운트해서 소정의 문턱값(threshold4, 본 발명의 실시예에서는 6으로 설정)이상의 반복 패턴이 존재하면 현재 블록을 반복 패턴으로 확정한다.(s320 - s326)The final step in recognizing the repeating pattern is Modified Median Filtering. This is to check the repeatability of the neighboring blocks around the current blocks in consideration of the characteristic that the repeating pattern is not independent and is dense and recognizes the repeatability of the current block only when the neighboring blocks show more than a certain repeatability. That is, the blocks determined as the repeating pattern are counted from 24 horizontal blocks of 5 horizontally and 5 vertically in the periphery of the current block recognized as the repeating pattern, and a predetermined threshold (threshold 4, 6 in the embodiment of the present invention) If more than one repeating pattern exists, the current block is determined as a repeating pattern. (S320-s326)

본 발명에 있어서, subblock의 MAE Ratio를 사용하는 대신에 인접 블록간의 MAE Ratio를 사용하여도 좋다. 즉, 대각선상에서 인접하는 블록간의 MAE Ratio를 구하고, 이들 중에서 임계값을 넘는 MAE Ratio의 개수를 계수하고, s314과정에서 계수된 값과 임계값2를 비교하는 것도 가능하다.In the present invention, instead of using the MAE Ratio of the subblock, the MAE Ratio between adjacent blocks may be used. That is, it is also possible to obtain a MAE Ratio between adjacent blocks on a diagonal line, count the number of MAE Ratios exceeding a threshold value among them, and compare the threshold value 2 with the value counted in step s314.

본 발명의 실시예에 있어서 대칭적 블록 매칭 방법의 예를 들어 설명하였지만 반드시 이에 한정되는 것은 아니다. 전방향 혹은 후방향 블록 매칭 방법에 있어서도 동일하게 적용될 수 있음을 주지하여야 한다.In the embodiment of the present invention has been described with an example of the symmetric block matching method, but is not necessarily limited thereto. It should be noted that the same may be applied to the forward or backward block matching method.

또한, 본 발명의 반복 패턴 판별 방법은 프레임 보간에 사용될 수 있는 것은 물론이고 움직임 벡터를 추정하는 분야에서도 유용하게 사용될 수 있음을 주지하여야 한다.In addition, it should be noted that the repetition pattern determination method of the present invention can be used not only for frame interpolation but also for use in the field of estimating motion vectors.

도 10은 본 발명에 따른 프레임 보간 방법을 보이는 흐름도이다.10 is a flowchart illustrating a frame interpolation method according to the present invention.

먼저, MAE MAP을 구한다.(s1002)First, a MAE MAP is obtained (s1002).

MAE MAP을 참조하여 움직임 벡터를 구한다.(s1004)The motion vector is obtained by referring to the MAE MAP (s1004).

MAE MAP을 참조하여 반복 패턴 여부를 판단한다.(s1006) 반복 패턴의 여부는 도 3에 도시된 흐름도를 참조하여 판단한다.With reference to the MAE MAP, it is determined whether a repeating pattern is performed (s1006). It is determined with reference to the flowchart shown in FIG.

보간에 의해 형성될 블록들 주변의 블록들을 검사하여 반복 패턴에 속하는블록들과 그렇지 않은 블록들 간의 비율 즉, 주변 블록과의 상관성을 산출한다.(s1008)The blocks around the blocks to be formed by interpolation are examined to calculate a ratio between blocks belonging to the repetitive pattern and blocks that are not, that is, a correlation between neighboring blocks (s1008).

도 11은 보간에 의해 형성될 블록들과 주변 블록들 사이의 관계를 보이기 위하여 도시된 것이다. 도 11에 도시된 바와 같이 반복 패턴과 비반복 패턴의 경계부에 걸쳐지는 블록(1102)의 경우에는 반복 패턴에 의한 영향과 그렇지 않는 패턴에 의한 영향이 중첩되는 것을 알 수 있다. 따라서, 반복 패턴과 그렇지 않은 패턴의 경계부에 걸쳐지는 블록(1102)의 경우에는 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 적절하게 합성할 필요가 있다.11 is shown to show a relationship between blocks to be formed by interpolation and neighboring blocks. As shown in FIG. 11, in the case of block 1102 covering the boundary between the repeating pattern and the non-repeating pattern, it can be seen that the effect of the repeating pattern and the effect of the pattern not overlapping each other. Therefore, in the case of block 1102 that spans the boundary between the repeating pattern and the pattern that is not, it is necessary to appropriately synthesize the block generated by linear interpolation and the block generated by ME / MC.

산출된 비율에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는다.(s1010) 즉, 소프트 스위칭(soft switching)에 의해 프레임 보간을 수행한다.The interpolated image is obtained by synthesizing the blocks generated by linear interpolation and the blocks generated by ME / MC according to the calculated ratio (s1010). That is, frame interpolation is performed by soft switching.

도 12는 본 발명에 따른 프레임 보간 장치의 구성을 보이는 블록도이다.12 is a block diagram showing the configuration of a frame interpolation apparatus according to the present invention.

MAE 산출부(1202)는 대칭적 모션 벡터 추정 방법에 의해 이전 프레임(frame k-1)의 탐색 범위와 다음 프레임(frame k+1)의 탐색 범위에서 대칭되는 참조 블록들 사이의 MAE를 산출한다.The MAE calculator 1202 calculates a MAE between reference blocks symmetric in a search range of a previous frame (frame k-1) and a search range of a next frame (frame k + 1) by a symmetric motion vector estimation method. .

탐색 범위에 속한 참조 블록의 수가 256개이므로 256개의 MAE들이 얻어진다.Since the number of reference blocks in the search range is 256, 256 MAEs are obtained.

MAE MAP 저장부(1204)는 MAE MAP을 저장한다. 여기서, MAE MAP이란 움직임 추정부(1102)에서 얻어진 256개의 MAE를 가지는 MAP을 말한다.The MAE MAP storage unit 1204 stores the MAE MAP. Here, the MAE MAP means a MAP having 256 MAEs obtained by the motion estimation unit 1102.

Motion Vector 추출부(1206)는 MAE MAP 저장부(1204)에 저장된 MAE들 즉, Motion Candidates들 중에서 가장 작은 MAE값을 갖는 참조 블록의 수평 수직 방향의 위치(x, y)를 현재 블록에 대한 움직임 방향으로 판단한다.The motion vector extractor 1206 moves a horizontal (vertical) position (x, y) of the reference block having the smallest MAE value among the MAEs stored in the MAE MAP storage 1204, that is, the Motion Candidates, with respect to the current block. Judging by the direction.

Motion Filter(1208)는 Motion Vector의 오류를 방지하기 위하여 주위 블록과의 상관성을 고려하기 위한 것으로서 미디언 필터나 평균 필터가 사용된다.The motion filter 1208 is used to consider correlation with neighboring blocks in order to prevent an error of the motion vector, and a median filter or an average filter is used.

반복 패턴 인식부(1210)는 MAE MAP 저장부(1204)에 저장된 MAE MAP를 참조하여 반복 패턴의 여부를 판별한다. 반복 패턴 인식부(1210)는 MAE MAP Distance 산출부(1210a), MAE MAP Classification부(1210b), 그리고 Median Filter(1210c)를 포함한다.The repeating pattern recognizer 1210 determines whether a repeating pattern is performed by referring to the MAE MAP stored in the MAE MAP storage 1204. The repetition pattern recognition unit 1210 includes a MAE MAP Distance calculator 1210a, a MAE MAP Classification unit 1210b, and a Median Filter 1210c.

MAE MAP Distance 산출부(1210a)는 좌측 또는 우측 대각선 방향으로 존재하는 MAE 값들에 대해 서로 이웃하고 있는 MAE 값의 차를 구한 뒤 누적 연산을 하면 대각선 방향으로 존재하는 MAE 값의 총 거리(distance)를 구한다.The MAE MAP Distance calculation unit 1210a calculates a difference between neighboring MAE values with respect to MAE values existing in the left or right diagonal direction and calculates the total distance of the MAE values existing in the diagonal direction when accumulating. Obtain

좌측 또는 우측 방향의 전체 거리를 각각 구한 뒤 그들 중에서 큰 값을 현재 블록에 대한 MAE Map Distance로 설정하고 주어진 임계 값(threshold1)과 비교하여 크게 되면 첫 번째 가정을 만족하는 것으로 판단한다.After determining the total distance in the left or right direction respectively, set the larger value among them as the MAE Map Distance for the current block and compare it with the given threshold (threshold1) to determine that the first assumption is satisfied.

다음으로 MAE MAP을 소단위 규모의 subblock으로 영역을 구분하고 각 영역에서의 MAE min 값과 max 값을 구해 MAE Ratio(Max/Min)를 계산한다.Next, the MAE MAP is divided into subblocks of small scale, and the MAE min (max / Min) is calculated by obtaining the MAE min and max values in each region.

본 발명에서는 탐색 범위를 수평/수직 방향으로 -8 ∼ +7로 설정하며, MAE Map상의 존재하는 MAE 값은 수평 16/수직 16으로 전체 256개가 되고,소단위 subblock은 수평4/수직4개를 한 영역으로 구분하여 MAE Map을 16 영역으로 구분하였다.In the present invention, the search range is set from -8 to +7 in the horizontal / vertical direction, and the MAE values existing on the MAE Map are horizontal 16 / vertical 16, total 256, and the sub-unit subblocks are horizontal 4 / vertical 4 MAE Map is divided into 16 areas.

MAE MAP Classification부(1210b)는 유사 반복 패턴을 제한하는 것이다. 먼저, 각 영역에서의 MAE Ratio가 일정 이상으로 큰 값(threshold2, 본 발명에서는 3.0으로 설정)을 가지고 있는 영역이 전체 영역 중 50% 이상인 경우 (threshold3은 7로 설정)일단 반복 패턴으로 간주한다.The MAE MAP Classification unit 1210b is to limit the similar repetition pattern. First, when an area having a MAE Ratio in each area having a value larger than a predetermined value (threshold2, set to 3.0 in the present invention) is 50% or more of the whole area (threshold3 is set to 7), it is regarded as a repetition pattern.

이후 MAE Ratio가 소정의 문턱값(threshold2)보다 큰 서브 블록의 분포도를 체크하여 Narrow Band의 분포를 가지는 블록이면 유사 반복 패턴으로 간주하여 제외한다.Thereafter, the distribution of subblocks whose MAE Ratio is greater than a predetermined threshold (threshold2) is checked, and a block having a distribution of narrow bands is considered to be a similar repetition pattern and excluded.

Median Filter(1210c)는 반복 패턴은 독립되어 있지 않고 밀집되어 있다는 특성을 고려하여 현재 블록을 포함한 주변 블록들의 반복성을 체크하여 일정 이상의 반복 패턴을 가질 경우에만 반복성을 인정하는 것이다. 즉 반복 패턴으로 인식되어 있는 블록 주변의 수평5개/수직5개 전체 24개의 블록을 카운트해서 일정 이상 (threshold4는 6으로 설정)의 반복 패턴이 존재하면 그 블록은 반복 패턴으로 확정한다.The Median Filter 1210c checks the repeatability of neighboring blocks including the current block in consideration of the characteristic that the repeating pattern is not independent but is dense and recognizes repeatability only when the repeating pattern has a predetermined repeating pattern or more. That is, a total of 24 blocks of 5 horizontal / 5 vertical blocks around a block that is recognized as a repeating pattern are counted. If there is a repeating pattern of a predetermined value (threshold 4 is set to 6), the block is determined as a repeating pattern.

본 발명에 있어서, subblock의 MAE Ratio를 사용하는 대신에 인접 블록간의 MAE Ratio를 사용하여도 좋다. 즉, 대각선상에서 인접하는 블록간의 MAE Ratio를 구하고, 이들 중에서 임계값을 넘는 MAE Ratio의 개수를 계수하고, s314과정에서 계수된 값과 임계값2를 비교하는 것도 가능하다.In the present invention, instead of using the MAE Ratio of the subblock, the MAE Ratio between adjacent blocks may be used. That is, it is also possible to obtain a MAE Ratio between adjacent blocks on a diagonal line, count the number of MAE Ratios exceeding a threshold value among them, and compare the threshold value 2 with the value counted in step s314.

프레임 보간부(1212)는 Motion Filter(1208)를 거친 최종의 Motion Vector와 선형 보간을 이용하여 프레임 보간을 수행하는 것이다.The frame interpolation unit 1212 performs frame interpolation using the final motion vector and linear interpolation passed through the motion filter 1208.

프레임 보간부(1212)는 보간에 의해 형성될 블록들 주변의 블록들을 검사하여 반복 패턴에 속하는 블록들과 그렇지 않은 블록들 간의 비율을 산출하고, 산출된 비율에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는다.The frame interpolation unit 1212 examines blocks around blocks to be formed by interpolation, calculates a ratio between blocks belonging to a repetitive pattern and blocks that are not, and generates blocks by linear interpolation according to the calculated ratio. Interpolate images are obtained by synthesizing blocks generated by ME / MC.

예를 들면 보간에 의해 형성될 블록을 둘러싸고 있는 주변블록들에 대한 반복성을 계수하여 주변 블록에 대한 상관성을 체크한다.For example, the repeatability of neighboring blocks surrounding the block to be formed by interpolation is counted to check the correlation of the neighboring blocks.

도 13은 상관성 체크를 위한 주변 블록들의 예를 보이는 것이다. 도 13에 있어서 현재 블록을 둘러싸고 있는 상하 좌우 2개 라인의 총 25개의 주변 블록들이 도시된다. 이 25개의 주변 블록들 중에서 반복 패턴에 속한 블록으로 판정된 것들의 개수를 계수한다.13 shows an example of neighboring blocks for correlation check. In FIG. 13, a total of 25 neighboring blocks of two upper, lower, left, and right lines surrounding the current block are shown. The number of the 25 neighboring blocks determined as the block belonging to the repeating pattern is counted.

상관성에 따른 프레임 보간은 다음의 수학식 6에 의해 나타내어진다.Frame interpolation according to correlation is represented by the following equation (6).

여기서, i,j는 보간에 의해 형성될 블록의 화소를 나타내고, α는 주변 블록들 중에서 반복 패턴에 속한 블록으로 판정된 것들의 개수로서 본 발명의 실시예에 있어서이다.Here, i, j represents a pixel of a block to be formed by interpolation, and α represents the number of those determined as blocks belonging to a repetitive pattern among neighboring blocks. to be.

본 발명에서 제안한 알고리즘에 의해 국부적으로 체크된 반복 패턴과 그 이외의 영상의 보간 방법은 반복 패턴은 앞 뒤 프레임의 평균값을 취하는 선형 보간 기법을 사용하고 그렇지 않은 영상에 대해서는 Motion Vector를 활용하는 기존의 ME/MC 기법을 사용한다.The interpolation method of the repetition pattern and other images that are locally checked by the algorithm proposed by the present invention uses a linear interpolation technique in which the repetition pattern takes an average value of front and back frames, and uses a motion vector for the other images. Use the ME / MC technique.

하지만 단순한 하드웨어 스위칭 기법은 반복 패턴과 그렇지 않은 패턴사이의경계면에서의 특성이 떨어지게 되어 주변 블록과의 상관성을 고려한 소프트 스위칭(soft switching) 기법을 사용한다.However, the simple hardware switching technique uses a soft switching technique that considers correlation with neighboring blocks because the characteristics of the boundary between repetitive patterns and non-repeating patterns are inferior.

수학식 6에서 α의 값은 현재 블록을 둘러싸고 있는 상하 좌우 각각 2개 라인의 주변 블록에 대한 반복성을 카운트한 것으로서 α가 크면, 즉 반복 패턴의 경향이 강하면 전후 프레임간의 평균 데이터인 리니어 보간 기법을 사용하고 그렇지 않으면 전후 프레임간의 Motion Vector 평균을 구한 MC 기반의 보간 기법을 사용한다.In Equation 6, the value of α is the repeatability of the neighboring blocks of two lines each of the top, bottom, left, and right sides surrounding the current block. If α is large, that is, if the repetition pattern is strong, the linear interpolation technique is used. Otherwise, the MC-based interpolation technique, which calculates the average motion vector between front and rear frames, is used.

도 14는 반복 패턴을 가지는 테스트 영상들의 예로서 도 14의 (a)는 중앙에 빗살 무늬형의 반복 패턴을 가지는 Grates영상이고, (b)는 방사선 방향의 반복 패턴을 가지는 Snell Wilcox 영상이고, (c)는 반복되는 창문을 가지는 건물을 보이는 Melco 영상이며, 그리고 (d)는 스트라이프 형태의 테이블 보를 가지는 Restaurant 영상이다.14 is an example of test images having a repeating pattern, (a) of FIG. 14 is a Grates image having a comb-shaped repeating pattern in the center, (b) is a Snell Wilcox image having a repeating pattern in the radiation direction, ( c) is a Melco image showing a building with repeated windows, and (d) is a restaurant image with a tablecloth in the form of a stripe.

기존의 알고리즘과 본 고안에서 제안한 알고리즘의 성능을 정량적으로 비교하기 위하여 수학식 6과 수학식 7과 같이 정의된 MSE(Mean Square Error) 와 PSNR(Peak Signal to Noise Ratio)을 사용하였다.In order to quantitatively compare the performance of the conventional algorithm and the algorithm proposed in the present invention, MSE (Mean Square Error) and PSNR (Peak Signal to Noise Ratio) defined as Equations 6 and 7 were used.

여기서, M, N은 각각 블록의 폭 및 높이이고,Where M and N are the width and height of each block,

및는 각각 이전 프레임의 픽셀 및 다음 프레임의 픽셀이다. And Are the pixels of the previous frame and the pixels of the next frame, respectively.

표 1은 테스트 영상에 대한 기존 알고리즘과 제안된 알고리즘 사이에 수학식 6 및 7에서 제시된 기준에 의해 측정된 PSNR 값이며 프레임간의 평균치로 산정하였다.Table 1 shows the PSNR values measured by the criteria set forth in Equations 6 and 7 between the existing algorithm and the proposed algorithm for the test image, and calculated as the average value between the frames.

영 상video Conventional MCConventional MC Proposed algorithmProposed algorithm improvementimprovement GratesGrates 23.6 db23.6 db 26.2 db26.2 db 2.6 db2.6 db Snell WilcoxSnell wilcox 15.8 db15.8 db 24.9 db24.9 db 9.1 db9.1 db MelcoMelco 26.1 db26.1 db 26.5 db26.5 db 0.4 db0.4 db RestaurantRestaurant 28.9 db28.9 db 30.1 db30.1 db 1.2 db1.2 db

표 1을 참조하여 알 수 있듯이 반복 패턴의 형태와 프레임간의 움직임 량 그리고 입력 영상에서 반복 패턴이 차지하는 정도에 따라 차이가 많이 발생함을 알 수 있다.As can be seen from Table 1, it can be seen that there are many differences depending on the shape of the repeating pattern, the amount of movement between frames, and the degree of occupancy of the repeating pattern in the input image.

다음은 시각적인 차이를 비교하기로 한다.Next, let's compare the visual differences.

도 15는 도 14에 도시된 영상들을 기존의 MC 보간 기법을 이용하여 처리한 결과를 보이는 것으로서 반복 패턴이 있는 블록에 대해서 부분적으로 영상이 깨지는 증상이 발생하고 있음을 알 수 있다.FIG. 15 shows a result of processing the images shown in FIG. 14 using a conventional MC interpolation technique, and it can be seen that a symptom of partially breaking an image occurs for a block having a repeating pattern.

도 16은 도 14에 도시된 영상들을 본 발명의 프레임 보간 기법에 의해 처리한 영상의 결과를 보이는 것으로서 시각적으로 motion artifacts가 개선됨을 알 수 있다.FIG. 16 shows results of an image processed by the frame interpolation technique of the present invention as shown in FIG. 14, and it can be seen that motion artifacts are visually improved.

도 16에 도시되는 바와 같은 4 가지의 테스트 영상에 대하여 기존의 알고리즘과 제안한 알고리즘의 차이를 비교한 결과, 반복 패턴의 형태와 비중 정도에 따라서 차이는 있지만 기존의 알고리즘에 나타난 심각한 motion artifacts가 제안한 알고리즘에 의해 대부분 제거되어 주관적, 객관적으로 더 우수한 결과를 얻을 수 있다.As a result of comparing the difference between the conventional algorithm and the proposed algorithm with respect to the four test images as shown in FIG. 16, the algorithm proposed by the serious motion artifacts shown in the existing algorithm, although there are differences depending on the shape and specific gravity of the repeating pattern Are mostly eliminated, resulting in better subjective and objective results.

상술한 바와 같이 본 발명에 따른 반복 패턴 판별 방법은 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에 반복 패턴을 판별하는 방법을 제공함으로써 효율적인 프레임 보간을 가능하게 하는 효과를 가진다.As described above, the method for determining a repeating pattern according to the present invention has an effect of enabling efficient frame interpolation by providing a method for determining a repeating pattern when an image having a repeating pattern shows inter-frame motion.

본 발명에 따른 프레임 보간 방법은 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에 선형 보간 방법과 움직임 보상에 의한 보간 방법을 병용하도록 함으로써 Motion artifacts가 없는 보간 영상을 얻을 수 있게 하는 효과를 가진다.The frame interpolation method according to the present invention has an effect of obtaining an interpolation image without motion artifacts by using a linear interpolation method and an interpolation method by motion compensation when an image having a repeating pattern shows inter-frame motion.

또한, 본 발명에 따른 프레임 보간 장치는 반복 패턴을 가지는 이미지가 프레임간 움직임을 보이는 경우에 선형 보간에 의해 얻어지는 프레임과 움직임 보상에 의한 보간에 의해 얻어지는 영상을 반복 패턴의 상관성에 따라 적절히 섞어 줌으로써 Motion artifacts가 없는 보간 영상을 얻을 수 있게 하는 효과를 가진다.In addition, the frame interpolation apparatus according to the present invention, when the image having a repetitive pattern shows the inter-frame motion by appropriately mixing the frame obtained by the linear interpolation and the image obtained by the interpolation by the motion compensation according to the correlation of the repetitive pattern as appropriate This has the effect of obtaining an interpolated image without artifacts.

Claims (26)

반복 패턴을 가지는 이미지가 프레임간 움직임을 가지는 경우에 있어서 M X N 크기의 기준 블록이 반복 패턴에 속하는 지를 판별하는 방법에 있어서,In the method of determining whether the reference block of size M X N belongs to the repeating pattern in the case where the image having the repeating pattern has inter-frame motion, 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정;Obtaining a block-by-block error for each of the reference blocks in a (M + 2P) X (N + 2P) search range of a reference block and a frame referenced for motion vector search by a global search method; 상기 (M+P)X(N+P)개의 블록별 오차들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 배치하는 과정;Arranging the (M + P) X (N + P) errors for each block in the form of a MAP having a size of (M + P) X (N + P) in the order of a reference block; 상기 MAP에서 좌측 대각선 방향 및 우측 대각선 방향으로 각각 인접한 블록별 오차들의 편차를 구하고 이를 누적하는 과정;Obtaining and accumulating deviations of errors for each adjacent block in the left diagonal direction and the right diagonal direction in the MAP; 좌측 대각선 방향의 누적 편차와 우측 대각선 방향의 누적 편차를 비교하여 큰 것을 취하는 과정;Comparing the cumulative deviation in the left diagonal direction with the cumulative deviation in the right diagonal direction and taking a large one; 상기 선택된 누적 편차와 제1문턱값(threshold1)을 비교하는 과정; 및Comparing the selected cumulative deviation with a first threshold; And 상기 누적 편차가 제1문턱값(threshold1)보다 크면 기준 블록이 반복 패턴에 속하는 블록인 것으로 판별하는 과정을 포함하는 반복 패턴 판별 방법.And determining that the reference block is a block belonging to the repetitive pattern when the cumulative deviation is greater than the first threshold. 제1항에 있어서, 상기 블록별 오차는 MAE(Mean Absolute Error; 블록 내 화소값 차이의 합에 대한 평균)인 것을 특징으로 하는 반복 패턴 판별 방법.The method of claim 1, wherein the error for each block is a mean absolute error (MAE). 제1항에 있어서,The method of claim 1, 상기 MAP을 균일한 크기를 가지는 서브 블록들로 분할하는 과정;Dividing the MAP into subblocks having a uniform size; 각각의 서브 블록들에서 가장 큰 오차와 가장 작은 오차의 비율을 산출하는 과정;Calculating a ratio of the largest error and the smallest error in each subblock; 상기 서브 블록에서 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록의 개수를 계수하는 과정;Counting the number of subblocks having an error ratio greater than a second threshold value in the subblock; 상기 계수값이 제3문턱값(threshold3)보다 크면 반복 패턴인 것을 판별하는 과정을 더 구비하는 것을 특징으로 하는 반복 패턴 판별 방법.And determining that the count value is a repeating pattern when the count value is greater than a third threshold value (threshold3). 제3항에 있어서, 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록들의 분포도를 조사하여 유사 반복 패턴 여부를 판별하는 과정을 더 구비하는 것을 특징으로 하는 반복 패턴 판별 방법.The method of claim 3, further comprising determining whether or not a similar repetition pattern is obtained by examining distributions of subblocks having an error ratio greater than a second threshold. 5. 제4항에 있어서, 상기 MAP에서 수평/수직/대각선 방향으로 편중된 분포를 가지는 유사 반복 패턴의 유형들과 비교하여 유사 반복 패턴의 여부를 판별하는 것을 특징으로 하는 반복 패턴 판별 방법.The method of claim 4, wherein the method determines whether or not there is a similar repeating pattern by comparing types of similar repeating patterns having a distribution biased in the horizontal, vertical, and diagonal directions in the MAP. 제5항에 있어서,The method of claim 5, 기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 반복성을 조사하는 과정; 및Examining the repeatability of blocks determined by the repeating pattern in blocks adjacent to the reference block; And 반복성의 크기에 따라 상기 기준 블록이 반복 패턴에 속하는 것으로 판별하는 과정을 더 구비하는 것을 특징으로 하는 반복 패턴 판별 방법.And determining that the reference block belongs to a repeating pattern according to the magnitude of repeatability. 제6항에 있어서, 상기 반복성은 기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 개수로 나타내어지는 것을 특징으로 하는 반복 패턴 판별 방법.The method of claim 6, wherein the repeatability is represented by the number of blocks determined as a repeating pattern in blocks adjacent to the reference block. 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정;Obtaining a block-by-block error for each of the reference blocks in a (M + 2P) X (N + 2P) search range of a reference block and a frame referenced for motion vector search by a global search method; 블록별 오차가 가장 작은 참조 블록의 위치 정보로서 움직임 벡터를 구하는 과정;Obtaining a motion vector as position information of a reference block having the smallest error per block; 블록별 오차를 참조하여 반복 패턴 여부를 판단하는 과정;Determining whether a repeating pattern is performed by referring to errors of each block; 보간에 의해 형성될 블록들 주변에 있는 블록들의 상관성을 산출하는 과정; 및Calculating correlation of blocks around blocks to be formed by interpolation; And 산출된 상관성에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는 과정을 포함하는 프레임 보간 방법.A frame interpolation method comprising synthesizing a block generated by linear interpolation and a block generated by ME / MC according to the calculated correlation to obtain an interpolated image. 제8항에 있어서, 보간에 의해 형성될 블록들 주변에 있는 블록들의 반복성을 산출하는 과정은The process of claim 8, wherein the calculating of the repeatability of blocks around blocks to be formed by interpolation is performed. 기준 블록을 둘러싸고 있는 주변 블록들에서 반복 패턴으로 판정된 블록들의 개수를 계수하는 과정; 및Counting the number of blocks determined as a repetition pattern in neighboring blocks surrounding the reference block; And 기준 블록을 둘러싸고 있는 주변 블록들의 총 개수와 반복 패턴으로 판정된 블록들의 개수의 비율을 산출하는 과정을 구비하는 것을 특징으로 하는 프레임 보간 방법.And calculating a ratio of the total number of neighboring blocks surrounding the reference block to the number of blocks determined by the repetition pattern. 제9항에 있어서, 보간에 의해 형성될 블록은 하기의 식으로 나타내어지는 것을 특징으로 하는 프레임 보간 방법.10. The method of claim 9, wherein the block to be formed by interpolation is represented by the following equation. 여기서, i,j는 보간에 의해 형성될 블록의 화소를 나타내고, α는 주변 블록들 중에서 반복 패턴에 속한 블록으로 판정된 것들의 개수이고, total은 주변 블록의 총 개수.Here, i, j represents pixels of a block to be formed by interpolation, α is the number of those determined as blocks belonging to the repetitive pattern among the neighboring blocks, and total is the total number of neighboring blocks. 제 8항에 있어서, 반복 패턴을 판별하는 과정은The method of claim 8, wherein the determining of the repeating pattern comprises 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 블록별 오차를 구하는 과정;Obtaining a block-by-block error for each of the reference blocks in a (M + 2P) X (N + 2P) search range of a reference block and a frame referenced for motion vector search by a global search method; 상기 (M+P)X(N+P)개의 블록별 오차들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 배치하는 과정;Arranging the (M + P) X (N + P) errors for each block in the form of a MAP having a size of (M + P) X (N + P) in the order of a reference block; 상기 MAP에서 좌측 대각선 방향 및 우측 대각선 방향으로 각각 인접한 블록별 오차들의 편차를 구하고 이를 누적하는 과정;Obtaining and accumulating deviations of errors for each adjacent block in the left diagonal direction and the right diagonal direction in the MAP; 좌측 대각선 방향의 누적 편차와 우측 대각선 방향의 누적 편차를 비교하여 큰 것을 취하는 과정;Comparing the cumulative deviation in the left diagonal direction with the cumulative deviation in the right diagonal direction and taking a large one; 상기 선택된 누적 편차와 제1문턱값(threshold1)을 비교하는 과정; 및Comparing the selected cumulative deviation with a first threshold; And 상기 누적 편차가 제1문턱값(threshold1)보다 크면 기준 블록이 반복 패턴에 속하는 블록인 것으로 판별하는 과정을 포함하는 프레임 보간 방법.And determining that the reference block is a block belonging to a repetitive pattern when the cumulative deviation is greater than a first threshold. 제11항에 있어서, 상기 블록별 오차는 MAE(Mean Absolute Error; 블록 내 화소값 차이의 합에 대한 평균)인 것을 특징으로 하는 프레임 보간 방법.The frame interpolation method of claim 11, wherein the error for each block is a mean absolute error (MAE). 제11항에 있어서,The method of claim 11, 상기 MAP을 균일한 크기를 가지는 서브 블록들로 분할하는 과정;Dividing the MAP into subblocks having a uniform size; 각각의 서브 블록들에서 가장 큰 오차와 가장 작은 오차의 비율을 산출하는 과정;Calculating a ratio of the largest error and the smallest error in each subblock; 상기 서브 블록에서 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록의 개수를 계수하는 과정; 및Counting the number of subblocks having an error ratio greater than a second threshold value in the subblock; And 상기 계수값이 제3문턱값(threshold3)보다 크면 반복 패턴인 것을 판별하는 과정을 더 구비하는 것을 특징으로 하는 프레임 보간 방법.And determining that the count value is a repetitive pattern when the count value is greater than a third threshold value. 3. 제13항에 있어서, 제2문턱값(threshold2)보다 큰 오차 비율을 가지는 서브 블록들의 분포도를 조사하여 유사 반복 패턴 여부를 판별하는 과정을 더 구비하는 것을 특징으로 하는 프레임 보간 방법.The frame interpolation method of claim 13, further comprising: determining whether a similar repetition pattern exists by examining distributions of subblocks having an error ratio greater than a second threshold. 2. 제14항에 있어서, 상기 MAP에서 수평/수직/대각선 방향으로 편중된 분포를가지는 유사 반복 패턴의 유형들과 비교하여 유사 반복 패턴의 여부를 판별하는 것을 특징으로 하는 프레임 보간 방법.15. The method of claim 14, wherein the frame interpolation method determines whether or not a similar repeating pattern is compared to types of similar repeating patterns having a distribution biased in the horizontal, vertical, and diagonal directions in the MAP. 제15항에 있어서,The method of claim 15, 기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 반복성을 조사하응 과정; 및Checking the repeatability of blocks determined as a repeating pattern in blocks adjacent to the reference block; And 반복성의 크기에 따라 상기 기준 블록이 반복 패턴에 속하는 것으로 판별하는 과정을 더 구비하는 것을 특징으로 하는 프레임 보간 방법.And determining that the reference block belongs to a repeating pattern according to the magnitude of repeatability. 제16항에 있어서, 상기 반복성은 기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 개수로 나타내어지는 것을 특징으로 하는 프레임 보간 방법.The method of claim 16, wherein the repeatability is represented by the number of blocks determined as a repeating pattern in blocks adjacent to the reference block. 기준 블록과 움직임 벡터 탐색을 위하여 참조되는 프레임의 (M+2P) X (N+2P) 크기의 탐색 범위에 있는 참조 블록들 각각에 대하여 전역 탐색 방법에 의해 MAE를 구하는 움직임 벡터 산출부;A motion vector calculation unit for obtaining a MAE by a global search method for each of the reference blocks and the reference blocks in a (M + 2P) X (N + 2P) search range of a frame referenced for motion vector search; 상기 (M+P)X(N+P)개의 MAE들을 참조 블록의 순서에 따라 (M+P)X(N+P)크기의 MAP 형태로 저장하는 MAE MAP 저장부;A MAE MAP storage unit for storing the (M + P) X (N + P) MAEs in a MAP form having a size of (M + P) X (N + P) in the order of a reference block; 상기 MAE MAP 저장부에 저장된 블록별 오차들 중에서 가장 작은 MAE를 갖는 참조 블록의 수평 수직 방향의 위치(x, y)를 현재 블록에 대한 프레임간의 움직임 방향으로 판단하는 움직임 벡터 추출부;A motion vector extractor which determines a position (x, y) in the horizontal and vertical direction of the reference block having the smallest MAE among the block-specific errors stored in the MAE MAP storage unit as a direction of movement between frames with respect to the current block; 상기 MAE MAP 저장부에 저장된 MAE 들을 참조하여 반복 패턴의 여부를 판별하는 반복 패턴 인식부; 및A repeating pattern recognition unit determining whether a repeating pattern exists by referring to the MAEs stored in the MAE MAP storage unit; And 상기 움직임 벡터 추출부에서 추출된 움직임 벡터와 선형 보간을 이용하여 프레임 보간을 수행하는 프레임 보간부를 포함하는 프레임 보간 장치.And a frame interpolation unit which performs frame interpolation using the motion vector extracted by the motion vector extractor and linear interpolation. 제18항에 있어서, 상기 반복 패턴 인식부는The method of claim 18, wherein the repeating pattern recognition unit 상기 MAE MAP 저장부에 저장된 MAP을 균일한 크기를 가지는 서브 블록들로 분할하고, 각각의 서브 블록들에서 가장 큰 MAE와 가장 작은 MAE의 비율(MAE Ratio)을 산출하며, MAE MAP에서 좌측 대각선 방향 및 우측 대각선 방향으로 각각 인접한 서브 블록별 MAE Ratio의 편차를 구하고 이를 누적하며, 좌측 대각선 방향의 누적 편차와 우측 대각선 방향의 누적 편차를 비교하여 큰 것을 취하고, 상기 누적 편차가 제1문턱값(threshold1)보다 크면 기준 블록이 반복 패턴에 속하는 블록인 것으로 판별하는 MAE MAP Distance 산출부를 포함하는 것을 특징으로 하는 프레임 보간 장치.The MAP stored in the MAE MAP storage unit is divided into subblocks having a uniform size, and a MAE Ratio of the largest MAE and the smallest MAE in each subblock is calculated, and the left diagonal direction in the MAE MAP is calculated. And calculating the deviation of the MAE Ratio for each adjacent subblock in the right diagonal direction and accumulating them, and comparing the cumulative deviation in the left diagonal direction with the cumulative deviation in the right diagonal direction, and taking a larger one, wherein the cumulative deviation is the first threshold. Greater than), the frame interpolation apparatus comprising a MAE MAP Distance calculator for determining that the reference block is a block belonging to the repeating pattern. 제19항에 있어서, 상기 반복 패턴 인식부는The method of claim 19, wherein the repeating pattern recognition unit 누적 편차가 큰 대각선 방향에서 제2문턱값(threshold2)보다 큰 MAE Ratio를 가지는 서브 블록의 개수를 계수하고, 계수값이 제3문턱값(threshold3)보다 크면 반복 패턴인 것을 판별하는 MAE MAP Classification부를 더 구비하는 것을 특징으로 하는 프레임 보간 장치.The MAE MAP Classification unit for counting the number of sub-blocks having a MAE Ratio larger than the second threshold value 2 in the diagonal direction with a large cumulative deviation, and determining that the pattern is a repetitive pattern when the coefficient value is larger than the third threshold value 3. Frame interpolation apparatus further comprising. 제20항에 있어서, 상기 MAE MAP Classification부는The method of claim 20, wherein the MAE MAP Classification unit 제2문턱값(threshold2)보다 큰 MAE Ratio를 가지는 서브 블록들의 분포도를 조사하여 유사 반복 패턴 여부를 판별하는 것을 특징으로 하는 프레임 보간 장치.The frame interpolation apparatus of claim 1, wherein the distribution of subblocks having a MAE Ratio greater than a second threshold is determined to determine whether a similar repetition pattern exists. 제21항에 있어서, 상기 MAE MAP Classification부는The method of claim 21, wherein the MAE MAP Classification unit 상기 MAE MAP에서 수평/수직/대각선 방향으로 편중된 분포를 가지는 유사 반복 패턴의 유형들과 비교하여 유사 반복 패턴의 여부를 판별하는 것을 특징으로 하는 프레임 보간 장치.And determining whether or not there is a similar repeating pattern by comparing types of similar repeating patterns having a distribution biased in a horizontal / vertical / diagonal direction in the MAE MAP. 제20항에 있어서, 상기 반복 패턴 인식부는The method of claim 20, wherein the repeating pattern recognition unit 기준 블록과 인접한 블록들에서 반복 패턴으로 판별된 블록들의 반복성을 조사하고, 반복성의 크기에 따라 상기 기준 블록이 반복 패턴에 속하는 것으로 판별하는 Median Filter를 더 구비하는 것을 특징으로 하는 프레임 보간 장치.And a Median Filter for checking the repeatability of blocks determined as a repeating pattern in blocks adjacent to the reference block and determining that the reference block belongs to the repeating pattern according to the magnitude of the repeatability. 제18항에 있어서, 상기 프레임 보간부는19. The apparatus of claim 18, wherein the frame interpolation unit 보간에 의해 형성될 블록들 주변에 있는 블록들의 상관성을 산출하고, 산출된 상관성에 따라 선형 보간에 의해 생성되는 블록과 ME/MC에 의해 생성되는 블록을 합성하여 보간 영상을 얻는 것을 특징으로 하는 프레임 보간 장치.A frame comprising calculating a correlation between blocks around blocks to be formed by interpolation, and synthesizing a block generated by linear interpolation and a block generated by ME / MC according to the calculated correlation to obtain an interpolated image. Interpolation device. 제24항에 있어서, 상기 프레임 보간부는The method of claim 24, wherein the frame interpolation unit 기준 블록을 둘러싸고 있는 주변 블록들에서 반복 패턴으로 판정된 블록들의 개수를 계수하고, 기준 블록을 둘러싸고 있는 주변 블록들의 총 개수와 반복 패턴으로 판정된 블록들의 개수의 비율로서 보간에 의해 형성될 블록들 주변에 있는 블록들의 반복성을 산출하는 것을 특징으로 하는 프레임 보간 장치.Blocks to be formed by interpolation as a ratio of the number of blocks determined as a repeating pattern in the neighboring blocks surrounding the reference block and the number of blocks determined as the repeating pattern to the total number of neighboring blocks surrounding the reference block. Frame interpolation apparatus characterized in that it calculates the repeatability of the blocks around. 제25항에 있어서, 보간에 의해 형성될 블록은 하기의 식으로 나타내어지는 것을 특징으로 하는 프레임 보간 장치.27. The frame interpolation apparatus according to claim 25, wherein a block to be formed by interpolation is represented by the following equation. 여기서, i,j는 보간에 의해 형성될 블록의 화소를 나타내고, α는 주변 블록들 중에서 반복 패턴에 속한 블록으로 판정된 것들의 개수이고, total은 주변 블록의 총 개수.Here, i, j represents pixels of a block to be formed by interpolation, α is the number of those determined as blocks belonging to the repetitive pattern among the neighboring blocks, and total is the total number of neighboring blocks.