KR20060060350A - Adaptive motion predictive device for illumination change and method for producing the same - Google Patents
Adaptive motion predictive device for illumination change and method for producing the same Download PDFInfo
- Publication number
- KR20060060350A KR20060060350A KR1020040099398A KR20040099398A KR20060060350A KR 20060060350 A KR20060060350 A KR 20060060350A KR 1020040099398 A KR1020040099398 A KR 1020040099398A KR 20040099398 A KR20040099398 A KR 20040099398A KR 20060060350 A KR20060060350 A KR 20060060350A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- current frame
- average value
- pattern block
- reference frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 조명 변화에 대한 적응적 움직임 예측 방법 및 장치에 관한 것으로서, 보다 상세하게는 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다. 바람직한 실시예에 의할 때, 움직임 예측 방법은 (a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하는 단계; (b) 참조 프레임 패턴 블록 중에 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하는 단계; (c) 최소의 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하는 단계; 및 (d) 움직임 벡터에 대응하는 후보 패턴 블록과 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 단계를 포함한다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an adaptive motion prediction method and apparatus for lighting changes, and more particularly, to efficiently encode and decode an image through motion estimation and motion compensation adaptive to lighting changes. It relates to a method and apparatus that can be. According to a preferred embodiment, the motion prediction method comprises the steps of: (a) generating a current frame pattern block for a current frame block and a reference frame pattern block for a reference frame block; calculating a SAD for the candidate pattern block corresponding to the current frame pattern block among the reference frame pattern blocks; (c) determining a candidate pattern block corresponding to the minimum SAD as a motion vector; And (d) generating a residual signal using the difference signal between the candidate pattern block corresponding to the motion vector and the current frame pattern block, and then performing discrete cosine transform and quantization on the residual signal.
예측 부호화, 움직임 예측, 움직임 보상, SAD, 조명Predictive coding, motion prediction, motion compensation, SAD, lighting
Description
도 1은 본 발명의 바람직한 실시예에 따른 움직임 예측 방법을 설명한 순서도.1 is a flowchart illustrating a motion prediction method according to a preferred embodiment of the present invention.
도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 구성을 나타낸 도면.2A is a diagram illustrating a configuration of an encoding apparatus according to a preferred embodiment of the present invention.
도 2b는 본 발명의 바람직한 실시예에 따른 복호화 장치의 구성을 나타낸 도면.2B is a diagram showing the configuration of a decoding apparatus according to a preferred embodiment of the present invention.
도 3a 및 3b는 본 발명의 바람직한 제1 실시예에 따른 실험 결과를 나타낸 그래프.3A and 3B are graphs showing experimental results according to the first preferred embodiment of the present invention.
도 4a 및 4b는 본 발명의 바람직한 제2 실시예에 따른 실험 결과를 나타낸 그래프.4A and 4B are graphs showing experimental results according to a second preferred embodiment of the present invention.
도 5a 및 5b는 본 발명의 바람직한 제3 실시예에 따른 실험 결과를 나타낸 그래프.5A and 5B are graphs showing experimental results according to a third preferred embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
210 : 현재 프레임의 휘도 평균값 산출부210: luminance average value calculation unit of the current frame
220 : 참조 프레임의 휘도 평균값 산출부220: luminance average value calculation unit of the reference frame
230 : 움직임 예측부230: the motion prediction unit
231 : 현재 프레임의 패턴 블록화부231: pattern block part of the current frame
233 : 참조 프레임의 패턴 블록화부233: pattern block of the reference frame
235 : 움직임 벡터 결정부235: motion vector determiner
240 : 움직임 추정부240: motion estimation unit
본 발명은 조명 변화에 대한 적응적 움직임 예측 방법 및 장치에 관한 것으로서, 보다 상세하게는 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an adaptive motion prediction method and apparatus for lighting changes, and more particularly, to efficiently encode and decode an image through motion estimation and motion compensation adaptive to lighting changes. It relates to a method and apparatus that can be.
종래 기술에 의할 때, ITU T와 ISO/IEC에서는 영상의 부호화 효율성을 향상시키는 과정에서, H.26x 시리즈와 MPEG x 시리즈를 발표하였다. 그리고 2003년도에는 H.264(MPEG 4 part 10 Advanced Video Coding)를 완성시키면서 많은 비트를 절감할 수 있게 되었다. 이러한 비디오 부호화 표준이 발전하면서 블록 기반 움직임 예측(BMME : block matching motion estimation)에 관한 연구도 많았는데, 대부 분의 방법은 현재 프레임(frame)의 블록과 참조 프레임의 후보 블록의 SAD(sum of absolute differences)들을 구하여 가장 작은 SAD(Sum of Absolute Difference)를 보이는 참조 프레임의 후보 블록의 위치를 현재 프레임의 블록의 움직임 벡터(motion vector)로 결정하도록 구성된다.According to the prior art, ITU T and ISO / IEC released the H.26x series and the MPEG x series in the process of improving the encoding efficiency of the image. In 2003, H.264 (MPEG 4 part 10 Advanced Video Coding) was completed and many bits were saved. As the video coding standards have evolved, there have been many studies on block matching motion estimation (BMME), and most of the methods have a sum of absolute (SAD) of candidate blocks of a current frame and a reference frame. The differences are obtained to determine the position of the candidate block of the reference frame showing the smallest sum of absolute difference (SAD) as the motion vector of the block of the current frame.
그리고 그 후보 블록과 현재 프레임의 블록간의 차분신호(residual)들을 이산여현변환(DCT : discrete cosine transform)과 양자화(quantization)를 하여 움직임 벡터와 같이 가변장 부호화(VLC : variable length coding)를 수행한다. 여기서, 움직임 벡터를 찾는다는 것은 현재 프레임과 참조 프레임의 시간적 중복성(temporal redundancy)을 제거하여 획득하는 것이므로, 상당한 부호화 효율을 가져왔으나 다음과 같은 문제점이 있다.The differential signals between the candidate block and the block of the current frame are quantized with a discrete cosine transform (DCT) to perform variable length coding (VLC) like a motion vector. . Here, finding the motion vector is obtained by removing temporal redundancy between the current frame and the reference frame. However, the present invention has significant coding efficiency but has the following problems.
즉, 영상 내에 장면변화(scene change) 또는 조명이 서서히 어두워지거나 밝아지거나 또는 깜박거림이 있는 경우, 종래 기술에 따른 블록간의 SAD를 계산하여 최소의 SAD를 찾아 차분신호를 부호화하면 부호화에 사용되는 비트가 많이 필요하여, 압축률이 급격히 저하되는 문제점이 있다.That is, when a scene change or lighting is gradually darkened, lightened, or flickered in an image, a bit used for encoding is calculated by calculating a SAD between blocks according to the prior art and finding a minimum SAD to encode a differential signal. There is a problem in that a large amount is required, and the compression ratio is rapidly lowered.
일반적으로 장면변화가 있으면 변화된 그 프레임은 화면내 부호화(intra)를 하는 것이 움직임 예측과 움직임 보상(motion compensation)을 하는 것보다 더욱 효과적이다. 그 이유는 참조 프레임의 탐색 영역 내 어느 곳에서도 현재 프레임의 블록의 패턴을 찾아볼 수 없기 때문이다. 마찬가지로, 조명의 변화나 깜박거림에서도 같은 방법으로 움직임 예측을 하여 차분신호를 부호화하게 되면 유사한 결과가 나온다. 그래서 이 경우에서도 화면내 부호화를 하는 경우가 많다. 하지만 이 경우 장면변화는 없었으므로, 참조 프레임에서 현재 프레임의 블록과 비슷한 패턴을 가진 블록을 찾을 수 있으나, 그 블록과 현재 프레임의 블록의 차분을 부호화하더라도 많은 비트를 필요로 하는 문제점이 발생한다.In general, when the scene changes, the changed frame is more effective to perform intra prediction than motion prediction and motion compensation. This is because the pattern of the block of the current frame cannot be found anywhere in the search region of the reference frame. Likewise, similar results are obtained when the difference signal is encoded by the motion prediction in the same way even in the lighting change or flickering. Therefore, in this case, intra picture coding is often performed. However, in this case, since there is no scene change, a block having a pattern similar to that of the block of the current frame can be found in the reference frame. However, even if the difference between the block and the block of the current frame is encoded, a lot of bits are required.
따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 안출한 것으로서, 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다.Accordingly, the present invention has been made to solve the above problems, and a method and apparatus for efficiently encoding and decoding an image through motion estimation and motion compensation adaptive to lighting changes It is about.
또한, 본 발명의 다른 목적은 조명 변화에 대하여 화면내 부호화를 수행하지 아니하고, 효율적으로 압축을 수행할 수 있는 방법 및 장치를 제공함에 있다.In addition, another object of the present invention is to provide a method and apparatus that can efficiently perform compression without performing intra picture coding on a change in illumination.
또한, 본 발명의 또 다른 목적은 실제 환경에서 주변 조명변화에 강인한 코덱을 제공함에 있으며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
In addition, another object of the present invention is to provide a codec that is robust to changes in ambient lighting in a real environment, other objects of the present invention will become more apparent through the preferred embodiment described below.
상술한 목적을 달성하기 위하여 본 발명의 제 1측면에 따르면, 조명 변화에 대한 적응적 움직임 예측 방법을 제공할 수 있다.In order to achieve the above object, according to the first aspect of the present invention, it is possible to provide an adaptive motion prediction method for a change in illumination.
바람직한 실시예에 의할 때, 상기 움직임 예측 방법은 (a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블 록을 생성하는 단계; (b) 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하는 단계; (c) 최소의 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하는 단계; 및 (d) 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 단계를 포함한다.According to a preferred embodiment, the motion prediction method comprises: (a) generating a current frame pattern block for a current frame block and a reference frame pattern block for a reference frame block; calculating a SAD for a candidate pattern block corresponding to the current frame pattern block among the reference frame pattern blocks; (c) determining a candidate pattern block corresponding to the minimum SAD as a motion vector; And (d) generating a residual signal using the difference signal between the candidate pattern block corresponding to the motion vector and the current frame pattern block, and then performing discrete cosine transform and quantization on the residual signal.
또한, 상기 (a) 단계는 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하는 단계; 및 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 단계를 포함한다.In addition, the step (a) may include calculating an average of luminance component of the current frame block and an average of luminance component of the reference frame block; And generating a current frame pattern block by subtracting an average value of the luminance component of the current frame block from the luminance component of the current frame block, and subtracting an average of the luminance component of the reference frame block from the luminance component of the reference frame block. Generating a block.
그리고 상기 (d) 단계는 상기 현재 프레임 블록의 화소 평균값에 대한 이산여현변환과 양자화를 수행하는 단계를 포함한다.And (d) includes performing discrete cosine transform and quantization on the pixel mean value of the current frame block.
여기서, 상기 SAD는 하기 수학식에 의하여 산출되며, Here, the SAD is calculated by the following equation,
NewSAD(x,y) = | (f(i,j)-)-(r(i+x, j+y)-)|NewSAD (x, y) = (F (i, j)- )-(r (i + x, j + y)- ) |
상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭한다.Mcurr is a pixel average value of the current frame block, Mref is a pixel average value of the candidate pattern block, f (i, j) is a pixel value at i, j coordinates of the current frame, and r (i, j) is a reference frame. In the i, j coordinate of the pixel value, S and T are the size of the block used in block matching, (x, y) refers to the motion vector.
또한, 상기 (d) 단계에서 상기 잔여 신호는 하기 수학식에 의하여 산출되며,In addition, the residual signal in the step (d) is calculated by the following equation,
NewR(i,j) = {f(i,j)-}-{r(i+, j+)-}NewR (i, j) = (f (i, j)- }-{r (i + , j + )- }
= f(i,j)-r(i+, j+)-+ = f (i, j) -r (i + , j + )- +
상기 NewR은 상기 잔여 신호, 값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭한다.The NewR is the residual signal, the value, the Mref is the pixel average value of the candidate pattern block, the f (i, j) is a pixel value in the i, j coordinate of the current frame, the r (i, j) is of the reference frame In the i, j coordinates, the pixel value, S and T denote the size of a block used in block matching, and (x, y) denotes a motion vector.
상술한 목적을 달성하기 위하여 본 발명의 제 2측면에 따르면, 조명 변화에 대한 적응적 움직임 예측 장치를 제공할 수 있다.In order to achieve the above object, according to the second aspect of the present invention, it is possible to provide an adaptive motion prediction apparatus for lighting changes.
바람직한 실시예에 의할 때, 상기 움직임 예측 장치는 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하기 위한 패턴 블록 생성부; 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 최소의 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하기 위한 움직임 벡터 결정부; 및 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성하기 위한 움직임 보상부를 포함한다.According to a preferred embodiment, the motion prediction apparatus includes a pattern block generator for generating a current frame pattern block for a current frame block and a reference frame pattern block for a reference frame block; A motion vector determiner for calculating a SAD for a candidate pattern block corresponding to the current frame pattern block among the reference frame pattern blocks, and for determining a candidate pattern block corresponding to a minimum SAD as a motion vector; And a motion compensator for generating a residual signal using the difference signal between the candidate pattern block corresponding to the motion vector and the current frame pattern block.
여기서, 상기 패턴 블록 생성부는 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하고, 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성한다.Here, the pattern block generation unit calculates a luminance component average value of the current frame block and a luminance component average value of the reference frame block, and subtracts the luminance component average value of the current frame block from the luminance component of the current frame block to determine a current frame pattern. A block is generated, and a reference frame pattern block is generated by subtracting an average value of the luminance component of the reference frame block from the luminance component of the reference frame block.
또한, 상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 수단을 더 포함한다.The apparatus further includes means for performing discrete cosine transform and quantization on the residual signal.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 조명 변화에 대한 적응적 움직임 예측 장치 및 방법의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the adaptive motion prediction apparatus and method for changing the lighting according to the present invention, in the description with reference to the accompanying drawings the same or corresponding regardless of reference numerals The components to be given the same reference numerals and duplicate description thereof will be omitted.
적응적 움직임 예측 장치 및 방법의 동작Operation of Adaptive Motion Prediction Apparatus and Methods
도 1은 본 발명의 바람직한 실시예에 따른 적응적 움직임 예측 방법의 동작 순서를 도시한 도면이다.1 is a diagram illustrating an operation sequence of an adaptive motion prediction method according to a preferred embodiment of the present invention.
본 발명에 의한 적응적 움직임 예측 방법에 의하면, 영상에서 조명이 변화하거나 깜박거리는 경우 이를 인식하여, 화면내 부호화를 하지 않고 패턴이 가장 비슷한 블록을 검색하여 부호화하도록 구성된다.According to the adaptive motion prediction method of the present invention, it is configured to recognize when an illumination changes or flickers in an image, and to search for and encode a block having the most similar pattern without performing intra-picture encoding.
즉, 본 발명은 조명이 변화하면서 블록의 휘도성분의 값이 전체적으로 올라 가거나 내려가는 것에 착안하여, 현재 블록의 휘도성분 평균값을 구하고, 각 휘도 성분값과 구한 평균값을 차분하여 새로운 패턴 블록(pattern block)을 생성하고, 참조 프레임에서도 같은 과정을 통해 참조 패턴 블록을 생성한다.That is, the present invention focuses on the value of the luminance component of the block as a whole as the illumination changes, the average value of the luminance component of the current block is obtained, and the difference between each luminance component value and the average value obtained to obtain a new pattern block (pattern) The reference pattern block is generated through the same process in the reference frame.
본 발명은 이와 같이 생성된 현재 패턴 블록과 참조 패턴 블록 사이에서 움직임 예측을 수행하여 부호화하는 방법(이하 패턴부호화라 칭함)이다. 본 발명에 따르면, 동일한 비트율에서 객관적 화질(PSNR)은 0.1dB~0.3dB이상의 향상이 되는 결과를 제공하며, 실제 환경에서 주변 조명변화에 강인한 코덱을 제공할 수 있다.The present invention is a method of encoding by performing motion prediction between the current pattern block and the reference pattern block thus generated (hereinafter referred to as pattern encoding). According to the present invention, at the same bit rate, the objective image quality (PSNR) provides a result of improvement of 0.1 dB to 0.3 dB or more, and can provide a codec that is robust to ambient light change in a real environment.
이하, 도 1을 참조하여 본 발명에 따른 동작 순서를 설명하면 다음과 같다. 먼저, 단계 S100에서 깜박 거리 등과 같은 조명 변화가 발생하면 이를 인식하고, 통상의 화면내 부호화를 수행하지 아니하고, 본 발명에 따른 움직임 예측에 따른 패턴 부호화 방법을 수행하도록 인식한다.Hereinafter, an operation sequence according to the present invention will be described with reference to FIG. 1. First, when an illumination change such as a flickering distance occurs in step S100, it is recognized, and instead of performing normal intra picture encoding, it is recognized to perform a pattern encoding method according to motion prediction according to the present invention.
단계 S110에서 참조 프레임의 블록 중에 현재 프레임의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임의 블록에 있는 휘도성분의 평균값을 구하여 그 평균값을 각 휘도성분에서 빼주어 현재 프레임 블록의 패턴 블록을 만든다. 그리고 참조 프레임의 블록들도 같은 과정을 통하여 참조 프레임 블록의 패턴 블록을 만든다.In step S110, in order to search for candidate blocks having a pattern most similar to that of the current frame among the blocks of the reference frame, an average value of luminance components in blocks of the current frame is obtained, and the average value is subtracted from each luminance component to determine the current frame block. Create a pattern block. The blocks of the reference frame also make a pattern block of the reference frame block through the same process.
현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 단계 S120에서 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록이 최종 움직임 벡터가 된다.When both the block of the current frame and the pattern blocks of the blocks of the reference frame are completed, the SADs of the pattern blocks are obtained in step S120, and the candidate pattern block showing the minimum SAD becomes the final motion vector.
이후, 부호화 효율을 높이기 위하여, 앞에서 산출한 패턴 블록을 사용하게 된다. 즉, 단계 S130에서 최종 움직임 벡터가 가리키는 후보 블록의 패턴 블록과 현재 프레임 블록의 패턴 블록의 차분 신호(이하. 잔여 신호라 칭함)를 이산여현변환과 양자화를 수행하여, 많은 비트를 사용하지 않고도 부호화할 수 있다. 여기서, 화소 평균값도 함께 부호화하도록 구성할 수 있다.Subsequently, in order to increase coding efficiency, the pattern block calculated above is used. That is, in step S130, the differential signal (hereinafter, referred to as a residual signal) between the pattern block of the candidate block indicated by the final motion vector and the pattern block of the current frame block is subjected to discrete cosine transform and quantization, thereby encoding without using many bits. can do. Here, the pixel average value can also be configured to be encoded together.
그리고 단계 S140에서 복호화를 위하여, 함께 부호화된 현재 프레임의 블록의 화소 평균값을 첨부하여, 복호화 장치로 전송할 수 있다. 여기서, 상기 화소 평균값은 종래 코딩 방식 또는 향후 개발될 코딩 방식에 따라 부호화하여 전송할 수 있다.For decoding in step S140, the pixel average value of the block of the current frame encoded together may be attached and transmitted to the decoding apparatus. Here, the pixel average value may be encoded and transmitted according to a conventional coding scheme or a coding scheme to be developed in the future.
이러한 방법으로 기존에는 화면내 부호화가 불가피했던 블록들을 움직임 예측을 통해 부호화를 하기 때문에 부호화 효율의 향상을 가져올 수 있다. In this way, the coding efficiency is improved because the blocks that have been previously inevitable in the picture are encoded through motion prediction.
구체적인 부호화 방법Concrete encoding method
이하, 도 2a 및 도 2b를 참조하여 본 발명에 따른 부호화를 위한 구체적인 방법을 설명하기로 한다. 도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 구성을 도시한 도면이고, 도 2b는 본 발명의 바람직한 실시예에 따른 복호화 장치의 구성을 도시한 도면이다.Hereinafter, a detailed method for encoding according to the present invention will be described with reference to FIGS. 2A and 2B. 2A is a diagram illustrating a configuration of an encoding apparatus according to a preferred embodiment of the present invention, and FIG. 2B is a diagram illustrating a configuration of a decoding apparatus according to a preferred embodiment of the present invention.
도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 블록 다이어그램을 도시한 도면이다.2A is a block diagram of an encoding apparatus according to a preferred embodiment of the present invention.
본 발명에 따른 부호화 장치는 현재 프레임의 휘도 평균값 산출부(210), 참조 프레임의 휘도 평균값 산출부(220), 움직임 예측부(230) 및 움직임 추정부(240) 를 포함한다.The encoding apparatus according to the present invention includes a luminance
움직임 예측부(230)는 참조 프레임의 블록 중에 현재 프레임의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임의 휘도 평균값 산출부(210)에서 산출한 휘도성분의 평균값을 구하여 그 평균값을 현재 프레임의 각 휘도성분에서 빼주어 현재 프레임 블록의 패턴 블록을 생성하기 위한 현재 프레임의 패턴 블록화부(231) 및 참조 프레임의 블록들도 같은 과정을 통하여 참조 프레임 블록의 패턴 블록을 생성하기 위한 참조 프레임의 패턴 블록화부(233)를 포함한다.The
움직임 벡터 결정부(235)는 현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록을 최종 움직임 벡터를 결정하는 기능을 수행한다.When both the block of the current frame and the pattern blocks of the blocks of the reference frame are completed, the motion vector determiner 235 obtains SADs between the pattern blocks and determines a final motion vector of candidate pattern blocks showing the smallest SAD. To perform.
여기서, 움직임 벡터 결정부(235)의 SAD는 종래 방식과는 상이하게, 블록 패턴의 효율성을 위하여 새로운 수식으로 산출된다.Here, unlike the conventional method, the SAD of the motion vector determiner 235 is calculated with a new equation for the efficiency of the block pattern.
종래 기술에 따른 최적의 움직임 벡터를 구하기 위한 SAD는 다음과 수학식 1을 이용하여 산출되며, SAD가 가장 작은 후보 블록을 최적의 움직임 벡터로 결정하도록 구성된다.The SAD for obtaining the optimal motion vector according to the prior art is calculated by using Equation 1 below, and the SAD is configured to determine the smallest candidate block as the optimal motion vector.
여기서, f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, S와 T는 블록매칭시 사용하는 블록의 크기를 나타낸다. 또한 수학식 1에서 (x,y)는 움직임벡터를 나타낸다.Where f (i, j) is the pixel value at the i, j coordinate of the current frame, r (i, j) is the pixel value at the i, j coordinate of the reference frame, and S and T are the size of the block used for block matching. Indicates. In addition, (x, y) in Equation 1 represents a motion vector.
반면, 본 발명에 의할 때, 조명 변화로 인한 현재 블록과 후보 블록 간의 오차를 최소화하기 위하여 조명 변화에 영향을 받지 않는 객체의 형태, 즉 패턴을 추출하여야 하는데, 그 방법으로 하기 수학식 2와 같이 각 블록에서 얻어진 평균값을 각 블록에 차분하여 패턴 블록을 생성할 수 있다.On the other hand, according to the present invention, in order to minimize the error between the current block and the candidate block due to the light change, it is necessary to extract the shape of the object that is not affected by the light change, that is, the pattern. Likewise, a pattern block can be generated by subtracting the average value obtained in each block to each block.
여기서, Mcurr과 Mref는 각각 현재 블록과 참조 프레임의 후보 블록의 화소 평균값을 의미한다. Here, Mcurr and Mref mean pixel average values of candidate blocks of the current block and the reference frame, respectively.
움직임 보상부(240)는 기존과는 상이한 움직임 보상 산식을 이용하여 움직임 보상을 수행할 수 있다. 움직임 보상부(240)는 잔여 신호를 부호화하기 위해 상기 수학식 2에 의하여 산출한 SAD 계산식으로 획득한 참조 블록을 이용한다. 하기 수학식 3과 같이, 현재 블록과 참조 블록의 각 화소값에 각각의 화소 평균값을 차분하여 움직을 보상을 수행할 수 있다.The
= f(i,j)-r(i+, j+)-+ = f (i, j) -r (i + , j + )- +
여기서, NewR은 화소 평균값을 차분해준 잔여 신호 (residual signal)를 의미한다. 위와 같이, 각 블록의 평균값으로 차분함으로써 잔여 신호의 평균을 0에 가깝도록 조정하여 조명 변화로 인해 떨어진 압축 효율을 높일 수 있다.Here, NewR refers to a residual signal obtained by subdividing the pixel average value. As described above, by dividing the average value of each block by adjusting the average of the residual signal to close to 0, it is possible to increase the compression efficiency dropped due to the illumination change.
상기 잔여신호(NewR)은 이산여현변환 (DCT)과 양자화 (Quantization)를 거쳐 부호화된 잔여신호(NewR')가 되고, 최종적으로 Entropy Coding과정을 통해 부호화 과정을 마치게 된다.The residual signal NewR becomes a residual signal NewR 'encoded through a discrete cosine transform (DCT) and quantization, and finally, an encoding process is completed through an entropy coding process.
도 2b는 본 발명의 바람직한 실시예에 따른 부호화 장치의 블록 다이어그램을 도시한 도면이다.2B is a block diagram of an encoding apparatus according to a preferred embodiment of the present invention.
역으로 복호화 과정에서는 상기 부호화된 잔여신호(NewR')는 역양자화(inverse quantization)와 역이산여현변환(inverse DCT)를 통해 복원된 잔여신호(NewR'')가 되고 이를 통해 복원(reconstruction)을 수행하게 된다. 하지만, 복호기에서 복원을 수행하기 위해선 반드시 현재 복호화 중인 블록의 화소 평균값이 필요하다. 그렇기 때문에 현재 블록의 화소 평균값(Mcurr)에 대한 추가적인 정보가 Syntax에 추가되어야 하며, 바람직한 실시예에 의할 때, 상기 값을 8bits 고정 길이 코드(8bits fixed length code)로 표시할 수 있다.On the contrary, in the decoding process, the encoded residual signal NewR 'becomes a residual signal NewR' 'restored through inverse quantization and inverse DCT, and then reconstruction through it. Will perform. However, in order to perform the restoration in the decoder, the pixel average value of the block currently being decoded is required. Therefore, additional information on the average pixel value Mcurr of the current block should be added to the syntax, and according to the preferred embodiment, the value may be expressed as an 8 bits fixed length code.
복호화 장치의 움직임 보상부(250)는 참조 프레임의 휘도 평균값 산출부(260)에서 산출한 휘도 평균값과 부호화 장치에서 수신한 움직임 벡터. 현재 블록 의 휘도 평균값을 이용하여, 상기 복원된 잔여신호(NewR'')에 대한 복호화를 수행할 수 있다.The
결과적으로 역양자화와 역이산여현변환 이후의 복원 과정은 하기의 수학식 4와 같이 나타낼 수 있다.As a result, the restoration process after inverse quantization and inverse discrete cosine transform may be expressed as Equation 4 below.
여기서, f'(i, j)는 복호화된 현재 프레임의 i,j 좌표에서 화소값, r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, (x,y)는 움직임벡터를 지칭한다. 즉, 복원된 잔여신호(NewR'')에 움직임 벡터를 고려한 참조프레임의 화소값을 더한 후, 현재 블록의 화소 평균값을 더하고, 참조 프레임의 후보 블록의 화소 평균값을 빼면, 현재 프레임의 i,j 좌표에서 화소값을 산출하여 복호할 수 있다.Where f '(i, j) is the pixel value at the i, j coordinate of the decoded current frame, r (i, j) is the pixel value at the i, j coordinate of the reference frame, and (x, y) is the motion vector. Refer. That is, after adding the pixel value of the reference frame considering the motion vector to the reconstructed residual signal NewR '', adding the pixel average value of the current block and subtracting the pixel average value of the candidate block of the reference frame, i, j of the current frame The pixel value can be calculated and decoded from the coordinates.
여기서, 본 발명에 따른 조명 변화에 적응적인 움직임 예측 방법은 H.264을 포함하는 종래 모든 부호화 및 복호화 방식 뿐만 아니라, 향후 개발될 모든 부호화 및 복호화 방식에 적용할 수 있다. 실시예에 의할 때, 소정의 부호화 방식에 본 발명이 적용되는 경우, 부호화 모드는 기존 부호화 모드의 두 배가 된다. 이는, 기존 방식에 따른 각 부호화 모드에 대응하여 화소 평균값을 이용한 부호화 모드가 각각 생성되기 때문이다. 따라서, 본 발명을 적용하는 경우, 상기 부호화 모드를 식별하기 위한 식별자를 플래그 필드 등에 표시하는 단계가 더 추가될 수 있다. Here, the motion prediction method adaptive to the lighting change according to the present invention can be applied to all encoding and decoding schemes which will be developed in the future, as well as all conventional encoding and decoding schemes including H.264. According to the embodiment, when the present invention is applied to a predetermined coding scheme, the coding mode is twice the existing coding mode. This is because encoding modes using pixel average values are generated in correspondence with each encoding mode according to the conventional scheme. Therefore, in the case of applying the present invention, the step of displaying the identifier for identifying the encoding mode may be further added.
실험 결과Experiment result
본 발명에 따른 움직임 예측 부호화 방법의 실험 결과를 도면에 도시된 그래프를 참조하여 설명하기로 한다.Experimental results of the motion prediction encoding method according to the present invention will be described with reference to the graph shown in the drawings.
본 논문의 실험은 H.264의 참조부호화기인 JM(joint model)8.2을 이용하여 실행하였으며 16x16 블록 모드만 사용한 경우와 가변 크기 블록(variable block size)의 모든 블록 모드(16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4)를 사용한 경우의 움직임 예측 및 보상을 수행하였다. 실험에 사용된 영상은 QVGA(Objects1, Flamenco1)영상, CIF(Paris, Mobile and Calendar), QCIF(Foreman, Container)영상이다. 여기서, CIF, QCIF영상은 H.264의 실험 권고 영상이고, QVGA영상은 현재 ISO/IEC MPEG에서 EE(exploration experiment)단계에 있는 3DAV(3 Dimensions audio video)를 연구하고 있는 KDDI corp.에서 만든 실험 영상으로 Objects1영상은 조명이 깜박거림을 반복하고 있으며, Flamenco1영상은 조명이 밝아졌다 어두워지는 것을 반복하는 영상이다. 그리고 모든 실험 영상은 300프레임을 갖는 영상으로 첫 프레임만 화면내 부호화를 하고 나머지 프레임은 예측 부호화를 하였다(IPPPP…). 그리고 모든 실험에는 미리 설정된 율 왜곡 최적화 기술을 사용하였다. 제안된 방법은 JM8.2에 구현되어 있는 전체 영역 탐색 기법으로 움직임 예측한 결과의 PSNR(peak signal to noise ratio)과 비교하였다.The experiments in this paper were carried out using JM (joint model) 8.2, which is a reference coder of H.264, and all block modes (16x16, 16x8, 8x16, 8x8) with only 16x16 block mode and variable block size. , 8x4, 4x8, 4x4) were used for motion prediction and compensation. The images used in the experiment are QVGA (Objects1, Flamenco1) images, CIF (Paris, Mobile and Calendar), and QCIF (Foreman, Container) images. Here, CIF and QCIF images are H.264 experimental recommendation images, and QVGA images are experiments made by KDDI corp. Who are currently studying 3DAV (3 Dimensions audio video) in the EE (exploration experiment) stage in ISO / IEC MPEG. The Objects1 video repeats the light flickering, and the Flamenco1 video repeats the light brightening and darkening. All experimental images were 300 frames, and only the first frame was intra coded and the remaining frames were predictive encoded (IPPPP…). In all experiments, a preset rate distortion optimization technique was used. The proposed method is compared with the PSNR (peak signal to noise ratio) of the motion estimation results by the full range search technique implemented in JM8.2.
도 3a 및 3b를 참조하면, 본 발명에 따른 움직임 예측 방법과 종래 기술에 따른 방법으로 움직임 예측을 수행한 결과에 율 왜곡 곡선이 도시되어 있다. 여기서, 가로축은 비트율을 나타내고 세로축은 PSNR을 나타낸다. 도 3a를 참조하면, 16x16 블록 모드만 사용한 경우 비트율이 450kbps일 때 PSNR을 비교하면, 기존의 방법으로 움직임 예측을 한 것에 비해 본 발명에 따른 움직임 예측을 한 경우 0.3dB이상의 화질 향상을 보였다. 마찬가지로, 도 3b 내지 도 5b 역시 비슷한 경향을 나타내고 있다. 3A and 3B, a rate distortion curve is illustrated in a result of performing motion prediction by the motion prediction method according to the present invention and the method according to the related art. Here, the horizontal axis represents the bit rate and the vertical axis represents the PSNR. Referring to FIG. 3A, when the PSNR is compared when the bit rate is 450kbps when only the 16x16 block mode is used, the picture quality improvement is 0.3dB or more when the motion prediction according to the present invention is compared with the conventional method. Similarly, FIGS. 3B-5B also show similar trends.
여기서, 가변 크기 블록 모드를 사용한 경우에는 16x16모드만 사용한 경우에 비해 약간 작은 성능 향상을 보이는데, 이는 가변 크기 블록을 이용함으로 인해 잔여 신호가 이미 축소되었기 때문이라 예상된다.Here, the use of the variable size block mode shows a slightly smaller performance improvement compared to the case of using only the 16x16 mode, since the residual signal is already reduced by using the variable size block.
상술한 바와 같이, 본 발명은 블록들의 평균값으로 패턴 블록을 만들어서 이 패턴 블록을 이용하여 움직임 예측을 하고 패턴 블록간의 차분신호를 부호화하는 기법으로, 조명변화에 적응적으로 움직임 예측하는 기법을 제안하여 부호화 효율의 향상을 보였다. 또한, 실험에 사용한 Objects1이나 Flamenco1과 같은 조명의 변화가 있는 영상에서는 효율적인 비트의 감소를 가져오게 되고, 그 외의 경우에도 비트 감소를 제공하였다.As described above, the present invention proposes a technique of adaptively predicting a motion change to an illumination change as a technique of making a pattern block using an average value of the blocks, performing motion prediction using the pattern block, and encoding a differential signal between the pattern blocks. The coding efficiency has been improved. In addition, in the case of images with changing lighting such as Objects1 and Flamenco1 used in the experiment, an efficient bit reduction was obtained, and elsewhere, bit reduction was provided.
상술한 바와 같이 본 발명은 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 효과가 있다.As described above, the present invention has an effect of efficiently encoding and decoding an image through motion estimation and motion compensation adaptive to lighting changes.
또한, 본 발명은 조명 변화에 대하여 화면내 부호화를 수행하지 아니하고, 효율적으로 압축을 수행할 수 있는 효과도 있다. In addition, the present invention has the effect that it is possible to efficiently perform compression without performing intra-picture encoding on the lighting change.
또한, 본 발명은 실제 환경에서 주변 조명변화에 강인한 코덱을 제공할 수 있는 효과도 있다.In addition, the present invention has the effect of providing a codec that is robust to changes in ambient lighting in a real environment.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
Claims (10)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040099398A KR100682761B1 (en) | 2004-11-30 | 2004-11-30 | Adaptive motion predictive device for illumination change and method for producing the same |
US11/289,650 US7924923B2 (en) | 2004-11-30 | 2005-11-30 | Motion estimation and compensation method and device adaptive to change in illumination |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040099398A KR100682761B1 (en) | 2004-11-30 | 2004-11-30 | Adaptive motion predictive device for illumination change and method for producing the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060060350A true KR20060060350A (en) | 2006-06-05 |
KR100682761B1 KR100682761B1 (en) | 2007-02-16 |
Family
ID=37157208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040099398A KR100682761B1 (en) | 2004-11-30 | 2004-11-30 | Adaptive motion predictive device for illumination change and method for producing the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100682761B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100746011B1 (en) * | 2005-08-24 | 2007-08-06 | 삼성전자주식회사 | Method for enhancing performance of residual prediction, video encoder, and video decoder using it |
KR100807094B1 (en) * | 2005-01-14 | 2008-02-26 | 주식회사 휴맥스 | Adaptive motion estimation/compensation device for illumination change and method thereof |
KR100856411B1 (en) * | 2006-12-01 | 2008-09-04 | 삼성전자주식회사 | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation |
WO2011028046A2 (en) * | 2009-09-03 | 2011-03-10 | 에스케이텔레콤 주식회사 | Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images |
US8295634B2 (en) | 2007-06-11 | 2012-10-23 | Samsung Electronics Co., Ltd. | Method and apparatus for illumination compensation and method and apparatus for encoding and decoding image based on illumination compensation |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101004623B1 (en) | 2009-09-01 | 2011-01-03 | 고려대학교 산학협력단 | Apparatus and method for improving image quality using flash device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0178221B1 (en) * | 1995-07-31 | 1999-05-01 | 배순훈 | Improved pattern vector encoding system using average value of pixels |
KR20030023815A (en) * | 2001-09-14 | 2003-03-20 | (주)로고스텍 | Device and method for motion estimation using weighted value |
-
2004
- 2004-11-30 KR KR1020040099398A patent/KR100682761B1/en not_active IP Right Cessation
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100807094B1 (en) * | 2005-01-14 | 2008-02-26 | 주식회사 휴맥스 | Adaptive motion estimation/compensation device for illumination change and method thereof |
KR100746011B1 (en) * | 2005-08-24 | 2007-08-06 | 삼성전자주식회사 | Method for enhancing performance of residual prediction, video encoder, and video decoder using it |
KR100856411B1 (en) * | 2006-12-01 | 2008-09-04 | 삼성전자주식회사 | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation |
US8774282B2 (en) | 2006-12-01 | 2014-07-08 | Samsung Electronics Co., Ltd. | Illumination compensation method and apparatus and video encoding and decoding method and apparatus using the illumination compensation method |
US8295634B2 (en) | 2007-06-11 | 2012-10-23 | Samsung Electronics Co., Ltd. | Method and apparatus for illumination compensation and method and apparatus for encoding and decoding image based on illumination compensation |
KR101244917B1 (en) * | 2007-06-11 | 2013-03-18 | 삼성전자주식회사 | Method and apparatus for compensating illumination compensation and method and apparatus for encoding and decoding video based on illumination compensation |
WO2011028046A2 (en) * | 2009-09-03 | 2011-03-10 | 에스케이텔레콤 주식회사 | Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images |
WO2011028046A3 (en) * | 2009-09-03 | 2011-06-16 | 에스케이텔레콤 주식회사 | Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images |
KR101432777B1 (en) * | 2009-09-03 | 2014-08-22 | 에스케이텔레콤 주식회사 | Video coding Method and Apparatus using second prediction based on reference image, and Recording Medium therefor |
Also Published As
Publication number | Publication date |
---|---|
KR100682761B1 (en) | 2007-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101200535B1 (en) | Adaptive motion estimation/compensation device for MB-based illumination change and method thereof | |
KR101370287B1 (en) | Method and apparatus for deblocking filtering | |
KR101431545B1 (en) | Method and apparatus for Video encoding and decoding | |
US7924923B2 (en) | Motion estimation and compensation method and device adaptive to change in illumination | |
KR101365575B1 (en) | Method and apparatus for encoding and decoding based on inter prediction | |
KR101342587B1 (en) | Method and Apparatus for encoding and decoding the compensated illumination change | |
TWI395489B (en) | A video coding apparatus, and an image decoding apparatus | |
KR101291196B1 (en) | Video encoding method and apparatus, and video decoding method and apparatus | |
KR100750136B1 (en) | Method and apparatus for encoding and decoding of video | |
KR20190042538A (en) | Apparatus and method for coding/decoding image selectivly using descrete cosine/sine transtorm | |
JP5194119B2 (en) | Image processing method and corresponding electronic device | |
KR20080050114A (en) | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation | |
KR20080064355A (en) | Method and apparatus for prediction video encoding, and method and apparatus for prediction video decoding | |
JP2007518300A (en) | Encoding method, decoding method, and encoding apparatus for digital picture sequence | |
KR20090095317A (en) | Method and apparatus for encoding and decoding image | |
JP2013005437A (en) | Method and system for encoding digital video data | |
KR100856392B1 (en) | Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame | |
KR20090090152A (en) | Method and apparatus for video encoding and decoding | |
MXPA06000323A (en) | Video encoder with low complexity noise reduction. | |
KR100682761B1 (en) | Adaptive motion predictive device for illumination change and method for producing the same | |
KR101187580B1 (en) | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation | |
KR101529903B1 (en) | Block-based depth map coding method and apparatus and 3D video coding method using the method | |
KR100807094B1 (en) | Adaptive motion estimation/compensation device for illumination change and method thereof | |
Choi et al. | Line-by-line intra 16× 16 prediction for high-quality video coding | |
KR101365443B1 (en) | Method and apparatus for deblocking filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130208 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140204 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150205 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |