KR101356734B1 - 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치 - Google Patents

움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치 Download PDF

Info

Publication number
KR101356734B1
KR101356734B1 KR1020070000706A KR20070000706A KR101356734B1 KR 101356734 B1 KR101356734 B1 KR 101356734B1 KR 1020070000706 A KR1020070000706 A KR 1020070000706A KR 20070000706 A KR20070000706 A KR 20070000706A KR 101356734 B1 KR101356734 B1 KR 101356734B1
Authority
KR
South Korea
Prior art keywords
reference picture
block
current block
prediction
motion
Prior art date
Application number
KR1020070000706A
Other languages
English (en)
Other versions
KR20080064007A (ko
Inventor
이교혁
김소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070000706A priority Critical patent/KR101356734B1/ko
Priority to PCT/KR2007/005531 priority patent/WO2008054179A1/en
Priority to CN2007800491266A priority patent/CN101573982B/zh
Priority to JP2009535217A priority patent/JP5271271B2/ja
Priority to EP07833839A priority patent/EP2087740A4/en
Priority to US11/934,952 priority patent/US20080117977A1/en
Publication of KR20080064007A publication Critical patent/KR20080064007A/ko
Application granted granted Critical
Publication of KR101356734B1 publication Critical patent/KR101356734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 벡터 트랙킹을 이용한 영상 부호화 방법 및 장치가 개시된다. 본 발명은 현재 픽처의 움직임 정보를 이용하여 참조 픽처의 대응 영역을 결정하고, 결정된 참조 픽처의 대응 영역의 움직임 정보를 이용하여 다른 참조 픽처의 대응 영역을 결정하는 움직임 벡터 트랙킹 과정을 통해 현재 픽처의 예측에 이용할 복수 개의 참조 픽처들을 결정하고, 결정된 복수 개의 참조 픽처들의 가중합을 통해서 현재 픽처의 예측값을 생성하는 것을 특징으로 한다.

Description

움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법 및 장치{Method and apparatus for video encoding, and method and apparatus for video decoding using motion vector tracking}
도 1은 H.264/AVC(Advanced Video Coding)에 따라서 B 픽처로서 부호화되는 현재 픽처에 구비된 블록들의 예측 과정을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 일 예를 설명한 도면이다.
도 3은 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 다른 예를 설명한 도면이다.
도 4는 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 또 다른 예를 설명한 도면이다.
도 5는 본 발명에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 6은 도 5의 움직임 보상부(504)의 구체적인 구성을 나타낸 블록도이다.
도 7은 H.264/MPEG-4 AVC의 가변 블록 크기 움직임 예측에서 이용되는 다양한 크기의 블록들을 나타낸 도면이다.
도 8은 가변 블록 움직임 예측된 영상의 일 예를 도시한 것이다.
도 9는 본 발명에 따른 영상 부호화 방법에 따라서 움직임 블록 경계를 기준 으로 분할된 참조 픽처의 대응 영역이 참조하는 다른 참조 픽처의 대응 영역을 결정하기 위한 과정을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 영상 부호화 방법에 따라서 움직임 블록 경계를 기준으로 분할된 참조 픽처의 대응 영역이 참조하는 다른 참조 픽처의 대응 영역을 결정하기 위한 과정의 다른 예를 설명하기 위한 도면이다.
도 11은 본 발명에 따른 영상 부호화 방법에 있어서 참조 픽처의 대응 영역에 부여되는 가중치를 계산하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 13은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 14는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 영상의 예측 부호화 및 복호화에 관한 것으로, 보다 구체적으로는 현재 픽처의 움직임 벡터 경로를 연속적으로 트랙킹함으로써 복수 개의 참조 픽처를 결정하고, 결정된 복수 개의 참조 픽처를 이용하여 현재 픽처를 예측 부호화하는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치에 관한 것이다.
동영상 부호화시에는 영상 시퀀스 내의 공간적 중복성 및 시간적 중복성(redundancy)를 제거함으로써 압축이 행해진다. 시간적 중복성을 제거하기 위해서는 현재 부호화되는 픽처의 전방 또는 후방에 위치한 다른 픽처를 참조 픽처로 이용하여 현재 부호화되는 픽처의 영역과 유사한 참조 픽처의 영역을 검색하고, 현재 부호화되는 픽처와 참조 픽처의 대응되는 영역 사이의 움직임 양을 검출하며, 이 움직임 양에 기초하여 움직임 보상 처리를 수행하여 얻어지는 예측 영상과 현재 부호화되는 영상 사이의 차분(residue)을 부호화하게 된다.
비디오 픽처는 하나 또는 그 이상의 슬라이스 단위로 코딩된다. 여기서, 하나의 슬라이스는 한 개의 매크로블록만을 포함하는 경우도 있고, 하나의 픽처 전체가 하나의 슬라이스로 부호화되는 경우도 있다. H.264 표준안에 따르면, 비디오 픽처는 화면 내 예측만으로 부호화되는 I(Intra) 슬라이스, 하나의 참조 픽처의 영상 샘플을 이용한 예측에 의하여 부호화되는 P(Predictive) 슬라이스 및 두 개의 참조 픽처의 영상 샘플을 이용한 예측에 의하여 부호화되는 B(Bi-predictive) 슬라이스 단위로 코딩된다.
종래 MPEG-2 등에서는 현재 픽처의 바로 이전의 픽처 한 장 및 바로 이후에 나오는 픽처 한 장을 참조 픽처로 이용하는 양방향 예측(bi-directional prediction)을 수행하였다. H.264/AVC에서는 이러한 양방향 예측의 개념을 확장하여, 현재 픽처의 바로 이전 및 이후의 픽처에 한정하지 않고 전후에 관계없이 임의의 두 장의 픽처를 참조 픽처로 이용할 수 있다. 이와 같이 전후에 관계없이 임의의 두 장의 픽처를 참조 픽처로 이용하여 예측되는 픽처를 쌍예측 픽처(Bi-predictive picture, 이하 "B 픽처"라고 한다)라고 정의한다.
도 1은 H.264/AVC(Advanced Video Coding)에 따라서 B 픽처로서 부호화되는 현재 픽처에 구비된 블록들의 예측 과정을 설명하기 위한 도면이다.
H.264/AVC에 따르면, B 픽처 내의 블록들은 MB1과 같이 같은 방향의 참조 픽처 2장을 이용하거나, MB2와 같이 다른 방향의 참조 픽처 2장을 이용하거나, MB3와 같이 동일 참조 픽처 내의 2개의 서로 다른 영역에서 샘플링된 영역을 이용하거나, MB4나 MB5와 같이 임의의 참조 픽처 1장만을 이용하여 예측된다.
일반적으로, B 픽처로 코딩되는 영상 데이터의 부호화 효율은 I 픽처나 P 픽처로 코딩되는 영상 데이터의 부호화 효율에 비하여 더 높다. 이는 B 픽처는 두 개의 참조 픽처를 이용하기 때문에 한 개의 참조 픽처를 이용하는 P 픽처나 화면 내 예측을 이용하는 I 픽처에 비하여 현재 영상 데이터와 유사한 예측 데이터를 생성할 수 있는 가능성이 클 뿐만 아니라, B 픽처의 경우 두 개의 참조 픽처의 평균값을 예측 데이터로 이용하기 때문에 시간적으로 전후에 위치하는 픽처 사이에 오차가 발생한다고 하더라도 시간 방향으로 평탄해진 평균값을 예측값으로 이용하게 되어서 일종의 저주파 필터링을 수행한 것처럼 시각적으로 부호화 왜곡이 거의 발생하지 않는 경우도 있기 때문이다.
P 픽처에 비하여 두 개의 참조 픽처를 이용하는 B 픽처의 경우가 더 큰 부호화 효율을 갖는 것처럼, 보다 많은 수의 참조 픽처를 이용한다면 부호화 효율을 향상시킬 수 있음에도 불구하고 각 참조 픽처마다 움직임 예측 및 보상을 수행하는 경우 연산량이 증가하는 한계로 인해 종래의 영상 압축 표준안들에서는 최대 2개까지의 참조 픽처만을 이용하고 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 현재 블록의 참조 픽처의 움직임 벡터 경로를 트랙킹함으로써 보다 많은 참조 픽처를 현재 블록의 예측에 이용하여 부호화 효율을 향상시키는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치를 제공하는데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 부호화 방법은 현재 블록이 참조하는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정하는 단계; 상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 단계; 및 상기 현재 블록과 예측 블록 사이의 차분을 부호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 장치는 현재 블록이 참조하는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정하는 참조 픽처 결정부; 상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 가중 예측부; 및 상기 현재 블록과 예측 블록 사이의 차분을 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 방법은 입력된 비트스트림에 구비된 예측 모드 정보를 판독하여, 복호화되는 현재 블록의 예측 모드를 판별하는 단계; 상기 판별 결과 복수 개의 참조 픽처들의 대응 영역을 이용하여 예측된 상기 현재 블록에 대해서, 상기 비트스트림에 구비된 상기 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 상기 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역을 결정하는 단계; 상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 단계; 및 상기 생성된 예측 블록과, 상기 비트스트림에 구비된 상기 현재 블록과 예측 블록의 차분값을 더하여 상기 현재 블록을 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 장치는 입력된 비트스트림에 구비된 예측 모드 정보를 판독하여, 복호화되는 현재 블록의 예측 모드를 판별하는 예측 모드 판별부; 상기 판별 결과 복수 개의 참조 픽처들의 대응 영역을 이용하여 예측된 상기 현재 블록에 대해서, 상기 비트스트림에 구비된 상기 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 상기 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역을 결정하는 참조 픽처 결정부; 상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 가중 예측부; 및 상기 생성된 예측 블록과, 상기 비트스트림에 구비된 상기 현재 블록과 예측 블록의 차분값을 더하여 상기 현재 블록을 복호화하는 복호화부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
본 발명에 따른 영상 부호화 방법은 현재 픽처의 움직임 벡터가 가리키는 참 조 픽처의 움직임 벡터를 이용하여 다른 참조 픽처의 대응 영역을 계속적으로 트랙킹함으로써 현재 픽처의 예측에 이용될 복수 개의 참조 픽처들을 결정하고, 결정된 참조 픽처들의 가중합을 통해 현재 픽처의 예측값을 생성하는 것을 특징으로 한다. 먼저 도 2 내지 도 4를 참조하여, 본 발명에 따른 영상 부호화 방법 및 장치에 적용되는 복수 개의 참조 픽처 결정 과정에 대하여 설명한다.
도 2는 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 일 예를 설명한 도면이다.
현재 픽처의 부호화 대상이 되는 블록(이하, "현재 블록"이라 함)(21)에 대해서 일반적인 움직임 예측이 수행되어, 현재 블록(21)과 가장 유사한 참조 픽처 1의 대응 영역(22) 및 현재 블록(21)과 참조 픽처 1의 대응 영역(22)의 위치의 차이를 나타내는 움직임 벡터(MV1)가 결정된 상태라고 가정한다. 또한, 현재 블록(21)은 P 픽처 내에 구비된 하나의 참조 픽처만을 참조하는 움직임 블록으로 가정한다. 그러나, 본 발명은 도 2에 도시된 바와 같이 한 개의 움직임 벡터를 갖는 움직임 블록 뿐만 아니라, 2개의 움직임 벡터를 갖는 B 픽처 내의 움직임 블록에 대해서 움직임 벡터 각각을 트랙킹함으로써 적용될 수 있다.
도 2를 참조하면, 현재 블록(21)에 대한 움직임 예측 결과 생성되는 움직임 벡터(MV1)은 참조 픽처 1에서 현재 블록(21)과 가장 오차가 적은 영역을 가리키게 된다. 종래 기술에 따르면, 참조 픽처 1의 대응 영역(22)의 값을 현재 블록(21)의 예측값으로 결정하고, 결정된 예측값과 현재 블록(21)의 원 화소값의 차이인 레지듀(residue)를 부호화하게 된다.
본 발명에 따른 영상 부호화 방법은 종래 기술과 같이 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 뿐만 아니라, 참조 픽처의 대응 영역이 갖는 움직임 정보를 이용하여 참조 픽처의 대응 영역의 예측에 이용된 다른 참조 픽처의 대응 영역을 현재 블록의 예측에 이용한다. 도 2를 참조하면, 현재 블록(21)에 대응되는 참조 픽처 1의 대응 영역(22)이 갖는 움직임 벡터(MV2)를 이용하여, 참조 픽처 1의 대응 영역(22)의 예측에 이용된 참조 픽처 2의 대응 영역(23)을 결정한다. 또한, 참조 픽처 2의 대응 영역(23)의 움직임 벡터(MV3)를 이용하여 참조 픽처 2의 대응 영역(23)의 예측에 이용된 참조 픽처 3의 대응 영역(24)을 결정한다. 후술되는 바와 같이, 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 참조 픽처의 대응 영역이 갖는 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 계속 트랙킹하는 과정은 인트라 예측되는 블록만으로 구성되는 참조 픽처까지 수행되거나 또는 인트라 예측 블록에 포함되는 대응 영역의 크기가 소정 임계값 이상인 참조 픽처까지 수행된다.
이와 같이, 본 발명은 종래 기술과 같이 현재 블록(21)이 갖는 움직임 벡터(MV1)가 가리키는 참조 픽처 1의 대응 영역(22) 뿐만이 아니라, 참조 픽처 1의 대응 영역(22)의 움직임 벡터(MV2)가 가리키는 참조 픽처 2의 대응 영역(23), 참조 픽처 2의 대응 영역(23)의 움직임 벡터(MV3)가 가리키는 참조 픽처 3의 대응 영역(24) 등과 같이 현재 블록(21)의 움직임 벡터가 가리키는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 결정된 복수 개의 참조 픽처의 대응 영역에 소정의 가중치를 곱한 후 가산함으로써 현재 블록(21)의 예측 블록을 생성한다.
도 3은 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 다른 예를 설명한 도면이다. 도 3에서 I0는 I 픽처, P1 및 P5는 P 픽처, B2, B3 및 B4는 B 픽처라고 가정한다. 이하에서는 본 발명에 따라서 B2 픽처에 구비된 현재 블록(31)의 예측에 이용될 복수 개의 참조 픽처 대응 영역들을 결정하는 과정에 대하여 설명한다.
도 3를 참조하면, B2 픽처에 구비된 현재 블록(31)은 일반적인 움직임 예측결과 2개의 움직임 벡터(MV1, MV2)를 갖는다고 가정한다. B2 픽처에 구비된 현재 블록(31)과 같이 현재 부호화되는 대상 블록이 2개의 움직임 벡터를 갖는 경우에는 각각의 움직임 벡터에 대해서 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹하는 과정을 수행함으로서 복수 개의 참조 픽처들의 대응 영역을 결정한다. 즉, 현재 블록(31)의 제 1 움직임 벡터(MV1)이 가리키는 P1 픽처의 대응 영역(33)이 갖는 움직임 정보를 이용하여 P1 픽처의 대응 영역(33)의 예측에 이용된 다른 참조 픽처 I0의 대응 영역(34)을 결정한다. I0 픽처의 경우 인트라 예측되는 블록들로만 구성되는 I 픽처로서, 대응 영역(34)은 움직임 정보를 갖지 않으므로 트랙킹 과정은 중단된다.
유사하게 현재 블록(31)의 제 2 움직임 벡터(MV2)가 가리키는 B3 픽처의 대응 영역(32)의 경우, B3 픽처가 B 픽처이므로 대응 영역(32) 역시 2개의 움직임 벡터를 갖는다. 이 경우에 다시 B3 픽처의 대응 영역(32)이 갖는 2개의 움직임 벡터 중 좌측의 움직임 벡터를 트랙킹하여 B3 픽처의 대응 영역(32)의 예측에 이용된 P1 픽처의 대응 영역(41), P1 픽처의 대응 영역(41)의 예측에 이용된 I0 픽처의 대응 영역(42)을 결정한다. 또한, B3 픽처의 대응 영역(32)이 갖는 2개의 움직임 벡터 중 우측의 움직임 벡터를 트랙킹하여 B3 픽처의 대응 영역(32)의 예측에 이용된 P5 픽처의 대응 영역(38)을 결정한다. 전술한 바와 같이, B3 픽처의 대응 영역(32)이 갖는 2개의 움직임 벡터 중 우측 움직임 벡터를 이용한 트랙킹 과정은 I0 픽처와 같이 움직임 정보를 갖지 않는 인트라 예측 픽처까지 수행되거나, 대응 영역 중 인트라 예측되는 블록에 포함되는 영역의 넓이가 소정 크기 이상인 참조 픽처까지 계속 수행된다.
이와 같이, 현재 블록(31)의 움직임 벡터를 트랙킹함으로써 결정된 복수 개의 참조 픽처들의 대응 영역들(32,33,34,38)에 각각 소정의 가중치를 곱한 후 가산하여 현재 블록(31)의 예측 블록을 생성하게 된다.
도 4는 본 발명에 따른 영상 부호화 방법에 따라서, 현재 픽처의 예측에 이용할 복수 개의 참조 픽처를 결정하는 과정의 또 다른 예를 설명한 도면이다. 도 4에서는 영상 부호화시의 딜레이를 줄이기 위하여 현재 픽처 이전에 부호화된 픽처만을 이용한다는 점을 제외하고, 전술한 도 3에서 설명한 움직임 벡터 트랙킹 과정과 유사하다. H.264/AVC에서는 현재 픽처의 바로 이전 또는 이후의 픽처에 한정되지 않고 임의의 방향의 2개의 참조 픽처를 이용할 수 있으므로, 도 4에 도시된 바와 같이 전방향(forward) 픽처만을 이용하여 예측 부호화를 수행하는 경우도 있다.
도 4를 참조하면, 현재 블록(43)이 갖는 2개의 움직임 벡터(MV1, MV2)를 각각 트랙킹함으로써, 현재 블록(43)의 예측에 이용될 복수 개의 참조 픽처의 대응 영역들(44,45,46,47,48,49,50,51)을 결정할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 영상 부호화 방법 및 장치는 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 뿐만 아니라, 참조 픽처의 대응 영역이 갖는 움직임 정보를 이용하여 참조 픽처의 대응 영역의 예측에 이용된 다른 참조 픽처의 대응 영역을 현재 블록의 예측에 이용한다. 또한, 현재 블록 또는 참조 픽처의 대응 영역이 2개의 움직임 벡터를 갖는 경우에는 각 움직임 벡터를 트랙킹함으로써 참조 픽처의 대응 영역을 결정한다.
도 5는 본 발명에 따른 영상 부호화 장치를 나타낸 블록도이다. 이하에서는 설명의 편의를 위하여 H.264/AVC에 따른 영상 부호화 장치를 중심으로 설명하지만, 본 발명에 따른 영상 부호화 장치는 움직임 예측 및 보상을 이용하는 다른 방식의 영상 코딩 방식에도 적용될 수 있을 것이다.
도 5를 참조하면, 영상 부호화 장치(500)는 움직임 예측부(502), 움직임 보상부(504), 인트라 예측부(506), 변환부(508), 양자화부(510), 재정렬부(512), 엔트로피 코딩부(514), 역양자화부(516), 역변환부(518), 필터(520), 프레임 메모리(522) 및 제어부(525)를 구비한다.
움직임 예측부(502)는 현재 픽처를 소정 크기의 블록 단위로 분할하고, 이전에 부호화된 후 복원되어 프레임 메모리(522)에 저장된 참조 픽처의 소정 탐색 영역 범위 내에서 현재 블록과 가장 유사한 영역을 탐색하는 움직임 예측을 수행하고, 현재 블록과 참조 픽처의 대응 영역 사이의 위치 차이인 움직임 벡터를 출력한다.
움직임 보상부(504)는 움직임 벡터가 가리키는 참조 픽처의 대응 영역 정보 를 이용하여 현재 블록의 예측값을 생성한다. 특히, 본 발명에 따른 움직임 보상부(504)는 전술한 바와 같이 현재 블록이 갖는 움직임 벡터를 계속적으로 트랙킹함으로써 복수 개의 참조 픽처의 대응 영역을 결정하고, 결정된 참조 픽처의 대응 영역의 가중합을 통해 현재 블록의 예측값을 생성한다. 본 발명에 따른 움직임 보상부(504)의 구체적인 구성 및 동작에 대하여는 후술한다.
인트라 예측부(506)는 현재 블록의 예측값을 현재 픽처 내에서 찾는 인트라 예측을 수행한다.
인터 예측, 인트라 예측 또는 본 발명에 따른 복수 개의 참조 픽처의 대응 영역을 이용한 예측 방식에 따라서 현재 블록의 예측 블록이 생성되면, 현재 블록과 예측 블록 사이의 오차값인 레지듀(residue)이 생성되고, 생성된 레지듀는 변환부(508)에 의하여 주파수 영역으로 변환되고, 양자화부(510)에서 양자화된다. 엔트로피 코딩부(514)는 양자화된 레지듀를 부호화하여 비트스트림을 출력한다.
참조 픽처를 얻기 위하여 양자화된 픽처는 역양자화부(516)와 역변환부(518)에 의하여 다시 복원된다. 이렇게 복원된 현재 픽처는 디블록킹 필터링을 수행하는 필터(520)를 거친 후, 프레임 메모리(522)에 저장되었다가 다음 픽처의 예측시에 이용된다.
제어부(525)는 영상 부호화 장치(500)의 각 구성 요소를 제어하는 한편, 현재 블록의 예측 모드를 결정한다. 구체적으로, 제어부(525)는 일반적인 인터 예측 또는 인트라 예측된 블록과 현재 블록 사이의 코스트 및 본 발명에 따라서 복수 개의 참조 픽처의 대응 영역을 이용하여 예측된 블록과 현재 블록 사이의 코스트를 비교하여 최소 코스트를 갖는 예측 모드를 결정한다. 여기서, 코스트 계산은 여러가지 방법에 의해서 수행될 수 있다. 사용되는 코스트 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 및 라그랑지 함수(Lagrange function) 등이 있다. SAD는 각 4×4 블록 예측 오차(residue) 값의 절대치를 취하여 그 값들을 합한 값이다. SATD는 각 4×4 블록의 예측 오차값에 하다마드 변환(Hadamard transform)을 적용하여 생성된 계수들의 절대치를 취하여 더한 값이다. SSD는 각 4×4 블록 예측 샘플의 예측 오차값을 제곱하여 더한 값이고, MAD는 각 4×4 블록 예측 샘플의 예측 오차값에 절대치를 취하여 평균을 구한 값이다. 라그랑지 함수는 코스트 함수에 비트스트림의 길이 정보를 포함하여 만들어진 새로운 함수이다.
도 6은 도 5의 움직임 보상부(504)의 구체적인 구성을 나타낸 블록도이다.
도 6을 참조하면, 움직임 보상부(600)는 참조 픽처 결정부(610) 및 가중 예측부(620)를 포함한다.
참조 픽처 결정부(610)는 움직임 예측부(502)에서 생성된 현재 블록의 움직임 벡터를 이용하여 참조 픽처의 대응 영역을 결정하고, 결정된 참조 픽처의 대응 영역이 갖는 움직임 벡터의 경로를 트랙킹함으로써 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정한다.
가중 예측부(620)는 결정된 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 현재 블록의 예측 블록을 생성한다. 구체적으로 가중 예측부(620) 는 복수 개의 참조 픽처들의 대응 영역의 가중치를 결정하는 가중치 계산부(621) 및 복수 개의 참조 픽처들의 대응 영역에 가중치를 곱한 후 더함으로써 현재 블록에 대한 예측 블록을 생성하는 예측 블록 생성부(622)를 포함한다.
이하에서는, 참조 픽처 결정부(610)에서 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정하는 과정에 대하여 구체적으로 설명한다.
도 7은 H.264/MPEG-4 AVC의 가변 블록 크기 움직임 예측에서 이용되는 다양한 크기의 블록들을 나타낸 도면이고, 도 8은 가변 블록 움직임 예측된 영상의 일 예를 도시한 것이다.
도 7에 도시된 바와 같이, 매크로블록은 4가지 방법으로 분할될 수 있다. 즉, 매크로 블록은 하나의 16×16 매크로블록 파티션, 두 개의 16×8 파티션, 두 개의 8×16 파티션 또는 네 개의 8×8 파티션으로 분할되어 움직임 예측될 수 있다. 또한, 8×8 모드가 선택되면 매크로블록 내의 네 개의 8×8 서브 매크로블록은 각각 4가지 방법으로 다시 분할될 수 있다. 즉, 8×8 모드가 선택된 경우, 각 8×8 블록은 하나의 8×8 서브 매크로블록 파티션, 두 개의 8×4 서브 매크로블록 파티션, 두 개의 4×8 서브 매크로블록 파티션 또는 네 개의 4×4 서브 매크로블록 파티션 중 하나로 분할된다. 각 매크로블록 내에서 이러한 파티션과 서브 매크로블록의 매우 많은 수의 조합이 가능하다. 매크로블록을 다양한 크기의 서브 블록으로 나누는 이러한 방법을 트리구조 움직임 보상(tree structured motion compensation)이라고 한다.
도 8을 참조하면, 영상에서 에너지가 낮은 블록은 큰 크기의 파티션으로 움 직임 예측되고, 에너지가 큰 블록은 작은 크기의 파티션으로 움직임 예측된다. 본 발명을 설명함에 있어서, 이러한 트리구조 움직임 보상을 이용하여 현재 픽처를 분할하는 각각의 움직임 블록 사이의 경계를 움직임 블록 경계라고 정의한다.
전술한 바와 같이, 본 발명에 따른 영상 부호화 방법에 따르면 현재 블록의 예측에 이용할 참조 픽처의 대응 영역들을 결정하기 위하여, 참조 픽처의 대응 영역이 갖는 움직임 벡터를 이용한 트랙킹을 수행한다. 그러나, 도 8에 도시된 바와 같이, 참조 픽처는 다양한 크기의 움직임 블록들로 분할되어 있으므로, 현재 블록에 대응되는 참조 픽처의 대응 영역은 정확하게 하나의 움직임 블록과 일치하지 않고 복수 개의 움직임 블록들에 걸쳐서 형성되는 경우가 있다. 이러한 경우, 참조 픽처의 대응 영역 내에는 복수 개의 움직임 벡터가 존재한다. 이와 같이, 참조 픽처의 대응 영역 내에 복수 개의 움직임 벡터가 존재하는 경우 움직임 벡터 경로를 트랙킹하는 과정에 대하여 설명한다.
도 9는 본 발명에 따른 영상 부호화 방법에 따라서 움직임 블록 경계를 기준으로 분할된 참조 픽처의 대응 영역이 참조하는 다른 참조 픽처의 대응 영역을 결정하기 위한 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 현재 블록(90)이 갖는 움직임 벡터(MV1)이 가리키는 참조 픽처 1의 대응 영역(91)은 복수 개의 움직임 블록들에 걸쳐서 존재한다. 즉, 현재 블록(90)에 대응되는 참조 픽처 1의 대응 영역(91)은 어느 하나의 움직임 블록과 매칭되는 것이 아니라 블록 A, 블록 B, 블록 C 및 블록 D에 걸쳐서 존재한다. 이와 같은 경우, 참조 픽처 결정부(610)는 참조 픽처 1의 대응 영역(91)을 참조 픽처 1의 움직임 블록 경계에 따라서 분할하고, 분할된 참조 픽처 1의 서브 대응 영역(a,b,c,d)을 구비하는 참조 픽처 1의 각 움직임 블록의 움직임 벡터가 가리키는 참조 픽처 2 및 참조 픽처 3의 대응 영역을 결정한다. 즉, 참조 픽처 결정부(610)는 분할된 a 영역이 속하는 블록 A가 갖는 움직임 벡터(MVa)를 이용하여 참조 픽처 2의 대응 영역 a'(93)를 결정하고, b 영역이 속하는 블록 B가 갖는 움직임 벡터(MVb)를 이용하여 참조 픽처 2의 대응 영역 b'(94)를 결정하며, c 영역이 속하는 블록 C가 갖는 움직임 벡터(MVc)를 이용하여 참조 픽처 3의 대응 영역 c'(96)를 결정하며, d 영역이 속하는 블록 D가 갖는 움직임 벡터(MVd)를 이용하여 참조 픽처 3의 대응 영역 d'(95)를 결정한다.
도 9에서는 현재 블록(90)과 대응되는 참조 픽처 1의 대응 영역(91)을 부분적으로 포함하는 블록 A,B,C,D가 참조 픽처 2 및 참조 픽처 3을 참조하는 경우를 예시하고 있으나, 블록 A,B,C,D가 참조하는 참조 픽처가 변경되는 경우에도 유사하게 블록 A,B,C,D가 갖는 모션 필드(motion field) 정보, 즉 블록 A,B,C,D의 움직임 벡터 및 참조 픽처 정보를 이용하여 분할된 참조 픽처 1의 대응 영역에 대응되는 다른 참조 픽처들의 대응 영역을 결정할 수 있다.
도 10은 본 발명에 따른 영상 부호화 방법에 따라서 움직임 블록 경계를 기준으로 분할된 참조 픽처의 대응 영역이 참조하는 다른 참조 픽처의 대응 영역을 결정하기 위한 과정의 다른 예를 설명하기 위한 도면이다.
도 10을 참조하면, 현재 블록에 대한 참조 픽처의 대응 영역(100)이 블록 A,B1,B2,C,D 들에 부분적으로 포함된 경우에는 전술한 바와 같이, 대응 영역(100) 을 참조 픽처의 움직임 블록 경계에 따라서 분할하고, 분할된 각 대응 영역(a, b1, b2, c, d)가 속하는 블록의 모션 필드 정보를 이용하여 다른 참조 픽처의 대응 영역을 결정하게 된다. 즉, 참조 픽처 결정부(610)는 a 영역이 속하는 블록 A의 모션 필드 정보를 이용하여 a 영역에 대응되는 다른 참조 픽처의 대응 영역을 결정하고, b1 영역이 속하는 블록 B1의 모션 필드 정보를 이용하여 b1 영역에 대응되는 다른 참조 픽처의 대응 영역을 결정하며, b2 영역이 속하는 블록 B2의 모션 필드 정보를 이용하여 b2 영역에 대응되는 다른 참조 픽처의 대응 영역을 결정하고, c 영역이 속하는 블록 C의 모션 필드 정보를 이용하여 c 영역에 대응되는 다른 참조 픽처의 대응이 결정하며, d 영역이 속하는 블록 D가 갖는 모션 필드 정보를 이용하여 d 영역에 대응되는 다른 참조 픽처의 대응 영역을 결정한다.
전술한 참조 픽처 결정 과정은 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역으로부터 다른 참조 픽처의 대응 영역을 결정할 때뿐만 아니라, 결정된 다른 참조 픽처의 대응 영역으로부터 또 다른 참조 픽처를 결정할 때 동일하게 적용될 수 있다. 즉, 움직임 벡터를 이용한 트랙킹 과정은 대응 영역이 움직임 벡터 정보를 갖는 움직임 블록을 포함하고 있는 경우에는 계속 수행될 수 있다. 다만, 대응 영역이 전부 인트라 예측 블록에 속하는 경우 또는 인트라 예측되는 블록에 속하는 대응 영역의 넓이가 소정 임계값 이상인 경우에는 더 이상의 트랙킹을 수행하지 않고 현재 대응되는 참조 픽처까지만 트랙키을 수행할 수 있다. 예를 들어, 다시 도 9를 참조하면, 만약 현재 블록(90)에 대응되는 참조 픽처 1의 대응 영역(91)이 속하는 블록 A,B,C,D가 모두 인트라 예측 블록인 경우에는 더 이상의 트 랙킹을 수행하지 않고, 참조 픽처 1의 대응 영역(91)만을 현재 블록(90)의 예측에 이용한다. 만약, 블록 A,B,C는 움직임 벡터를 갖는 움직임 블록이고, 블록 D 만이 인트라 예측 블록이라고 하였을 때, 블록 D에 속하는 대응 영역 d의 넓이가 소정 임계값 이상인 경우 참조 픽처 1의 대응 영역(91)에 소정의 가중치를 곱한 값을 현재 블록(90)의 예측에 이용한다. 트랙킹 과정의 계속 여부를 판단하는 과정은 참조 픽처로부터 결정된 다른 참조 픽처의 대응 영역에 대해서도 동일하게 수행된다.
한편, 대응 영역의 일부가 인트라 예측 블록에 포함되지만, 인트라 예측 블록에 포함되는 대응 영역의 넓이가 소정 임계값 미만인 경우에는 계속 다른 참조 픽처의 대응 영역을 결정하는 트랙킹 과정을 수행한다. 이 때, 인트라 예측 블록 주변의 움직임 블록들이 갖는 움직임 벡터를 이용하여 인트라 예측 블록에 가상 움직임 벡터를 할당하고, 할당된 가상 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정할 수 있다. 전술한 예에서, 블록 A,B,C는 움직임 벡터(MVa,MVb,MVc)를 갖는 움직임 블록이고, 블록 D만이 인트라 예측 블록이며, 블록 D에 속하는 대응 영역 d의 넓이가 소정 임계값 미만이라고 가정하면, 트랙킹 과정은 중단되지 않고 계속된다. 이러한 경우, 블록 A,B,C에 속하는 대응 영역 a,b,c에 대해서는 전술한 바와 같이 블록 A,B,C의 움직임 벡터(MVa,MVb,MVc)를 이용하여 다른 참조 픽처의 대응 영역을 결정하고, 블록 D에 속하는 대응 영역 d에 대해서는 블록 D의 주변 움직임 블록 A,B,C가 갖는 움직임 벡터(MVa,MVb,MVc)의 중간값(median) 또는 평균값을 블록 D의 가상 움직임 벡터로서 할당하고, 가상 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정할 수 있다.
다시 도 6을 참조하면, 참조 픽처 결정부(610)에서 현재 블록이 갖는 움직임 벡터 경로를 트랙킹하여 복수 개의 참조 픽처의 대응 영역이 결정되면, 가중치 계산부(621)는 각 대응 영역에 부여되는 가중치를 계산한다.
가중치 계산부(621)는 이전에 처리된 현재 블록의 주변 블록의 화소들과, 현재 블록의 주변 블록의 화소들에 대응되는 참조 픽처들의 대응 영역의 주변 화소들을 이용하여, 참조 픽처들의 대응 영역의 주변 화소들의 가중합을 통해 예측된 현재 블록의 주변 화소들의 예측값과 현재 블록의 주변 화소들의 화소값의 차이가 최소가 되는 값을 가중치로 결정한다.
도 11은 본 발명에 따른 영상 부호화 방법에 있어서 참조 픽처의 대응 영역에 부여되는 가중치를 계산하는 과정을 설명하기 위한 도면이다. 도 11에서 현재 블록을 Dt, 현재 블록 Dt에 대응되는 참조 픽처(t-1)의 대응 영역을 Dt-1, 대응 영역 Dt-1의 각 분할된 영역 a,b,c,d에 대응되는 참조 픽처(t-2)의 대응 영역을 각각 Dt-2,a, Dt-2,b, Dt-2,c, Dt-2,d(포괄하여 "Dt-2"라고 함) 라고 하며, Pt를 현재 블록 Dt의 예측 블록이라고 가정한다.
가중치 계산부(621)는 참조 픽처 단위로 가중치를 부여한다. 즉, 가중치 계산부(621)는 동일한 참조 픽처에 속하는 대응 영역들에 동일한 가중치를 부여한다. 도 11에서 참조 픽처(t-1)의 대응 영역 Dt-1에 부여되는 가중치를 α, 참조 픽처(t-2)의 대응 영역 Dt-2에 부여되는 가중치를 β라고 하면, 현재 블록 Dt의 예측 블록 Pt는 다음의 수학식 1과 같이 참조 픽처(t-1)의 대응 영역 Dt-1와, 참조 픽처(t-2)의 대응 영역 Dt-2의 가중합으로 계산된다.
Figure 112007000746031-pat00001
참조 픽처들의 대응 영역에 부여되는 가중치 α및 β는 다양한 알고리즘을 통해 결정될 수 있다. 본 발명에서는, 현재 블록 Dt와 예측 블록 Pt사이의 오차가 최소가 되도록 하는 가중치를 이용한다. 현재 블록 Dt와 예측 블록 Pt 사이의 오차 SSE(Sum of Squared Error)는 다음의 수학식 2와 같다.
Figure 112007000746031-pat00002
가중치 α및 β는 SSE를 α및 β에 대하여 편미분하였을 때 0이 되는 다음 수학식 3의 편미분 방정식을 계산함으로써 결정될 수 있다.
Figure 112007000746031-pat00003
수학식 3의 편미분 방정식을 계산하기 위하여, 현재 블록의 주변 블록의 화소들과, 현재 블록의 주변 블록의 화소들에 대응되는 참조 픽처들의 대응 영역의 주변 화소들을 이용한다. 이는 복호화부에서 이전에 복호화된 현재 블록의 주변 화소 정보를 이용하여 가중치를 결정함으로써, 별도로 현재 블록의 예측에 이용된 가중치를 별도로 전송하지 않고도 이전에 처리된 주변 화소 데이터에 기반하여 가중치를 결정할 수 있도록 하기 위한 것이다. 따라서, 본 발명에서는 참조 픽처들 의 대응 영역에 할당되는 가중치들을 별도로 전송하지 않고 부호화부와 복호화부에서 이전에 처리된 데이터를 이용하여 가중치를 계산하여 이용할 수 있도록, 현재 블록의 주변 블록의 화소들과, 현재 블록의 주변 블록의 화소들에 대응되는 참조 픽처들의 대응 영역의 주변 화소들을 이용한다.
도 11을 다시 참조하면, 참조 픽처(t-1)의 대응 영역 Dt-1와 참조 픽처(t-2)의 대응 영역 Dt-2를 이용하여 현재 블록 Dt의 예측 블록 Pt를 계산하는 것과 유사하게, 현재 블록 Dt의 주변 블록의 화소들 Nt는 현재 블록 Dt와의 공간적 위치를 고려하여 참조 픽처(t-1)의 대응 영역 Dt-1의 주변 화소들(Nt-1,a, Nt-1,b, Nt-1,c)와 참조 픽처(t-2)의 대응 영역 Dt-2의 주변 화소들(Nt-2,a, Nt-2,b, Nt-2,c)을 이용하여 계산될 수 있다. 이 경우 현재 블록 Dt의 주변 블록의 화소들 Nt와 참조 픽처(t-1)의 대응 영역 Dt-1의 주변 화소들(Nt-1) 및 참조 픽처(t-2)의 대응 영역 Dt-2의 주변 화소들(Nt-2)을 이용하여 예측된 주변 블록 화소들의 예측값 Nt' 사이의 SSE는 다음의 수학식 4와 같다.
Figure 112007000746031-pat00004
가중치 계산부(621)는 상기 수학식 4의 오차값 SSE를 α 및 β에 대하여 편미분한 후, 편미분한 값이 0이 되는 α 및 β를 결정한다.
한편 수학식 1에서 α 및 β의 값을 정규화(normalization)하여 α+β=1이라고 하면, β=1-α이다. 이를 수학식 1에 대입하면 다음의 수학식 5와 같고, 이 경 우 SSE는 수학식 6과 같다.
Figure 112007000746031-pat00005
Figure 112007000746031-pat00006
수학식 6의 오차값 SSE를 α에 대하여 편미분하여
Figure 112007000746031-pat00007
을 만족하는 α의 값은 다음의 수학식 7과 같다.
Figure 112007000746031-pat00008
전술한 바와 같이, 대응 영역 각각의 가중치를 별도로 전송하지 않고도, 가중치를 결정할 수 있도록 하기 위해서 현재 블록 Dt 대신에 이전에 처리된 주변 블록의 화소들 Nt를 이용하고, Dt-2 대신에 Nt-2, Dt-1 대신에 Nt-1을 이용한다.
한편, 전술한 가중치 결정 과정은 더 많은 참조 픽처의 대응 영역을 이용하는 경우에도 각 참조 픽처에 가중치를 할당하고, 현재 블록과 예측 블록 사이의 오차값이 최소가 되도록 하는 가중치를 결정함으로써 수행될 수 있다.
즉, 현재 블록 Dt의 예측에 이용되는 n개(n은 정수)의 참조 픽처들의 대응 영역을 각각 D1, D2, D3,...., Dn이라고 하고 각 대응 영역에 할당되는 가중치를 W1,W2,W3,..., Wn이라고 하면 현재 블록 Dt의 예측 블록 Pt는 Pt=W1*D1 + W2*D2 + W3*D3+...+Wn*Dn을 이용하여 계산된다. 각 가중치(W1, W2,...,Wn)들은 현재 블록 Dt와 예측 블록 Pt 사이의 오차값의 제곱인 SSE를 각 가중치들을 매개 변수로 하여 편미분한 후, 편미분한 값이 0이 되는 값으로 결정된다. 전술한 바와 같이, 편미분 방정식을 풀 때 조건으로 현재 블록의 주변 블록의 화소들 및 이에 대응되는 참조 픽처의 대응 영역의 주변 화소들을 이용한다.
다시 도 6을 참조하면, 예측 블록 생성부(622)는 수학식 1과 같이, 결정된 가중치를 참조 픽처의 대응 영역에 곱한 후 더함으로써 현재 블록의 예측 블록을 생성한다.
본 발명에 따른 움직임 보상부(504)에서 복수 개의 참조 픽처의 대응 영역을 이용하여 예측된 예측 블록과 현재 블록의 차이인 레지듀는 변환, 양자화 및 엔트로피 부호화 과정을 거쳐서 비트스트림으로 출력된다.
한편, 본 발명에 따른 영상 부호화 방법에 따라 부호화되는 비트스트림의 헤더에는 각 블록 단위로 복수 개의 참조 픽처의 대응 영역을 이용하여 예측되었음을 나타내는 1bit의 플래그(flag)를 부가될 수 있다. 예를 들어, "0"은 종래 기술에 따라 부호화된 비트스트림을 나타내고, "1"은 본 발명에 따라 부호화된 비트스트림을 나타내도록 할 수 있다.
도 12는 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 단계 1210에서 현재 블록이 참조하는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정한다. 전술한 바와 같이, 참조 픽처의 대응 영역이 움직임 블록 경계를 이용하여 분리된 경우에는 분리된 각 대응 영역이 속하는 움직임 블록의 움직임 벡터를 이용하여 다른 참조 픽처의 대응 영역을 결정한다.
단계 1220에서, 복수 개의 참조 픽처들의 대응 영역들에 적용할 가중치들을 결정한다. 전술한 바와 같이, 대응 영역의 가중치는 현재 블록의 주변 화소들 및 현재 블록의 주변 화소들에 대응되는 참조 픽처의 대응 영역의 주변 화소들을 이용하여, 대응 영역의 주변 화소들로부터 예측되는 현재 블록의 주변 화소들과 원 주변 화소들의 값의 차이가 최소가 되도록 하는 값으로 결정된다.
단계 1230에서, 참조 픽처들의 대응 영역과 계산된 가중치를 곱한 값들을 합산하여 현재 블록의 예측 블록을 생성한다.
단계 1240에서, 현재 블록과 예측 블록 사이의 차분값인 레지듀를 변환, 양자화 및 엔트로피 부호화하여 비트스트림을 생성한다.
도 13은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 13을 참조하면, 본 발명에 따른 영상 복호화 장치(1300)는 엔트로피 디코더(1310), 재정렬부(1320), 역양자화부(1330), 역변환부(1340), 움직임 보상부(1350), 인트라 예측부(1360) 및 필터(1370)를 구비한다.
엔트로피 디코더(1310) 및 재정렬부(1320)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(1330) 및 역변환부(1340)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 변환 부호화 계수들, 움직임 벡터 정보, 예측 모드 정보 등을 추출한다. 여기서, 예측 모드 정 보에는 본 발명에 따른 영상 부호화 방법에 따라 복수 개의 참조 픽처들의 대응 영역을 이용한 가중합을 통해 현재 블록이 부호화되었는지를 나타내는 플래그가 포함될 수 있다. 전술한 바와 같이 현재 블록의 복호화에 이용되는 복수 개의 참조 픽처들의 대응 영역들은 영상 부호화 방식과 동일하게 복호화되는 현재 블록의 움직임 벡터 정보를 이용하여 결정될 수 있으므로, 현재 블록의 복호화에 이용되는 참조 픽처의 대응 영역 정보를 별도로 전송할 필요가 없다.
인트라 예측부(1360)는 인트라 예측 부호화된 현재 블록에 대하여 이전에 복호화된 현재 블록의 주변 블록을 이용하여 예측 블록을 생성한다.
움직임 보상부(1350)는 전술한 도 5의 움직임 보상부(504)와 동일한 구성 및 동작을 갖는다. 즉, 움직임 보상부(1350)는 복호화되는 현재 블록이 전술한 복수 개의 참조 픽처의 대응 영역의 가중합을 이용하여 예측 부호화된 경우, 비트스트림에 구비된 현재 블록의 움직임 벡터를 이용하여 이전에 복호화된 참조 픽처들의 대응 영역을 트랙킹함으로써 참조 픽처들의 대응 영역들을 결정하고, 각 참조 픽처들의 대응 영역에 부여할 가중치를 계산한 다음, 참조 픽처들의 대응 영역에 가중치를 곱한 후 합산하여 현재 블록의 예측 블록을 생성한다. 전술한 바와 같이, 참조 픽처들의 대응 영역들의 가중치는 이전에 복호화된 현재 블록의 주변 화소들 및 현재 블록의 주변 화소들에 대응되는 참조 픽처의 대응 영역의 주변 화소들을 이용하여 결정된다.
움직임 보상부(1350) 및 인트라 예측부(1360)에서는 생성된 예측 블록은 비 트스트림으로부터 추출된 현재 블록과 예측 블록 사이의 오차값(D'n)과 더하여져서 복원된 영상 데이터 uF'n이 생성된다. uF'n는 필터(1370)를 거쳐 최종적으로 현재 블록에 대한 복호화가 수행된다.
도 14는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 14를 참조하면, 단계 1410에서 입력된 비트스트림에 구비된 예측 모드 정보를 판독하여, 복호화되는 현재 블록의 예측 모드를 판별한다.
단계 1420에서, 복호화되는 현재 블록이 복수 개의 참조 픽처들의 대응 영역을 이용하여 예측된 것으로 판별된 경우, 비트스트림에 구비된 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역을 결정한다.
단계 1430에서, 이전에 복호화된 현재 블록의 주변 화소들 및 현재 블록의 주변 화소들에 대응되는 참조 픽처의 대응 영역의 주변 화소들을 이용하여, 복수 개의 참조 픽처의 대응 영역들에 적용할 가중치를 계산하고, 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 현재 블록의 예측 블록을 생성한다.
단계 1440에서, 생성된 예측 블록과, 비트스트림에 구비된 현재 블록과 예측 블록의 차분값을 더하여 현재 블록을 복호화한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 보다 많은 수의 참조 픽처를 이용하여 예측 부호화를 수행함으로써 예측 효율 및 부호화 효율을 향상시킬 수 있다.

Claims (28)

  1. 영상 부호화 방법에 있어서,
    현재 블록이 참조하는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정하는 단계;
    상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 단계; 및
    상기 현재 블록과 예측 블록 사이의 차분을 부호화하는 단계를 포함하며,
    상기 참조 픽처의 대응 영역의 움직임 벡터 경로의 트랙킹은
    상기 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정하고, 상기 다른 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 또 다른 참조 픽처의 대응 영역을 결정하는 단계를 반복함으로써 수행되는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1항에 있어서, 상기 복수 개의 참조 픽처들의 대응 영역들을 결정하는 단계는
    상기 현재 블록에 대한 움직임 예측을 수행하여 상기 현재 블록에 대응하는 제 1 참조 픽처의 대응 영역을 결정하는 단계;
    상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 상기 제 1 참조 픽처의 대응 영역을 분할하는 단계; 및
    상기 분할된 제 1 참조 픽처의 대응 영역을 구비하는 상기 제 1 참조 픽처의 움직임 블록들의 움직임 벡터가 가리키는 제 2 참조 픽처들의 대응 영역들을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 2항에 있어서, 상기 제 2 참조 픽처들의 대응 영역들을 결정하는 단계는
    상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할된 제 1 참조 픽처의 대응 영역 중 인트라 예측 블록에 포함되는 대응 영역에 대해서, 상기 인트라 예측 블록의 주변 움직임 블록의 움직임 벡터를 이용하여 상기 인트라 예측 블록의 가상 움직임 벡터를 결정하고 상기 결정된 가상 움직임 벡터가 가리키는 제 2 참조 픽처의 대응 영역을 결정하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 3항에 있어서, 상기 인트라 예측 블록의 가상 움직임 벡터는
    상기 주변 움직임 블록의 움직임 벡터들의 평균값 또는 중간값 중 하나를 이용하는 것을 특징으로 하는 영상 부호화 방법.
  5. 삭제
  6. 제 1항에 있어서, 상기 참조 픽처의 대응 영역의 움직임 벡터 경로의 트랙킹은
    상기 참조 픽처들의 대응 영역 중에서 인트라 예측되는 블록에 포함되는 대응 영역의 넓이가 소정 임계값 이상인 참조 픽처까지 수행되는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 1항에 있어서, 상기 현재 블록에 대한 예측 블록을 생성하는 단계는
    상기 복수 개의 참조 픽처들의 대응 영역의 가중치를 결정하는 단계; 및
    상기 복수 개의 참조 픽처들의 대응 영역에 상기 가중치를 곱한 후 더함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 7항에 있어서, 상기 가중치는
    이전에 처리된 상기 현재 블록의 주변 블록의 화소들과 상기 현재 블록의 주변 블록의 화소들에 대응되는 상기 참조 픽처들의 대응 영역의 주변 화소들을 이용하여, 상기 참조 픽처들의 대응 영역의 주변 화소들의 가중합을 통해 예측된 상기 현재 블록의 주변 화소들의 예측값과 상기 현재 블록의 주변 화소들의 화소값의 차이가 최소가 되는 값으로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 1항에 있어서,
    상기 부호화 결과 생성된 비트스트림의 소정 영역에 상기 복수 개의 참조 픽 처를 이용하여 예측 부호화된 블록을 나타내는 소정의 플래그를 삽입하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 1항에 있어서,
    상기 복수 개의 참조 픽처들의 대응 영역들을 결정하는 단계는
    상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할된 제 1 참조 픽처 대응 영역 중 인트라 예측 블록에 포함되는 영역의 넓이가 소정 임계값 이상인 경우 상기 제 1 참조 픽처의 대응 영역만을 상기 현재 블록의 예측에 이용할 참조 픽처의 대응 영역으로 결정하고,
    상기 현재 블록의 예측 블록을 생성하는 단계는
    상기 제 1 참조 픽처의 대응 영역에 소정의 가중치를 곱한 값을 상기 현재 블록의 예측 블록으로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상 부호화 장치에 있어서,
    현재 블록이 참조하는 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역들을 결정하는 참조 픽처 결정부;
    상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 가중 예측부; 및
    상기 현재 블록과 예측 블록 사이의 차분을 부호화하는 부호화부를 포함하며,
    상기 참조 픽처 결정부는
    상기 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정하고, 상기 다른 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 또 다른 참조 픽처의 대응 영역을 결정하는 단계를 반복함으로써 상기 참조 픽처의 대응 영역의 움직임 벡터 경로의 트랙킹을 수행하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제 11항에 있어서, 상기 참조 픽처 결정부는
    상기 현재 블록의 움직임 벡터가 가리키는 제 1 참조 픽처의 대응 영역을 상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할하고, 상기 분할된 제 1 참조 픽처의 대응 영역을 구비하는 상기 제 1 참조 픽처의 움직임 블록들의 움직임 벡터가 가리키는 제 2 참조 픽처들의 대응 영역들을 결정하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12항에 있어서, 상기 참조 픽처 결정부는
    상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할된 제 1 참조 픽처의 대응 영역 중 인트라 예측 블록에 포함되는 대응 영역에 대해서, 상기 인트라 예측 블록의 주변 움직임 블록의 움직임 벡터를 이용하여 상기 인트라 예측 블록의 가상 움직임 벡터를 결정하고 상기 결정된 가상 움직임 벡터가 가리키는 제 2 참조 픽처의 대응 영역을 결정하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제 13항에 있어서, 상기 인트라 예측 블록의 가상 움직임 벡터는
    상기 주변 움직임 블록의 움직임 벡터들의 평균값 또는 중간값 중 하나를 이용하는 것을 특징으로 하는 영상 부호화 장치.
  15. 삭제
  16. 제 11항에 있어서, 상기 참조 픽처 결정부는
    상기 참조 픽처들의 대응 영역 중에서 인트라 예측되는 블록에 포함되는 대응 영역의 넓이가 소정 임계값 이상인 참조 픽처까지 상기 트랙킹을 수행하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제 11항에 있어서, 상기 가중 예측부는
    상기 복수 개의 참조 픽처들의 대응 영역의 가중치를 결정하는 가중치 계산부; 및
    상기 복수 개의 참조 픽처들의 대응 영역에 상기 가중치를 곱한 후 더함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 예측 블록 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제 17항에 있어서, 상기 가중치 계산부는
    이전에 처리된 상기 현재 블록의 주변 블록의 화소들과 상기 현재 블록의 주변 블록의 화소들에 대응되는 상기 참조 픽처들의 대응 영역의 주변 화소들을 이용하여, 상기 참조 픽처들의 대응 영역의 주변 화소들의 가중합을 통해 예측된 상기 현재 블록의 주변 화소들의 예측값과 상기 현재 블록의 주변 화소들의 화소값의 차이가 최소가 되는 값을 상기 가중치로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 11항에 있어서, 상기 부호화부는
    상기 부호화 결과 생성된 비트스트림의 소정 영역에 상기 복수 개의 참조 픽처를 이용하여 예측 부호화된 블록을 나타내는 소정의 플래그를 삽입하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제 11항에 있어서, 상기 참조 픽처 결정부는
    상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할된 제 1 참조 픽처 대응 영역 중 인트라 예측 블록에 포함되는 영역의 넓이가 소정 임계값 이상인 경우 상기 제 1 참조 픽처의 대응 영역만을 상기 현재 블록의 예측에 이용할 참조 픽처의 대응 영역으로 결정하고,
    상기 가중 예측부는
    상기 제 1 참조 픽처의 대응 영역에 소정의 가중치를 곱한 값을 상기 현재 블록의 예측 블록으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  21. 영상 복호화 방법에 있어서,
    입력된 비트스트림에 구비된 예측 모드 정보를 판독하여, 복호화되는 현재 블록의 예측 모드를 판별하는 단계;
    상기 판별 결과 복수 개의 참조 픽처들의 대응 영역을 이용하여 예측된 상기 현재 블록에 대해서, 상기 비트스트림에 구비된 상기 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 상기 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역을 결정하는 단계;
    상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 단계; 및
    상기 생성된 예측 블록과, 상기 비트스트림에 구비된 상기 현재 블록과 예측 블록의 차분값을 더하여 상기 현재 블록을 복호화하는 단계를 포함하며,
    상기 참조 픽처의 대응 영역의 움직임 벡터 경로의 트랙킹은
    상기 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정하고, 상기 다른 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 또 다른 참조 픽처의 대응 영역을 결정하는 단계를 반복함으로써 수행되는 것을 특징으로 하는 영상 복호화 방법.
  22. 제 21항에 있어서, 상기 복수 개의 참조 픽처들의 대응 영역을 판별하는 단계는
    상기 현재 블록의 움직임 벡터가 가리키는 제 1 참조 픽처의 대응 영역을 상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할하는 단계; 및
    상기 분할된 제 1 참조 픽처의 대응 영역을 구비하는 상기 제 1 참조 픽처의 움직임 블록들의 움직임 벡터가 가리키는 제 2 참조 픽처들의 대응 영역들을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  23. 삭제
  24. 제 21항에 있어서, 상기 현재 블록에 대한 예측 블록을 생성하는 단계는
    이전에 처리된 상기 현재 블록의 주변 블록의 화소들과 상기 현재 블록의 주변 블록의 화소들에 대응되는 상기 참조 픽처들의 대응 영역의 주변 화소들을 이용하여, 상기 참조 픽처들의 대응 영역의 주변 화소들의 가중합을 통해 예측된 상기 현재 블록의 주변 화소들의 예측값과 상기 현재 블록의 주변 화소들의 화소값의 차이가 최소가 되는 값을 상기 복수 개의 참조 픽처들의 대응 영역의 가중치로 결정하는 단계; 및
    상기 복수 개의 참조 픽처들의 대응 영역에 상기 가중치를 곱한 후 더함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  25. 영상 복호화 장치에 있어서,
    입력된 비트스트림에 구비된 예측 모드 정보를 판독하여, 복호화되는 현재 블록의 예측 모드를 판별하는 예측 모드 판별부;
    상기 판별 결과 복수 개의 참조 픽처들의 대응 영역을 이용하여 예측된 상기 현재 블록에 대해서, 상기 비트스트림에 구비된 상기 현재 블록의 움직임 벡터가 가리키는 참조 픽처의 대응 영역 및 상기 참조 픽처의 대응 영역의 움직임 벡터 경로를 트랙킹함으로써 상기 현재 블록의 예측에 이용할 복수 개의 참조 픽처들의 대응 영역을 결정하는 참조 픽처 결정부;
    상기 복수 개의 참조 픽처들의 대응 영역들의 가중합을 구함으로써 상기 현재 블록의 예측 블록을 생성하는 가중 예측부; 및
    상기 생성된 예측 블록과, 상기 비트스트림에 구비된 상기 현재 블록과 예측 블록의 차분값을 더하여 상기 현재 블록을 복호화하는 복호화부를 포함하며,
    상기 참조 픽처 결정부는
    상기 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 다른 참조 픽처의 대응 영역을 결정하고, 상기 다른 참조 픽처의 대응 영역의 움직임 벡터가 가리키는 또 다른 참조 픽처의 대응 영역을 결정하는 과정을 반복함으로써 상기 트랙킹을 수행하는 것을 특징으로 하는 영상 복호화 장치.
  26. 제 25항에 있어서, 상기 참조 픽처 결정부는
    상기 현재 블록의 움직임 벡터가 가리키는 제 1 참조 픽처의 대응 영역을 상기 제 1 참조 픽처의 움직임 블록 경계에 따라서 분할하고, 상기 분할된 제 1 참조 픽처의 대응 영역을 구비하는 상기 제 1 참조 픽처의 움직임 블록들의 움직임 벡터가 가리키는 제 2 참조 픽처들의 대응 영역들을 결정하는 것을 특징으로 하는 영상 복호화 장치.
  27. 삭제
  28. 제 25항에 있어서, 상기 가중 예측부는
    이전에 처리된 상기 현재 블록의 주변 블록의 화소들과 상기 현재 블록의 주변 블록의 화소들에 대응되는 상기 참조 픽처들의 대응 영역의 주변 화소들을 이용하여, 상기 참조 픽처들의 대응 영역의 주변 화소들의 가중합을 통해 예측된 상기 현재 블록의 주변 화소들의 예측값과 상기 현재 블록의 주변 화소들의 화소값의 차이가 최소가 되는 값을 상기 복수 개의 참조 픽처들의 대응 영역의 가중치로 결정하는 가중치 계산부; 및
    상기 복수 개의 참조 픽처들의 대응 영역에 상기 가중치를 곱한 후 더함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
KR1020070000706A 2006-11-03 2007-01-03 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치 KR101356734B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020070000706A KR101356734B1 (ko) 2007-01-03 2007-01-03 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
PCT/KR2007/005531 WO2008054179A1 (en) 2006-11-03 2007-11-02 Method and apparatus for encoding/decoding image using motion vector tracking
CN2007800491266A CN101573982B (zh) 2006-11-03 2007-11-02 利用运动矢量跟踪编码/解码图像的方法和装置
JP2009535217A JP5271271B2 (ja) 2006-11-03 2007-11-02 動きベクトル・トラッキングを利用した映像の符号化、復号化方法及び装置
EP07833839A EP2087740A4 (en) 2006-11-03 2007-11-02 METHOD AND APPARATUS FOR ENCODING / DECODING IMAGE USING MOTION VECTOR TRACKING
US11/934,952 US20080117977A1 (en) 2006-11-03 2007-11-05 Method and apparatus for encoding/decoding image using motion vector tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070000706A KR101356734B1 (ko) 2007-01-03 2007-01-03 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치

Publications (2)

Publication Number Publication Date
KR20080064007A KR20080064007A (ko) 2008-07-08
KR101356734B1 true KR101356734B1 (ko) 2014-02-05

Family

ID=39344475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070000706A KR101356734B1 (ko) 2006-11-03 2007-01-03 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치

Country Status (4)

Country Link
US (1) US20080117977A1 (ko)
EP (1) EP2087740A4 (ko)
KR (1) KR101356734B1 (ko)
WO (1) WO2008054179A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
BRPI0919870A2 (pt) * 2008-10-27 2015-12-15 Nippon Telegraph & Telephone método para produção automática de procedimento de geração de valor de pixel predito, método de codificação de imagem, método de decodificação de imagem, aparelho para este fim programas para este fim e mídia de armazenamento que armazena os programas
ES2568503T3 (es) * 2008-10-31 2016-04-29 Orange Método y sistema de predicción de imagen
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
JP2010268259A (ja) * 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
US9571851B2 (en) * 2009-09-25 2017-02-14 Sk Telecom Co., Ltd. Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP6523494B2 (ja) * 2010-01-19 2019-06-05 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化／復号化する方法及び装置
TWI466550B (zh) * 2011-02-23 2014-12-21 Novatek Microelectronics Corp 多媒體裝置及其移動偵測方法
JP5875236B2 (ja) * 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP5979405B2 (ja) * 2011-03-11 2016-08-24 ソニー株式会社 画像処理装置および方法
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
US20150016530A1 (en) * 2011-12-19 2015-01-15 James M. Holland Exhaustive sub-macroblock shape candidate save and restore protocol for motion estimation
WO2013109124A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN111193929B (zh) * 2013-12-16 2022-04-12 浙江大学 一种前向双假设编码图像块的编解码方法和装置
US9621917B2 (en) * 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
KR20180040517A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 비디오 부호화, 복호화 방법 및 장치
KR20180048736A (ko) * 2015-09-24 2018-05-10 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017082636A1 (ko) * 2015-11-11 2017-05-18 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
KR20180018388A (ko) 2016-08-11 2018-02-21 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN117041558A (zh) 2016-12-07 2023-11-10 株式会社Kt 对视频进行解码或编码的方法和存储视频数据的设备
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
CN110546956B (zh) * 2017-06-30 2021-12-28 华为技术有限公司 一种帧间预测的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030011311A (ko) * 2001-02-21 2003-02-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정을 용이하게 하는 방법 및 장치
JP2003284075A (ja) * 2002-01-18 2003-10-03 Toshiba Corp 動画像符号化方法と装置及び復号化方法と装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2711879B1 (fr) * 1993-10-22 1995-12-15 Thomson Csf Procédé et dispositif de codage inter-trame avec régulation de débit pour l'enregistrement d'images sur magnétoscope.
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
KR100234264B1 (ko) * 1997-04-15 1999-12-15 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
KR100453714B1 (ko) * 2001-12-31 2004-10-20 (주)펜타마이크로 Ｍｐｅｇ 영상 압축 기술을 이용한 디지털 영상 저장장치에서의 움직임 검출 장치 및 그 방법
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030011311A (ko) * 2001-02-21 2003-02-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정을 용이하게 하는 방법 및 장치
JP2003284075A (ja) * 2002-01-18 2003-10-03 Toshiba Corp 動画像符号化方法と装置及び復号化方法と装置

Also Published As

Publication number Publication date
US20080117977A1 (en) 2008-05-22
EP2087740A1 (en) 2009-08-12
WO2008054179A1 (en) 2008-05-08
EP2087740A4 (en) 2012-12-19
KR20080064007A (ko) 2008-07-08

Similar Documents

Publication Publication Date Title
KR101356734B1 (ko) 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
KR101366093B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20200026863A (ko) 인트라 예측 방법 및 그 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR101671460B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
JP5271271B2 (ja) 動きベクトル・トラッキングを利用した映像の符号化、復号化方法及び装置
KR101681303B1 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20080069069A (ko) 인트라/인터 예측 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
Bichon et al. Inter-block dependencies consideration for intra coding in H. 264/AVC and HEVC standards
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR101691553B1 (ko) 영상 복호화 방법 및 장치
WO2012081895A1 (ko) 인트라 예측 방법 및 그 장치
KR101891192B1 (ko) 영상 부호화 방법 및 장치
KR101733748B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101733754B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20080068277A (ko) 움직임 추정을 이용한 영상의 부호화, 복호화 방법 및 장치
KR101895389B1 (ko) 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee