KR100703740B1 - 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 - Google Patents

다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 Download PDF

Info

Publication number
KR100703740B1
KR100703740B1 KR1020050016269A KR20050016269A KR100703740B1 KR 100703740 B1 KR100703740 B1 KR 100703740B1 KR 1020050016269 A KR1020050016269 A KR 1020050016269A KR 20050016269 A KR20050016269 A KR 20050016269A KR 100703740 B1 KR100703740 B1 KR 100703740B1
Authority
KR
South Korea
Prior art keywords
motion vector
frame
asynchronous
parent
layer
Prior art date
Application number
KR1020050016269A
Other languages
English (en)
Other versions
KR20060043209A (ko
Inventor
이교혁
한우진
차상창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2005/003225 priority Critical patent/WO2006080663A1/en
Priority to US11/254,642 priority patent/US20060088102A1/en
Publication of KR20060043209A publication Critical patent/KR20060043209A/ko
Application granted granted Critical
Publication of KR100703740B1 publication Critical patent/KR100703740B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
    • B43L9/00—Circular curve-drawing or like instruments
    • B43L9/16—Features common to compasses, dividers, and callipers
    • B43L9/24—Means for mounting points or writing appliances on legs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
    • B43L9/00—Circular curve-drawing or like instruments
    • B43L9/02—Compasses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다 계층 구조를 사용하는 비디오 코딩 방법에 있어서, 기초 계층(base layer)의 모션 벡터를 이용하여 향상 계층(enhanced layer)의 모션 벡터를 효과적으로 예측(prediction)하여, 모션 벡터의 압축 효율을 높이는 방법 및 장치에 관한 것이다.
상기한 목적을 달성하기 위하여 본 발명에 따른 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법은, 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계층의 모 프레임의 모션 벡터를 구하는 단계와, 상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 단계와, 상기 비동기 프레임의 모션 벡터와 상기 예측 모션 벡터를 차분하는 단계와, 상기 모 프레임의 모션 벡터 및 상기 차분을 부호화하는 단계를 포함한다.
모션 추정, 모션 벡터, 기초 계층, 향상 계층, 스케일러빌리티

Description

다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법 및 장치{Method and apparatus for effectively encoding multi-layered motion vectors}
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주는 도면.
도 2는 이와 같이 모션 예측을 통하여 모션 벡터를 효율적으로 표현하는 방법을 설명하는 도면.
도 3은 본 발명에 따른 VBM의 기본 개념을 설명하는 개략도.
도 4는 본 발명에 따른 VBM의 보다 구체적인 동작을 설명하는 도면.
도 5a는 양방향 예측에 대한 적용예를 도식적으로 보여주는 도면.
도 5b는 역방향 예측에 대한 적용예를 도식적으로 보여주는 도면.
도 5c는 순방향 예측에 대한 적용예를 도식적으로 보여주는 도면.
도 6은 비동기 프레임의 서브 매크로블록에 대응되는 모 프레임의 서브 매크로블록 패턴이 보다 세분화된 경우를 나타내는 도면.
도 7은 비동기 프레임의 서브 매크로블록 패턴이 보다 세분화된 경우를 나타내는 도면.
도 8은 픽셀 기반의 가상 모션 벡터를 구하는 예를 나타내는 도면.
도 9는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.
도 10은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 나타낸 블록도.
(도면의 주요부분에 대한 부호 설명)
100 : 비디오 인코더 110 : 다운 샘플러
121, 131 : 모션 추정부 125, 135 : 손실 부호화부
140 : 모션 벡터 예측부 150 : 엔트로피 부호화부
200 : 비디오 디코더 210 : 엔트로피 복호화부
225, 235 : 손실 복호화부 240 : 모션 벡터 복원부
본 발명은 비디오 압축 방법에 관한 것으로, 보다 상세하게는 본 발명은 다 계층 구조를 사용하는 비디오 코딩 방법에 있어서, 기초 계층(base layer)의 모션 벡터를 이용하여 향상 계층(enhanced layer)의 모션 벡터를 효과적으로 예측(prediction)하여, 모션 벡터의 압축 효율을 높이는 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.
데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.
이러한 스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식을 의미한다. 이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-4(moving picture experts group-21) Part 10에서 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반으로 스케일러빌리티를 구현하고자 하는 많은 노력들이 있다. 예를 들면, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.
하나의 계층으로 코딩하는 경우와 마찬가지로, 다 계층으로 코딩하는 경우에 있어서도, 각 계층별로 시간적 중복성(temporal redundancy)를 제거하기 위한 모션 벡터(motion vector; MV)를 구할 필요가 있다. 이러한 모션 벡터는 각 계층마다 별도로 검색하여 사용하는 경우(전자)가 있고, 하나의 계층에서 모션 벡터 검색을 한 후 이를 다른 계층에서도 사용(그대로 또는 업/다운 샘플링하여)하는 경우(후자)도 있다. 전자의 경우는 후자의 경우에 비하여 정확한 모션 벡터를 찾음으로써 얻는 이점과, 계층 별로 생성된 모션 벡터가 오버 헤드로 작용하는 단점이 동시에 존재한다. 따라서, 전자의 경우에는 각 계층 별 모션 벡터들 간의 중복성을 보다 효율적으로 제거하는 것이 매우 중요한 과제가 된다.
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주고 있다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스 트림(stream)을 원한다면, 제1 향상 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다. 도 1에서와 같이 모션 벡터는 그 수가 증가하여 기존의 한 개의 계층으로 구성된 것 보다 약 2배 정도의 오버헤드(overhead)가 발생하기 때문에, 기초 계층을 통한 모션 예측(motion prediction)이 매우 중요하다. 물론, 이러한 모션 벡터는 시간적으로 주변에 존재하는 프레임을 참조하여 인코딩되는 인터 매크로블록에서만 사용되므로, 주변의 프레임과 무관하게 인코딩되는 인트라 매크로블록에서는 사용되지 않는다.
도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있고, 그에 따라서 모션 벡터도 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 모션 벡터로부터 현재 계층의 모션 벡터를 예측하고, 예측된 값과 실제 구한 모션 벡터와 차이를 인코딩함으로써 효율적으로 모션 벡터를 표현하는 방법이 이미 제안되어 있다.
도 2는 이와 같이 모션 예측을 통하여 모션 벡터를 효율적으로 표현하는 방법을 설명하는 도면이다. 이에 따르면, 현재 계층의 모션 벡터의 예측 모션 벡터로는 같은 시간적 위치를 갖는 하위 계층의 모션 벡터를 그대로 이용한다.
인코더(encoder)는 각각의 계층에서 소정의 정밀도로 각 계층의 모션 벡터(MV0, MV1, MV2)를 구한 후, 이를 이용하여 각 계층에서 시간적 중복을 제거하는 시간적 변환 과정을 수행한다. 그러나, 비트스트림 제공시, 인코더는 기초 계층의 모 션 벡터와, 제1 향상 계층의 성분(D1) 및 제2 향상 계층의 차분(D2)만을 프리디코더(내지 비디오 스트림 서버) 단으로 제공한다. 프리디코더(pre-decoder)는 네트워크 상황에 맞게 기초 계층의 모션 벡터만을 디코더 단으로 전송하거나, 기초 계층의 모션 벡터 및 제1 향상 계층의 모션 벡터 성분(D1)을 디코더 단으로 전송하거나, 또는 기초 계층의 모션 벡터와 제1 향상 계층의 모션 벡터 성분(D1), 및 제2 향상 계층의 모션 벡터 성분(D2)을 디코더 단으로 전송할 수 있다.
그러면, 디코더(decoder)는 전송된 데이터에 따라서, 해당 계층의 모션 벡터를 복원할 수 있다. 예를 들어, 디코더가 기초 계층의 모션 벡터 및 제1 향상 계층의 모션 벡터 성분(D1)을 수신한 경우에는 상기 기초 계층의 모션 벡터 및 제1 향상 계층의 모션 벡터 성분(D1)을 가산함으로써 제1 향상 계층의 모션 벡터(MV1)을 복원할 수 있고, 상기 복원된 모션 벡터(MV1)를 이용하여 제1 향상 계층의 텍스쳐(texture) 데이터를 복원할 수 있다.
그러나, 도 1의 경우와 같이, 하위 계층과 현재 계층의 프레임율이 다른 경우에는 현재 프레임과 동일한 시간적 위치를 갖는 하위 계층 프레임이 존재하지 않을 수도 있다. 예를 들어, 어떤 프레임(40)의 하위 계층은 존재하지 않으므로 하위 계층의 모션 벡터를 통한 모션 예측은 불가능하다. 따라서, 이 경우에는 상기 프레임(40)의 모션 벡터는 모션 예측을 이용할 수 없는 문제가 있다. 이 경우에는 제1 향상 계층의 모션 벡터는 중복이 제거되지 않은 형태로 표현되기 때문에 비효율적이 된다.
본 발명은 상기한 문제점을 고려하여 창안된 것으로, 기초 계층의 모션 벡터로부터 향상 계층의 모션 벡터를 예측하는 보다 효율적인 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 현재 계층의 프레임과 동일한 시간적 위치를 갖는 하위 계층의 프레임이 존재하지 않는 경우에도 모션 벡터를 예측할 수 있는 효율적인 방안을 제시하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명에 따른 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법은, (a) 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계층의 모 프레임의 모션 벡터를 구하는 단계; (b) 상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 단계; (c) 상기 비동기 프레임의 모션 벡터와 상기 예측 모션 벡터를 차분하는 단계; 및 (d) 상기 모 프레임의 모션 벡터 및 상기 차분을 부호화하는 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명에서는 계층간 모션 예측을 향상시키는 새로운 방법을 제시한다. 본 발명의 주 목적은 대응되는 기초 계층 프레임을 갖지 않는 프레임에 대한 합리적인 모션 필드 예측 방법을 제공하는 것이다. 그 결과 현재 계층과 기초 계층간의 프레임율이 다른 경우 모션 비트의 감축으로 이어질 수 있다. 이 방법은 "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)을 기반으로 한다. 본 발명은 주변 기초 계층 프레임을 이용한 가상 모션 벡터를 생성하는 과정과, 가상 기초 계층 모션을 이용하여 예측 모션 벡터를 구하는 과정을 포함한다.
SVM 3.0은 계층간 모션 예측 기술에 의하여 계층간 모션 필드의 연관성을 이용한다. 계층간 모션 예측에서, 계층간에 연속된 모션 필드는 기초 계층 모션을 리파인(refine)하거나 단순히 그대로 사용함으로써 표현될 수 있다. 계층간 모션 예측은 계층간에 모션 필드가 상당히 유사한 경우에 보다 더 효율적인 것으로 알려져 있다. 그런데, 양 계층 간의 프레임율이 다르다면, 대응되는 기초 계층 프레임이 존재하지 않는 프레임이 존재한다. 그러나, 이 경우 현재 SVM 3.0에서는 계층간 모션 예측은 사용되지 않고 독립적인 모션 예측 및 양자화 과정이 사용되고 있을 뿐이다.
본 발명에서는, 다 계층의 스케일러블 비디오 코딩을 위한 기초 계층 모션을 이용하는 방법을 제안한다. 특히, 현재 계층과 기초 계층의 프레임율이 다른 경우에, 빠진(missing) 기초 계층의 가상 모션 벡터는 주변 기초 계층 프레임의 모션 벡터로부터 생성된다. 그리고, 상기 가상 모션 벡터는 현재 계층의 모션 필드 예측에 사용될 수 있다. 현재 계층의 모션 필드는 그들에 의하여 대체되거나, 소정의 정밀도(예: 1/4 픽셀)로 리파인될 수 있다. 이 기술은 계층간 두 개의 모션 필드 간의 연관성을 이용하여, 모션 비트의 총량을 효과적으로 감소시킨다. 우리는 이러한 기술을 가상 기초 계층 모션(virtual base-layer motion; 이하 "VBM"이라고 함)이라고 명명한다.
도 3은 본 발명에 따른 VBM의 기본 개념을 설명하는 개략도이다. 본 예에서, 현재 계층(Ln)은 CIF 해상도에, 30Hz의 프레임율을 가지며, 하위 계층(Ln-1)은 QCIF 해상도에 15Hz의 프레임율을 갖는다고 한다.
본 발명은, 현재 계층의 어떤 프레임과 동일한 시간적 위치에 기초 계층 프레임이 존재하는 경우에는 상기 기초 계층 프레임의 모션 벡터를 참조하여 예측 모션 벡터를 생성한다. 그러나, 그렇지 않은 경우에는 상기 시간적 위치에 가장 가까운 N(N은 1 이상의 정수임)개의 기초 계층 프레임 중에서 적어도 하나의 프레임에 대한 모션 벡터를 이용하여 예측 모션 벡터를 생성한다. 도 3에서 현재 계층의 프레임 A0 및 프레임 A2의 모션 벡터는 동일한 시간적 위치를 갖는 하위 계층의 프레임 B0 및 B2의 모션 벡터로부터 예측된다.
반면, 동일한 시간적 위치에서 하위 계층 프레임이 존재하지 않는 프레임 A1에 대한 예측 모션 벡터는 상기 시간적 위치에 가장 가까운 프레임(B0, B2)에서의 모션 벡터를 이용하여 생성된다. 이는, 먼저 B0 및 B2에서의 모션 벡터를 보간하여 A1과 동일한 시간적 위치에서의 가상 모션 벡터(가상 프레임 B1의 모션 벡터) 생성하고, 상기 생성된 가상 모션 벡터를 이용하여 프레임 A1의 모션 벡터를 예측할 수 있다.
본 발명의 개념은 현재 계층이 단독적으로 MCTF(Motion Compensated Temporal Filtering) 등의 계층 구조를 갖는 모션 예측 방법에도 적용될 수 있다. 만약, 현재 계층에 MCTF 구조를 쓰고 저 지연(Low Delay) 등의 제한 조건으로 인하여 MCTF에서 폐루프 처리(closed loop processing) 방식을 적용한다고 하자. 이 경우, MCTF 과정을 세밀하지 않은 시간적 레벨(coarse temporal level)로부터 세밀한 시간적 레벨(fine temporal level) 순으로 적용하는, 즉 역방향 MCTF 과정을 수행할 수 있다. 이 경우 도 3과 유사한 방법을 사용하여 하위의 세밀하지 않은 시간적 레벨(coarse temporal level)의 모션을 상위의 세밀한 시간적 레벨(fine temporal level) 의 모션을 예측하는 데 사용할 수 있을 것이다.
도 4는 본 발명에 따른 VBM의 보다 구체적인 동작을 설명하는 도면이다.
가상 기초 계층 모션의 기본 아이디어는 현재 계층과 기초 계층 간에 모션 필드의 강한 연관성(strong correlation)에서 비롯된다. 대응되는 기초 계층 프레 임이 존재하지 않는 현재 계층의 프레임을 "비동기 프레임(unsynchronized frame)"이라고 하고, 대응되는 기초 계층 프레임이 존재하는 현재 계층 프레임을 "동기 프레임(synchronized frame)"이라고 정의한다. 비동기 프레임의 경우 기초 계층 프레임이 존재하지 않으므로, 본 발명에서는 상기 비동기 프레임의 예측을 위하여 가상 모션 벡터가 사용된다.
간략화를 위하여 현재 계층의 프레임율은 기초 계층의 프레임율의 2배라고 가정하자. 상기 가상 모션 벡터를 생성하기 위하여는 이미 인코딩되어 있는 기초 계층의 모션 필드를 이용한다. 이 경우 단순히 상기 가상 모션 벡터를 현재 계층의 비동기 프레임의 모션 벡터로 그대로 사용할 수도 있지만, 현재 계층의 비동기 프레임의 모션 벡터는 별도로 구하고 상기 구한 모션 벡터를 효율적으로 예측하기 위하여 상기 가상의 모션 벡터를 이용할 수도 있다. 후자의 경우, 모션 벡터의 정밀도를 기초 계층에서 보다 높일 수 있다. 예를 들어, 기초 계층은 1 픽셀 정밀도로 모션 벡터를 구하고, 현재 계층은 1/2 픽셀 정밀도로 리파인(refine)된 모션 벡터를 구할 수도 있다.
도 4에서 보는 바와 같이, 가상 프레임에 대한 모션 벡터, 즉 가상 모션 벡터는 동일한 방향에 대해서는 단순히 기초 계층의 주변 모션 벡터를 2로 나눔으로써 결정되고, 다른 방향의 모션 벡터는 2로 나눈 후 부호를 반대로 함으로써 결정된다. 보다 일반적으로 말하면, 상기 모 프레임의 모션 벡터에, 상기 비동기 프레임의 참조 거리(프레임 참조시 참조 프레임과의 시간적 거리)를 상기 모 프레임의 참조 거리로 나눈 값을 곱하되, 상기 비동기 프레임의 참조 방향(프레임을 참조하 는 방향, 역방향과 순방향이 있음)과 모 프레임의 참조 방향이 반대인 경우에는 상기 곱한 결과에 음의 부호를 붙인다는 의미이다.
가상 프레임의 매크로블록 모드(macroblock mode)(이하 "가상 매크로블록 모드"라 함)는 기초 계층의 모 프레임(mother frame)의 매크로블록 모드와 동일하게 결정될 수 있다. 여기서, 모 프레임이라 함은 기초 계층 프레임 중에서 상기 비동기 프레임과 시간적 거리가 가장 가까운 프레임(가장 가까운 프레임이 2이상 있으면 그 중 어느 하나)을 의미한다. 만약, 기초 계층과 현재 계층의 해상도가 다른 경우에는, 상기 가상 매크로블록 모드와 가상 모션 벡터는 적절히 업샘플링되어야 할 것이다.
도 4에서는 인터 예측(inter-prediction)시 모두 양방향(bi-directional)으로 예측하는 경우를 예로 든 것이다. 그러나, 본 발명은 이에 한정되지 않으며, 시간적으로 이전 프레임을 참조하는 순방향(forward) 예측 또는 시간적으로 이후 프레임을 참조하는 역방향(backward) 예측에 대하여도 본 발명을 적용할 수 있다.
도 5a 내지 5c는 가상 모션 벡터를 생성하는 세 가지 경우의 예를 각각 나타낸 것이다. 이 중에서 도 5a는 양방향 예측의 경우를, 도 5b는 역 방향 예측의 경우를, 그리고 도 5c는 순방향 예측의 경우를 나타낸 것이다.
도 5a에서 보면, 기초 계층의 모 프레임의 순방향 모션 벡터 Vf는 비동기 프레임의 모션 벡터 Vf1 및 Vb1을 계산하는데 이용된다. 그리고, 모 프레임의 역방향 모션 벡터 Vb는 비동기 프레임의 모션 벡터 Vf2 및 Vb2을 계산하는데 이용된다. 현재 계층의 프레임율이 기초 계층의 2배라고 한다면, 다음의 수학식 1과 같은 관계가 만족된다.
Vf1 ≒ 1/2×Vf
Vb1 ≒ -1/2×Vf
Vf2 ≒ -1/2×Vb
Vb2 ≒ 1/2×Vb
다만, 기초 계층에서 양방향 예측을 수행하였다고 해서 현재 계층도 반드시 양방향 예측을 수행하여야 하는 것은 아니다. 따라서, 현재 계층에서 순방향 또는 역방향 예측만을 수행한다면 상기 수학식 1 중에서 일부의 식만을 이용할 수도 있을 것이다.
수학식 1에서 "≒"라는 표시는 현재 계층의 특정 모션 벡터를 우변의 가상 모션 벡터로 근사할 수 있다는 의미이다. 만약, 현재 계층의 모션 벡터로 우변의 값을 그대로 이용하는 경우에는, 상기 표시는 등호의 의미로 사용될 것이고, 우변의 값을 이용하여 현재 계층의 모션 벡터를 예측하는 경우에는 우변의 값이 현재 계층의 모션 벡터에 대한 예측 모션 벡터로 사용됨을 의미할 것이다. 이와 같은 "≒" 표시의 의미는 이하 명세서에서도 같다.
도 5b 및 5c는 기초 계층이 일 방향 예측만을 수행하고 현재 계층이 양 방향 예측을 수행하는 경우의 예를 도시한 것이다. 이 중에서 도 5b는 기초 계층에서 역 방향 예측을 수행하는 경우이고, 도 5c는 순 방향 예측을 수행하는 경우이다.
도 5b에서 보면, 기초 계층의 모 프레임의 역방향 모션 벡터 Vb는 비동기 프레임의 모션 벡터 Vf2 및 Vb2를 계산하는데 이용된다. 다만, 이 경우에는 모 프레임의 순방향 모션 벡터는 존재하지 않으므로 Vf1 및 Vb1는 어떻게 계산되는지가 문제인데, 본 발명에서는 역방향 모션 벡터에 음의 부호를 붙인 모션 벡터, 즉 -Vb를 이용하여 Vf1 및 Vb1을 계산한다. 따라서, 현재 계층의 프레임율이 기초 계층의 2배라고 한다면, 다음의 수학식 2와 같은 관계가 만족된다.
Vf1 ≒ -1/2×Vb
Vb1 ≒ 1/2×Vb
Vf2 ≒ -1/2×Vb
Vb2 ≒ 1/2×Vb
한편 도 5c에서 보면, 기초 계층의 모 프레임의 순방향 모션 벡터 Vf는 비동기 프레임의 모션 벡터 Vf1 및 Vb1을 계산하는데 이용된다. 다만, 이 경우에는 모 프레임의 역방향 모션 벡터는 존재하지 않으므로 Vf2 및 Vb2는 어떻게 계산되는지가 문제인데, 본 발명에서는 순방향 모션 벡터에 음의 부호를 붙인 모션 벡터, 즉 -Vf를 이용하여 Vf2 및 Vb2를 계산한다. 따라서, 현재 계층의 프레임율이 기초 계층의 2배라고 한다면, 다음의 수학식 3과 같은 관계가 만족된다.
Vf1 ≒ 1/2×Vf
Vb1 ≒ -1/2×Vf
Vf2 ≒ 1/2×Vf
Vb2 ≒ -1/2×Vf
물론, 현재 계층의 프레임율이 기초 계층의 2배가 되어야 본 발명을 적용할 수 있는 것은 아니므로, 일반적으로 참조되는 프레임의 거리에 비율로 상기 수학식 1 내지 3에서 1/2를 대치할 수 있을 것이다. 그리고, 용어의 명확을 기하기 위하여 예측 모션 벡터는 비동기 프레임의 모션 벡터로 대체되는 프레임 또는 비동기 프레임을 예측(구체적으로는 차분을 구하는 것)하는 데 이용되는 프레임임을 밝혀 둔다. 상기 가상 모션 벡터가 바로 예측 모션 벡터가 될 수도 있지만, 상기 가상 모션 벡터로부터 유도된 또 다른 모션 벡터가 예측 모션 벡터가 될 수도 있다.
이상과 같은 본 발명의 기본적 개념을 구체적으로 적용함에 있어서, 본 발명에서는 3가지의 실시예를 제안하고자 한다. 제1 실시예는 전술한 수학식 1 내지 3과 같이 구해진 가상 모션 벡터 및 모 프레임의 서브 매크로블록 패턴을 현재 계층 프레임에서 그대로 이용하는 경우이다. 그리고, 제2 실시예는 비동기 프레임에서 서브 매크로블록 패턴을 모 프레임의 것을 그대로 이용하지 않고 별도의 R-D 최적화(Rate-Distortion optimization)을 통하여 결정하는 경우이다. 마지막으로, 제3 실시예는 픽셀 기반의 예측 모션 벡터를 추정하는 경우이다. 이하에서는 상기 제1 실시예 내지 제3 실시예를 상세히 설명하고자 한다.
제1 실시예
현재 계층의 비동기 프레임의 모션 벡터는 가상 모션 벡터를 그대로 이용하며, 별도의 모션 벡터를 구하는 과정을 거치지 않는다. 가상 모션 벡터는 수학식 1 내지 3과 같이 모 프레임의 모션 벡터와 동일한 방향의 모션 벡터는 프레임간의 시간적 거리에 비례하여(예: 1/2) 나누어진 모션 벡터를 그대로 이용하고, 반대 방향의 모션 벡터는 상기 나누어진 모션 벡터에 -1을 곱하여 이용한다.
그리고, 현재 계층의 비동기 고주파 가상 프레임의 서브 매크로블록 패턴은 모 프레임의 것과 동일하다. 비동기 프레임이 시간적으로 동일 위치의 모 프레임을 참조할 때, 상기 모 프레임의 서브 매크로블록 패턴을 그대로 이용한다. 따라서, 비동기 프레임에 대해서, 모션 벡터를 검색하는 과정 및 서브 매크로블록 패턴을 선택하기 위한 R-D 최적화 과정은 수행하지 않는다.
제2 실시예
제2 실시예에서, 비동기 프레임의 서브 매크로블록 패턴 및 모 프레임의 서브 매크로블록 패턴은 별도의 R-D 최적화 과정에 따라서 결정된다. R-D 최적화 과정이 완료되면, 모 프레임으로부터 유도되는 가상 모션 벡터를 알 수 있지만, 상기 모 프레임의 서브 매크로블록 패턴과 비동기 프레임의 서브 매크로블록 패턴이 서 로 다르다는 문제가 있다.
이와 같이, 서브 매크로블록 패턴이 서로 다르다면, 비동기 프레임의 서브 매크로블록의 모션 벡터는 비동기 프레임의 서브 매크로블록 패턴과 오버랩되는(overlapped) 가상 모션 벡터로부터 유도될 수 있다. 이를 위하여 본 발명에서는, 오버랩된 면적을 가중 평균하여 사용한다.
도 6은 비동기 프레임의 서브 매크로블록에 대응되는 모 프레임의 서브 매크로블록 패턴이 보다 세분화된 경우를 나타낸다. 여기서, Mvi는 수학식 1 내지 3과 같이 구해진 가상 모션 벡터를, Ai는 특정 서브 매크로블록의 면적을 의미한다. 비동기 프레임의 모션 벡터(Mva)는 가상 모션 벡터(Mvi)를 가중 평균하여 수학식 4와 같이 유도된 예측 모션 벡터에 의하여 대체되거나 예측될 수 있다.
Figure 112005010430984-pat00001
한편, 도 7과 같이 모 프레임의 서브 매크로블록에 대응되는 비동기 프레임의 매크로블록 패턴이 보다 세분화된 경우도 있을 수 있다. 이 경우에는 비동기 프레임의 모션 벡터들(Mva 내지 Mve)는 모두 하나의 가상 모션 벡터(MV1)에 의하여 대체되거나 이로부터 예측될 수 있다.
제3 실시예
제3 실시예는 가상 프레임의 각 픽셀에 주안점을 둔다. 먼저, 가상 프레임의 어떤 한 픽셀을 통과하는 모든 모션 벡터를 체크한다. 그리고, 하나의 픽셀에 대한 가상 기초 모션 벡터(이하, "픽셀 모션 벡터"라 정의함)는 거리 가중 평균(상기 픽셀과 서브 매크로블록의 중심 간의 거리)에 의하여 추정된다. 거리의 추정을 위하여, 어떠한 종류의 거리 측정 방법(예: 유클리디안 방법, 시티 블록 방법 등)도 적용될 수 있다.
비동기 프레임의 서브 매크로블록 패턴은 R-D 최적화 과정에 따라서 결정된다. 비동기 프레임의 모션 벡터를 가상 모션 벡터로 대체한다면, 상기 서브 매크로블록에 대응되는 가상 기초 모션 벡터는 가상 프레임의 동일한 서브 매크로블록 영역 내의 모든 픽셀 모션 벡터를 이용하여 추정된다. 도 8은 이와 같은 방법을 예시한다.
가상 프레임 상에 존재하는 어떤 관심 픽셀(pixel of interest; 50)에 대한 모션 벡터는 상기 픽셀을 통과하는 모션 벡터들로부터 유도된다. 픽셀 기반의 가상 모션 벡터 추정을 위한 식은 다음의 수학식 5와 같다. 여기서, Mvpixel은 픽셀 모션 벡터를 의미하고, Mvi는 가상 프레임의 관심 픽셀을 통과하는 모션 벡터를 의미하며, di는 모 프레임에서 상기 관심 픽셀과 동일한 위치에 있는 픽셀(60)로부터 상기 모션 벡터 Mvi에 대한 서브 매크로블록 중심까지의 거리를 의미한다.
Figure 112005010430984-pat00002
비동기 프레임의 모션 벡터 Mva는 수학식 6과 같이 비동기 프레임의 어떤 서브 매크로블록 영역 내의 모든 픽셀 모션 벡터를 그 개수로 나누어 평균화된 모션 벡터에 의하여 대체되거나 예측된다. 모든 픽셀 모션 벡터는 평균화되고, 평균화된 모션 벡터 Mva는 비동기 프레임의 모션 벡터로 직접 사용되거나, 상기 모션 벡터를 예측하는데 사용될 수 있다.
Figure 112005010430984-pat00003
지금까지, 본 발명에 따른 제1 내지 제3 실시예를 설명하였다. 그런데, 이들 실시예를 확장하여 종래 기술과 같이 같이 기초 계층을 참조하지 않고 독립적으로 비동기 프레임의 모션 벡터를 인코딩하는 기법과 본 발명의 실시예에서 제안한 방법을 적응적으로 선택하여 사용할 수도 있다. 예를 들어, 종래의 방법에 따른 R-D 비용을 계산하고, 본 발명의 실시예에 따른 R-D 비용을 계산하여 보다 작은 R-D 비용을 갖는 쪽을 선택하는 것이다. 이러한 선택은 예를 들어 매크로블록 단위로 이루어질 수 있다. 이 경우, 몇몇 매크로블록은 가상 모션 벡터를 이용하여 예측되 고, 다른 매크로블록은 실제 구한 모션 벡터를 독립적으로 이용하게 될 것이다.
도 9는 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시한 블록도이다. 본 실시예는 하나의 기초 계층과 하나의 향상 계층을 사용하는 경우를 예로 든 것이지만, 더 많은 계층을 이용하더라도 하위 계층과 상위 계층 간에는 본 발명을 적용할 수 있음은 당업자라면 충분히 알 수 있을 것이다.
다운 샘플러(110)는 입력된 비디오를 각 계층에 맞는 해상도와 프레임율로 다운 샘플링한다. 만약, 도 1에서와 같이, 기초 계층을 QCIF@15Hz로, 향상 계층을 CIF@30Hz로 사용하고 한다면, 원래 입력된 비디오를 CIF, 및 QCIF 해상도로 각각 다운 샘플링하고, 그 결과를 다시 프레임율 면에서 다시 15Hz 및 30Hz로 다운 샘플링한다. 해상도면에서의 다운 샘플링은 MPEG 다운 샘플러나 웨이블릿 다운샘플러를 이용할 수 있다. 그리고, 프레임율 면에서의 다운 샘플링은 프레임 스킵 또는 프레임 보간 등의 방법을 통하여 수행될 수 있다.
모션 추정부(121)는 기초 계층 프레임에 대해 모션 추정을 수행하여 기초 계층 프레임의 모션 벡터를 구한다. 이러한 모션 추정은 참조 프레임 상에서, 현재 프레임의 블록과 가장 유사한, 즉 가장 에러가 블록을 찾는 과정으로서, 고정 크기 블록 매칭 방법, 또는 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM) 등 다양한 방법을 사용할 수 있다. 마찬가지로, 모션 추정부(131)는 향상 계층 프레임에 대해 모션 추정을 수행하여 향상 계층 프레임의 모션 벡터를 구할 수 있다. 다만, 이와 같이 각각의 모션 벡터를 구하는 것은 가상 모션 벡터를 이용하여 향상 계층의 모션 벡터를 예측하기 위함이며, 만약 상기 가 상 모션 벡터를 향상 계층의 모션 벡터로 그대로 이용한다면 향상 계층의 모션 추정부(131)는 생략될 수 있다.
모션 벡터 예측부(140)는 상기 기초 계층 프레임, 즉 모 프레임의 모션 벡터를 이용하여 예측 모션 벡터를 생성하고, 상기 예측 모션 벡터를 이용하여 상기 구한 향상 계층 프레임 중 비동기 프레임의 모션 벡터를 예측한다. 상기 예측의 의미는, 상기 비동기 프레임의 모션 벡터와 상기 가상 모션 벡터의 차분을 구한다는 의미로 이해될 수 있다. 물론, 실시예에 따라서는 상기 예측 모션 벡터를 강기 비동기 프레임의 모션 벡터로 그대로 이용할 수 있다. 가상 모션 벡터를 구하는 방식에 대해서는 전술하였는 바, 이하에서는 중복된 설명은 생략하기로 한다.
모션 벡터 예측부(140)는 상기 차분, 즉 향상 계층의 모션 벡터 성분을 엔트로피 부호화부(150)에 전달한다. 물론, 모션 예측을 이용하지 않고 가상 모션 벡터를 그대로 이용하는 경우에는 상기 향상 계층의 모션 벡터 성분은 기초 계층의 모션 벡터로부터 유도될 수 있으므로, 별도로 생성할 필요는 없다.
손실 부호화부(125)는 모션 추정부(121)에서 구한 모션 벡터를 이용하여 기초 계층 프레임을 손실 부호화한다. 이러한 손실 부호화부(125)는 시간적 변환부(122)와, 공간적 변환부(123)와, 양자화부(124)를 포함하여 구성될 수 있다.
시간적 변환부(122)는 모션 추정부(121)에서 구한 상기 모션 벡터, 및 현재 프레임과 시간적으로 다른 위치에 있는 프레임을 이용하여 예측 프레임(prediction frame)을 구성하고, 현재 프레임과 예측 프레임을 차분함으로써, 시간적 중복성을 감소시킨다. 그 결과, 잔여 프레임(residual frame)이 생성된다. 물론, 하나의 프 레임에 속하는 모든 매크로블록이 이와 같이 시간적 변환에 의한 인터 매크로블록으로 이루어질 수도 있지만, 이외에 H.264에서 정의하는 인트라 매크로블록, 또는 SVM 3.0에 나타나는 인트라 BL 매크로블록과의 조합으로 이루어질 수도 있음은 당업자에게는 자명한 사항이다. 다만, 본 발명은 시간적 예측이 주 포인트이므로, 시간적 변환을 중심으로 하여 설명하기로 한다. 이러한 시간적 변환 방식으로는 시간적 스케일러빌리티를 고려한 계층적 방식, 예를 들어, MCTF, Hierarchical-B 방식 등이 사용될 수도 있고, 이외에 일반적인 비계층적 방식(예를 들어, MPEG 계열 코덱에서의 I, B, P 부호화 방식)이 이용될 수도 있다.
공간적 변환부(123)는 시간적 변환 모듈(110)에 의하여 생성된 잔여 프레임 또는 원 입력 프레임에 대하여, 공간적 변환을 수행하여 변환 계수를 생성한다. 이러한 공간적 변환 방법으로는, DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등의 방법이 사용될 수 있다. DCT를 사용하는 경우 상기 변환 계수는 DCT 계수이고, 웨이블릿 변환을 사용하는 경우 상기 변환 계수는 웨이블릿 계수이다.
양자화부(124)는 공간적 변환부(123)에 의하여 생성되는 변환 계수를 양자화(quantization) 한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 DCT 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 양자화 테이블에 따른 인덱스로 매칭(matching)시키는 작업을 의미한다.
한편, 손실 부호화부(135)는 모션 추정부(131)에서 구한 향상 계층 프레임의 모션 벡터를 이용하여 향상 계층 프레임을 손실 부호화한다. 이러한 손실 부호화부(135)는 시간적 변환부(132)와, 공간적 변환부(133)와, 양자화부(134)를 포함하여 구성될 수 있다. 손실 부호화부(135)는 향상 계층 프레임을 손실 부호화하는 외에, 그 동작은 손실 부호화부(125)와 마찬가지이므로 중복적인 설명은 생략하기로 한다.
엔트로피 부호화부(150)은 기초 계층의 양자화부(124) 및 향상 계층의 양자화부(134)에 의하여 생성된 양자화 계수, 기초 계층의 모션 추정부(121)에서 생성된 기초 계층의 모션 벡터, 및 모션 벡터 예측부(140)에서 생성되는 향상 계층의 모션 벡터 성분을 무손실 부호화(내지 엔트로피 부호화)하여 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 부호화 방법을 사용할 수 있다.
도 9에서는 기초 계층에 대한 손실 부호화부(125)와, 향상 계층에 대한 손실 부호화부(135)를 개념적으로 구분하여 설명하였지만, 이에 한하지 않고 하나의 손실 부호화부에서 기초 계층 및 향상 계층을 모두 처리하는 것으로 구성하여 설명할 수도 있음은 당업자에게는 자명한 사실이다.
도 10은 본 발명의 일 실시예에 따른 비디오 디코더(200)의 구성을 나타낸 블록도이다. 엔트로피 복호화부(210)는 엔트로피 부호화 방식의 역으로서, 입력된 비트 스트림으로부터 입력된 비트스트림으로부터 기초 계층 프레임의 모션 벡터, 향상 계층의 모션 벡터 성분, 상기 기초 계층 프레임의 텍스쳐 데이터, 및 상기 향 상 계층 프레임의 텍스쳐 데이터를 각각 추출한다.
모션 벡터 복원부(240)는 상기 기초 계층의 모션 벡터로부터 예측 모션 벡터를 계산하고, 상기 계산된 예측 모션 벡터 및 향상 계층의 모션 벡터 성분을 가산함으로써 향상 계층에서의 모션 벡터를 복원한다. 예측 모션 벡터를 생성하는 과정은 비디오 인코더(100) 단에서와 마찬가지이므로 중복적인 설명은 생략하기로 한다. 물론, 상기와 같이 향상 계층의 모션 벡터를 복원하는 것은 비디오 인코더(100) 단에서 예측 모션 벡터를 이용하여 비동기 프레임의 모션 벡터를 예측한 경우에 대응된다. 따라서, 만약 비디오 인코더(100) 단에서 예측 모션 벡터를 비동기 프레임의 모션 벡터로 그대로 사용하기로 한 경우라면, 상기 향상 계층의 모션 벡터 성분은 존재하지 않으며, 상기 예측 모션 벡터가 그대로 현재의 비동기 프레임의 모션 벡터로 사용될 것이다.
손실 복호화부(235)는 상기 손실 부호화부(135)의 역으로서, 상기 복원된 향상 계층에서의 모션 벡터를 이용하여 상기 향상 계층 프레임의 텍스쳐 데이터로부터 비디오 시퀀스를 복원한다. 이러한, 손실 복호화부(235)는 역 양자화부(231)와, 역 공간적 변환부(232)와, 역 시간적 변환부(233)을 포함하여 구성될 수 있다.
역 양자화부(231)는 상기 추출된 향상 계층의 텍스쳐 데이터를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정에서 사용된 양자화 테이블을 그대로 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.
역 공간적 변환부(232)는 상기 역 양자화된 결과에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 인코더 단의 공간적 변환부(133)에 대응되는 방식으로서 수행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 사용될 수 있다.
역 시간적 변환부(233)는 상기 역 공간적 변환된 결과에 시간적 변환부(132)에서의 과정을 역으로 수행하여 비디오 시퀀스를 복원한다. 이 경우, 모션 벡터 복원부(240)에서 복원된 모션 벡터를 이용하여 예측 프레임을 생성하고, 상기 역 공간적 변환된 결과와 상기 생성된 예측 프레임을 가산함으로써 비디오 시퀀스를 복원한다.
그런데, 인코더에 따라서는 인코딩시 기초 계층을 이용하여 향상 계층의 텍스쳐의 중복을 제거하기도 한다. 이 경우라면 디코더(200)는 기초 계층 프레임을 복원하고, 복원된 기초 계층 프레임 및 엔트로피 복호화부(210)에서 전달되는 향상 계층의 텍스쳐 데이터를 이용하여 향상 계층의 프레임을 복원하게 되므로, 기초 계층에 대한 손실 복호화부(225)가 이용된다.
이런 경우에는, 역 시간적 변환부(233)는 상기 복원된 향상 계층의 모션 벡터를 이용하여, 향상 계층의 텍스쳐 데이터(역 공간적 변환 결과) 및 상기 복원된 기초 계층 프레임으로부터 비디오 시퀀스를 복원할 수도 있다.
도 10에서는 기초 계층에 대한 손실 복호화부(225)와, 향상 계층에 대한 손실 복호화부(235)를 개념적으로 구분하여 설명하였지만, 이에 한하지 않고 하나의 손실 부호화부에서 기초 계층 및 향상 계층을 모두 처리하는 것으로 구성하여 설명할 수도 있음은 당업자에게는 자명한 사항이다.
지금까지 설명한 도 9와 도 10의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 것으로 구현할 수도 있다. 뿐만 아니라, 상기 구성요소들은 시스템 내의 하나 또는 그 이상의 컴퓨터들을 실행시키도록 구현될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명에 따르면, 다 계층의 모션 벡터를 보다 효율적으로 압축하는 효과가 있다.
또한 본 발명에 따르면, 단위 비트율을 갖는 영상의 화질을 향상 시킬 수 있다.

Claims (21)

  1. (a) 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계층의 모 프레임의 모션 벡터를 구하는 단계;
    (b) 상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 단계;
    (c) 상기 비동기 프레임의 모션 벡터와 상기 예측 모션 벡터를 차분하는 단계; 및
    (d) 상기 모 프레임의 모션 벡터 및 상기 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  2. 제1항에 있어서,
    상기 가장 가까운 거리에 있는 기초 계층 프레임이 2이상 존재하는 경우에는 모 프레임은 그 중 하나의 고주파 프레임을 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  3. 제1항에 있어서, 상기 (b) 단계는
    상기 모 프레임의 모션 벡터에 상기 비동기 프레임의 참조 거리를 상기 모 프레임의 참조 거리로 나눈 값을 곱하되, 상기 비동기 프레임의 참조 방향과 모 프 레임의 참조 방향이 반대인 경우에는 상기 곱한 결과에 음의 부호를 붙임으로써 예측 모션 벡터를 구하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  4. 제1항에 있어서, 상기 모 프레임의 서브 매크로블록 패턴과 상기 비동기 프레임의 서브 매크로블록 패턴은 동일한, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  5. 제1항에 있어서, 상기 비동기 프레임의 서브 매크로블록 패턴 상기 모 프레임의 서브 매크로블록 패턴과 별도로 R-D 최적화에 의하여 결정되는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  6. 제5항에 있어서, 상기 (b) 단계는
    (b1) 상기 모 프레임의 모션 벡터에 상기 비동기 프레임의 참조 거리를 상기 모 프레임의 참조 거리로 나눈 값을 곱하되, 상기 비동기 프레임의 참조 방향과 모 프레임의 참조 방향이 반대인 경우에는 상기 곱한 결과에 음의 부호를 붙임으로써 가상 예측 모션 벡터를 생성하는 단계; 및
    (b2) 상기 비동기 프레임의 서브 매크로블록 패턴과 오버랩 되는 상기 모 프레임의 서브 매크로블록의 면적을 가중 평균하여 상기 예측 모션 벡터를 생성하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  7. 제6항에 있어서, (b2) 단계에서 예측 모션 벡터는
    수학식
    Figure 112005010430984-pat00004
    에 의하여 구해지는데, 상기 Mvi는 가상 모션 벡터를, Ai는 특정 서브 매크로블록의 면적을 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  8. 제1항에 있어서, 상기 (b) 단계는
    (b3) 가상 프레임 상의 소정의 서브 매크로블록 내의 픽셀 모션 벡터를 계산하는 단계; 및
    (b4) 상기 계산된 픽셀 모션 벡터의 합을 상기 서브 매크로블록 내의 픽셀 모션 벡터의 수로 나눔으로써 예측 모션 벡터를 구하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  9. 제8항에 있어서, 상기 (b3) 단계는
    수학식
    Figure 112006061921560-pat00005
    에 의하여 수행되는데, Mvpixel은 픽셀 모션 벡터를 의미하고, Mvi는 가상 고주파 프레임의 관심 픽셀을 통과하는 모션 벡터를 의미하며, di는 상기 모 프레임에서 상기 관심 픽셀과 동일한 위치에 있는 픽셀에서 상기 모션 벡터 Mvi에 대한 서브 매크로블록 중심까지의 거리를 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  10. (a) 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계층의 모 프레임의 모션 벡터를 구하는 단계;
    (b) 상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 단계;
    (c) 상기 예측 모션 벡터를 상기 비동기 프레임의 모션 벡터로 설정하는 단계; 및
    (d) 상기 모 프레임의 모션 벡터를 부호화하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  11. 제10항에 있어서,
    상기 가장 가까운 거리에 있는 기초 계층 프레임이 2이상 존재하는 경우에는 모 프레임은 그 중 하나의 고주파 프레임을 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  12. 제10항에 있어서, 상기 (b) 단계는
    상기 모 프레임의 모션 벡터에 상기 비동기 프레임의 참조 거리를 상기 모 프레임의 참조 거리로 나눈 값을 곱하되, 상기 비동기 프레임의 참조 방향과 모 프레임의 참조 방향이 반대인 경우에는 상기 곱한 결과에 음의 부호를 붙임으로써 예측 모션 벡터를 구하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  13. 제10항에 있어서, 상기 모 프레임의 서브 매크로블록 패턴과 상기 비동기 프레임의 서브 매크로블록 패턴은 동일한, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  14. 제10항에 있어서, 상기 비동기 프레임의 서브 매크로블록 패턴 상기 모 프레임의 서브 매크로블록 패턴과 별도로 R-D 최적화에 의하여 결정되는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  15. 제14항에 있어서, 상기 (b) 단계는
    (b1) 상기 모 프레임의 모션 벡터에 상기 비동기 프레임의 참조 거리를 상기 모 프레임의 참조 거리로 나눈 값을 곱하되, 상기 비동기 프레임의 참조 방향과 모 프레임의 참조 방향이 반대인 경우에는 상기 곱한 결과에 음의 부호를 붙임으로써 가상 예측 모션 벡터를 생성하는 단계; 및
    (b2) 상기 비동기 프레임의 서브 매크로블록 패턴과 오버랩 되는 상기 모 프레임의 서브 매크로블록의 면적을 가중 평균하여 상기 예측 모션 벡터를 생성하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  16. 제15항에 있어서, (b2) 단계에서 예측 모션 벡터는
    수학식
    Figure 112005010430984-pat00006
    에 의하여 구해지는데, 상기 Mvi는 가상 모션 벡터를, Ai는 특정 서브 매크로블록의 면적을 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  17. 제10항에 있어서, 상기 (b) 단계는
    (b3) 가상 프레임 상의 소정의 서브 매크로블록 내의 픽셀 모션 벡터를 계산하는 단계; 및
    (b4) 상기 계산된 픽셀 모션 벡터의 합을 상기 서브 매크로블록 내의 픽셀 모션 벡터의 수로 나눔으로써 예측 모션 벡터를 구하는 단계를 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  18. 제17항에 있어서, 상기 (b3) 단계는
    수학식
    Figure 112005010430984-pat00007
    에 의하여 수행되는데, Mvpixel은 픽셀 모션 벡터를 의미하고, Mvi는 가상 고주파 프레임의 관심 픽셀을 통과하는 모션 벡터를 의미하며, di는 상기 모 프레임에서 상기 관심 픽셀과 동일한 위치에 있는 픽셀에서 상기 모션 벡터 Mvi에 대한 서브 매크로블록 중심까지의 거리를 의미하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법.
  19. 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계층의 모 프레임의 모션 벡터를 구하는 수단;
    상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 수단;
    상기 비동기 프레임의 모션 벡터와 상기 예측 모션 벡터를 차분하는 수단; 및
    상기 모 프레임의 모션 벡터 및 상기 차분을 부호화하는 수단을 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 장치.
  20. 현재 계층의 비동기 프레임과 시간적으로 가장 가까운 거리에 있는 기초 계 층의 모 프레임의 모션 벡터를 구하는 수단;
    상기 모 프레임의 참조 방향 및 거리, 그리고 상기 비동기 프레임의 참조 방향 및 거리의 관계를 반영하여 상기 모 프레임의 모션 벡터로부터 예측 모션 벡터를 구하는 수단;
    상기 예측 모션 벡터를 상기 비동기 프레임의 모션 벡터로 설정하는 수단; 및 상기 모 프레임의 모션 벡터를 부호화하는 수단을 포함하는, 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 장치.
  21. 제1항 내지 제18항 중 어느 한 항에 기재된 방법을 컴퓨터로 판독 가능한 프로그램으로 기록한 기록 매체.
KR1020050016269A 2004-10-21 2005-02-26 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 KR100703740B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2005/003225 WO2006080663A1 (en) 2004-10-21 2005-09-29 Method and apparatus for effectively encoding multi-layered motion vectors
US11/254,642 US20060088102A1 (en) 2004-10-21 2005-10-21 Method and apparatus for effectively encoding multi-layered motion vectors

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US62032804P 2004-10-21 2004-10-21
US60/620,328 2004-10-21
US64175005P 2005-01-07 2005-01-07
US60/641,750 2005-01-07
US64312705P 2005-01-12 2005-01-12
US60/643,127 2005-01-12

Publications (2)

Publication Number Publication Date
KR20060043209A KR20060043209A (ko) 2006-05-15
KR100703740B1 true KR100703740B1 (ko) 2007-04-05

Family

ID=37148695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050016269A KR100703740B1 (ko) 2004-10-21 2005-02-26 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치

Country Status (2)

Country Link
US (1) US20060088102A1 (ko)
KR (1) KR100703740B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200633539A (en) * 2005-03-09 2006-09-16 Pixart Imaging Inc Estimation method of motion vector based on distance weighted searching sequence
WO2006098586A1 (en) * 2005-03-18 2006-09-21 Samsung Electronics Co., Ltd. Video encoding/decoding method and apparatus using motion prediction between temporal levels
WO2006104357A1 (en) * 2005-04-01 2006-10-05 Samsung Electronics Co., Ltd. Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same
KR100728011B1 (ko) * 2005-11-09 2007-06-14 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
US8687688B2 (en) 2006-01-09 2014-04-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US20070237234A1 (en) * 2006-04-11 2007-10-11 Digital Vision Ab Motion validation in a virtual frame motion estimator
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
DE102006043707A1 (de) 2006-09-18 2008-03-27 Robert Bosch Gmbh Verfahren zur Datenkompression in einer Videosequenz
KR101370892B1 (ko) * 2006-11-13 2014-03-26 엘지전자 주식회사 영상블록에 대한 레이어간 모션 예측 방법
US20080247465A1 (en) * 2007-04-05 2008-10-09 Jun Xin Method and System for Mapping Motion Vectors between Different Size Blocks
WO2008153262A1 (en) 2007-06-15 2008-12-18 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium
US8526499B2 (en) * 2007-06-15 2013-09-03 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording medium
TWI338241B (en) * 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
KR101431543B1 (ko) * 2008-01-21 2014-08-21 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP5796899B2 (ja) * 2012-03-26 2015-10-21 Kddi株式会社 画像符号化装置及び画像復号装置
CA2878807C (en) * 2012-07-09 2018-06-12 Vid Scale, Inc. Codec architecture for multiple layer video coding
US10148982B2 (en) 2012-07-27 2018-12-04 Hewlett-Packard Development Company, L.P. Video compression using perceptual modeling
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
JP2014187580A (ja) * 2013-03-25 2014-10-02 Kddi Corp 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
US20160065983A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi layer video and method and apparatus for decoding multilayer video
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
CN109547784A (zh) * 2017-09-21 2019-03-29 华为技术有限公司 一种编码、解码方法及装置
CN110798738B (zh) * 2018-08-01 2022-01-28 Oppo广东移动通信有限公司 帧率控制方法、装置、终端及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521988A (en) * 1994-04-05 1996-05-28 Gte Laboratories Incorporated Vector transform coder with multi-layered codebooks and dynamic bit allocation
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6614428B1 (en) * 1998-06-08 2003-09-02 Microsoft Corporation Compression of animated geometry using a hierarchical level of detail coder
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치

Also Published As

Publication number Publication date
KR20060043209A (ko) 2006-05-15
US20060088102A1 (en) 2006-04-27

Similar Documents

Publication Publication Date Title
KR100703740B1 (ko) 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100664929B1 (ko) 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100631777B1 (ko) 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100704626B1 (ko) 다 계층 기반의 모션 벡터를 압축하는 방법 및 장치
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100703734B1 (ko) Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
RU2341035C1 (ru) Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100746011B1 (ko) 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
WO2006004272A1 (en) Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
WO2006137709A1 (en) Video coding method and apparatus using multi-layer based weighted prediction
EP1659797A2 (en) Method and apparatus for compressing motion vectors in video coder based on multi-layer
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
WO2006080663A1 (en) Method and apparatus for effectively encoding multi-layered motion vectors
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee