KR100755689B1

KR100755689B1 - 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치

Info

Publication number: KR100755689B1
Application number: KR1020050030730A
Authority: KR
Inventors: 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-02-14
Filing date: 2005-04-13
Publication date: 2007-09-05
Also published as: KR20060091216A; US7885327B2; US8340181B2; US20060182179A1; US20110096841A1

Abstract

계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩 방법, 이를 위한 장치를 제공한다.

본 발명의 실시예에 따른 비디오 코딩 방법은, 계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서, (a) 현재 프레임보다 시간적으로 앞선 2 이상의 프레임으로부터 예측 프레임을 생성하는 단계, (b) 현재 프레임으로부터 예측 프레임을 차분하여 잔차 프레임을 생성하는 단계, (c) 잔차 프레임을 부호화하여 전송하는 단계를 포함한다.

계층적 시간적 필터링, 모션 보상 시간적 필터링

Description

계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩 방법, 이를 위한 장치{Method for video coding and decoding with hierarchical temporal filtering structure, and apparatus for the same}

도 1은 MCTF 방식을 이용한 스케일러블 비디오 코딩 및 디코딩 과정을 보여주는 도면이다.

도 2는 5/3 필터를 이용한 MCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정을 보여주는 도면이다.

도 3은 본 발명의 실시예에 따른 순방향 프레임을 이용한 양방향 예측의 개념을 보여주는 도면이다.

도 4는 본 발명의 실시예에 따른 비디오 인코더의 구성을 보여주는 블록도이다.

도 5는 본 발명의 다른 실시예에 따른 비디오 인코더의 구성을 보여주는 블록도이다.

도 6은 본 발명의 실시예에 따른 비디오 디코더의 구성을 보여주는 블록도이다.

도 7은 도 4에 도시된 인코더에서의 비디오 인코딩 과정을 보여주는 흐름도이다.

도 8은 도 5에 도시된 인코더에서의 비디오 인코딩 과정을 보여주는 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

400 : 비디오 인코더 410 : 시간적 변환부

411 : 모드 전환부 412 : 모션 추정부

414 : 모션 보상부 416 : 예측 프레임 생성부

420 : 공간적 변환부 430 : 양자화부

440 : 엔트로피 부호화부

본 발명은 비디오 코딩 및 디코딩 방법, 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 계층적 시간적 필터링에 있어서 시간적으로 앞선 위치에 있는 2 이상의 프레임을 참조 프레임으로 사용하여 시간적 예측을 함으로써 저 지연 조건 등으로 인해 역방향 참조 경로가 허용되지 않는 경우에도 효율적으로 비디오를 코딩 및 디코딩할 수 있는 비디오 코딩 및 디코딩 방법 및 이를 위한 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정 보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 상기 데이터 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 예측 (temporal prediction)에 의해 제거된다.

시간적 예측이란 1 이상의 인접 프레임으로부터 압축하고자 하는 현재 프레임에 대한 예측 프레임을 생성하여 현재 프레임으로부터 그 예측 프레임을 차분한 잔차 신호를 구하는 것을 말한다. 시간적 예측은 현재 프레임에 대한 참조 프레임의 시간적 위치에 따라 순방향 예측(Forward Prediction), 역방향 예측(Backward Prediction), 및 양방향 예측(Bi-directional Prediction)으로 나뉠 수 있다. 여기서 순방향 예측은 참조 프레임으로 현재 프레임보다 앞선 시간적 위치의 프레임을 사용하는 예측을 의미하고, 역방향 예측은 참조 프레임으로 현재 프레임보다 나중 시간적 위치의 프레임을 사용하는 예측을 의미하고, 양방향 예측은 참조 프레임으로 현재 프레임보다 앞선 시간적 위치의 프레임과 현재 프레임보다 나중 시간적 위 치의 프레임을 사용하는 예측을 의미한다.

현대 비디오 코딩 시스템에 사용되는 시간적 예측 기술 중 대표적인 것이 계층적 구조를 갖는 시간적 필터링 기법으로 일반적으로 모션 보상에 근거하여 시간적 예측을 수행한다. 특히, 계층적 구조를 갖는 시간적 예측에서의 양방햐 예측은 높은 코딩 효율을 위한 중요한 기술 중의 하나이다.

그러나, 일정 조건, 예를 들어 저 지연(Low delay) 조건으로 인해 역방향 참조 경로가 제한되는 경우 비디오 코딩의 성능이 현저히 저하되는 문제가 있다. 따라서 계층적 시간적 필터링에 의한 시간적 예측에서 역방향 예측이 제한되는 경우에도 2 이상의 프레임을 참조하여 시간적 예측을 할 수 있는 방법이 필요하게 되었다.

본 발명이 이루고자 하는 기술적 과제는, 저 지연 조건 하에서 역방향 예측 경로가 허용되지 않는 경우에도 빠진 역방향 참조 프레임 대신 기 처리된 순방향의 프레임을 참조 프레임으로 사용함으로써 양방향 예측이 가능한 비디오 코딩 및 디코딩 방법을 제공하고자 하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 기 처리된 순방향의 프레임을 참조 프레임으로 사용함으로써 복수의 순방향 참조 프레임을 이용한 순방향 예측이 가능한 비디오 코딩 및 디코딩 방법을 제공하고자 하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 시간적으로 앞선 프레임들을 참조 프레임으로 사용함으로써 개방 루프(Open Loop)를 사용하는 비디오 인코더의 드리프트 인위성을 감소시킬 수 있는 비디오 코딩 및 디코딩 방법을 제공하고자 하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 비디오 인코딩 방법은, 계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서, (a) 현재 프레임보다 시간적으로 앞선 2 이상의 참조 프레임들로부터 예측 프레임을 생성하는 단계, (b) 상기 현재 프레임으로부터 상기 예측 프레임을 차분하여 잔차 프레임을 생성하는 단계, 및 (c) 상기 잔차 프레임을 부호화하여 전송하는 단계를 포함한다.

한편, 본 발명의 실시예에 따른 비디오 디코딩 방법은, 계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서,(a) 비트스트림으로 부터 참조 프레임 번호 및 텍스쳐 데이터를 추출하는 단계, (b) 상기 텍스쳐 데이터를 역 양자화 하는 단계, (c) 상기 역 양자화된 텍스쳐 데이터를 역 공간적 변환하여 잔차 프레임을 복원하는 단계, (d) 상기 참조 프레임 번호에 따라 해당 참조 프레임을 모션 보상하는 단계, (e) 상기 모션 보상된 참조 프레임으로 예측 프레임을 생성하는 단계, 및 (f) 상기 예측 프레임에 상기 잔차 프레임을 더하여 비디오 프레임을 복원하는 단계를 포함하며, 상기 참조 프레임 번호는 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 비디오 인코더는 계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서, 현재 프레임으로부터 상기 현재 프레임보다 시간적으로 앞선 2 이상의 프레임들로부터 생성된 예측 프레임을 차분한 잔차 프레임의 시간적 중복성을 제거하는 시간적 변환부, 상기 시간적 중복성이 제거된 상기 잔차 프레임의 공간적 중복성을 제거하는 공간적 변환부, 상기 공간적 변환부에 의해 제공되는 변환 계수를 양자화 하는 양자화부, 및 상기 양자화된 변환 계수를 부호화하는 엔트로피 부호화부를 포함한다.

한편, 본 발명의 실시예에 따른 비디오 디코더는 계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서, 비트스트림으로부터 참조 프레임 번호 및 텍스쳐 데이터를 추출하는 엔트로피 복호화부, 상기 텍스쳐 데이터를 역 양자화 하는 역 양자화부, 상기 역 양자화된 텍스쳐 데이터를 역 공간적 변환하여 잔차 프레임을 복원하는 역 공간적 변환부, 상기 참조 프레임 번호에 해당하는 프레임을 모션 보상하는 모션 보상부, 및 상기 모션 보상된 프레임으로부터 예측 프레임을 생성하는 예측 프레임 생성부를 포함하며, 상기 참조 프레임 번호는 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

계층적 시간적 필터링이란 여러 개의 시간적 레벨을 사용하여 계층적으로 시간적 중복을 제거하는 방법을 말한다. 계층적 시간적 필터링을 이용한 많은 기술 중에 Ohm에 의해 제안되고 Choi 및 Wood에 의해 개선된 모션 보상 시간적 필터링(Motion Compensated Temporal Filtering; 이하 MCTF라 함)은 시간적 중복성을 제거하고 시간적으로 유연한 스케일러블 비디오 코딩을 위한 핵심 기술이다.

도 1은 MCTF 방식을 이용한 비디오 코딩 및 디코딩 과정을 보여주는 도면이다.

도 1에서 L 프레임은 저주파 혹은 평균 프레임을 의미하고, H 프레임은 고주파 혹은 차이 프레임을 의미한다. 도시된 바와같이 코딩은 낮은 시간적 레벨에 있는 프레임쌍들을 먼저 시간적 필터링을 하여서 낮은 레벨의 프레임들을 높은 레벨의 L 프레임들과 H 프레임들로 전환시키고, 전환된 L 프레임 쌍들을 다시 시간적 필터링하여 더 높은 시간적 레벨의 프레임들로 전환시킨다.

인코더는 가장 높은 시간적 레벨의 L 프레임 하나와 H 프레임들을 이용하여 웨이브렛 변환을 거쳐 비트스트림을 생성한다. 도면에서 진한색이 표시된 프레임 은 웨이브렛 변환의 대상이 되는 프레임들을 의미한다. 정리하면 코딩하는 순서는 낮은 레벨의 프레임들부터 높은 레벨의 프레임들이다.

디코더는 역웨이브렛 변환을 거친 후에 얻어진 진한색의 프레임들을 높은 레벨부터 낮은 레벨의 프레임들의 순서로 연산하여 프레임들을 복원한다. 즉, 시간적 레벨 3의 L 프레임과 H 프레임을 이용하여 시간적 레벨 2의 L프레임 2개를 복원하고, 시간적 레벨 2의 L 프레임 2개와 H 프레임 2개를 이용하여 시간적 레벨 1의 L 프레임 4개를 복원한다. 최종적으로 시간적 레벨 1의 L 프레임 4개와 H 프레임 4개를 이용하여 프레임 8개를 복원한다.

MCTF 방식은 예측과 업데이트 단계를 사용하여 프레임에 시간적 웨이블렛 변환을 수행한다. 많은 웨이블렛 필터들이 사용될 수 있지만, 5/3 필터가 가장 좋은 성능을 갖는 것으로 알려져 있다.

도 2는 5/3 필터를 이용한 MCTF 방식의 비디오 코딩 및 디코딩 과정을 보여주는 도면이다.

10개의 프레임 사이즈를 갖는 GOP(Group Of Picture)를 위한 5/3 필터 MCTF의 개념이 도 2에 도시되어 있다. 예측 단계(도 2의 "p")에서 프레임들은 가장 가까운 이웃 프레임들로부터 예측된다. 즉, 현재 프레임에 대한 예측 프레임은 (1/2 * 순방향 인접 프레임 + 1/2 * 역방향 인접 프레임)과 같이 예측된다. 따라서 현재 프레임으로부터 상기 예측 프레임을 차분한 고주파 프레임을 생성하게된다. 업데이트 단계(도 2의 "u")에서 참조 프레임들은 서브샘플링으로 인한 편중(Aliasing)을 방지하기 위하여 시간적으로 필터링된다.

한편 계층적 시간적 필터링 구조의 다른 예로 상술한 MCTF 방식을 개선한 여러 방법들이 있는데 그 중 하나가 STAR 알고리즘이다. STAR 알고리즘은 2003년 12월 본 발명의 발명자인 한우진(Woo-Jin Han)에 의해 ISO/IEC JTC 1/SC 29/WG 11에서 발표된 Successive Temporal Approximation and Referencing (STAR) for improving MCTF in Low End-to-end Delay Scalable Video Coding이라는 논문에 개시되어 있다.

도 3은 본 발명의 실시예에 따른 복수의 순방향 프레임을 이용한 예측의 개념을 보여주는 도면이다.

MCTF 프레임워크에서, 양방향 예측은 도 2 에서 상술한 바와 같이 5/3 필터 메커니즘을 통하여 사용된다. 그러나, 종래의 MCTF 접근법에서 역방향 예측 및 업데이트 단계는 저 지연 조건으로 인해 제한될 수 있다. 저 지연 조건이란 비디오 압축에 있어서 인코더 단과 디코더 단 간의 지연 시간이 일정 시간을 넘지 않도록 제한하는 한정 조건을 의미한다. 저 지연 조건은 적은 최종 지연 시간이 요구되는 실시간 방송 등의 실시간 어플리케이션에 요구되는 제한 조건이다. 따라서 시간적 필터링 단계에서 역 방향 참조 경로의 시간적 길이가 저 지연 조건에서 허용하는 시간을 초과하는 경우 해당 역 방향 참조는 제한되게 된다.

본 실시예에서 참조가 제한되는 역방향 참조 프레임은 동일한 시간적 레벨에서 기 처리된 프레임 중의 하나로 대체된다. 그것은 양방향 예측, 더 나아가 복수 참조 순방향 예측을 가능하게 한다. 본 발명의 실시예에 따라 역방향 참조 프레임 대신 기 처리된 순방향 프레임을 참조 프레임으로 사용할 수 있는 이론적 근거는 이웃한 프레임들에 있는 많은 영역들은 천천히 변화한다는 사실에 있다. 그러므로 저 지연 조건에서 순방향으로 가장 가까이에 있는 프레임을 새로운 참조 프레임으로 사용하는 것은 많은 경우에 합리적 선택이 될 수 있다. 더구나, 개방 루프 MCTF 과정에서 드리프트 효과는 시간적으로 앞선 프레임들에서 덜 심각하므로, 기 처리된 프레임의 사용은 저 지연 조건에서 드리프트 인위성을 감소시킬 수 있다.

본 발명의 실시예에 따른 2 이상의 순방향 참조 프레임을 이용한 예측 방법은 동일한 시간적 레벨에 있는 가장 가까운 기 처리된 프레임을 역방향 참조 리스트(L1)에 추가함으로써 달성될 수 있다. 저 지연 조건이 없는 종래의 MCTF 과정에서 역방향 참조 프레임 인덱스(bi)는 다음의 수학식 1과 같이 유도된다.

bi (tlevel) = ci (tlevel) + 1

여기서 ci는 현재 프레임의 인덱스이고 tlevel은 현재 프레임의 시간적 레벨이다. 그러나, 역방향 참조 프레임에 대한 참조 경로가 저 지연 조건을 위반한다면, 역방향 참조 프레임 인덱스는 다음의 수학식 2과 같이 수정될 수 있다.

bi (tlevel) = max( ci (tlevel)-k, 0 )

여기서 k는 2보다 크거나 같은 정수 값이다. max 연산자는 역방향 참조 프레임 인덱스(bi)가 0 또는 양의 값을 갖는다는 것을 보장하기 위해 사용된다.

본 발명의 실시예에 따른 복수의 순방향 참조 프레임을 이용한 예측 방법의 상세는 도 3을 참조하여 설명하도록 한다.

본 실시예에 따른 복수의 순방향 참조 프레임을 이용한 예측 방법은 저 지연 조건을 만족하는 경우 현재 프레임(310)의 순방향 프레임(330) 및 역방향 프레임(340)을 사용하여 양방향 예측을 한다. 그러나, 저 지연 조건을 만족하지 못하는 경우 역방향 참조 경로(320)가 허용되지 않으므로 역방향 참조 프레임 대신 현재 프레임(310)의 순방향에 있는 프레임 중 가장 가까이에 있는 이미 처리된 프레임(350)을 사용하여 양방향 예측을 하도록 전환할 수 있다.

한편 본 발명의 다른 실시예에서는 양방향 예측이 사용되는 계층적 시간적 필터링 구조에서, 복수의 순방향 프레임들을 사용하여 양방향 예측을 구현하는데 이용할 수 있다.

또 다른 실시예에서는 순방향 프레임(330)만을 이용하여 예측한 경우, 역방향 참조 프레임을 대신하는 기 처리된 순방향 프레임(350) 만을 이용하여 예측한 경우, 두 프레임 330, 350을 모두 사용하여 양방향 예측을 한 경우 중 비용이 최소인 방법을 선택하도록 할 수 있다. 3가지의 예측 방법 중에서 유리한 방법을 선택하는 것은, 각 방법에 대하여 직접 부호화를 수행하여 그 비용(cost)가 더 낮은 방법을 선택하는 과정으로 수행된다. 여기서, 비용(C)은 여러 가지 방식으로 정의될 수 있는데, 대표적으로 레이트-왜곡(rate-distortion) 함수에 기반하여 수학식 3와 같이 계산될 수 있다. 여기서, E는 부호화된 비트를 디코딩하여 복원된 신호와 원 신호와의 차이를 의미하고, B는 각 방법을 수행하는데 소요되는 비트량을 의미한다. 또한, λ는 라그랑지안 계수로서 E와 B의 반영 비율을 조절할 수 있는 계수를 의미한다.

C = E + λB

지금까지 2개의 참조 프레임을 가지고 예측을 수행하는 예측 방법을 위주로 설명하였으나 2 이상의 다수의 참조 프레임을 참조하여 예측을 수행하는 경우로도 본 발명이 확장될 수 있음은 자명하다.

비디오 인코더(400)는 크게 시간적 변환부(410), 공간적 변환부(420), 양자화부(430), 엔트로피 부호화부(440)를 포함하여 구성될 수 있다. 다시 시간적 변환부(410)는 모드 전환부(411), 모션 추정부(412), 모션 보상부(414), 및 예측 프레임 생성부(416)로 세분될 수 있다.

모드 전환부(411)는 저 지연 조건을 만족시키는지 여부를 판단하여 역방향 참조가 저 지연 조건에 위배되지 않는 경우 종래의 양방향 예측과 같이 현재 프레임의 순방향 프레임 및 역방향 프레임을 사용하여 양방향 예측을 하도록 한다. 반면, 역방향 참조가 저 지연 조건을 위배하는 경우에는 참조가 제한되는 역 방향 참조 프레임 대신 현재 프레임의 순방향에 있는 프레임 중 기 처리된 가장 가까운 프레임을 사용함으로써 두 개의 순방향 프레임을 이용한 양방향 예측을 하도록 한다. 그러나 저 지연 조건에 관계없이 현재 프레임의 순방향에 있는 두 프레임을 사용하여 양방향 예측을 하는 비디오 인코더의 경우 모드 전환부(411)는 생략될 수 있다.

모션 추정부(412)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현 재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 모션 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 모션 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 모션 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 모션 블록을 이용하여 모션 추정을 수행할 수도 있다. 모션 추정부(412)는 모드 전환부(411)로부터 저 지연 조건의 위배 여부에 따른 예측 방법에 관한 정보를 제공받고, 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(440)에 제공한다.

모션 보상부(414)는 상기 입력 비디오 프레임의 시간적 중복성을 감소시킨다. 이 경우 모션 보상부(414)는 상기 모션 추정부(412)에서 계산된 모션 벡터를 이용하여 참조 프레임에 대하여 모션 보상(motion compensation)을 수행한 후, 모션 보상된 프레임을 예측 프레임 생성부에 제공한다.

예측 프레임 생성부(416)는 모션 보상부(414)로부터 제공받은 모션 보상된 참조 프레임들을 가중 평균하여 시간적 예측 프레임을 생성하고, 생성된 예측 프레임을 차분기(418)에 제공한다. 참조 프레임이 2개인 경우 두 참조 프레임의 가중치는 동일할 수도 있고 현재 프레임으로부터 떨어진 시간적 위치에 반비례할 수도 있다. 이는 참조 프레임이 2 이상인 경우에도 마찬가지이다.

차분기(418)는 현재 프레임과 상기 시간적 예측 프레임을 차분함으로써 비디 오의 시간적 중복성을 제거한다.

공간적 변환부(420)는 차분기(418)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용되고 있다. 공간적 변환 결과 구해지는 계수들을 변환 계수라고 하는데, 공간적 변환으로 DCT를 사용하는 경우 DCT 계수라고 하고, 웨이블릿 변환을 사용하는 경우 웨이블릿 계수라고 한다.

양자화부(430)는 공간적 변환부(420)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭(matching)시키는 작업을 의미한다. 특히, 공간적 변환 방법으로 웨이블릿 변환을 이용하는 경우에는 양자화 방법으로서 엠베디드 양자화(embedded quantization) 방법을 이용하는 경우가 많다. 이러한 엠베디드 양자화 방법은 상기 변환 계수를 문턱 값을 변경시켜 가면서(1/2로 변경) 그 문턱 값을 넘는 성분을 우선적으로 부호화하는 방식으로서, 공간적 연관성(spatial redundancy)를 이용하여 효율적인 양자화를 수행한다. 이러한 엠베디드 양자화 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등이 있다.

엔트로피 부호화부(440)는 양자화부(430)에 의하여 양자화된 변환 계수와, 모션 추정부(412)에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트 스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.

비디오 인코더(500)는 크게 시간적 변환부(510), 공간적 변환부(520), 양자화부(530), 엔트로피 부호화부(540)를 포함하여 구성될 수 있다. 다시 시간적 변환부(510)는 모션 추정부(512), 모션 보상부(514), 예측 프레임 생성부(516), 및 선택부(518)로 세분될 수 있다.

모션 추정부(512)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 본 실시예의 경우 현재 프레임에 대한 2개의 순방향 인접 프레임을 참조 프레임으로 하여 모션을 추정하고, 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(540)에 제공한다.

모션 보상부(514)는 모션 추정부(512)에서 계산된 2 개의 모션 벡터를 이용하여 2개의 참조 프레임에 대하여 모션 보상을 수행한다.

예측 프레임 생성부(516)는 모션 보상부(514)로부터 제공받은 모션 보상된 참조 프레임들로 세 가지 경우의 시간적 예측 프레임을 생성하고, 생성된 세 가지 예측 프레임을 선택부(518)에 제공한다.

선택부(518)는 순방향 참조 프레임(도 3의 330)만 사용한 예측, 순방향으로 가장 가까이에 있는 기 처리된 프레임(350)만을 사용한 예측, 및 프레임 330 및 프 레임 350을 모두 사용한 예측 중에서 유리한 예측 방법을 선택한다. 이러한 선택은 매크로블록 단위로 이루어지는 것이 바람직하지만, 그에 한하지 않고 프레임 단위, 또는 슬라이스(slice) 단위로 이루어질 수도 있다. 이를 위하여 선택부(518)는 예측 프레임 생성부(516)로부터 각 예측 방법에 의해 생성된 예측 프레임을 제공받아 상기 수학식 1에 따른 비용이 최소인 예측 프레임을 선택한다.

차분기(518)는 현재 프레임과 선택부(518)에 의해 선택된 시간적 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다.

이외에, 공간적 변환부(520), 양자화부(530), 엔트로피 부호화부(540)의 동작은 도 4에 존재하는 동일 명칭의 구성요소와 마찬가지이므로 중복된 설명은 하지 않기로 한다.

비디오 디코더(600)는 엔트로피 복호화부(610), 역 양자화부(620), 역 공간적 변환부(630), 모션 보상부(640), 및 예측 프레임 생성부(650)을 포함하여 구성될 수 있다.

엔트로피 복호화부(610)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 모션 데이터, 및 텍스쳐 데이터를 추출한다. 그리고, 텍스쳐 정보는 역 양자화부(620)에 제공하고, 모션 데이터는 모션 보상부(640)에 제공한다.

역 양자화부(620)는 엔트로피 복호화부(610)로부터 전달된 텍스쳐 정보를 역 양자화한다. 역 양자화 과정은 인코더(400, 500) 단에서 소정의 인덱스로 표현하여 전달한 값으로부터 이와 매칭되는 양자화된 계수를 찾는 과정이다. 인덱스와 양자화 계수 간의 매칭(matching) 관계를 나타내는 테이블은 인코더(400, 500) 단으로부터 전달될 수도 있고, 미리 인코더와 디코더 간의 약속에 의한 것일 수도 있다.

역 공간적 변환부(630)는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들을 공간적 영역에서의 잔차 이미지로 복원한다. 예를 들어, 비디오 인코더 단에서 웨이블릿 방식으로 공간적 변환된 경우에는 역 공간적 변환부(630)는 역 웨이블릿 변환을 수행할 것이고, 비디오 인코더 단에서 DCT 방식으로 공간적 변환된 경우에는 역 DCT 변환을 수행할 것이다.

모션 보상부(640)는 엔트로피 복호화부(610)로부터 제공되는 모션 데이터를 이용하여, 기 복원된 비디오 프레임을 모션 보상하여 모션 보상 프레임을 생성한다. 물론, 이와 같이 모션 보상 과정은 현재 프레임이 인코더 단에서 시간적 예측 과정을 통하여 부호화된 경우에 한하여 적용된다.

예측 프레임 생성부(650)는 모션 보상부(640)로부터 모션 보상된 프레임 및 참조 프레임 번호에 관한 정보를 제공받아 복원될 프레임에 해당하는 예측 프레임을 생성하여 가산기(660)에 제공한다.

가산기(660)는 역 공간적 변환부에서 복원되는 잔차 이미지가 시간적 예측에 의하여 생성된 것일 때에는, 상기 잔차 이미지와 예측 프레임 생성부(650)로부터 제공되는 모션 보상되어 복원된 예측 프레임을 가산하여 비디오 프레임을 복원한다.

지금까지 도 4 내지 도 6의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 것으로 구현할 수도 있다. 뿐만 아니라, 상기 구성요소들은 시스템 내의 하나 또는 그 이상의 컴퓨터들을 실행시키도록 구현될 수 있다.

모드 전환부(411)는 역방향 참조 경로가 저 지연 조건을 위배하는지 조사하고, 역방향 참조 경로가 저 지연 조건을 위배하는 경우(S710의 예), 모션 추정부(412)가 인접한 순방향 프레임과, 참조가 허용되지 않는 역방향 프레임 대신 현재 프레임의 순방향 프레임 중 기 처리된 프레임에 대하여 모션 추정을 수행(S720)한다. 이 때, 역방향 참조 프레임 대신 사용되는 순방향의 참조 프레임의 개수는 2 이상이 될 수 있다. 반면, 역방향 참조 경로가 저 지연 조건을 위배하지 않는 경우(S710의 아니오), 모션 추정부(412)는 종래와 같이 현재 프레임의 순방향 프레임과 역방향 프레임에 대해 모션 추정을 수행(S730)한다.

모션 추정의 결과 생성되는 모션에 관한 정보, 즉 모션 벡터, 참조 프레임 번호 등을 이용하여 모션 보상부(414)가 참조 프레임을 모션 보상(S740) 한다. 예 측 프레임 생성부(416)는 모션 보상된 참조 프레임들로부터 현재 프레임에 대한 예측 프레임을 생성(S750)한다. 예측 프레임은 일반적으로 참조 프레임들을 가중 평균하여 생성된다. 가중 평균 시의 각 참조 프레임의 가중치는 도 4에서 상술한 바와 같이 동일할 수도 있고 각 참조 프레임의 현재 프레임으로부터의 떨어진 시간적 위치에 반비례할 수도 있다. 즉 멀리 떨어져 있는 참조 프레임일수록 예측 프레임에의 반영도가 낮아질 수 있다.

현재 프레임으로부터 예측 프레임을 차분하여 잔차 신호가 생성(S760)되면, 이 잔차 신호는 공간적 변환, 양자화, 엔트로피 부호화의 과정을 거쳐 부호화되어 디코더로 전송(S770)된다.

모션 추정부(512)는 현재 프레임에 대하여 2 이상의 순방향 프레임에 모션 추정을 수행(S810)한다.

모션 추정의 결과 생성되는 모션에 관한 정보, 즉 모션 벡터, 참조 프레임 번호 등을 이용하여 모션 보상부(514)가 참조 프레임을 모션 보상(S820) 한다. 예측 프레임 생성부(516)는 모션 보상된 참조 프레임들로부터 현재 프레임에 대한 예측 프레임을 생성(S830)한다. 본 실시예에서의 예측 프레임은 모션 보상된 현재 프레임의 순방향 인접 프레임(이하 F1 이라 함), 모션 보상된 현재 프레임에 대한 순방향 프레임으로서 기 처리된 프레임(이하 F2 라 함), 및 F1과 F2를 산술평균하여 생성되는 예측 프레임(이하 F3 라 함)을 포함한다.

예측 프레임 F1, F2 및 F3 중 가장 적절한 예측 프레임이 선택부(518)에 의해 선택(S840)되고, 선택된 예측 프레임을 현재 프레임으로부터 차분하여 잔차 신호를 생성(S850)한다. 잔차 신호는 공간적 변환, 양자화, 엔트로피 부호화의 과정을 거쳐 부호화되어 디코더로 전송(S860)된다.

본 실시예는 2 개의 순방향 참조 프레임을 사용하는 경우를 가정하여 설명되고 있으나, 2 이상의 순방향 참조 프레임을 사용하여 예측하는 경우도 포함될 수 있음은 당업자에게 자명하다. 2 이상의 순방향 참조 프레임을 사용하는 경우, 각 모션 보상된 참조 프레임과, 참조 프레임들의 가능한 모든 조합의 산술평균에 해당하는 예측 프레임들 중 인코딩에 유리한 예측 프레임을 사용하게 될 것 이다. 3가지의 예측 방법 중에서 유리한 방법을 선택하는 것은, 각 방법에 대하여 직접 부호화를 수행하여 그 비용(cost)이 더 낮은 방법을 선택하는 과정으로 수행됨은 도 3에서 상술한 바와 같다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 저 지연 조건 하에서 역방향 예측 경로가 허용되지 않는 경우에도 빠진 역방향 참조 프레임 대신 기 처리된 순방향의 프레임을 참조 프레임으로 사용함으로써 양방향 예측이 가능하도록 할 수 있다는 장점이 있다.

둘째, 기 처리된 순방향의 프레임을 참조 프레임으로 사용함으로써 참조 프레임의 수를 효과적으로 증가시켜 비디오 코딩의 성능을 향상시킬 수 있다는 장점도 있다.

셋째, 시간적으로 앞선 프레임들을 참조 프레임으로 사용함으로써 개방 루프(Open Loop)를 사용하는 비디오 인코더의 드리프트 인위성을 감소시킬 수 있다는 장점도 있다.

Claims

계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서,

(a) 현재 프레임보다 시간적으로 앞선 2 이상의 참조 프레임들로부터 예측 프레임을 생성하는 단계;

(b) 상기 현재 프레임으로부터 상기 예측 프레임을 차분하여 잔차 프레임을 생성하는 단계;

(c) 상기 잔차 프레임을 부호화하여 전송하는 단계; 및

(d) 상기 현재 프레임에 대한 역방향 참조 경로가 저 지연 조건을 위배하는지 여부를 조사하는 단계를 포함하며,

상기 (a) 단계는 상기 (d) 단계의 조사 결과 상기 역방향 참조 경로가 상기 저 지연 조건에 위배되는 경우 수행되는, 비디오 인코딩 방법
삭제
제 1항에 있어서,

상기 (a) 단계는

(a1) 상기 시간적으로 앞선 2 이상의 참조 프레임들 중 하나의 프레임을 모션 보상하거나, 상기 참조 프레임들 중 2 이상의 프레임들을 모션 보상하여 가중 평균을 구함으로써 상기 예측 프레임들을 생성하는 단계; 및

(a2) 상기 예측 프레임들의 각각에 대하여 부호화를 수행하여 비용이 가장 낮은 예측 프레임을 선택하는 단계를 포함하는 비디오 인코딩 방법
제 3항에 있어서,

상기 (a1) 단계에서,

상기 가중 평균을 구함에 있어서 상기 참조 프레임들의 가중치는

상기 모든 참조 프레임들에 대해 동일한 비디오 인코딩 방법
제 3항에 있어서,

상기 (a1) 단계에서,

상기 가중 평균을 구함에 있어서 상기 참조 프레임들의 가중치는

각 상기 참조 프레임의 상기 현재 프레임으로부터 떨어진 시간적 거리에 반비례하는 비디오 인코딩 방법
제 1항에 있어서,

상기 (c) 단계는

(c1) 상기 잔차 프레임의 공간적 중복성을 제거하여 변환 계수를 생성하는 단계;

(c2) 상기 변환 계수를 양자화하는 단계; 및

(c3) 상기 양자화된 변환 계수를 엔트로피 부호화하는 단계를 포함하는 비디오 인코딩 방법
계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서,

(a) 비트스트림으로 부터 참조 프레임 번호 및 텍스쳐 데이터를 추출하는 단계;

(b) 상기 텍스쳐 데이터를 역 양자화 하는 단계;

(c) 상기 역 양자화된 텍스쳐 데이터를 역 공간적 변환하여 잔차 프레임을 복원하는 단계;

(d) 상기 참조 프레임 번호에 해당하는 참조 프레임으로 예측 프레임을 생성하는 단계; 및

(e) 상기 예측 프레임에 상기 잔차 프레임을 더하여 비디오 프레임을 복원하는 단계를 포함하며,

상기 참조 프레임 번호는 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호인 비디오 디코딩 방법
제 7항에 있어서,

상기 참조 프레임 번호는

상기 복원된 비디오 프레임에 대한 역방향 참조 경로가 저 지연 조건을 위배하는 경우, 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호인 비디오 디코딩 방법
제 7항에 있어서,

상기 참조 프레임 번호는

상기 예측 프레임을 생성하기 위해 사용된 상기 참조 프레임의 번호이며,

상기 예측 프레임은

(f) 상기 시간적으로 앞선 2 이상의 참조 프레임들 중 하나의 프레임을 모션 보상하거나, 상기 참조 프레임들 중 2 이상의 프레임들을 모션 보상하여 가중 평균을 구함으로써 상기 예측 프레임들을 생성하는 단계; 및

(g) 상기 예측 프레임들의 각각에 대하여 부호화를 수행하여 비용이 가장 낮은 예측 프레임을 선택하는 단계에 의하여 결정된 프레임인 비디오 디코딩 방법
계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서,

현재 프레임으로부터 상기 현재 프레임보다 시간적으로 앞선 2 이상의 프레임들로부터 생성된 예측 프레임을 차분한 잔차 프레임의 시간적 중복성을 제거하는 시간적 변환부;

상기 시간적 중복성이 제거된 상기 잔차 프레임의 공간적 중복성을 제거하는 공간적 변환부;

상기 공간적 변환부에 의해 제공되는 변환 계수를 양자화 하는 양자화부; 및

상기 양자화된 변환 계수를 부호화하는 엔트로피 부호화부를 포함하며,

상기 시간적 변환부는,

상기 현재 프레임보다 상기 시간적으로 앞선 프레임들을 기준으로 상기 현재 프레임의 모션 벡터를 생성하는 모션 추정부; 상기 모션 벡터에 따라 상기 시간적으로 앞선 프레임들을 모션 보상하는 모션 보상부; 상기 모션 보상된 프레임들로부터 예측 프레임을 생성하는 예측 프레임 생성부; 및 상기 현재 프레임의 역 방향 참조가 저 지연 조건을 위배하는지 여부를 조사하는 모드 전환부를 포함하는 비디오 인코더
삭제
삭제
제 10항에 있어서,

상기 예측 프레임 중 하나를 선택하는 선택부를 더 포함하는 비디오 인코더
제 13항에 있어서,

상기 선택부는

상기 예측 프레임들의 각각에 대하여 부호화를 수행하여 비용이 가장 낮은 예측 프레임을 선택하는 비디오 인코더
제 10항에 있어서,

상기 예측 프레임은

상기 참조 프레임들 중 하나의 프레임을 모션 보상한 프레임 또는 상기 참조 프레임들 중 2 이상의 프레임들을 모션 보상한 프레임들의 가중 평균인 프레임 중 적어도 하나인 비디오 인코더
제 15항에 있어서,

상기 가중 평균에 있어서 상기 참조 프레임들의 가중치는

상기 모든 참조 프레임들에 대해 동일한 비디오 인코더
제 15항에 있어서,

상기 가중 평균에 있어서 상기 참조 프레임들의 가중치는

각 상기 참조 프레임이 상기 현재 프레임으로부터 떨어진 시간적 거리에 반비례하는 비디오 인코더
계층적 시간적 필터링 구조의 하나의 시간적 레벨에 있어서,

비트스트림으로부터 참조 프레임 번호 및 텍스쳐 데이터를 추출하는 엔트로 피 복호화부;

상기 텍스쳐 데이터를 역 양자화 하는 역 양자화부;

상기 역 양자화된 텍스쳐 데이터를 역 공간적 변환하여 잔차 프레임을 복원하는 역 공간적 변환부;

상기 참조 프레임 번호에 해당하는 프레임을 모션 보상하는 모션 보상부; 및

상기 모션 보상된 프레임으로부터 예측 프레임을 생성하는 예측 프레임 생성부를 포함하며,

상기 참조 프레임 번호는 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호인 비디오 디코더
제 18항에 있어서,

상기 참조 프레임 번호는

상기 복원된 비디오 프레임에 대한 역방향 참조 경로가 저 지연 조건을 위배하는 경우, 상기 비디오 프레임보다 시간적으로 앞선 2 이상의 프레임들의 번호인 비디오 디코더
제 18항에 있어서,

상기 참조 프레임 번호는

상기 예측 프레임을 생성하기 위해 사용된 상기 참조 프레임의 번호이며,

상기 예측 프레임은

(f) 상기 시간적으로 앞선 2 이상의 참조 프레임들 중 하나의 프레임을 모션 보상하거나, 상기 참조 프레임들 중 2 이상의 프레임들을 모션 보상하여 가중 평균을 구함으로써 상기 예측 프레임들을 생성하는 단계; 및

(g) 상기 예측 프레임들의 각각에 대하여 부호화를 수행하여 비용이 가장 낮은 예측 프레임을 선택하는 단계에 의하여 결정된 프레임인 비디오 디코더
제 1항, 제3항 내지 제9항 중 어느 한 항에 의한 방법을 실행하기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체