KR100860950B1 - 이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티 - Google Patents

이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티 Download PDF

Info

Publication number
KR100860950B1
KR100860950B1 KR1020027006542A KR20027006542A KR100860950B1 KR 100860950 B1 KR100860950 B1 KR 100860950B1 KR 1020027006542 A KR1020027006542 A KR 1020027006542A KR 20027006542 A KR20027006542 A KR 20027006542A KR 100860950 B1 KR100860950 B1 KR 100860950B1
Authority
KR
South Korea
Prior art keywords
motion
differential frame
base layer
frame residues
frames
Prior art date
Application number
KR1020027006542A
Other languages
English (en)
Other versions
KR20020056940A (ko
Inventor
미하엘라 반데르사르
하이더 라다
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/887,743 external-priority patent/US6940905B2/en
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020056940A publication Critical patent/KR20020056940A/ko
Application granted granted Critical
Publication of KR100860950B1 publication Critical patent/KR100860950B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 파인 그래뉼 스케일러블 코딩된 강화층 내에 움직임 보상을 갖는 비디오 코딩 기술에 관한 것이다. 일 실시예에서, 비디오 코딩 기술은 비움직임 예측 강화층 I- 및 P-프레임들 및 움직임 예측된 강화층 B-프레임들을 포함하는 이중-루프 예측에 기초한 강화층을 포함한다. 움직임 예측된 강화층 B-프레임들은 1) 2개의 일시적으로 인접한 차동 I- 및 P- 또는 P- 및 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 B-프레임 잔류분으로부터 디코딩된 기저층 B-프레임 잔류분을 감산함으로써 얻어진 차동 B-프레임 잔류분을 이용함으로써 계산된다. 제 2 실시예에서, 강화층은 움직임 예측된 강화층 P-프레임들을 더 포함한다. 움직임 예측된 강화층 P-프레임들은 1) 일시적으로 인접한 차동 I- 또는 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 P-프레임 잔류분으로부터 디코딩된 기저층 P-프레임 잔류분을 감산함으로써 얻어진 차동 P-프레임 잔류분을 이용하여 계산된다.
스케일러블 코딩, 움직임 예측된 강화층 프레임, 차동 프레임, 비디오 코딩, 파인 그래뉼 스케일러빌러티

Description

이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티{Double-loop motion-compensation fine granular scalability}
본 발명은 비디오 코딩에 관한 것이며, 특히 쌍방향 예측 프레임들(B-프레임들) 및 예측 프레임들과, 쌍방향 예측 프레임들 및 (P-프레임, B-프레임)에 대한 강화층(enhancement layer) 내의 움직임 보상을 이용하는 스케일러블 강화층 비디오 코딩 방법(scalable enhancement layer video coding scheme)에 관한 것이다.
스케일러블 강화층 비디오 코딩은 인터넷과 같은 변화하는 대역폭을 갖는 컴퓨터 네트워크들을 통해 전송된 비디오를 압축하기 위해 이용되어 왔다. 파인 그래뉼 스케일러블 코딩 기술들(ISO MPEG-4 표준에 의해 채택됨)을 이용하는 본 강화층 비디오 코딩 방법이 도 1에 도시되어 있다. 도시된 바와 같이, 비디오 코딩 방법(10)은 비트율(RBL)로 코딩된 예측에 기초한 기저층(prediction-based base layer; 11), 및 REL로 코딩된 FGS 강화층(12)을 포함한다.
예측에 기초한 기저층(11)은 인트라프레임 코딩된 I 프레임들(intraframe coded I frames), 움직임 추정-보상(motion estimation-compensation)을 이용하여 이전의 I-프레임 또는 P-프레임으로부터 시간적으로 예측되는 인터프레임 코딩된 P 프레임들(interframe coded P frames), 및 움직임 추정-보상을 이용하여 B-프레임에 인접한 이전 프레임 및 다음의 프레임 양자 모두로부터 시간적으로 예측되는 인터프레임 코딩된 쌍방향 B-프레임들을 포함한다. 기저층(11) 내에서 예측 및/또는 보간 코딩, 즉, 움직임 추정 및 대응하는 보상의 이용은 내부의 시간적인 용장도(redundancy)를 감소시킨다.
강화층(12)은 각각의 원래의 프레임들로부터 각각의 재구성된 기저층 프레임들을 감산함으로써(이러한 감산 역시 움직임 보상된 영역에서 발생할 수 있음) 유도된 FGS 강화층 I-프레임, P-프레임 및 B-프레임을 포함한다. 따라서, 강화층 내의 FGS 강화층 I-프레임, P-프레임 및 B-프레임은 움직임 보상되지 않는다(FGS 잔류분은 동시에 프레임들로부터 취해진다.). 이러한 주된 이유는, 전송 시점에서 이용가능한 대역폭에 개별적으로 의존하여 각각의 FGS 강화층 프레임의 절단(truncation)을 허용하는 유연성(flexibility)을 제공하기 때문이다. 특히, 강화층(12)의 파인 그래뉼 스케일러블 코딩(fine granular scalable coding)은 Rmin=RBL 내지 Rmax=RBL+REL 범위의 이용가능한 대역폭으로 임의의 네트워크 세션을 통해 FGS 비디오 스트림이 전송되게 한다. 예를 들면, 송신기와 수신기 간의 이용가능한 대역폭이 B=R인 경우, 송신기는 기저층 프레임들을 비트율 RBL로 전송하고, 강화층 프레임들의 일부만을 비트율 REL=R-RBL로 전송한다. 도 1로부터 알 수 있듯이, 강화층 내의 FGS 강화층 프레임들의 일부들은 전송을 위한 파인 그래뉼 스케일러블 방식으로 선택될 수 있다. 그러므로, 전체 전송된 비트율은 R=RBL+REL이다. 그 유연성 때문에, 단일 강화층으로 폭넓은 범위의 전송 대역폭이 지원된다.
도 2는 도 1의 비디오 코딩 방법의 기저층(11) 및 강화층(12)을 코딩하기 위한 종래의 FGS 인코더의 블록도를 도시한다. 도시한 바와 같이, 프레임 i(FGSR(i))의 강화층 잔류분은 MCR(i)-MCRQ(i)와 동일하고, 여기에서 MCR(i)은 프레임 i의 움직임 보상된 잔류분이고, MCRQ(i)는 양자화 공정(quantization process) 및 역양자화 공정(dequantization process) 이후의 프레임 i의 움직임 보상된 잔류분이다.
도 1의 본 FGS 강화층 비디오 코딩 방법은 매우 유연성이 있지만, 비디오 화질의 면에서 그 성능은 동일한 전송 비트율에서 기능하는 넌-스케일러블 코더(non-scalable coder)에 비해 비교적 낮다는 단점을 갖는다. 화질의 감소는 강화층(12)의 파인 그래뉼 스케일러블 코딩으로 인한 것이 아니라, 주로 강화층(12) 내의 FGS 잔류 프레임들 간의 시간적인 용장도의 감소된 이용에 기인한다. 특히, 강화층(12)의 FGS 강화층 프레임들은 단지 이들 각각의 기저층 I-프레임, P-프레임, 및 B-프레임의 움직임 보상된 잔류분으로부터 유도되고, FGS 강화층 프레임들은 강화층(12) 내의 다른 FGS 강화층 프레임들 또는 기저층(11) 내의 다른 프레임들을 예측하는데 이용되지 않는다.
따라서, 본 FGS 비디오 코딩 방법에 전형적인 유연성 및 흥미 있는 특성들의 대부분을 보존하면서 화질을 개선시키기 위해 강화층 내에 움직임-보상을 이용하는 스케일러블 강화층 비디오 코딩 방법이 필요하다.
본 발명의 일 양태는 청구항 제 1 항에 기재된 바와 같은 비디오 코딩 방법을 제공한다. 또한, 본 발명은 강화층 비디오 코딩 방법, 특히 예측 프레임 및 쌍방향 예측 프레임을 위해 강화층 내에 움직임 보상을 이용하는 FGS 강화층 비디오 코딩 방법에 관한 것이다. 본 발명의 일 양태는 기저층 프레임들(base layer frames)을 생성하기 위해 넌-스케일러블 코덱(non-scalable codec)으로 코딩되지 않은 비디오를 코딩하는 단계; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들(differential frame residulas)을 계산하는 단계로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 단계; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분의 적어도 일부에 움직임-보상을 적용하는 단계; 및 움직임 예측되는 강화층 프레임들(motion-predicted enhancement layer frames)을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 단계(60)를 포함하는 방법을 포함할 수 있다.
본 발명의 다른 양태는 청구항 제 7 항에 기재된 바와 같은 압축된 비디오 디코딩 방법을 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 단계; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 단계로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 단계; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 차동 프레임 잔류분 중 적어도 일부들에 상기 움직임-보상을 적용하는 단계; 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들을 상기 참조 움직임 보상된 차동 프레임 잔류분들에 부가하는 단계; 및 강화된 비디오(enhanced video)를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측되는 강화층 프레임들을 조합하는 단계를 포함하는 방법을 포함할 수 있다.
본 발명의 또 다른 양태는 청구항 제 11 항에 기재된 바와 같은 컴퓨터 판독가능 메모리 매체를 제공한다. 또한, 본 발명은 코딩되지 않은 비디오를 기저층 프레임들로 넌-스케일러블 인코딩하는 코드; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 코드로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 코드; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들의 적어도 일부들에 움직임-보상을 적용하는 코드; 및 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 코드를 포함하는 비디오를 인코딩하기 위한 메모리 매체를 포함할 수 있다.
본 발명의 또 다른 양태는 청구항 제 17 항에 기재된 바와 같은 컴퓨터 판독가능 메모리 매체를 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 코드; 상기 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 코드로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 코드; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 코드; 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들에 상기 참조 움직임 보상된 차동 프레임 잔류분을 부가하는 코드; 및 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측되는 강화층 프레임들을 조합하는 코드를 포함하는 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 메모리 매체를 포함할 수 있다.
본 발명의 또 다른 양태는 청구항 제 21 항에 기재된 바와 같은 비디오 코딩 장치를 제공한다. 또한, 본 발명은 기저층 프레임들을 생성하기 위해 코딩되지 않은 비디오를 넌-스케일러블 코딩하는 수단; 코딩되지 않은 비디오 및 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 수단으로서, 상기 차동 프레임 잔류분들 중 특ds정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 수단; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 수단; 및 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 수단을 포함하는 비디오 코딩 장치를 포함할 수 있다.
본 발명의 또 다른 양태는 청구항 제 27 항에 기재된 바와 같은 압축된 비디오를 디코딩하는 장치를 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 수단; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 수단으로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 수단; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 수단; 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들에 상기 참조 움직임 보상된 차동 프레임 잔류분들을 부가하는 수단; 및 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 움직임 예측된 강화층 프레임들을 조합하는 수단을 포함하는, 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 장치를 포함할 수 있다.
도 1은 본 강화층 비디오 코딩 방법을 도시하는 도면.
도 2는 도 1의 비디오 코딩 방법의 기저층 및 강화층을 코딩하기 위한 종래의 인코더를 도시하는 블록도.
도 3a는 본 발명의 제 1 예시적인 실시예에 따른 강화층 비디오 코딩 방법을 도시하는 도면.
도 3b는 본 발명의 제 2 예시적인 실시예에 따른 강화층 비디오 코딩 방법을 도시하는 도면.
도 4는 본 발명의 예시적인 실시예에 따라 도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는 인코더를 도시하는 블록도.
도 5는 본 발명의 예시적인 실시예에 따라 도 3b의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는 인코더를 도시하는 블록도.
도 6은 본 발명의 예시적인 실시예에 따라 도 4의 인코더에 의해 생성된 압축 기저층 및 강화층 스트림을 디코딩하기 위해 이용될 수 있는 디코더를 도시하는 블록도.
도 7은 본 발명의 예시적인 실시예에 따라 도 5의 인코더에 의해 생성된 압축 기저층 및 강화층 스트림을 디코딩하기 위해 이용될 수 있는 디코더를 도시하는 블록도.
도 8은 본 발명의 원리들을 구현하기 위해 이용될 수 있는 시스템의 예시적인 실시예를 도시하는 도면.
본 발명의 장점, 특성 및 다양한 부가적인 특징들은 동일한 참조 번호는 도면들 전반에 걸쳐 동일한 소자로 간주되는 첨부한 도면과 연관하여 상세히 기재될 예시적인 실시예들을 고려하여 보다 명백해질 것이다.
도 3a는 본 발명의 제 1 예시적인 실시예에 따른 강화층 비디오 코딩 방법(30)을 도시한다. 도시된 바와 같이, 비디오 코딩 방법(30)은 예측에 기초한 기저층(31) 및 이중-루프 예측에 기초한 강화층(32)을 포함한다.
예측에 기초한 기저층(31)은 도 1에서 나타낸 종래의 강화층 비디오 방법에서와 같이, 인트라프레임 코딩된 I 프레임, 인터프레임 코딩된 예측 P-프레임, 및 인터프레임 코딩된 쌍방향 예측 B-프레임을 포함한다. 기저층 I-, P- 및 B-프레임들은 종래의 넌-스케일러블 프레임 예측 코딩 기술들을 이용하여 코딩될 수 있다(기저층 I-프레임은 물론 움직임-예측되지 않는다.).
이중-루프 예측에 기초한 강화층(32)은 비움직임 예측 강화층(non-motion-predicted enhancement layer) I- 및 P-프레임들 및 움직임 예측된 강화층 B-프레임들을 포함한다. 종래에는 비움직임 예측 강화층 I- 및 P-프레임들이 이들 각각의 원래의 기저층 I- 및 P-프레임 잔류분들로부터 이들 각각의 재구성된(디코딩된) 기저층 I- 및 P-프레임 잔류분들을 감산함으로써 유도된다.
본 발명에 따라, 움직임 예측된 강화층 B-프레임들은 각각 1) 2 개의 시간적으로 인접한 차동 I- 및 P- 또는 P- 및 P-프레임 잔류분들(즉, 강화층 프레임들)로부터의 움직임 예측, 및 2) 원래의 기저층 B-프레임 잔류분으로부터 디코딩된 기저층 B-프레임 잔류분을 감산함으로써 얻어진 차동 B-프레임 잔류분을 이용함으로써 계산된다. 1) 2 개의 시간적으로 인접한 움직임 보상된 차동 프레임 잔류분으로부터 얻어진 B-프레임 움직임 예측과 2) 차동 B-프레임 잔류분 간의 차이는 강화층(32) 내에 움직임 예측된 강화층 B-프레임을 제공한다. 이러한 공정으로부터 초래되는 움직임 예측된 강화층 B 프레임들 및 비움직임 예측 강화층 I- 및 P-프레임들 양자 모두는, 임의의 적절한 스케일러블 코덱, 바람직하게는 도 3a에 도시된 바와 같이 파인 그래뉼 스케일러블(FGS) 코덱으로 코딩될 수 있다.
본 발명의 비디오 코딩 방법(30)은 그것이 강화층(32)의 강화층 B-프레임에서 일시적인 용장도를 감소시키기 때문에 비디오 화질을 개선시킨다. 강화층 B-프레임들이 화상들 구조의 IBBP 그룹(GOP)에서 강화층(32)에 대한 전체 비트율 버짓(total bit-rate budget)의 66%을 차지하기 때문에, 강화층 B-프레임들에 대해서만 움직임 보상을 수행하는 것과 연관된 화질의 손실은 대부분의 비디오 시퀀스들에 대해 매우 제한적이다(종래의 강화층 비디오 코딩 방법에서, 통상적인 비트율 제어는 동일한 수의 비트를 모든 강화층 I-, P- 및 B-프레임들에 할당함으로써 강화층 내에서 주로 수행된다.).
더욱이, 비트율 제어가 본 발명의 비디오 코딩 방법에 의해 우수한 성능을 달성하기 위한 중요한 역할을 한다는 것을 주목하는 것이 중요하다. 그러나, Btot=bI*No._I_프레임들+bP*No._P_프레임들+bB*No._B_프레임들(여기에서, bI>bP>bB)에 따라 GOP에 대해 전체 비트-버짓 Btot를 할당하는 단순한 접근법조차도 이미 매우 우수한 결과를 제공한다. 또한, 상이한 수의 강화층 비트들/비트평면들(비트들/비트평면들의 수가 정수여야 하는 것은 아님)은 움직임 보상 루프들에 이용된 각각의 강화층 참조 프레임에 대해 고려될 수 있다는 것을 주목해야 한다. 더욱이, 바람직한 경우, 강화층 참조 프레임 내의 특정 부분 또는 주파수만이 강화층 움직임 보상된 루프 내에 통합될 필요가 있다.
상기 방법의 패킷-손실 견고성(packet-loss robustness)은 도 1의 본 강화층 코딩 방법과 유사하고: 움직임 예측된 강화층 B-프레임에서 에러가 발생하는 경우, 이러한 에러는 다음에 수신된 I- 또는 P-프레임의 범위를 넘어서 전파되지 않을 것이다. 2 개의 패킷-손실 시나리오들이 발생할 수 있다:
● 움직임 예측된 강화층 B-프레임에서 에러가 발생하는 경우, 에러는 B-프레임으로만 한정되고;
● 강화층 I- 또는 P-프레임에서 에러가 발생하는 경우, 그 에러는 이들 강화층 프레임들을 참조들로 이용하는 (2 개의) 움직임 예측된 강화층 B-프레임들의 범위를 넘지 않을 것이다. 따라서, 움직임 예측된 강화층 B-프레임들 중 어느 하나가 폐기될 수 있고, 프레임-반복이 적용될 수 있거나, 다른 오염되지 않은 참조 강화층 프레임을 이용하여 에러 은폐(error concealment)가 적용될 수 있다.
도 4는 도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는, 본 발명의 예시적인 실시예에 따른 인코더(40)의 블록도를 도시한다. 도시된 바와 같이, 인코더(40)는 기저층 인코더(41) 및 강화층 인코더(42)를 포함한다. 기저층 인코더(41)는 종래의 것이고, 메모리(44) 내에 저장된 적절한 참조 프레임 및 원래의 비디오 시퀀스로부터 움직임 정보(움직임 벡터 및 예측 모드들)를 생성하는 움직임 추정기(43)를 포함한다. 제 1 움직임 보상 루프(62)에서의 제 1 움직임 보상기(45)는 움직임 정보를 처리하고, 움직임 보상된 기저층 참조 프레임들(Ref(i))을 생성한다. 제 1 감산기(46)는 기저층 프레임들 MCR(i)의 움직임 보상된 잔류분들을 생성하기 위해 원래의 비디오 시퀀스로부터 움직임 보상된 기저층 참조 프레임들 Ref(i)을 감산한다. 기저층 프레임들 MCR(i)의 움직임 보상된 잔류분들은 이산 코사인 변환(DCT) 인코더(47), 양자화기(48) 및 엔트로피 인코더(entropy encoder; 49)에 의해 원래의 비디오 시퀀스로부터 압축된 기저층 스트림(기저층 프레임들)의 일부로 처리된다. 움직임 추정기(43)에 의해 생성된 움직임 정보는 또한 제 1 감산기(46), DCT 인코더(47), 양자화기(48) 및 엔트로피 인코더(49)에 의해 처리된 기저층 스트림의 일부와 함께 멀티플렉서(50)를 통해 조합된다. 양자화기(48)의 출력단에서 생성된 기저층 프레임들 MCR(i)의 양자화된 움직임 보상된 잔류분은 역양자화기(51)에 의해 탈양자화되고, 이어서, 역 DCT 유니트(52)를 통해 역 DCT 변환된다. 이러한 공정은 역 DCT(52)의 출력단에서 기저층 프레임들 MCRQ(i)의 움직임 보상된 잔류분들의 양자화 및 탈양자화 버전들(quantized-and-dequantized versions)을 생성한다. 기저층 프레임 MCRQ(i) 및 이들의 각각의 움직임 보상된 기저층 참조 프레임들 Ref(i)의 양자화 및 탈양자화 움직임 보상 잔류분들은 제 1 프레임 메모리(44) 내에 저장되고, 다른 프레임들을 처리하기 위해 움직임 추정기(43) 및 움직임 보상기(45)에 의해 이용되는 새로운 참조 프레임들을 생성하기 위해 가산기(53)에서 합산된다.
다시, 도 4로 참조하면, 바람직하게는 FGS 강화층 인코더(도 4에 도시됨)를 포함하는 강화층 인코더(42)는 차동 I-, P-, 및 B-프레임 잔류분 FGSR(i)을 생성하기 위해(I- 및 P-프레임 잔류분들의 경우에, 강화층 I- 및 P-프레임들임) 기저층 프레임 의 움직임 보상된 잔류분 MCR(i)과 기저층 프레임의 양자화 및 탈양자화 움직임 보상된 잔류분 MCRQ(i) 간의 차를 계산하는 제 2 감산기(54)를 포함한다. 프레임 흐름 제어 장치(55)는 차동 B-프레임 잔류분들이 본 발명의 원리들에 따라 강화층 내의 움직임-보상에 의해 처리되면서 차동 I- 및 P-프레임 잔류분들이 종래와 같이 처리될 수 있도록 제공된다. 프레임 흐름 제어 장치(55)는 제 2 감산기(54)에 의해 출력되는 프레임의 유형에 따라 상이한 방식으로 제 2 감산기(54)의 출력단에서 데이터 흐름을 야기시킴으로써 이러한 작업을 수행한다. 특히, 제 2 감산기(54)의 출력단에서 생성된 차동 I- 및 P-프레임 잔류분들은 압축된 강화층 스트림의 일부(비움직임 예측 강화층 I- 및 P-프레임)를 생성하기 위해 비트평면 DCT 스캐닝 및 엔트로피 인코딩이 후속하는 종래의 DCT 인코딩을 이용하여, FGS 코딩용 프레임 제어 장치(55)에 의해 FGS 인코더(61)(또는 유사한 스케일러블 인코더)로 라우팅(route)된다. 제 2 감산기(54)의 출력단에서 생성된 차동 I- 및 P-프레임 잔류분들은 또한 이들이 이후 움직임-보상에 이용되는 경우 제 2 프레임 메모리(58)로 라우팅된다. 제 2 감산기(54)의 출력단에서 생성된 차동 B-프레임 잔류분들은 프레임 제어 장치(55)에 의해 제 3 감산기(60) 및 제 2 프레임 메모리(58)로 라우팅된다. 제 2 움직임 보상 루프(63)에서 제 2 움직임 보상기(59)는 원래의 비디오 시퀀스(기저층 인코더(41)의 움직임 추정기(43)의 출력단)로부터 움직임 정보를 재이용하고, 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-) 프레임 잔류분들 MCRGSR(i)을 생성하기 위해 참조들로 이용되는 제 2 프레임 메모리(58) 내에 저장된 차동 I- 및 P-프레임 잔류분들을 재이용한다. 바람직한 경우 전체 참조 차동 프레임 잔류분이 이용될 수 있더라도, 각각의 참조 차동 I- 및 P-프레임 잔류분의 일부, 예를 들면 여러 개의 비트평면만이 필요하다는 것을 주목한다. 제 3 감산기(60)는 각각의 차동 B-프레임 잔류분 FGSR(i)로부터 참조 움직임 보상된 차동 (I- 및 P- 또는 P- 또는 P-) 프레임 잔류분 MCFGSR(i)을 감산함으로써 각각의 움직임 예측된 강화층 B-프레임 MCFGS(i)를 생성한다. 프레임 흐름 제어 장치(55)는, 비트평면 DCT 주사 및 엔트로피 인코딩이 후속하는 종래 DCT 인코딩을 이용하여, FGS 코딩하기 위해 FGS 인코더(61)로 움직임 예측된 강화층 B-프레임 FCFGS(i)를 라우팅하고, 여기서 이들이 압축된 강화층 스트림에 부가된다.
이하 명백한 바와 같이, 기저층은 도 3a의 강화층 비디오 코딩 방법에서 변함이 없다. 더욱이, 강화층 I- 및 P-프레임들은 도 1의 본 FGS 비디오 코딩 방법에서와 실질적으로 동일한 방식으로 처리되고, 따라서, 이들 프레임들은 강화층 내에서 움직임-예측되지 않는다. 움직임 예측된 강화층 B-프레임들의 경우에, i번째 프레임 MCFGS의 강화층에서 코딩될 신호는 하기 식과 동일함이 명백해져야 할 것이다:
MCFGS(i)=FGSR(i)-MCFGSR(i)=MCR(i)-MCRQ(i)-MCFGSR(i)
여기에서 MCR(i)는 양자화 및 탈양자화 공정 이후 프레임 i의 움직임 보상된 잔류분이고, FGSR(i)는 도 1의 본 FSG 비디오 코딩 방법과 실질적으로 동일하고, 즉, FGSR(i)는 MCR(i)-MCRQ(i)이고, MCFGSR(i)는 프레임(i)에 대한 참조 움직임 보상된 차동 프레임 잔류분이다. 본 발명의 강화층 B-프레임 처리방법은 움직임 예측된 강화층 B-프레임을 제공하기 위해 강화층 내에 단지 추가의 움직임-보상 루프를 필요로 하는 것이 주목되어야 한다.
도 6은 도 4의 인코더(40)에 의해 생성된 강화층 스트림 및 압축된 기저층을 디코딩하기 위해 이용될 수 있는, 본 발명의 하나의 예시적인 실시예에 따른 디코더(70)의 블록도를 도시한다. 도시한 바와 같이, 디코더(70)는 기저층 디코더(71) 및 강화층 디코더(72)를 포함한다. 기저층 디코더(71)는 인코딩된 기저층 스트림을 수신하고, 이러한 스트림을 제 1 및 제 2 데이터 스트림(76, 77)으로 디멀티플렉싱하는 디멀티플렉서(75)를 포함한다. 움직임 정보(움직임 벡터들 및 움직임 예측 모드들)를 포함하는 제 1 데이터 스트림(76)이 제 1 움직임 보상기(78)에 적용된다. 움직임 보상기(78)는 제 1 가산기(80)의 제 1 입력단(81)에 인가되는 움직임 예측된 기저층 P- 및 B-프레임을 생성하기 위해 연관된 기저층 프레임 메모리(79)에 저장된 움직임 정보 및 기저층 참조 비디오 프레임들을 이용한다. 제 2 데이터 스트림(77)은 디코딩을 위해 기저층 가변 길이 코드 디코더(83)에 인가되고, 탈양자화를 위해 역양자화기(84)에 인가된다. 탈양자화된 코드는 역 DCT 디코더(85)에 인가되고, 여기에서 탈양자화된 코드는 기저층 잔류 비디오 I-, P- 및 B- 프레임들로 변환되고, 이는 제 1 가산기(80)의 제 2 입력단(82)에 인가된다. 기저층 잔류 비디오 프레임들 및 움직임 보상기(78)에 의해 생성된 움직임 예측 기저층 프레임들은 기저층 프레임 메모리(79)에 저장되고 임의로 기저층 비디오로서 출력되는 기저층 비디오 I-, P-, 및 B-프레임들을 생성하기 위해 제 1 가산기(80)에서 합산된다.
강화층 디코더(72)는 제 1 및 제 2 프레임 흐름 제어 장치들(87, 91)로 각각 인가되는 차동 I-, P- 및 B-프레임 잔류분을 제 1 및 제 2 출력단(73, 74)에서 생성하기 위해 압축된 강화층 스트림을 디코딩하는 FGS 비트평면 디코더(86) 또는 유사한 스케일러블 디코더를 포함한다. 제 1 및 제 2 프레임 흐름 제어 장치(87, 91)는, 디코더(86)에 의해 출력되는 강화층 프레임의 유형에 따라 상이한 방식으로 FGS 비트 평면 디코더(86)의 출력단들(73, 74)에서 데이터 흐름을 야기시킴으로써, 차동 B-프레임 잔류분들로부터 차동 I- 및 P-프레임 잔류분들이 상이하게 처리되게 한다. FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 I- 및 P-프레임 잔류분들은, 이들이 움직임 보상을 위해 저장되고 이후에 이용되는, 강화층 프레임 메모리(88)로 제 1 프레임 제어 장치(87)에 의해 라우팅된다. FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 B-프레임 잔류분들은 제 1 프레임 제어 장치(87)에 의해 라우팅되고 이후 설명되는 바와 같이 처리된다.
제 2 움직임 보상기(90)는 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-)프레임 잔류분들을 생성하기 위해, 강화층 프레임 메모리(88) 내에 저장된 차동 I- 및 P-프레임 잔류분들 및 기저층 디코더(71)에 의해 수신된 움직임 정보를 재이용하고, 이는 강화층 B-프레임들을 예측하기 위해 이용된다. 제 2 가산기(92)는 강화층 B-프레임을 생성하기 위해 각각의 참조 움직임 보상된 차동 프레임 잔류분과 각각의 차동 B-프레임 잔류분을 합산한다.
제 2 프레임 제어 장치(91)는 FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 강화층 I- 및 P-프레임들(차동 I- 및 P-프레임 잔류분들), 제 2 가산기(92)의 출력단(93)에서의 움직임 예측된 강화층 B-프레임들을 순차로 제 3 가산기(89)에 라우팅한다. 제 3 가산기(89)는 강화된 비디오를 생성하기 위해 강화층 I-, P-, 및 B-프레임들을 이들의 대응하는 기저층 I-, P- 및 B-프레임들과 함께 합산한다.
도 3b는 본 발명의 제 2의 예시적인 실시예에 따른 강화층 비디오 코딩 방법(100)을 도시한다. 도시된 바와 같이, 제 2 실시예의 비디오 코딩 방법(100)은 두 개의 루프 예측에 기초한 강화층(132)에서 강화층 P-프레임들이 강화층 B-프레임들과 마찬가지로 움직임-예측되는 것을 제외하고는 도 3a의 제 1 실시예와 실질적으로 동일하다.
움직임 예측된 강화층 P-프레임들은 강화층 B-프레임들과 유사한 방식으로 계산되고, 즉, 각각의 움직임 예측된 강화층 P-프레임은 1) 일시적으로 인접한 차동 I- 및 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 P-프레임 잔류분으로부터 디코딩된 기저층 P-프레임 잔류분을 감산함으로써 얻어진 차동 P-프레임 잔류분을 이용하여 계산된다. 1) 일시적으로 인접한 움직임 보상된 차동 프레임 잔류분으로부터 얻어진 P-프레임 움직임 예측과 2) 차동 P-프레임 잔류분 간의 차는 강화층(132)에서 움직임 예측된 강화층 P-프레임을 제공한다. 이러한 공정으로부터 초래되는 움직임 예측된 강화층 P- 및 B-프레임들과 비움직임 예측 강화층 I-프레임들 양자 모두는 임의의 적절한 스케일러블 코덱, 바람직하게는 도 3b에 나타낸 바의 파인 그래뉼 스케일러블(FGS) 코덱으로 코딩될 수도 있다.
도 3b의 비디오 코딩 방법(100)은 비디오 화질의 다른 개선을 제공한다. 이것은 비디오 코딩 방법(100)이 강화층(132)의 P- 및 B-프레임 양자 모두에서 일시적인 용장성을 감소시키기 때문이다.
본 발명의 비디오 코딩 방법들은 비디오 시퀀스의 다양한 부분들 또는 다양한 비디오 시퀀스들을 위해 도 1의 본 비디오 코딩 방법에 의해 변경될 수 있다. 부가적으로, 모든 3개 비디오 코딩 방법들, 즉, 도 1의 본 비디오 코딩 방법 및 도 3a 및 3b에 개시된 비디오 코딩 방법들 모두 간의 스위칭은 채널 특성들에 기초하여 행해질 수 있고, 인코딩 시에 또는 전송 시점에 수행될 수 있다. 더욱이, 본 발명의 비디오 코딩 방법은 복잡도의 제한된 증가만으로 코딩 효율에서 큰 이득을 얻을 수 있다.
도 5는 도 3b의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는, 본 발명의 예시적인 실시예에 따른 인코더(140)의 블록도를 도시한다. 도시한 바와 같이, 도 5의 인코더(140)는 인코더(40)에 이용된 프레임 흐름 제어 장치(55)가 생략된 것을 제외하고는, 도 4의 인코더(40)(도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용됨)와 실질적으로 동일하다. 프레임 흐름 제어 장치는 차동 I-프레임 잔류분이 움직임 보상에 의해 처리되지 않고, 따라서 강화층 인코더(142)의 차동 P- 및 B-프레임 잔류분들로부터 상이하게 라우팅될 필요가 없기 때문에 이러한 인코더(140)에 이용될 필요가 없다.
따라서, 제 2 감산기(54)의 출력단에서 생성된 차동 I-프레임 잔류분들은, 압축된 강화층 스트림의 일부(비움직임 예측 강화층 I-프레임)를 생성하기 위해, 비트평면 DCT 스캐닝 및 엔트로피 인코딩에 후속되는 종래 DCT 인코딩을 이용하여 FGS 코딩용 FGS 인코더(61)로 전달된다. 차동 I-프레임 잔류분들은 또한 이들이 이후 움직임-보상을 위해 이용되는 차동 P-프레임 잔류분들과 함께 제 2 프레임 메모리(58)로 전달된다. 제 2 감산기(54)의 출력단에서 생성된 차동 P- 및 B-프레임 잔류분들은 또한 제 3 감산기(60)로 전달된다. 제 2 움직임 보상 루프(63)에서의 제 2 움직임 보상기(59)는 움직임-예측 강화층 P-프레임을 위한 참조 움직임 보상된 차동 (I 또는 P) 프레임 및 움직임 예측된 강화층 B-프레임을 위한 참조(I- 및 P- 또는 P- 및 P-) 프레임 잔류분들 MCFGSR(i)을 생성하기 위해, 참조들로서 이용되는 제 2 프레임 메모리(58) 내에 저장된 차동 I- 및 P-프레임 잔류분과 원래의 비디오 시퀀스(기저층 인코더(41)의 움직임 추정기(43)의 출력단)로부터의 움직임 정보를 재이용한다. 제 3 감산기(60)는 각각의 차동 P- 또는 B-프레임 잔류분 FGSR(i)로부터 참조 움직임 보상된 차동(I 또는 P) 또는 (I- 및 P- 또는 P- 및 P-)프레임 잔류분 MCFGSR(i)을 감산함으로써, 각각의 움직임 예측된 강화층 P- 또는 B-프레임 FCFGS(i)를 생성한다. 이어서, 움직임 예측된 강화층 P- 및 B-프레임들 MCFGS(i)는, 이들이 압축된 강화층 스트림에 부가되는, 비트평면 DCT 스캐닝 및 엔트로피 인코딩에 후속되는 종래의 DCT 인코딩을 이용하여 FGS 코딩하기 위해 FGS 인코더(61)로 전달된다.
도 3a의 비디오 코딩 방법에서와 같이, 기저층은 도 3b의 강화층 비디오 코딩 방법에서 변화가 없다. 더욱이, 본 발명의 P- 및 B-프레임 처리 방법은 움직임 예측된 강화층 P- 및 B-프레임들을 제공하기 위해 단지 강화층 내에 추가의 움직임-보상 루프를 필요로 하는 것을 주목해야 한다.
도 7은 도 5의 인코더(140)에 의해 생성된 강화층 스트림 및 압축된 기저층을 디코딩하기 위해 이용될 수 있는, 본 발명의 하나의 예시적인 실시예에 따른, 디코더(170)의 블록도를 도시한다. 도시된 바와 같이, 도 7의 디코더(170)는 디코더(70)에 이용된 프레임 흐름 제어 장치(87, 91)가 생략된 것을 제외하고는 도 6의 디코더(70)와 실질적으로 동일하다. 프레임 흐름 제어 장치는 차동 I-프레임 잔류분들이 움직임-보상 처리되지 않고, 따라서 강화층 디코더(172)에서 디코딩된 차동 P- 및 B-프레임 잔류분들로부터 상이하게 라우팅될 필요가 없기 때문에, 필요하지 않다.
따라서, FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 I- 및 P-프레임 잔류분은 이들이 저장되고 이후 움직임 보상을 위해 이용되는 강화층 프레임 메모리(88)로 전달된다. FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 차동 P- 및 B-프레임 잔류분은 제 2 가산기(92)로 전달된다. FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 차동 I-프레임 잔류분(이후, 강화층 I-프레임)은 제 3 가산기(89)로 전달되고, 그러한 목적은 이후 설명할 것이다. 제 2 움직임 보상기(90)는 1) 강화층 B-프레임들을 예측하기 위해 이용되는 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-)프레임 잔류분들, 및 2) 강화층 P-프레임을 예측하기 위해 이용되는 참조 움직임 보상된 차동(I- 또는 P-)프레임 잔류분을 생성하기 위해, 강화층 프레임 메모리(88)에 저장된 차동 I- 및 P-프레임 잔류분들 및 기저층 디코더(71)에 의해 수신된 움직임 정보를 재이용한다. 제 2 가산기(92)는 강화층 B- 및 P-프레임을 생성하기 위해 참조 움직임 보상된 차동 프레임 잔류분들을 이들의 각각의 B-프레임 잔류분들 또는 P-프레임 잔류분들과 합산한다. 제 3 가산기(89)는 강화된 비디오를 생성하기 위해 강화층 I-, P- 및 B-프레임들을 이들의 대응하는 기저층 I-, P- 및 B-프레임들과 함께 합산한다.
도 8은 본 발명의 원리들을 구현하기 위해 이용될 수 있는 시스템(200)의 예시적인 실시예를 나타낸다. 이 시스템(200)은 텔레비전, 셋-톱 박스, 데스크탑, 랩탑(laptop) 또는 팜탑 컴퓨터(palmtop computer), 개인용 휴대 정보 단말기(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더, TiVO 장치 등의 비디오/이미지 기억 장치뿐만 아니라 이들 장치 및 기타 장치의 일부 또는 조합을 나타낼 수도 있다. 이러한 시스템(200)은 하나 이상의 비디오/화상 소스들(201), 하나 이상의 입출력 장치들(202), 프로세서(203) 및 메모리(204)를 포함한다. 비디오/화상 소스(들)(201)는, 예를 들면 텔레비전 수상기, VCR 또는 기타 비디오/화상 기억 장치를 나타낼 수 있다. 소스(들)(201)는 예를 들면 인터넷, 광역 네트워크, 대도시권 네트워크, 지역 네트워크, 지상 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화 네트워크 등의 포괄적인 컴퓨터 통신 네트워크뿐만 아니라, 이들 유형 또는 기타 유형의 네트워크의 일부들 또는 조합들에 의해 서버 또는 서버들로부터 비디오를 수신하는 하나 이상의 네트워크 접속들을 선택적으로 나타낼 수 있다.
입출력 장치들(202), 프로세서(203) 및 메모리(204)는 통신 매체(205)을 통해 통신할 수 있다. 통신 매체(205)는 예를 들면 버스, 통신 네트워크, 회로, 회로 카드 또는 기타 장치의 1개 이상의 내부 접속뿐만 아니라 이들 및 기타 통신 매체의 일부 또는 조합을 나타낼 수 있다. 소스(들)(202)로부터의 입력 비디오 데이터는 메모리(204)에 저장된 하나 이상의 소프트웨어 프로그램들에 따라 처리되고, 디스플레이 장치(206)로 공급되는 출력 비디오/화상들을 생성하기 위해 처리기(203)에 의해 실행된다.
바람직한 실시예에서, 본 발명의 원리를 이용한 코딩 및 디코딩은 시스템에 의해 실행된 컴퓨터 판독가능한 코드에 의해 구현될 수 있다. 코드는 메모리(204)에 저장될 수 있거나 CD-ROM 또는 플로피 디스크 등의 기억 매체로부터 판독 또는 다운로딩될 수 있다. 기타 실시예들에서, 하드웨어 회로는 본 발명을 구현하기 위한 소프트웨어 명령 대신에 또는 그와 조합하여 이용될 수도 있다. 예를 들면, 도 4 내지 도 7에 도시된 소자들은 이산적인 하드웨어 소자로서 구현될 수도 있다.
본 발명을 특정 실시예들로서 상기하였지만, 본 발명은 본 명세서에 개시된 바의 실시예들로만 한정되거나 제한되도록 의도되지 않았다는 것을 이해해야 한다. 예를 들면, 웨이브릿들(wavelets) 또는 매칭-수행들(matching-pursuits)을 포함하지만, 이들로만 제한되지 않는 DCT 외의 기타 변환들이 이용될 수 있다. 다른 실시예에서, 움직임-보상은 기저층으로부터 움직임 데이터를 재이용하여 상기 실시예에서 수행되지만, 본 발명의 다른 실시예들은 강화층 내에 추가의 움직임 추정기를 이용할 수 있고, 이는 추가적인 움직임 벡터들을 전송하는 것을 필요로 한다. 또 다른 실시예에서, 본 발명의 다른 실시예들은 단지 P-프레임들에 대한 강화층에서 움직임 보상을 이용할 수도 있다. 이들 및 다른 모든 변형 및 변화는 첨부된 특허 청구의 범위 내에 속하는 것으로 고려된다.

Claims (30)

  1. 비디오를 코딩하는 방법에 있어서,
    기저층 프레임들(base layer frames)을 생성하기 위해 넌-스케일러블 코덱(non-scalable codec)으로 코딩되지 않은 비디오를 코딩하는 단계(41, 42);
    상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들(differential frame residulas)을 계산하는 단계(54)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러(quantization error)에 대응하는, 상기 계산 단계(54);
    움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는(non-motion predicted coded) 차동 프레임 잔류분들 사이를 구분하는 단계(55);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 단계(58)로서, 상기 저장된 차동 프레임 잔류분들은 참조들(references)로서 동작하는, 상기 저장 단계(58);
    움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임-보상(59)을 적용하는 단계; 및
    움직임 예측된 강화층 프레임들(motion-predicted enhancement layer frames)을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상된 차동 프레임 잔류분들을 감산하는 단계(60)를 포함하는, 비디오 코딩 방법.
  2. 제 1 항에 있어서,
    스케일러블 코덱(scalable codec)으로 상기 움직임 예측된 강화층 프레임들을 코딩하는 단계(61)를 더 포함하는, 비디오 코딩 방법.
  3. 제 1 항에 있어서,
    파인 그래뉼 스케일러블 코덱(fine granular scalable codec)으로 상기 움직임 예측된 강화층 프레임들을 코딩하는 단계(61)를 더 포함하는, 비디오 코딩 방법.
  4. 제 1 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 방법.
  5. 제 4 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 방법.
  6. 제 1 항에 있어서,
    상기 움직임 보상(59)은 기저층 프레임들을 생성하는 넌-스케일러블 코덱으로부터의 움직임 정보를 재이용하는, 비디오 코딩 방법.
  7. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 방법에 있어서,
    기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 단계(71, 171);
    차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 단계(72, 172)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 디코딩 단계(72, 172);
    움직임 예측 코딩되는 차동 프레임 잔여분들과 비움직임 예측 코딩되는 차동 프레임 잔여분들 사이를 구분하는 단계(87);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔여분의 적어도 일부를 저장하는 단계(88)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 단계(88);
    움직임 보상된 차동 프레임 잔여분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상(90)을 적용하는 단계;
    움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 단계(92); 및
    강화된 비디오(enhanced video)를 생성하기 위해 상기 기저층 프레임들의 각각과 상기 움직임 예측된 강화층 프레임들을 조합하는 단계(89)를 포함하는, 압축된 비디오 디코딩 방법.
  8. 제 7 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오 디코딩 방법.
  9. 제 8 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오 디코딩 방법.
  10. 제 7 항에 있어서,
    상기 움직임 보상(90)을 적용하는 단계는 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 단계(71, 171)로부터의 움직임 정보를 재이용하는, 압축된 비디오 디코딩 방법.
  11. 비디오를 인코딩하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 메모리 매체에 있어서,
    상기 컴퓨터 프로그램은:
    코딩되지 않은 비디오를 기저층 프레임들로 넌-스케일러블 인코딩하는 코드(41, 141);
    상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 코드(54)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 계산 코드(54);
    움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는 차동 프레임 잔류분들 사이를 구분하는 코드(55);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 코드(58)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 코드(58);
    움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상(59)을 적용하는 코드; 및
    움직임 예측 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상된 차동 프레임 잔류분들을 감산하는 코드(60)를 포함하는, 컴퓨터 판독가능 메모리 매체.
  12. 제 11 항에 있어서,
    상기 움직임 예측된 강화층 프레임들을 스케일러블 인코딩하는 코드(61)를 더 포함하는, 컴퓨터 판독가능 메모리 매체.
  13. 제 11 항에 있어서,
    상기 움직임 예측된 강화층 프레임들을 파인 그래뉼 스케일러블 인코딩하는 코드(61)를 더 포함하는, 컴퓨터 판독가능 메모리 매체.
  14. 제 11 항에 있어서,
    상기 구분 코드는, 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 쌍방향 움직임 예측되는 상기 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.
  15. 제 14 항에 있어서,
    상기 구분 코드는, 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 상기 P형의 기저층 프레임들은 단방향 움직임 예측되는 상기 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.
  16. 제 14 항에 있어서,
    상기 움직임 보상을 위한 코드는 기저층 프레임을 생성하는 상기 넌-스케일러블 인코딩을 위한 코드로부터의 움직임 정보를 재이용하는, 컴퓨터 판독가능 메모리 매체.
  17. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 컴퓨터 프로그램을 구비하는 컴퓨터 판독가능 메모리 매체에 있어서,
    상기 컴퓨터 프로그램은:
    상기 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 코드(71, 171);
    상기 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 코드(72, 172)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 디코딩 코드(72, 172);
    움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는 보상된 차동 프레임 잔류분들 사이를 구분하는 코드(87);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 코드(88)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 코드(88);
    움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임-보상을 적용하는 코드(90);
    움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 코드(92); 및
    강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측된 강화층 프레임들을 조합하는 코드(89)를 포함하는, 컴퓨터 판독가능 메모리 매체.
  18. 제 17 항에 있어서,
    상기 구분 코드는 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.
  19. 제 18 항에 있어서,
    상기 구분 코드는 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에서 단방향 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.
  20. 제 17 항에 있어서,
    상기 움직임 보상을 적용하기 위한 코드는 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 코드에 의해 생성된 움직임 정보를 재이용하는, 컴퓨터 판독가능 메모리 매체.
  21. 비디오를 코딩하는 장치에 있어서,
    기저층 프레임들을 생성하기 위해 코딩되지 않은 비디오를 넌-스케일러블 코딩하는 수단(41, 141);
    상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 수단(42, 142)으로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 계산 수단(42, 142);
    움직임 예측 코딩되는 차동 프레임 잔류분들 및 비움직임 예측 코딩되는 차동 프레임 잔류분들을 구분하는 수단(55);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 수단(58)으로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 수단(58);
    움직임 보상 차동 프레임 잔류분들을 생성하기 위해 저장된 프레임 잔류분들에 움직임 보상을 적용하는 수단(59); 및
    움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상되는 차동 프레임 잔류분들을 감산하는 수단(60)을 포함하는, 비디오 코딩 장치.
  22. 제 21 항에 있어서,
    상기 움직임 예측된 강화층 프레임들을 스케일러블 코딩하는 수단(61)을 더 포함하는, 비디오 코딩 장치.
  23. 제 21 항에 있어서,
    상기 움직임 예측된 강화층 프레임들을 파인 그래뉼 스케일러블 코딩하는 수단(61)을 더 포함하는, 비디오 코딩 장치.
  24. 제 21 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은 쌍방향 움직임 예측되는 B형 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 장치.
  25. 제 24 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은 단방향 움직임 예측되는 P형 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 장치.
  26. 제 21 항에 있어서,
    상기 움직임 보상을 적용하는 수단(59)은 기저층 프레임들을 생성하는 넌-스케일러블 코딩을 위한 수단(41, 141)으로부터 움직임 정보를 재이용하는, 비디오 코딩 장치.
  27. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 장치에 있어서,
    기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 수단(71, 171);
    차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 수단(72, 172)으로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들에서의 양자화 에러에 대응하는, 상기 디코딩 수단(72, 172);
    움직임 예측 코딩되는 차동 프레임 잔류분들 및 비움직임 예측 코딩되는 차동 프레임 잔류분들 사이를 구분하는 수단(87);
    비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 수단(88)으로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 수단(88);
    움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상을 적용하는 수단(90);
    움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 상기 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 수단(92); 및
    강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각과 상기 움직임 예측된 강화층 프레임들을 조합하는 수단(89)을 포함하는, 압축된 비디오를 디코딩하는 장치.
  28. 제 27 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오를 디코딩하는 장치.
  29. 제 28 항에 있어서,
    상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오를 디코딩하는 장치.
  30. 제 27 항에 있어서,
    상기 움직임 보상을 적용하는 수단(90)은 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 수단(71, 171)으로부터 움직임 정보를 재이용하는, 압축된 비디오를 디코딩하는 장치.
KR1020027006542A 2000-09-22 2001-09-18 이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티 KR100860950B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US23449900P 2000-09-22 2000-09-22
US60/234,499 2000-09-22
US09/887,743 US6940905B2 (en) 2000-09-22 2001-06-21 Double-loop motion-compensation fine granular scalability
US09/887,743 2001-06-21

Publications (2)

Publication Number Publication Date
KR20020056940A KR20020056940A (ko) 2002-07-10
KR100860950B1 true KR100860950B1 (ko) 2008-09-30

Family

ID=26928015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027006542A KR100860950B1 (ko) 2000-09-22 2001-09-18 이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티

Country Status (7)

Country Link
EP (1) EP1323316A2 (ko)
JP (1) JP2004509581A (ko)
KR (1) KR100860950B1 (ko)
CN (1) CN1254115C (ko)
AU (1) AU2002220558A1 (ko)
MY (1) MY126133A (ko)
WO (1) WO2002025954A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1413142A2 (de) * 2001-01-08 2004-04-28 Siemens Aktiengesellschaft Optimale snr-skalierbare videocodierung
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR20080085199A (ko) * 2006-01-09 2008-09-23 노키아 코포레이션 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0485230A2 (en) 1990-11-09 1992-05-13 Victor Company Of Japan, Ltd. Moving picture signal progressive coding system
US5349383A (en) 1990-10-15 1994-09-20 British Telecommunications Public Limited Company Two layer video signal coding
US5742343A (en) 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
US5973739A (en) 1992-03-27 1999-10-26 British Telecommunications Public Limited Company Layered video coder
US5988863A (en) 1996-01-30 1999-11-23 Demografx Temporal and resolution layering in advanced television
US6256346B1 (en) 1995-10-27 2001-07-03 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US6339618B1 (en) 1997-01-08 2002-01-15 At&T Corp. Mesh node motion coding to enable object based functionalities within a motion compensated transform video coder

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349383A (en) 1990-10-15 1994-09-20 British Telecommunications Public Limited Company Two layer video signal coding
EP0485230A2 (en) 1990-11-09 1992-05-13 Victor Company Of Japan, Ltd. Moving picture signal progressive coding system
US5973739A (en) 1992-03-27 1999-10-26 British Telecommunications Public Limited Company Layered video coder
US5742343A (en) 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
US6256346B1 (en) 1995-10-27 2001-07-03 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5988863A (en) 1996-01-30 1999-11-23 Demografx Temporal and resolution layering in advanced television
US6339618B1 (en) 1997-01-08 2002-01-15 At&T Corp. Mesh node motion coding to enable object based functionalities within a motion compensated transform video coder

Also Published As

Publication number Publication date
JP2004509581A (ja) 2004-03-25
CN1254115C (zh) 2006-04-26
KR20020056940A (ko) 2002-07-10
CN1486574A (zh) 2004-03-31
AU2002220558A1 (en) 2002-04-02
EP1323316A2 (en) 2003-07-02
WO2002025954A3 (en) 2002-10-31
MY126133A (en) 2006-09-29
WO2002025954A2 (en) 2002-03-28

Similar Documents

Publication Publication Date Title
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) Totally embedded FGS video coding with motion compensation
US6944222B2 (en) Efficiency FGST framework employing higher quality reference frames
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
US6697426B1 (en) Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20020118742A1 (en) Prediction structures for enhancement layer in fine granular scalability video coding
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US6944346B2 (en) Efficiency FGST framework employing higher quality reference frames
KR100860950B1 (ko) 이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티
US6904092B2 (en) Minimizing drift in motion-compensation fine granular scalable structures
US20050135478A1 (en) Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee