JP2008512035A

JP2008512035A - 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ

Info

Publication number: JP2008512035A
Application number: JP2007529675A
Authority: JP
Inventors: ハン，ウ−ジン; リー，ベ−グン; チャ，サン−チャン; ハ，ホ−ジン; リー，ギョ−ヒョク; リー，ジェ−ヨン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-09-07
Filing date: 2005-08-13
Publication date: 2008-04-17
Anticipated expiration: 2025-08-13
Also published as: EP1787473A4; WO2006028330A1; JP4660550B2; EP1787473A1

Abstract

多階層ビデオコーディングおよびデコーディング方法と多階層ビデオエンコーダおよびデコーダを提供する。
本発明の一実施形態による多階層ビデオコーディング方法は、所定の解像度ビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、前記第１ビデオコーディング方式によってコーディングされたフレームを参照して前記ビデオフレームを前記解像度と同じ解像度で第２ビデオコーディング方式によってコーディングするステップ、および前記第１および第２ビデオコーディング方式によってコーディングされたフレームを含むビットストリームを生成するステップを含む。

Description

本発明は、多階層ビデオコーディングアルゴリズムに関し、より詳しくは所定の解像度階層を複数のコーディングアルゴリズムによってコーディングする多階層ビデオコーディングアルゴリズムに関するものである。

インターネットを含む情報通信技術の発達につれて文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができないため、文字、映像、音楽など多様な形態の情報を収容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大であるため、大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。例えば６４０＊４８０の解像度を有する２４ｂｉｔトゥルーカラーのイメージは１フレーム当たり６４０＊４８０＊２４ｂｉｔの容量、すなわち約７．３７Ｍｂｉｔのデータが必要である。これを１秒当たり３０フレームで伝送する場合には２２１Ｍｂｉｔ／ｓｅｃの帯域幅を必要とし、９０分間上映される映画を保存するには約１２００Ｇｂｉｔの保存空間を必要とする。従って文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須である。

ビデオデータを圧縮する基本的な原理はデータの重複（冗長）をなくす過程である。イメージで同じ色やオブジェクトが繰り返されるような空間的重複、および動画フレームで隣接するフレーム間の変化がほとんどないような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚の重複をなくすことによってビデオデータを圧縮することができる。

図１はビデオ圧縮が適用される環境を示している。
ビデオデータはビデオエンコーダ１１０で圧縮される。現在知られているビデオ圧縮方式はＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４などがあり、このような圧縮方式はＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）に基づく。一方、最近にはウェーブレット変換に基づくスケーラブルビデオコーディングに関する研究が活発になっている。圧縮されたビデオデータはネットワーク１２０を介してビデオデコーダ１３０に伝送される。ビデオデコーダ１３０は圧縮されたビデオデータをデコーディングしてビデオデータを復元する。

ビデオエンコーダ１１０はネットワーク１２０の帯域幅を超えないようにビデオデータを圧縮しなければ、圧縮されたビデオデータをビデオデコーダ１３０がデコーディングすることはできない。しかし、ネットワーク１２０の通信帯域幅はネットワークの種類によって異なる。例えばイーサネット（登録商標）を利用するときの通信帯域幅と、無線ランを利用するときの通信帯域幅とが異なる。また、セルラー通信網を利用する場合に通信帯域幅は非常に狭い。このため、１つの圧縮されたビデオデータから多様なビットレートの圧縮されたビデオデータを得ることができる方法、特にスケーラブルビデオコーディングに関する研究が活発である。

スケーラブルビデオコーディングはスケーラビリティを有するようにビデオデータをコーディングするビデオ圧縮方式を意味する。スケーラビリティとは、１つのビデオシーケンスを圧縮して得たビットストリームから解像度とフレームレートおよび画質を異にする多様なビデオシーケンスを復元することができる特性を意味する。時間的スケーラビリティはＭＣＴＦ（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ）、ＵＭＣＴＦ（ＵｎｃｏｎｓｔｒａｉｎｅｄＭＣＴＦ）、ＳＴＡＲ（ＳｕｃｃｅｓｓｉｖｅＴｅｍｐｏｒａｌＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＲｅｆｅｒｅｎｃｉｎｇ）などのアルゴリズムによって得ることができる。空間的スケーラビリティはウェーブレット変換アルゴリズムによって得ることができるが、最近には多階層技法に関する研究が活発である。ＳＮＲ（信号対雑音比）スケーラビリティはＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴのような量子化アルゴリズムによって得ることができる。

図２および図３は多階層ビデオストリーム構造の例を示している。
図２を参照すれば、多階層ビデオエンコーダは現在まで知られているコーディング効率が最高ＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）アルゴリズムによって各階層をコーディングする。ＭＰＥＧ−４ＡＶＣアルゴリズムはフレーム間の時間的重複を除去した後、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）方式によって時間的重複が除去されたフレームを変換させた後に量子化させる。

図２を参照すれば、階層は互いに解像度と、フレームレート、および伝送率のうち少なくともいずれか１つを異にする。ビデオコーディング過程は最低解像度とフレームレートおよび伝送率を有する基礎階層フレームをコーディングした後にコーディングされた基礎階層フレームを参照して向上階層をコーディングする。このようにＡＶＣに基づく多階層ビデオコーディング方式は各階層でＡＶＣに基づく技術が使用されるので優れたコーディング効率を有する。特に、ＡＶＣアルゴリズムによって使用されるイントラ予測とデブロッキング技術を利用すれば、ビデオコーディング過程で生じる大体のアーチファクトを除去することができる。また各階層はレート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）の観点で最適化されている。しかし生成されたビットストリームはスケーラビリティ特性が柔軟でない。多階層のＡＶＣビデオコーディング方式によって生成されたビットストリームでは微細単位スケーラビリティ（ＦｉｎｅＧｒａｉｎＳｃａｌａｂｉｌｉｔｙ；以下、ＦＧＳという）を容易に具現できず、結合されたスケーラビリティ（ｃｏｍｂｉｎｅｄｓｃａｌａｂｉｌｉｔｙ）特性を容易に得ることができない。それは各スケーラビリティが互いに従属しているためである。実際使用される階層が多い場合に図２の多階層コーディング方式はすべての階層に対するＡＶＣコーディングを行わなければならない。

図３を参照すれば、最低解像度とフレームレートおよび伝送率を有する基礎階層をＡＶＣ方式によってコーディングした後に、コーディングされた基礎階層を参照して最高解像度とフレームレートおよび画質の階層をウェーブレットコーディング方式を利用してコーディングする。

図３を参照すれば、最高解像度とフレームレートおよび伝送率を有する階層をウェーブレットコーディング方式によってコーディングするため、十分なスケーラビリティ（ｆｕｌｌｓｃａｌａｂｉｌｉｔｙ）を有するビットストリームを得ることができる。また、最低解像度階層をＡＶＣ方式によってコーディングするため、ビットストリームによってビデオデコーダは最低解像度で満足できる画質のビデオフレームを再構成することができる。

図２と図３を比較すれば、図２のビットストリームはすべての階層に最適化されているものの、スケーラビリティの特性が弱く、図３はスケーラビリティの特性は良いものの、１つのウェーブレットコーディングされた階層から最低解像度のＡＶＣ階層を除外したすべての階層を再構成しなければならないため画質が劣る。

本発明は、詳述した問題点を解決するために案出されたものであって、本発明の目的はコーディング効率とスケーラビリティに優れた多階層ビデオコーディング方法およびデコーディング方法と多階層ビデオエンコーダおよびデコーダを提供することにその目的がある。

本発明の目的は、以上で言及した目的に制限されず、言及していないさらなる目的は下記によって当業者に明確に理解できるものである。

前記目的を達成するために、本発明の一実施形態による多階層ビデオコーディング方法は、（ａ）所定の解像度ビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、（ｂ）前記第１ビデオコーディング方式によってコーディングされたフレームを参照して、前記ビデオフレームを前記解像度と同じ解像度で第２ビデオコーディング方式によってコーディングするステップ、および（ｃ）前記第１および第２ビデオコーディング方式によってコーディングされたフレームを含むビットストリームを生成するステップを含む。

前記目的を達成するために、本発明の他の実施形態による多階層ビデオコーディング方法は、（ａ）ビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成するステップと、（ｂ）前記低解像度ビデオフレームをビデオコーディングするステップと、（ｃ）前記低解像度階層のコーディングされたフレームを参照して前記ビデオフレームをビデオコーディングするステップ、および（ｄ）前記低解像度および高解像度階層のコーディングされたフレームを含むビットストリームを生成するステップを含み、前記（ｂ）ステップは、（ｂ１）前記低解像度ビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、（ｂ２）前記第１ビデオコーディング方式によってコーディングされたフレームを参照して前記低解像度ビデオフレームを第２ビデオコーディング方式によってコーディングするステップとを含む。

前記目的を達成するために、本発明のもう１つの実施形態による多階層ビデオコーディング方法は、（ａ）所定の解像度階層のビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、（ｂ）前記第１ビデオコーディング方式によってコーディングされたフレームを参照して前記ビデオフレームを前記コーディングされたフレームの解像度と同じ解像度で第２ビデオコーディング方式によってコーディングするステップ、および（ｃ）すべての解像度階層のコーディングされたフレームを含むビットストリームを生成するステップを含み、前記（ａ）および（ｂ）ステップはすべての解像度階層において低解像度階層から高解像度階層に循環的に行われる。

前記目的を達成するために、本発明の一実施形態による多階層ビデオエンコーダは高解像度ビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成するダウンサンプラと、前記低解像度ビデオフレームをビデオコーディングする低解像度ビデオエンコーディング部と、前記低解像度ビデオエンコーディング部によって低解像度にコーディングされたフレームを参照して前記高解像度ビデオフレームをビデオコーディングする高解像度ビデオエンコーディング部、および前記低解像度にコーディングされたフレームおよび高解像度にコーディングされたフレームを含むビットストリームを生成するビットストリーム生成部を含み、前記低解像度ビデオエンコーディング部は低解像度ビデオフレームを第１ビデオコーディング方式によってコーディングし、前記第１ビデオコーディング方式によってコーディングされたフレームを参照して前記ビデオフレームを前記解像度と同じ解像度で第２ビデオコーディング方式によってコーディングして前記低解像度コーディングされたフレームを生成する。

前記目的を達成するために、本発明の一実施形態による多階層ビデオデコーディング方法は、（ａ）ビットストリームから第１および第２コーディングされたフレームを抽出するステップと、（ｂ）前記第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップ、および（ｃ）前記再構成された第１フレームを参照して前記情報から得た第２コーディングされたフレームを前記再構成された第１フレームと同じ解像度で第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップを含む。

前記目的を達成するために、本発明の他の実施形態による多階層ビデオデコーディング方法は、（ａ）ビットストリームから第１および第２コーディングされたフレームを抽出するステップと、（ｂ）前記第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、（ｃ）前記再構成された第１フレームと同じ解像度で前記第２コーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップ、および（ｄ）前記再構成された第１および第２フレームを加えてビデオフレームを再構成するステップを含む。

前記目的を達成するために、本発明のもう１つの実施形態による多階層ビデオデコーディング方法は、（ａ）ビットストリームから低解像度および高解像度階層のコーディングされたフレームを抽出するステップと、（ｂ）前記低解像度階層のコーディングされたフレームをデコーディングして低解像度階層フレームを再構成するステップ、および（ｃ）前記再構成された低解像度階層フレームを参照して前記情報から得た高解像度階層のコーディングされたフレームをデコーディングして高解像度階層フレームを再構成するステップを含み、前記低解像度階層のコーディングされたフレームは第１ビデオコーディング方式によってコーディングされたフレームと第２ビデオコーディング方式によってコーディングされたフレームで構成され、前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、（ｂ２）前記再構成された第１フレームを参照して前記第２ビデオコーディング方式によってコーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレーム（低解像度フレーム）を再構成するステップを含む。

前記目的を達成するために、本発明のもう１つの実施形態による多階層ビデオデコーディング方法は、（ａ）ビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出するステップと、（ｂ）前記情報から得た低解像度階層のコーディングされたフレームをデコーディングして低解像度階層フレームを再構成するステップ、および（ｃ）前記再構成された低解像度階層フレームを参照して前記情報から得た高解像度階層のコーディングされたフレームをデコーディングして高解像度フレームを再構成するステップを含み、前記低解像度階層のコーディングされたフレームは第１ビデオコーディング方式によってコーディングされたフレームと第２ビデオコーディング方式によってコーディングされたフレームで構成され、前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、（ｂ２）前記第２ビデオコーディング方式によってコーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップ、および（ｂ３）前記再構成された第１フレームおよび第２フレームを加えて低解像度ビデオフレームを再構成するステップを含む。

前記目的を達成するために、本発明のもう１つの実施形態による多階層ビデオデコーディング方法は、ビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出し、前記情報から低解像度および高解像度階層のコーディングされたフレームをデコーディングしてビデオフレームを再構成する多階層ビデオデコーディング方法であって、各解像度階層のコーディングされたビデオフレームは第１ビデオコーディング方式によってコーディングされた第１フレームと第２ビデオコーディング方式によってコーディングされた第２フレームで構成され、（ａ）所定の解像度階層でコーディングされた第１フレームを第１ビデオデコーディング方式によってコーディングして第１フレームを再構成するステップ、および（ｂ）前記再構成された第１フレームを参照して前記解像度階層でコーディングされた第２フレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップを含み、前記（ａ）および（ｂ）ステップはすべての解像度階層において低解像度階層から高解像度階層の順に循環的に行われる。

前記目的を達成するために、本発明のもう１つの実施形態による多階層ビデオデコーディング方法はビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出し、前記情報から低解像度および高解像度階層のコーディングされたフレームをデコーディングしてビデオフレームを再構成する多階層ビデオデコーディング方法であって、各解像度階層のコーディングされたビデオフレームは第１ビデオコーディング方式によってコーディングされた第１フレームと第２ビデオコーディング方式によってコーディングされた第２フレームで構成され、（ａ）所定の解像度階層でコーディングされた第１フレームを第１ビデオデコーディング方式によってコーディングして第１フレームを再構成するステップと、（ｂ）前記解像度階層でコーディングされた第２フレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップ、および（ｃ）前記再構成された第１および第２フレームを加えて前記解像度階層のフレームを再構成するステップを含み、前記（ａ）、（ｂ）および（ｃ）ステップはすべての解像度階層において低解像度階層から高解像度階層の順に循環的に行われる。

前記目的を達成するために、本発明の一実施形態による多階層ビデオデコーダはビットストリームを解析して高解像度および低解像度階層のコーディングされたフレームを抽出するビットストリーム解析部と、前記低解像度コーディングされたフレームをデコーディングする低解像度ビデオデコーディング部、および前記低解像度ビデオデコーディング部によって再構成された低解像度フレームを参照して前記高解像度階層のコーディングされたフレームをデコーディングする高解像度ビデオデコーディング部を含み、前記低解像度ビデオデコーディング部は前記低解像度階層のコーディングされたフレームを構成する第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングし、前記第１ビデオデコーディング方式によってデコーディングされた第１フレームを参照して、前記低解像度階層のコーディングされたフレームを構成する第２コーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして前記低解像度フレームを再構成する。
その他、実施形態の具体的な事項は詳細な説明および図面に含まれている。

本発明の実施形態によれば、所定の解像度階層を互いに異なる特性を有する複数のビデオコーディング方式によってコーディングして、スケーラビリティに優れつつビデオコーディング効率が良いビデオコーディングを行うことができる。

本発明の利点および特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。

以下、添付する図面を参照して本発明の実施形態を説明する。

図４は本発明の一実施形態による多階層ビデオコーディングによって生成されたビットストリームの構造を示す図面である。
本実施形態でビットストリームは解像度毎に２つの階層を有する。１つはＡＶＣ方式によってコーディングされた階層であり、もう１つはウェーブレットコーディング方式によってコーディングされた階層である。本明細書でＡＶＣコーディングまたはＡＶＣ階層はＡＶＣアルゴリズムのＤＣＴ変換と量子化を採用したコーディングまたは階層を意味し、ウェーブレットコーディング方式またはウェーブレット階層はウェーブレット変換と埋め込み量子化を採用したコーディングまたは階層を意味する。生成されたビットストリームが時間的スケーラビリティを有するようにするために、ＡＶＣコーディングとウェーブレットコーディングはすべてＭＣＴＦ、ＵＭＣＴＦ、またはＳＴＡＲのように時間的スケーラビリティを有するアルゴリズムを採用する。

各解像度でＡＶＣ階層はＡＶＣ階層の解像度−時間−画質（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ−ｑｕａｌｉｔｙ）の面でコーディング効率を保障する反面、ウェーブレット階層はＦＧＳ特徴を保障する。プレデコーダはウェーブレット階層のビットストリームの一部を単に切り取ることによってＡＶＣ階層とウェーブレット階層の間の画質を有するビットストリームを生成することができる。また多階層でも切り取り過程は同様に適用することができる。

例えば、図４のビットストリームでプレデコーダはＱＣＩＦ解像度を有する３２〜６４ｋｂｐの画質を有するビットストリームを生成することができる。このために、プレデコーダはＣＩＦおよびＳＤ解像度階層をすべて切り取り、ＱＣＩＦ解像度のウェーブレット階層の一部または全部を切り取れば良い。

このように多階層ビットストリームを生成するためのビデオエンコーダの例は図５を参照して説明する。便宜上、２つの解像度階層を有するビデオエンコーダを説明するが、これは例示的なものである。

図５は本発明の一実施形態による多階層ビデオエンコーダの構成を示すブロック図である。多階層ビデオエンコーダはダウンサンプラ５５０と、低解像度階層のビデオコーディングのためのＡＶＣコーディング部５１０およびウェーブレットコーディング部５２０と、高解像度階層のビデオコーディングのためのＡＶＣコーディング部５３０およびウェーブレットコーディング部５４０と、ビットストリームを生成するビットストリーム生成部５６０を含む。
ダウンサンプラ５５０はビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成する。

多階層ビデオエンコーダは各解像度階層毎に２つのコーディング部を有する。１つはＡＶＣコーディング部であり、もう１つはウェーブレットコーディング部である。すなわち低解像度階層のコーディングのために、多階層ビデオエンコーダはＡＶＣコーディング部５１０とウェーブレットコーディング部５２０とを含み、高解像度階層のコーディングのために多階層ビデオエンコーダはＡＶＣコーディング部５３０とウェーブレットコーディング部５４０とを含む。
ビットストリーム生成部５６０は低解像度および高解像度階層のコーディングされたフレームを含むビットストリームを生成する。

ビットストリームを生成する過程は次の通りである。
まず、ダウンサンプラ５５０はビデオフレーム５００をダウンサンプリングして解像度が半分である低解像度ビデオフレームを生成する。生成された低解像度ビデオフレームは低解像度階層のＡＶＣコーディング部５１０とウェーブレットコーディング部５２０に提供され、ビデオフレーム５００は高解像度階層のＡＶＣコーディング部５３０とウェーブレットコーディング部５４０に提供される。

低解像度階層のＡＶＣコーディング部５１０は低解像度フレームの時間的重複を除去し、時間的重複が除去された低解像度フレームをＤＣＴ変換して、ＤＣＴ変換された低解像度フレームを量子化してコーディングする。このために、ＡＶＣコーディング部５１０は時間的フィルタリング部５１１とＤＣＴ変換部５１２および量子化部５１３を含む。低解像度階層のＡＶＣコーディングされたデータは低解像度ウェーブレットコーディング過程に提供される。

低解像度階層のウェーブレットコーディング部５２０は低解像度階層のＡＶＣコーディングされたフレームを参照して低解像度フレームの時間的重複を除去し、時間的重複が除去された低解像度フレームをウェーブレット変換して、ウェーブレット変換された低解像度フレームを量子化してコーディングする。このために、ウェーブレットコーディング部５２０は時間的フィルタリング部５２１とウェーブレット変換部５２２および量子化部５２３を含む。低解像度階層のウェーブレットコーディングされたデータは高解像度ＡＶＣコーディング過程に提供される。

高解像度階層のＡＶＣコーディング部５３０は低解像度階層のウェーブレットコーディングされたフレームを参照して高解像度フレームの時間的重複を除去し、時間的重複が除去された高解像度フレームをＤＣＴ変換して、ＤＣＴ変換された高解像度フレームを量子化してコーディングする。このために、ＡＶＣコーディング部５３０は時間的フィルタリング部５３１とＤＣＴ変換部５３２および量子化部５３３を含む。高解像度階層のＡＶＣコーディングされたデータは高解像度ウェーブレットコーディング過程に提供される。

高解像度階層のウェーブレットコーディング部５４０は高解像度階層のＡＶＣコーディングされたフレームを参照して高解像度フレームの時間的重複を除去し、時間的重複が除去された高解像度フレームをウェーブレット変換して、ウェーブレット変換された高解像度フレームを量子化してコーディングする。このために、ウェーブレットコーディング部５２０は時間的フィルタリング部５２１とウェーブレット変換部５２２および量子化部５２３を含む。

ビットストリーム生成部５６０は低解像度階層のＡＶＣコーディングされたフレームとウェーブレットコーディングされたフレーム、および高解像度階層のＡＶＣコーディングされたフレームとウェーブレットコーディングされたフレームを含むビットストリームを生成する。ビットストリームはコーディングされたフレームに関する情報の外にもシーケンスヘッダ、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）ヘッダ、フレームヘッダなどのヘッダ情報と時間的フィルタリング過程から得た動きベクトルのような他の情報をさらに含む。

生成されたビットストリームはプレデコーダ（図示せず）でプレデコーディングされて多階層ビデオデコーダに伝送される。例えば、携帯電話やＰＤＡのように小さいディスプレイ画面を有するデバイスのためにプレデコーダはビットストリームで高解像度階層を切り取って（ｔｒｕｎｃａｔｉｎｇ）低解像度階層のコーディングされたフレームのみ含むビットストリームを生成することができる。またプレデコーダはネットワーク状態が良くない場合にビットストリームの一部を切り取って低いビットレートを有するビットストリームを生成することができる。一方、要求されるフレームレートが少ない場合にプレデコーダはビットストリームで一部フレームを切り取って低いフレームレートを有するビットストリームを生成することができる。

図６は多階層ビデオエンコーディング過程を示すフローチャートである。
まず、多階層ビデオエンコーダにビデオフレームが入力される（Ｓ６１０）。多階層ビデオエンコーダは入力されたビデオフレームをダウンサンプリングする（Ｓ６２０）。一実施形態において、多階層ビデオエンコーダはダウンサンプリング過程でＭＰＥＧダウンサンプラを利用する。それはＭＰＥＧダウンサンプラが現在まで知られているウェーブレットダウンサンプラに比べてダウンサンプリングされた低解像度イメージが柔らかいためである。しかし、これは例示的なものであって、ダウンサンプリングされたイメージを得ることができるフィルタであればいずれも使用可能である。解像度階層が３つのビットストリームを生成するには、多階層ビデオエンコーダは入力されたビデオフレームをダウンサンプリングして１／２、および１／４解像度にダウンサンプリングされた低解像度フレームを生成する。解像度階層が４つのビットストリームを生成するには、多階層ビデオエンコーダは入力されたビデオフレームをダウンサンプリングして１／２、１／４および１／８解像度にダウンサンプリングされた低解像度フレームを生成する。

多階層ビデオエンコーダは低解像度ビデオフレームをＡＶＣ方式によってコーディングする（Ｓ６３０）。それから低解像度のＡＶＣ方式によってコーディングされたビデオフレームを参照して低解像度ビデオフレームをウェーブレットコーディング方式によってコーディングする（Ｓ６４０）。例えば、解像度がＱＣＩＦで、フレームレートが１５Ｈｚで、ビットレートが３２ｋｂｐｓになるようにＡＶＣコーディングを行った後に、ＡＶＣコーディングされたフレームを参照して同じ解像度とフレームレートを有し、ビットレートが６４ｋｂｐｓになるようにウェーブレットコーディングを行う。

多階層ビデオエンコーダは低解像度フレームをコーディングしてから低解像度階層のコーディングされたフレームを参照して高解像度フレームをコーディングする。

具体的に、多階層ビデオエンコーダは高解像度ビデオフレームをＡＶＣ方式によってコーディングする（Ｓ６５０）。それから多階層ビデオエンコーダはＡＶＣ方式によってコーディングされたビデオフレームを参照して高解像度ビデオフレームをウェーブレットコーディング方式によってコーディングする（Ｓ６６０）。例えば、多階層ビデオエンコーダは解像度がＣＩＦで、フレームレートが３０Ｈｚで、ビットレートが２５６ｋｂｐｓになるようにＡＶＣコーディングを行った後に、ＱＣＩＦ解像度のＡＶＣ方式によってコーディングされたビデオフレームとウェーブレットコーディング方式によってコーディングされたビデオフレームおよびＣＩＦ解像度のＡＶＣコーディングされたフレームを参照してＣＩＦ解像度と３０Ｈｚのフレームレートを有し、ビットレートが７５０ｋｂｐｓになるようにウェーブレットコーディング過程を行う。

すべての解像度に対してビデオコーディングが終了すれば、多階層ビデオエンコーダはコーディングされたビデオフレームを利用してビットストリームを生成する（Ｓ６７０）。

具体的な多階層ビデオコーディング過程の例は図７および図８を参照して説明する。便宜上、２つの解像度階層をコーディングする場合を説明し、３つ以上の解像度階層の場合も同じ方式によってコーディングすることができる。

まず、図７の実施形態を説明する。
多階層ビデオエンコーダはビデオフレーム７００をダウンサンプリングして低解像度ビデオフレーム７１０を生成する。

多階層ビデオエンコーダは低解像度ビデオフレーム７１０をＡＶＣコーディングしてビットストリームに含まれる低解像度階層のＡＶＣコーディングされたフレームを生成する。それから多階層ビデオエンコーダは低解像度階層のＡＶＣコーディングされたフレームをデコーディングしてデコーディングされたフレーム７２０を得、低解像度ビデオフレーム７１０と比較して低解像度差分フレーム７３０を得る。

多階層ビデオエンコーダは低解像度差分フレーム７３０をウェーブレットコーディングして低解像度階層のウェーブレットコーディングされたフレームを生成する。それから多階層ビデオエンコーダは低解像度階層のウェーブレットコーディングされたフレームをデコーディングしてデコーディングされたフレーム７４０を得、デコーディングされたフレーム７２０と合わせて低解像度階層のデコーディングされたビデオフレーム７５０を得る。

多階層ビデオエンコーダは低解像度階層のデコーディングされたビデオフレーム７５０をアップサンプリングし、アップサンプリングされたフレーム７６０とビデオフレーム７００を比較して高解像度階層フレーム７７０を得る。多階層ビデオエンコーダは高解像度階層フレーム７７０をＡＶＣコーディングしてビットストリームに含まれる高解像度階層のＡＶＣコーディングされたフレームを生成する。それから多階層ビデオエンコーダは高解像度階層のＡＶＣコーディングされたフレームをデコーディングしてデコーディングされたフレーム７８０を得、高解像度階層フレーム７７０と比較して高解像度差分フレーム７８０を得る。

多階層ビデオエンコーダは高解像度差分フレーム７８０をウェーブレットコーディングしてビットストリームに含まれる高解像度階層のウェーブレットコーディングされたフレームを生成する。

多階層ビデオエンコーダは生成された低解像度階層のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、高解像度階層のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームを含むビットストリームを生成する。

次に図８の実施形態を説明する。
まず、コーディング過程を説明する。多階層ビデオエンコーダは高解像度ビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成する。多階層ビデオエンコーダは低解像度ビデオフレームをＡＶＣコーディングし、低解像度階層のＡＶＣコーディングされたビデオフレームを参照して低解像度階層のビデオフレームをウェーブレットコーディングする。

まず、Ｎ番目の低解像度ビデオフレーム８１２をコーディングするとき、低解像度ビデオフレーム８１１とビデオフレーム８１３を参照する。開放ループ方式のビデオコーディングで参照されるフレームは低解像度ビデオフレーム８１１，８１３であるが、閉鎖ループ方式のビデオコーディングで参照されるフレームは低解像度ビデオフレーム８１１，８１３をＡＶＣコーディングした後に、コーディングされたフレームをデコーディングして再構成したフレームを参照する。

低解像度のＡＶＣコーディングが終了すれば、多階層ビデオエンコーダは低解像度のウェーブレットコーディングを行う。多階層ビデオエンコーダはフレーム８２２をコーディングするとき、フレーム８２１とフレーム８２３を参照することができるが、フレーム８１２をＡＶＣコーディングしたフレームをデコーディングして再構成したフレームを参照することもできる。
低解像度階層のビデオコーディングが終了すれば、多階層ビデオエンコーダは高解像度階層のビデオコーディングを行う。

Ｎ番目の高解像度階層のビデオフレーム８４２をＡＶＣコーディングするとき、多階層ビデオエンコーダはビデオフレーム８４１とビデオフレーム８４３を参照することができるが、ビデオフレーム８２２を再構成したビデオフレームを参照することもできる。このために、多階層ビデオエンコーダはビデオフレーム８２２を再構成したビデオフレームをアップサンプリングしてビデオフレーム８３２を生成し、これを参照する。

Ｎ番目の高解像度階層のビデオフレーム８５２をウェーブレットコーディングするとき、多階層ビデオエンコーダはフレーム８５１，８５３とフレーム８４２を再構成したフレームを参照することができる。

図７の実施形態と図８の実施形態を比較すれば、図７の実施形態では時間的フィルタリングが終了した後に階層間の参照が行われるが、図８の実施形態では時間的フィルタリング過程で階層間の参照が行われる。動きが多い場合にはフレーム間の時間的な連関性よりは空間的な連関性がより大きい可能性があるため、図７の実施形態が良いコーディング性能を示すが、動きが少ない場合にはフレーム間の空間的な連関性よりは時間的な連関性がより大きい可能性があるため、図８の実施形態がより良いコーディング性能を示すことができる。

次に各階層でビットレートを割り当てる過程を説明する。
図９は本発明の一実施形態による多階層ビデオコーディング過程で各層のビットレートを割り当てる過程を示す図面である。便宜上、３つの解像度階層（ＱＣＩＦ、ＣＩＦ、ＳＤ階層）があることを基準に説明する。

ビデオコーディングに関するスケーラビリティ要求事項がＱＣＩＦ階層９３０では１５Ｈｚのフレームレートで９６〜１９２ｋｂｐｓであり、ＣＩＦ階層９２０では７．５Ｈｚ〜３０Ｈｚのフレームレートで１９２〜７６８ｋｂｐｓであり、ＳＤ階層９１０では１５Ｈｚ〜６０Ｈｚのフレームレートで７６８〜３０７２ｋｂｐｓであると仮定して説明する。

まず、ＱＣＩＦ階層９３０のビデオコーディングを説明する。多階層ビデオエンコーダは９６ｋｂｐｓのビットレートと１５Ｈｚのフレームレートを有するようにＱＣＩＦフレームをＡＶＣコーディングする。それから１９２ｋｂｐｓのビットレートと１５Ｈｚのフレームレートを有するようにコーディングされたＡＶＣフレームを参照してＱＣＩＦフレームをウェーブレットコーディングする。

ＣＩＦ階層９２０のビデオコーディングを説明する。
多階層ビデオエンコーダはＣＩＦ階層９２０の最大フレームレートである３０Ｈｚのフレームレートを有するようにＣＩＦフレームをＡＶＣコーディングする。１９２ｋｐｂｓのビットレートと７．５Ｈｚのフレームレートを有するビデオフレームを再構成するには、ＱＣＩＦ階層９３０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、ＣＩＦ階層９２０のＡＶＣコーディングされたフレームの一部が必要である。

多階層ビデオエンコーダはＣＩＦ階層９２０の最大フレームレートである３０Ｈｚのフレームレートを有するようにＣＩＦフレームをウェーブレットコーディングする。ＣＩＦ階層９２０の３８４ｋｂｐｓから７６８ｋｂｐｓのフレームを再構成するには、ＱＣＩＦ階層９３０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、ＣＩＦ階層９２０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームの一部が必要である。

ＳＤ階層９１０のビデオコーディングを説明する。
多階層ビデオエンコーダはＳＤ階層９１０の最大フレームレートである６０Ｈｚのフレームレートを有するようにＳＤフレームをＡＶＣコーディングする。７６８ｋｐｂｓのビットレートと１５Ｈｚのフレームレートを有するビデオフレームを再構成するには、ＱＣＩＦ階層９３０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、ＣＩＦ階層９２０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、ＳＤ階層９１０のＡＶＣコーディングされたフレームの一部が必要である。

多階層ビデオエンコーダはＳＤ階層９１０の最大フレームレートである６０Ｈｚのフレームレートを有するようにＣＩＦフレームをウェーブレットコーディングする。ＳＤ階層９１０の１５３６ｋｂｐｓから３０７２ｋｂｐｓのフレームを再構成するには、ＱＣＩＦ階層９３０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームと、ＣＩＦ階層９２０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレーム、およびＳＤ階層９１０のＡＶＣコーディングされたフレームおよびウェーブレットコーディングされたフレームの一部が必要である。

多階層ビデオコーディングについての以上の説明は例示的なものであって、多様な多階層ビデオコーディングを具現することができる。図１０および図１１は前記説明の実施形態と異なるビットストリーム構造の例を示している。

図４とは異なり、図１０の実施形態はＳＤ階層では１つのコーディング方式よってのみコーディングする。これは高い解像度で十分なビットレート（例えば３．０ＭＨｚのビットレート）を有する場合にはウェーブレットコーディングされたビットストリームから相対的に少ないビットレート（例えば１．５Ｍｂｐｓ）のビデオフレームを容易に再構成することができるためである。

図１２は本発明の一実施形態による多階層ビデオデコーダの構成を示すブロック図である。説明の便宜上、２つの解像度階層を有するビットストリームからビデオフレームを再構成するビデオデコーダを基準に説明する。

多階層ビデオデコーダはビットストリーム解析部１２５０と低解像度階層のコーディングされたビデオフレームをデコーディングするためのＡＶＣデコーディング部１２１０およびウェーブレットデコーディング部１２２０と、高解像度階層のコーディングされたビデオフレームをデコーディングするためのＡＶＣデコーディング部１２３０およびウェーブレットデコーディング部１２４０を含む。

ビットストリーム解析部１２５０は入力されたビットストリームに含まれた高解像度階層および低解像度階層のコーディングされたフレームを抽出する。低解像度階層のコーディングされたフレームはＡＶＣコーディングされたフレームとウェーブレットコーディングされたフレームとを含み、高解像度階層のコーディングされたフレームもＡＶＣコーディングされたフレームとウェーブレットコーディングされたフレームとを含む。

低解像度階層のＡＶＣデコーディング部１２１０は低解像度階層のＡＶＣコーディングされたフレームを逆量子化し、逆量子化されたフレームを逆ＤＣＴ変換した後に、逆ＤＣＴ変換されたフレームを逆時間的フィルタリングする。このために、低解像度階層のＡＶＣデコーディング部１２１０は逆量子化部１２１１と逆ＤＣＴ変換部１２１２および逆時間的フィルタリング部１２１３を含む。

低解像度階層のウェーブレットデコーディング部１２２０はＡＶＣデコーディング部１２１０で再構成されたビデオフレームを参照して低解像度階層のウェーブレットコーディングされたフレームを逆量子化し、逆量子化されたフレームを逆ウェーブレット変換した後に、逆ウェーブレット変換されたフレームを逆時間的フィルタリングする。このために、低解像度階層のウェーブレットデコーディング部１２２０は逆量子化部１２２１と逆ウェーブレット変換部１２２２および逆時間的フィルタリング部１２２３を含む。

高解像度階層のＡＶＣデコーディング部１２３０は低解像度階層のウェーブレットデコーディング部１２２０で再構成されたビデオフレームを参照して高解像度階層のＡＶＣコーディングされたフレームを逆量子化し、逆量子化されたフレームを逆ＤＣＴ変換した後に、逆ＤＣＴ変換されたフレームを逆時間的フィルタリングする。このために、高解像度階層のＡＶＣデコーディング部１２３０は逆量子化部１２３１と逆ＤＣＴ変換部１２３２および逆時間的フィルタリング部１２３３を含む。

高解像度階層のウェーブレットデコーディング部１２４０はＡＶＣデコーディング部１２３０で再構成されたビデオフレームを参照して高解像度階層のウェーブレットコーディングされたフレームを逆量子化し、逆量子化されたフレームを逆ウェーブレット変換した後に、逆ウェーブレット変換されたフレームを逆時間的フィルタリングする。このために、高解像度階層のウェーブレットデコーディング部１２４０は逆量子化部１２４１と逆ウェーブレット変換部１２４２および逆時間的フィルタリング部１２４３を含む。

明細書における各構成要素はソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、各構成要素はある役割を行う。しかし、構成要素はソフトウェアまたはハードウェアに限定される意味ではない。各構成要素はアドレシングできる格納媒体にあるように構成することができ、１つまたはそれ以上のプロセッサを実行させるように構成することもできる。したがって、一例として構成要素は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素などのような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。このような構成要素によって提供される機能は、さらに小さい数の構成要素およびモジュールで結合されたり、追加的な構成要素とモジュールにさらに分離できる。また、構成要素はビデオエンコーディングおよびデコーディングシステムのための１つまたはそれ以上のコンピュータを実行させるようにも具現できる。

図１３は本発明の一実施形態による多階層ビデオデコーディング過程を示すフローチャートである。
まず、多階層ビデオデコーダにビットストリームが入力されれば、多階層ビデオデコーダはビットストリームを解析する（Ｓ１３１０）。多階層ビデオデコーダはビットストリームを解析してビットストリームから高解像度階層および低解像度階層のコーディングされたフレームを抽出する。

コーディングされたフレームを抽出した後に多階層ビデオデコーダはコーディングされたフレームのうち低解像度階層のＡＶＣコーディングされたフレームをＡＶＣデコーディングして低解像度ＡＶＣ階層をデコーディングする（Ｓ１２２０）。低解像度ＡＶＣ階層をデコーディングして再構成したビデオフレームは低解像度ウェーブレット階層のデコーディング過程に提供される。

多階層ビデオデコーダは低解像度ＡＶＣ階層のデコーディング過程によって再構成されたビデオフレームを参照して低解像度ウェーブレット階層をデコーディングする（Ｓ１３３０）。低解像度ウェーブレット階層をデコーディングするために多階層ビデオデコーダは低解像度ＡＶＣ階層のデコーディング過程によって再構成されたビデオフレームを参照して、コーディングされたフレームのうち低解像度階層のウェーブレットコーディングされたフレームをウェーブレットデコーディングする。低解像度ウェーブレット階層をデコーディングして再構成したビデオフレームは高解像度ＡＶＣ階層のデコーディング過程に提供される。

多階層ビデオデコーダは低解像度ウェーブレット階層のデコーディング過程によって再構成されたビデオフレームを参照して高解像度ＡＶＣ階層をデコーディングする（Ｓ１３４０）。高解像度ＡＶＣ階層をデコーディングするために多階層ビデオデコーダは低解像度ウェーブレット階層のデコーディング過程によって再構成されたビデオフレームを参照して、コーディングされたフレームのうち高解像度階層のＡＶＣコーディングされたフレームをＡＶＣデコーディングする。高解像度ＡＶＣ階層をデコーディングして再構成したビデオフレームは高解像度ウェーブレット階層のデコーディング過程に提供される。

多階層ビデオデコーダは高解像度ＡＶＣ階層のデコーディング過程によって再構成されたビデオフレームを参照して高解像度ウェーブレット階層をデコーディングする（Ｓ１３５０）。高解像度ウェーブレット階層をデコーディングするために多階層ビデオデコーダは高解像度ＡＶＣ階層のデコーディング過程によって再構成されたビデオフレームを参照して、コーディングされたフレームの中で高解像度階層のウェーブレットコーディングされたフレームをウェーブレットデコーディングする。

すべての階層に対するデコーディング過程が終了すれば、多階層ビデオデコーダはデコーディングされたビデオフレームを利用してビデオ信号を生成する（Ｓ１３６０）。生成されたビデオ信号はディスプレイ装置を介して表示される。

本明細書に開示された実施形態と図面は例示的なものであって、本発明の技術的思想はこれに限定されない。例えば、詳細な説明において、１つの解像度階層をＡＶＣ階層とウェーブレット階層で構成したが、これは例示的なものであって、他のコーディングアルゴリズムを使用する２つの階層で構成することもできる。また、１つの解像度階層を２つのビデオコーディング方式によってコーディングしたが、２つを超過する複数のビデオコーディング方式によってコーディングすることも可能である。したがって以上の説明は例示的なものであって、本発明の技術的思想は後述する特許請求の範囲によってより明確に限定される。

ビデオ圧縮が適用される環境を示す図である。多階層ビデオビットストリームの構造の例を示す図である。多階層ビデオビットストリームの構造の例を示す図である。本発明の一実施形態による多階層ビデオビットストリームの構造を示す図である。本発明の一実施形態による多階層ビデオエンコーダの構成を示すブロック図である。本発明の一実施形態による多階層ビデオコーディング過程を示すフローチャートである。本発明の実施形態による多階層ビデオコーディング過程をより詳細に示す図である。本発明の実施形態による多階層ビデオコーディング過程をより詳細に示す図である。本発明の一実施形態による多階層ビデオコーディング過程で各層のビットレートを割り当てる過程を示す図である。本発明の他の実施形態による多階層ビデオビットストリームの構造を示す図である。本発明の他の実施形態による多階層ビデオビットストリームの構造を示す図である。本発明の一実施形態による多階層ビデオデコーダの構成を示すブロック図である。本発明の一実施形態による多階層ビデオデコーディング過程を示すフローチャートである。

Claims

（ａ）所定の解像度ビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、
（ｂ）前記第１ビデオコーディング方式によってコーディングされたフレームを参照して、前記ビデオフレームを前記解像度と同じ解像度で第２ビデオコーディング方式によってコーディングするステップと、
（ｃ）前記第１ビデオコーディング方式によってコーディングされたビデオフレームまたは前記第２ビデオコーディング方式によってコーディングされたビデオフレームのビットレートを向上させるための向上階層の情報を生成するステップと、
（ｄ）前記第１および第２ビデオコーディング方式によってコーディングされたフレームと前記生成された向上階層の情報を含むビットストリームを生成するステップとを含む多階層ビデオコーディング方法。
前記第１ビデオコーディング方式はＡＶＣコーディング方式によってあり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項１に記載の多階層ビデオコーディング方法。
前記第１ビデオコーディング方式と前記第２ビデオコーディング方式は同じフレームレートでビデオコーディング過程を行う請求項１に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、（ｂ２）前記ビデオフレームと前記（ｂ１）ステップによってデコーディングされたフレームの差分フレームを求めるステップ、および（ｂ３）前記差分フレームを第２ビデオコーディング方式によってコーディングするステップを含む請求項１に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、（ｂ４）前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、（ｂ５）前記ビデオフレームを第２ビデオコーディング方式によってコーディングするステップとを含み、前記（ｂ５）ステップの時間的フィルタリング過程で前記（ｂ４）ステップによってデコーディングされたフレームを参照する請求項１に記載の多階層ビデオコーディング方法。
（ａ）高解像度ビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成するステップと、
（ｂ）前記低解像度ビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、
（ｃ）前記コーディングされた低解像度ビデオフレームを参照して、前記高解像度ビデオフレームを第２ビデオコーディング方式によってコーディングするステップと、
（ｄ）前記コーディングされた低解像度ビデオフレームおよび高解像度ビデオフレームを含むビットストリームを生成するステップと、
（ｅ）前記低解像度ビデオフレームまたは前記高解像度ビデオフレームのビットレートを向上させるための向上階層の情報を生成するステップとを含む多階層ビデオコーディング方法。
前記第１ビデオコーディング方式はＡＶＣコーディング方式であり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項６に記載の多階層ビデオコーディング方法。
前記第１ビデオコーディング方式と前記第２ビデオコーディング方式は同じフレームレートでビデオコーディング過程を行う請求項６に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、前記低解像度ビデオフレームと前記第１ビデオコーディング方式によってコーディングされたフレームの差分フレームを求めるステップと、前記差分フレームを前記第２ビデオコーディング方式によってコーディングするステップとを含む請求項６に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、前記デコーディングされたフレームを参照して前記高解像度ビデオフレームを第２ビデオコーディング方式によってコーディングするステップとを含む請求項６に記載の多階層ビデオコーディング方法。
（ａ）所定の解像度階層のビデオフレームを第１ビデオコーディング方式によってコーディングするステップと、
（ｂ）前記第１ビデオコーディング方式によってコーディングされたフレームを参照して、前記ビデオフレームを前記コーディングされたフレームの解像度と同じ解像度で第２ビデオコーディング方式によってコーディングするステップと、
（ｃ）前記第１ビデオコーディング方式によってコーディングされたビデオフレームまたは前記第２ビデオコーディング方式によってコーディングされたビデオフレームのビットレートを向上させるための向上階層の情報を生成するステップと、
（ｄ）すべてのコーディングされたフレームと前記生成された向上階層の情報を含むビットストリームを生成するステップとを含み、
前記（ａ）および（ｂ）ステップはすべての解像度階層において低解像度階層から高解像度階層に循環的に行われる多階層ビデオコーディング方法。
前記第１ビデオコーディング方式はＡＶＣコーディング方式であり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項１１に記載の多階層ビデオコーディング方法。
前記第１ビデオコーディング方式と前記第２ビデオコーディング方式は同じフレームレートでビデオコーディング過程を行う請求項１１に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、（ｂ２）前記ビデオフレームと前記（ｂ１）ステップによってデコーディングされたフレームの差分フレームを求めるステップ、および（ｂ３）前記差分フレームを前記第２ビデオコーディング方式によってコーディングするステップを含む請求項１１に記載の多階層ビデオコーディング方法。
前記（ｂ）ステップは、（ｂ４）前記第１ビデオコーディング方式によってコーディングされたフレームをデコーディングするステップと、（ｂ５）前記ビデオフレームを第２ビデオコーディング方式によってコーディングするステップとを含み、前記（ｂ５）ステップの時間的フィルタリング過程で前記（ｂ４）ステップによってデコーディングされたフレームを参照する請求項１１に記載の多階層ビデオコーディング方法。
高解像度ビデオフレームをダウンサンプリングして低解像度ビデオフレームを生成するダウンサンプラと、
前記低解像度ビデオフレームをビデオコーディングする低解像度ビデオエンコーディング部と、
前記低解像度ビデオエンコーディング部によって低解像度コーディングされたフレームを参照して、前記高解像度ビデオフレームをビデオコーディングする高解像度ビデオエンコーディング部と、
前記低解像度にコーディングされたフレームまたは前記高解像度にコーディングされたフレームのビットレートを向上させるための向上階層の情報を生成する手段と、
前記低解像度にコーディングされたフレーム、前記高解像度にコーディングされたフレームおよび前記向上階層の情報を含むビットストリームを生成するビットストリーム生成部とを含み、
前記低解像度ビデオエンコーディング部は低解像度ビデオフレームを第１ビデオコーディング方式によってコーディングし、前記第１ビデオコーディング方式によってコーディングされたフレームを参照して、前記ビデオフレームを前記解像度と同じ解像度で第２ビデオコーディング方式によってコーディングして前記低解像度にコーディングされたフレームを生成する多階層ビデオエンコーダ。
前記第１ビデオコーディング方式はＡＶＣコーディング方式であり、前記第２ビデオコーディング方式はウェーブレットコーディング方式である請求項１６に記載の多階層ビデオエンコーダ。
（ａ）ビットストリームから第１および第２コーディングされたフレームを抽出するステップと、
（ｂ）前記第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、
（ｃ）前記再構成された第１フレームを参照して、前記抽出するステップで得た第２コーディングされたフレームを前記再構成された第１フレームと同じ解像度で第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップと、
（ｄ）前記ビットストリームに含まれる向上階層の情報を利用して前記第１フレームまたは第２フレームのビットレートを向上させるステップとを含む多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項１８に記載の多階層ビデオデコーディング方法。
（ａ）ビットストリームから第１および第２コーディングされたフレームを抽出するステップと、
（ｂ）前記第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、
（ｃ）前記再構成された第１フレームと同じ解像度で前記第２コーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップと、
（ｄ）前記ビットストリームに含まれる向上階層の情報を利用して前記第１フレームまたは第２フレームのビットレートを向上させるステップと、
（ｅ）前記ビットレートが向上した第１および第２フレームを加えて最終ビデオフレームを復元するステップとを含む多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項２０に記載の多階層ビデオデコーディング方法。
（ａ）ビットストリームから低解像度および高解像度階層のコーディングされたフレームを抽出するステップと、
（ｂ）前記低解像度階層のコーディングされたフレームをデコーディングして低解像度階層フレームを再構成するステップと、
（ｃ）前記再構成された低解像度階層フレームを参照して、前記情報から得た高解像度階層のコーディングされたフレームをデコーディングして高解像度階層フレームを再構成するステップとを含み、
前記低解像度階層のコーディングされたフレームは第１ビデオコーディング方式によってコーディングされたフレームと第２ビデオコーディング方式によってコーディングされたフレームで構成され、前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、（ｂ２）前記再構成された第１フレームを参照して前記第２ビデオコーディング方式によってコーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレーム（低解像度フレーム）を再構成するステップとを含む多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項２２に記載の多階層ビデオデコーディング方法。
（ａ）ビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出するステップと、
（ｂ）前記情報から得た低解像度階層のコーディングされたフレームをデコーディングして低解像度階層フレームを再構成するステップと、
（ｃ）前記再構成された低解像度階層フレームを参照して前記情報から得た高解像度階層のコーディングされたフレームをデコーディングして高解像度フレームを再構成するステップとを含み、
前記低解像度階層のコーディングされたフレームは第１ビデオコーディング方式によってコーディングされたフレームと第２ビデオコーディング方式によってコーディングされたフレームで構成され、前記（ｂ）ステップは、（ｂ１）前記第１ビデオコーディング方式によってコーディングされたフレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、（ｂ２）前記第２ビデオコーディング方式によってコーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップ、および（ｂ３）前記再構成された第１フレームおよび第２フレームを加えて低解像度ビデオフレームを再構成するステップを含む多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項２４に記載の多階層ビデオデコーディング方法。
ビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出し、前記情報から低解像度および高解像度階層のコーディングされたフレームをデコーディングしてビデオフレームを再構成する多階層ビデオデコーディング方法において、
各解像度階層のコーディングされたビデオフレームは第１ビデオコーディング方式によってコーディングされた第１フレームと第２ビデオコーディング方式によってコーディングされた第２フレームで構成され、
（ａ）所定の解像度階層でコーディングされた第１フレームを第１ビデオデコーディング方式によってデコーディングして第１フレームを再構成するステップと、
（ｂ）前記再構成された第１フレームを参照して前記解像度階層でコーディングされた第２フレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップと、
（ｃ）前記ビットストリームに含まれる向上階層の情報を利用して前記再構成された第１フレームまたは前記再構成された第２フレームのビットレートを向上させるステップとを含み、前記（ａ）および（ｂ）ステップはすべての解像度階層において低解像度階層から高解像度階層の順に循環的に行われる多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項２６に記載の多階層ビデオデコーディング方法。
ビットストリームから低解像度および高解像度階層のコーディングされたフレームに関する情報を抽出し、前記情報から低解像度および高解像度階層のコーディングされたフレームをデコーディングしてビデオフレームを再構成する多階層ビデオデコーディング方法において、
各解像度階層のコーディングされたビデオフレームは第１ビデオコーディング方式によってコーディングされた第１フレームと第２ビデオコーディング方式によってコーディングされた第２フレームで構成され、
（ａ）所定の解像度階層でコーディングされた第１フレームを第１ビデオデコーディング方式によってコーディングして第１フレームを再構成するステップと、
（ｂ）前記解像度階層でコーディングされた第２フレームを第２ビデオデコーディング方式によってデコーディングして第２フレームを再構成するステップと、
（ｃ）前記ビットストリームに含まれる向上階層の情報を利用して前記再構成された第１フレームまたは前記再構成された第２フレームのビットレートを向上させるステップと、
（ｄ）前記ビットレートが向上した第１および第２フレームを加えて前記解像度階層の最終フレームを復元するステップとを含み、前記（ａ）ないし（ｄ）ステップはすべての解像度階層において低解像度階層から高解像度階層の順に循環的に行われる多階層ビデオデコーディング方法。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項２８に記載の多階層ビデオデコーディング方法。
ビットストリームを解析して高解像度および低解像度階層のコーディングされたフレームを抽出するビットストリーム解析部と、
前記低解像度コーディングされたフレームをデコーディングする低解像度ビデオデコーディング部と、
前記低解像度ビデオデコーディング部によって再構成された低解像度フレームを参照して、前記高解像度階層のコーディングされたフレームをデコーディングする高解像度ビデオデコーディング部とを含み、
前記低解像度ビデオデコーディング部は前記低解像度階層のコーディングされたフレームを構成する第１コーディングされたフレームを第１ビデオデコーディング方式によってデコーディングし、前記第１ビデオデコーディング方式によってデコーディングされた第１フレームを参照し、前記低解像度階層のコーディングされたフレームを構成する第２コーディングされたフレームを第２ビデオデコーディング方式によってデコーディングして前記低解像度フレームを再構成して、前記ビットストリームに含まれる向上階層の情報を利用して前記デコーディングされた低解像度フレームのビットレートを向上させる多階層ビデオデコーダ。
前記第１ビデオデコーディング方式はＡＶＣデコーディング方式であり、前記第２ビデオデコーディング方式はウェーブレットデコーディング方式である請求項３０に記載の多階層ビデオデコーダ。
請求項１ないし請求項１５および請求項１８ないし請求項２９のいずれか一項に記載の方法をコンピュータで実行するためのプログラムを記録した媒体。
基礎階層のエンコーディングされたビデオ信号に関する情報を含む第１領域と、
前記基礎階層と解像度またはフレーム率が相異し、前記基礎階層の情報を利用してエンコーディングされた上位階層に関する情報を含む第２領域と、
前記基礎階層または前記上位階層のビットレート向上のための向上階層の情報を含む第３領域とを含むことを特徴とするビットストリーム構造。
前記基礎階層および上位階層はＤＣＴ変換を使用してコーディングされることを特徴とする請求項３３に記載のビットストリーム構造。
前記基礎階層のエンコーディングされたビデオ信号はＨ．２６４によってコーディングされた信号であることを特徴とする請求項３３に記載のビットストリーム構造。
基礎階層のビデオ信号を復元するステップと、
前記基礎階層の情報を利用して上位階層の情報を復元するステップと、
前記基礎階層または前記上位階層のビットレートを向上させるための向上階層を復元するステップとを含むことを特徴とするビデオデコーディング方法。
前記基礎階層のビデオ信号はＨ．２６４によってコーディングされたビデオ信号であることを特徴とする請求項３６に記載のビデオデコーディング方法。
前記上位階層は逆ＤＣＴ変換を利用して復元されることを特徴とする請求項３６に記載のビデオデコーディング方法。
前記向上階層は逆ウェーブレット変換を利用して復元することを特徴とする請求項３６に記載のビデオデコーディング方法。
基礎階層のビデオ信号を復元するステップと、
前記基礎階層のビットレートを向上させるための向上階層を復元するステップと、
前記基礎階層および前記向上階層情報を利用して上位階層の情報を復元するステップとを含むことを特徴とするビデオデコーディング方法。