JP2017523682A - インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置 - Google Patents

Abstract

デプス映像を構成する現在ブロックの予測モード情報をビットストリームから獲得する段階、獲得された予測モード情報に基づいて、現在ブロックの予測ブロックを生成する段階、及び予測ブロックを利用して、デプス映像を復号する段階を含み、現在ブロックの予測モード情報をビットストリームから獲得する段階は、現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、デプス映像が、デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及びデプス映像が、デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを受信する段階、並びに第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを、ビットストリームから受信する段階を含むことを特徴とするインターレイヤビデオ復号方法である。

Description

本発明は、インターレイヤビデオ符号化方法及び該復号方法に係り、さらに具体的には、デプス映像の予測モードに係わる符号化方法及び該復号方法に関する。

立体映像とは、深さ及び空間に係わる形状情報を、映像情報と同時に提供する三次元映像を意味する。ステレオ映像の場合、左右の目にそれぞれ異なる視点の映像を提供する一方、立体映像は、観察者が見る視点を異にするたびに、異なる方向から見たような映像を提供する。従って、立体映像を生成するためには、さまざまな視点で撮影した映像が必要である。

立体映像を生成するために、さまざまな視点で撮った映像は、データ量が膨大である。従って、立体映像のために、ネットワークインフラ、地上波帯域幅などを考慮すれば、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣそしてＨＥＶＣのような単一視点ビデオ圧縮（single-view video coding）に最適化された符号化装置を使用して圧縮しても、実現がほぼ不可能である。

従って、立体映像を生成するために、最適化された多視点（マルチレイヤ）映像符号化装置が要求される。特に、時間と視点との重複性を効率的に減少させるための技術開発が必要である。

例えば、多視点ビデオコーデックは、基本視点を単一視点ビデオ圧縮を使用して圧縮し、拡張視点では、基本視点を参照して符号化することにより、圧縮率を向上させることができる。また、デプス映像のような補助データを追加して符号化することにより、映像の復号端から入力された視点より多くの視点の映像を生成する。ここで、デプス映像は、ユーザに直接見られるために使用されるよりは、中間視点の映像を合成するために使用されるが、デプス映像に劣化が発生すれば、合成された映像の画質が低下する。従って、多視点ビデオコーデックは、多視点のビデオだけではなく、デプス映像も効率的に圧縮する必要がある。

一実施形態によるインターレイヤビデオ復号及び該符号化の装置及び方法は、デプス映像の予測モードを効率的に符号化または復号して装置の複雑度を低め、合成視点の映像を効果的に生成することができる。

一方、本発明の技術的課題及び効果は、以上で言及した特徴に制限されるものではなく、言及されていない他の技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろう。

一実施形態によるインターレイヤビデオ符号化装置のブロック図である。 一実施形態によるビデオ符号化方法のフローチャートである。 一実施形態によるインターレイヤビデオ復号装置のブロック図である。 一実施形態によるビデオ復号方法のフローチャートである。 一実施形態によるインターレイヤ予測構造を図示する図面である。 一実施形態によるＳＰＳ ３Ｄ拡張シンタックスを示す図面である。 ＤＭＭ予測モードの２つのタイプを示す図面である。 一実施形態によるcoding＿unitシンタックスを示す図面である。 ＤＭＭパラメータを受信するintra＿mode＿ｅｘｔシンタックスを示す図面である。 一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造の符号化単位に基づいたビデオ復号装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による、符号化単位に基づいた映像復号部のブロック図である。 本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

一実施形態によるインターレイヤビデオ復号方法は、デプス映像を構成する現在ブロックの予測モード情報をビットストリームから獲得する段階、前記獲得された予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成する段階、及び前記予測ブロックを利用して、前記デプス映像を復号する段階を含み、前記現在ブロックの予測モード情報をビットストリームから獲得する段階は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレット（wedgelet）を境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥール（contour）を境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを受信する段階、並びに前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを、前記ビットストリームから受信する段階を含むことを特徴とする。

前記第２フラグは、前記デプス映像が、前記デプス映像を構成する構成するブロックをイントラＳＤＣ（simplified depth coding）モードを使用して予測することに対する許容いかんをさらに含むことを特徴とする。
前記第４フラグは、前記現在ブロックをウェッジレットを使用して、２個以上のパーティションに分割して予測する方法、及び前記現在ブロックを、コントゥールを使用して、２個以上のパーティションに分割して予測する方法のうちいずれか一つを特定することを特徴とする。

前記第３フラグは、前記デプス映像が、前記デプス映像を構成する各ブロックと対応するテクスチュア映像を参照することを許容しない場合には、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示すことを特徴とする。

前記デプス映像の予測モード情報を獲得する段階は、前記第１フラグが、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測する方法を許容するということを示し、前記第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容するということを示し、前記第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容するということを示す場合にだけ、前記所定条件を満足すると決定する段階を含むことを特徴とする。

前記デプス映像の予測モード情報を獲得する段階は、前記所定条件を満足せず、第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容するということを示し、第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示すとき、前記現在ブロックを、ウェッジレットを使用して、２個以上のパーティションに分割して予測すると決定し、前記所定条件を満足せず、第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示し、第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容するということを示すとき、前記現在ブロックを、コントゥールを使用して、２個以上のパーティションに分割して予測すると決定することができる。

一実施形態によるインターレイヤビデオ符号化方法は、デプス映像を構成する現在ブロックの予測モードを決定する段階、前記決定された予測モードを利用して、前記現在ブロックの予測ブロックを生成する段階、及び前記予測ブロックを利用して、前記デプス映像を符号化してビットストリームを生成する段階を含み、前記現在ブロックの予測モードを決定する段階は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを生成する段階、並びに前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを生成する段階を含むことを特徴とする。

一実施形態によるインターレイヤビデオ復号装置は、デプス映像を構成する現在ブロックの予測モード情報をビットストリームから獲得する予測モード決定部、前記獲得された予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成する予測ブロック生成部、及び前記予測ブロックを利用して、前記デプス映像を復号する復号部を含み、前記予測モード決定部は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを受信して、前記受信された第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを、前記ビットストリームから受信することを特徴とする。

一実施形態によるインターレイヤビデオ符号化装置は、デプス映像を構成する現在ブロックの予測モードを決定する予測モード決定部、前記決定された予測モードを利用して、前記現在ブロックの予測ブロックを生成する予測ブロック生成部、及び前記予測ブロックを利用して、前記デプス映像を符号化してビットストリームを生成する符号化部を含み、前記予測モード決定部は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを生成し、前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを生成することを特徴とする。

一実施形態による前記インターレイヤ復号方法またはインターレイヤ符号化方法で遂行される方法を、コンピューターで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が提供される。

以下、図１Ａないし図６を参照し、一実施形態による、インターレイヤビデオ復号及び該符号化の装置及び方法のためのデプス映像の予測方法が提案される。

また、図７ないし図１９を参照し、先立って提案したインターレイヤビデオ符号化技法及び該復号技法に適用可能な一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。また、図２０ないし図２６を参照し、先立って提案したビデオ符号化方法、ビデオ復号方法が適用可能な一実施形態が開示される。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。

以下「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。

以下「現在ブロック（current block）」は、符号化または復号するデプス映像の単位ブロックを意味する。

まず、図１Ａないし図６を参照し、一実施形態による、インターレイヤビデオ復号及び該符号化の装置及び方法のためのデプス映像の予測方法、及び予測モードに係わる伝送方法が開示される。

図１Ａは、一実施形態によるインターレイヤビデオ符号化装置１０のブロック図である。図１Ｂは、一実施形態によるビデオ符号化方法のフローチャートである。

一実施形態によるインターレイヤビデオ符号化装置１０は、予測モード決定部１２、予測ブロック生成部１４、レジデュアルデータ生成部１６及び符号化部１８を含んでもよい。また、一実施形態によるインターレイヤビデオ符号化装置１０は、予測モード決定部１２、予測ブロック生成部１４、レジデュアルデータ生成部１６及び符号化部１８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、予測モード決定部１２、予測ブロック生成部１４、レジデュアルデータ生成部１６及び符号化部１８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、インターレイヤビデオ符号化装置１０が全体的に作動することもできる。または、インターレイヤビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、予測モード決定部１２、予測ブロック生成部１４、レジデュアルデータ生成部１６及び符号化部１８が制御されもする。

インターレイヤビデオ符号化装置１０は、予測モード決定部１２、予測ブロック生成部１４、レジデュアルデータ生成部１６及び符号化部１８の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。インターレイヤビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

インターレイヤビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。インターレイヤビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサとしてビデオ符号化動作を具現することができる。また、インターレイヤビデオ符号化装置１０または中央演算装置、グラフィック演算装置が、ビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。

一実施形態によるインターレイヤビデオ符号化装置１０は、スケーラブルビデオコーディング（scalable video coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。インターレイヤビデオ符号化装置１０は、第１レイヤ映像シーケンス及び第２レイヤ映像シーケンスを互いに異なるレイヤに符号化することができる。

例えば、空間的スケーラビリティ（spatial scalability）に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第１レイヤ映像として符号化され、高解像度映像が第２レイヤ映像として符号化される。第１レイヤ映像の符号化結果が第１レイヤストリームとして出力され、第２レイヤ映像の符号化結果が第２レイヤストリームとして出力される。

他の例として、多視点ビデオが、スケーラブルビデオコーディング方式によって符号化される。その場合、中央視点映像は、第１レイヤ映像として符号化され、左視点映像及び右視点映像は、第１レイヤ映像を参照する第２レイヤ映像として符号化される。または、インターレイヤビデオ符号化装置１０が、第１レイヤ、第２レイヤ、第３レイヤなど３以上のレイヤを許容する場合、中央視点映像は、第１レイヤ映像として符号化され、左視点映像は、第２レイヤ映像として符号化され、右視点映像は、第３レイヤ映像として符号化される。ここで、必ずしもかような構成に限定されるものではなく、中央視点映像、左視点映像、右視点映像が符号化されるレイヤ、及び参照されるレイヤが変更されもするということは言うまでもない。

さらに他の例として、時間的スケーラビリティに基づいた時間階層的予測（temporal hierarchical prediction）によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第１レイヤストリームが出力される。フレームレート別に、時間的階層（temporal level）が分類され、各時間的階層が各レイヤに符号化される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む第２レイヤストリームが出力される。

また、第１レイヤと、多数の第２レイヤとの対するスケーラブルビデオコーディングが行われる。第２レイヤが３以上である場合、第１レイヤ映像と、最初の第２レイヤ映像、２番目の第２レイヤ映像、…、Ｋ番目の第２レイヤ映像とが符号化される。それにより、第１レイヤ映像の符号化結果が第１レイヤストリームとして出力され、最初、２番目、…、Ｋ番目の第２レイヤ映像の符号化結果がそれぞれ最初、２番目、…、Ｋ番目の第２レイヤストリームとして出力される。

一実施形態によるインターレイヤビデオ符号化装置１０は、単一レイヤの映像を参照し、現在映像を予測するインター予測（inter prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion vector）、及び現在映像と参照映像とのレジデュアル成分（residual）が生成される。

また、インターレイヤビデオ符号化装置１０は、第１レイヤ映像を参照し、第２レイヤ映像を予測するインターレイヤ予測（inter-layerprediction）を行うことができる。

また、一実施形態によるインターレイヤビデオ符号化装置１０が、第１レイヤ、第２レイヤ、第３レイヤなど３以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、１つの第１レイヤ映像と第３レイヤ映像とのインターレイヤ予測、第２レイヤ映像と第３レイヤ映像とのインターレイヤ予測を行うこともできる。

インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュアル成分が生成される。

インターレイヤ予測構造は、図３を参照して後述する。

一実施形態によるインターレイヤビデオ符号化装置１０は、各レイヤごとに、ビデオのそれぞれの映像ブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位内では、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding tree unit）、コーディングブロックツリー（coding block tree）、ブロックツリー、ルートブロックツリー（root block tree）、コーディングツリー、コーディングルートまたはツリートランク（tree trunk）などで多様に命名されたりする。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図７ないし図１９を参照して後述する。

一方、一実施形態によるインターレイヤビデオ符号化装置１０が、多視点ビデオ映像を符号化する場合には、デプス映像のような補助データを追加して符号化することにより、映像の復号端を介して入力された視点より多くの視点の映像を生成することができる。ここで、デプス映像は、ユーザに直接見せるために使用されるというよりは、中間視点の映像を合成するために使用されるので、デプス映像の劣化いかんが、合成された映像の画質に影響を及ぼす。

デプス映像のデプス値の変化量は、客体の境界近辺で大きく示され、客体内部や背景領域では、相対的に少なく示される。従って、デプス値の差が大きい客体の境界部分で発生するエラーを最小化させることが、合成映像のエラー最小化に直結する。また、デプス値が変化量が少ない客体内部や背景領域については、相対的にデータ量を減らすことが、デプス映像に係わる符号化効率を高める。

従って、インターレイヤビデオ符号化装置１０は、デプス映像を所定のＤＣ、Planar、Angularのようなイントラ予測モードを使用して、現在ブロックを符号化することができる。また、インターレイヤビデオ符号化装置１０は、ＤＭＭ（depth modeling mode）モード、ＳＤＣモード、ＣＣＤ（chain coding mode）モードのような予測モードを使用して、デプス映像を符号化することができる。インターレイヤビデオ符号化装置１０は、前述の予測モードの使用いかんに係わる情報を含むフラグを各レイヤ別に生成することができる。

インターレイヤビデオ符号化装置１０は、所定の予測モードに基づいて予測ブロックを生成し、生成された予測ブロックと、符号化する現在ブロックとの差分データ、すなわち、レジデュアルデータを生成することができる。

所定の予測モードを利用して生成されたレジデュアルデータは、全部が符号化されないか、あるいは一部だけが符号化される。一実施形態によるインターレイヤビデオ符号化装置１０は、レジデュアルデータの平均値を符号化する。

一方、一実施形態によるインターレイヤビデオ符号化装置１０は、符号化するブロックに対してＤＣ値（以下、平均値）を計算し、計算された平均値を、デプス情報ルックアップテーブル（depth lookup table）にマッピングしてインデックスを決定することができる。ここで、デプス情報ルックアップテーブルは、デプス映像が有することができるデプス値とインデックスとをマッチングさせておいたテーブルを示す。

また、インターレイヤビデオ符号化装置１０は、原本ブロックに係わる平均値を、デプス情報ルックアップテーブルにマッピングして決定したインデックスと、予測ブロックから求めた平均値を介して計算されたインデックスとの差値のみを復号装置に伝送することができる。その場合、インデックスの差値が符号化される。

以下、図１Ｂを参照し、一実施形態によるインターレイヤビデオ符号化装置１０の動作について詳細に説明する。

段階１１において、予測モード決定部１２は、デプス映像を構成する現在ブロックに係わる予測モードを決定することができる。予測モードは、ＤＣ、Planar、Angular及びＤＭＭ（depth modeling mode）モード、ＳＤＣモードを含んでもよい。

ここで、ＤＣモードは、予測ブロックの予測サンプルを、現在ブロックの周辺参照サンプルの平均値で満たして入れる方法を利用するイントラ予測モードである。

また、Planarモードは、参照サンプルに対する予測サンプルｐｒｅｄSample［ｘ］，［ｙ］（ｘ及びｙは、０からｎＴｂｓ−１）に対して、次の数式（１）によって計算されるイントラ予測モードである。

ｐｒｅｄSamples［ｘ］［ｙ］＝（（ｎＴｂＳ−１−ｘ）＊ｐ［−１］［ｙ］＋（ｘ＋１）＊ｐ［ｎＴｂＳ］［−１］＋（ｎＴｂＳ−１−ｙ）＊ｐ［ｘ］［−１］＋（ｙ＋１）＊ｐ［−１］［ｎＴｂＳ］＋ｎＴｂＳ）＞＞（Ｌｏｇ２（ｎＴｂＳ）＋１） （１）
ここで、ｎＴｂＳは、予測ブロックの横または縦の大きさを示す。

またAngularモードは、画面内予測モードのうち、モード２からモード３４までの方向性を考慮し、参照サンプルから予測サンプルを決定するイントラ予測モードを意味する。

また、ＤＭＭ予測モードは、深さモデリングモード技術であり、デプス映像の客体境界を正確であって効率的に表現するための方法である。具体的には、ＤＭＭ予測モードは、現在ブロックをパターンによって、少なくとも２つの領域に分割して予測を行うモードであり、ウェッジレット及びコントゥールを利用して領域を分け、各領域別に平均値を計算することができる。

ＤＭＭ予測モードは、ＤＭＭ mode−１（ＤＭＭ＿ＷＦＵＬＬモードまたはＩＮＴＲＡ＿ＤＥＰ＿ＷＥＤＧＥともいう）タイプ及びＤＭＭ mode−４（ＤＭＭ＿ＣＰＲＥＤＴＥＸモードまたはＩＮＴＲＡ＿ＤＥＰ＿ＣＯＮＴＯＵＲともいう）タイプを含んでもよい。ＤＭＭ mode−１は、インターレイヤビデオ符号化装置１０において、現在ブロックに対してさまざまな境界線を適用し、２つの領域に分割した後、最も適する境界線を基準に領域を分割するウェッジレットモードをいう。このとき、ウェッジレットは、斜線を意味し、ウェッジレットパーティションは、斜線を境界に、現在予測符号化ブロックから分割された２以上のパーティションを意味する。

ＤＭＭ mode−４は、現在ブロックのテクスチャのパターンによって、予測ブロックを少なくとも２以上の領域に分割するモードであり、コントゥールパーティション（countour partition）に対応するテクスチュア映像ブロックを利用して決定することができるモードをいう。このとき、コントゥールは、任意の形態を包括する曲線を意味し、コントゥールパーティションは、等高線を境界に分割された現在予測符号化ブロックから分割された２以上のパーティションを意味する。

ＤＭＭ mode−１及びＤＭＭ mode−４に係わる詳細な説明は、図４Ｂを参照して後述する。

ＳＤＣ予測モードは、客体内部と背景領域とのデプス値の変化量少ないという点に基づいて、レジデュアルデータをＤＣ形態で符号化するか、あるいは符号化しないときに使用されるモードである。レジデュアルデータのＤＣ成分は、レジデュアルブロックのピクセル値であり、レジデュアルブロックの全部または一部のピクセル値の平均値と決定することができる。

ＳＤＣ予測モードは、ＳＤＣイントラ予測モード及びＳＤＣインター予測モードを含んでもよい。例えば、ＳＤＣイントラ予測モードは、ＤＣ、ＤＭＭ mode−１、ＤＭＭ mode−４及びPlanar予測モードを含んでもよく、インターレイヤビデオ符号化装置１０は、ＳＤＣイントラ予測モードに含まれた代表モードのうち最も確率が高い代表モードで、現在ブロックを予測して符号化することができる。ＳＤＣインター予測モードは、所定の予測モードを利用して構成され、パーティションモードによって異なるように構成される。例えば、パーティションモードが、２Ｎｘ２Ｎである場合にだけ、ＳＤＣインター予測モードを許容し、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどのモードである場合には、ＳＤＣインター予測モードを許容しない。

予測モード決定部１２は、現在デプス映像、及び現在デプス映像を構成する現在ブロックが使用する予測モードに係わる情報を含むフラグを生成することができる。予測モード情報を含むフラグは、図４ないし６を参照して後述する。

段階１３において、予測ブロック生成部１４は、決定された予測モードに基づいて、現在ブロックの予測ブロックを生成することができる。

段階１５において、レジデュアルデータ生成部１６は、現在ブロックと予測ブロックとの差であるレジデュアルデータを生成することができる。一実施形態によるレジデュアルデータ生成部１６は、レジデュアルデータを符号化部１８に伝送しないか、あるいはレジデュアルデータの全部または一部を平均して符号化部１８に伝送することができる。

例えば、レジデュアルデータ生成部１６は、現在ブロックと予測ブロックとの差である残差ブロック内の左側上端画素値、右側上端画素値、左側下端画素値及び右側下端画素値を利用して平均値を計算し、符号化部１８に伝送することができる。具体的には、レジデュアルデータ生成部１６は、残差ブロック内の全ての画素値を利用して平均値を求めるよりは、予測ブロックの左側上端画素値、右側上端画素値、左側下端画素値及び右側下端画素値に対して加重和を遂行することができる。また、必ずしもかような構成に限定されるのではなければ、各画素位置別に少なくとも１以上の画素値を利用し（例えば、左側上端４個の画素値、及び右側上端４個の画素値を利用）、残差ブロックに係わる平均値を予測することができる。

また、レジデュアルデータ生成部１６は、予測モードによって、残差ブロックに係わる平均値を異なるように求めることもできる。例えば、レジデュアルデータ生成部１６は、前記予測ブロックが、ＤＣモードまたはPlanarモードで予測される場合、前記残差ブロックの左側上端画素値、右側上端画素値、左側下端画素値及び右側下端画素値の平均を利用し、前記生成された残差ブロックに係わる平均値を計算し、符号化部１８に伝送することができる。

また、レジデュアルデータ生成部１６は、予測ブロックがＤＭＭ予測モードで予測される場合、残差ブロックで分割された領域別に、前記予測ブロックの左側上端画素値、右側上端画素値、左側下端画素値及び右側下端画素値を利用して、領域別に平均値を予測することができる。

他の例として、平均値計算部１６は、現在ブロックの予測モードによって、他位置の画素値を利用して、残差ブロックに係わる平均値を予測することができる。

さらに他の例として、レジデュアルデータ生成部１６は、予測ブロックがAngularモードのうち、水平方向あるいは垂直方向の予測モードで予測される場合、レジデュアルデータを符号化部１８に伝送しない。

インターレイヤビデオ符号化装置１０は、デプス映像を符号化するために、予測モードに係わる情報と、レジデュアルデータとを含むビットストリームを生成することができる。

図２Ａは、一実施形態によるインターレイヤビデオ復号装置２０のブロック図である。

一実施形態によるインターレイヤビデオ復号装置２０は、パージング部２２(または、予測モード決定部 22)、予測ブロック生成部２４、レジデュアルデータ生成部２６及び復号部２８を含んでもよい。また、一実施形態によるインターレイヤビデオ復号装置２０は、パージング部２２、予測ブロック生成部２４、レジデュアルデータ生成部２６及び復号部２８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、パージング部２２、予測ブロック生成部２４、レジデュアルデータ生成部２６及び復号部２８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、インターレイヤビデオ復号装置２０が全体的に作動することもできる。または、一実施形態によるインターレイヤビデオ復号装置２０の外部プロセッサ（図示せず）の制御によって、パージング部２２、予測ブロック生成部２４、レジデュアルデータ生成部２６及び復号部２８が制御されもする。

また、一実施形態によるインターレイヤビデオ復号装置２０は、パージング部２２、予測ブロック生成部２４、レジデュアルデータ生成部２６及び復号部２８の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。インターレイヤビデオ復号装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

一実施形態によるインターレイヤビデオ復号装置２０は、ビデオ復号を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、逆変換を含んだビデオ復号動作を遂行することができる。一実施形態によるインターレイヤビデオ復号装置２０の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、インターレイヤビデオ復号装置２０または中央演算装置、グラフィック演算装置が、ビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号動作を具現する場合も含んでもよい。

一実施形態によるインターレイヤビデオ復号装置２０は、スケーラブル符号化方式によって、レイヤ別にビットストリームを受信することができる。インターレイヤビデオ復号装置２０が受信するビットストリームのレイヤ個数が限定されるものではない。

例えば、空間的スケーラビリティに基づいたインターレイヤビデオ復号装置２０は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。第１レイヤストリームを復号して低解像度映像シーケンスが復元され、第２レイヤストリームを復号して高解像度映像シーケンスが復元される。

他の例として、多視点ビデオが、スケーラブルビデオコーディング方式によって復号される。ステレオスコピックビデオストリームが多数レイヤに受信された場合、第１レイヤストリームを復号して左視点映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号し、右視点映像が復元される。

または、多視点ビデオストリームが多数レイヤに受信された場合、第１レイヤストリームを復号し、中央視点映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号し、左視点映像が復元される。第１レイヤストリームに第３レイヤストリームをさらに復号し、右視点映像が復元される。

他の例として、時間的スケーラビリティに基づいたスケーラブルビデオコーディング方式が遂行される。第１レイヤストリームを復号し、基本フレームレートの映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号し、高速フレームレートの映像が復元される。

また、第２レイヤが３以上である場合、第１レイヤストリームから第１レイヤ映像が復元され、第１レイヤ復元映像を参照し、第２レイヤストリームをさらに復号すれば、第２レイヤ映像がさらに復元される。第２レイヤ復元映像を参照し、Ｋ番目レイヤストリームをさらに復号すれば、Ｋ番目レイヤ映像がさらに復元されもする。

インターレイヤビデオ復号装置２０は、第１レイヤストリーム及び第２レイヤストリームから、第１レイヤ映像及び第２レイヤ映像の符号化されたデータを獲得し、加えてインター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。

例えば、インターレイヤビデオ復号装置２０は、各レイヤ別に、インター予測されたデータを復号し、多数レイヤ間にインターレイヤ予測されたデータを復号することができる。符号化単位または予測単位を基に、動き補償（motion compensation）、及びインターレイヤ復号を介した復元が遂行されもする。

各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。

また、インターレイヤビデオ復号装置２０は、インターレイヤ予測を介して予測された第２レイヤ映像を復号するために、第１レイヤ映像の予測情報を参照し、インターレイヤ復号を行うこともできる。インターレイヤ復号は、現在映像の予測情報を決定するために、他レイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を意味する。

一実施形態によるインターレイヤビデオ復号装置２０は、第２レイヤ映像を参照して予測された第３レイヤ映像を復元するためのインターレイヤ復号を行うこともできる。インターレイヤ予測構造は、追って図３を参照して詳細に説明する。

インターレイヤビデオ復号装置２０は、ビデオのそれぞれの映像ブロック別に復号する。ブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図７ないし図２０を参照して後述する。

一方、一実施形態によるインターレイヤビデオ復号装置２０が多視点ビデオ映像を復元する場合には、デプス映像のような補助データを追加して復号することにより、映像の復号端を介して入力された視点より多くの視点の映像を生成することができる。ここで、デプス映像は、ユーザに直接見せるために使用されるよりは、中間視点の映像を合成するために使用されるので、デプス映像の劣化いかんが、合成された映像の画質に影響を及ぼす。

デプス映像のデプス値の変化量は、客体の境界近辺で大きく示され、客体内部では、相対的に少なく示される。従って、デプス値の差が大きい客体の境界部分で発生するエラーを最小化させることが、合成映像のエラー最小化に直結する。また、デプス値が変化量が少ない客体内部については、相対的にデータ量を減らすことが、デプス映像に係わる復号効率を高めることができる。

インターレイヤビデオ復号装置２０は、デプス映像を所定のＤＣ、Planar、Angularのようなイントラ予測モードを使用して復号することができる。また、インターレイヤビデオ復号装置２０は、ＤＭＭモード、ＳＤＣモード、ＣＣＤモードのような予測モードを使用して、デプス映像を復号することができる。ＤＣモード、Planerモード、Angularモード、ＤＭＭモード、ＳＤＣモードは、図１を参照して説明した。

インターレイヤビデオ復号装置２０は、デプス映像、及び現在ブロックを構成する現在ブロック（すなわち、符号化／復号単位）で使用される予測モードに係わる情報を含むフラグを獲得することができる。一実施形態によるインターレイヤビデオ復号装置２０は、基本レイヤ及び向上レイヤの符号化データを復号するために、共通して使用されるパラメータ情報を含むＶＰＳＮＡＬ（video parameter set network abstraction layer）ユニットから、予測モード情報を含むフラグを受信することができる。他の実施形態による、インターレイヤビデオ復号装置２０は、ＳＰＳ（sequence parameter set）ＮＡＬユニットやＰＰＳ（picture parameterset）ＮＡＬユニットから、予測モード情報を含むフラグを受信することができる。

ＰＰＳは、少なくとも１つのピクチャに対するパラメータセットである。例えば、ＰＰＳは、少なくとも１つのピクチャの映像符号化データを符号化するために、共通して使用されるパラメータ情報を含むパラメータセットである。ＰＰＳ ＮＡＬユニットは、ＰＰＳを含むＮＡＬユニットである。ＳＰＳは、シーケンスに係わるパラメータセットである。シーケンスは、少なくとも１つのピクチャの集合である。例えば、ＳＰＳは、少なくとも１つのＰＰＳを参照して符号化を行うピクチャの符号化データを符号化するために、共通して使用されるパラメータ情報を含んでもよい。

インターレイヤビデオ復号装置２０は、デプス映像を復号するために、ＤＣ、Planar、Angularのようなイントラ予測モードを使用して、現在ブロックに対する予測ブロックを生成することができる。また、インターレイヤビデオ復号装置２０は、ＤＭＭモード、ＳＤＣモード、ＣＣＤモードを使用して、現在ブロックに対する予測ブロックを生成することができる。また、インターレイヤビデオ復号装置２０は、生成された予測ブロックと、復号する現在ブロックとの差分データ、すなわち、レジデュアルデータをビットストリームから受信することができる。

または、一実施形態によるインターレイヤビデオ復号装置２０は、予測ブロックに対してＤＣ値（以下、平均値）を計算し、計算された平均値を、デプス情報ルックアップテーブル（depth lookup table）にマッピングしてインデックスを計算することができる。また、インターレイヤビデオ復号装置２０は、復元ブロックに係わる平均値に対応する復元インデックスと、予測ブロックに係わる平均値に対応する予測インデックスとのインデックス差値をビットストリームを介して受信することができる。

以下、図２Ｂを参照し、一実施形態によるインターレイヤビデオ復号装置２０の動作について詳細に説明する。

段階２１において、パージング部２２は、ビットストリームからデプス映像を構成する現在ブロックに係わる予測モード情報を獲得することができる。予測モード情報は、デプス映像及び現在ブロックを復元するために使用される情報であり、ＤＣモード、Planarモード、Angularモード、ＤＭＭモード及びＳＤＣモードに係わる使用いかんを含んでもよい。

段階２１において、パージング部２２は、予測モード情報を含むフラグをパージングすることができる。パージング部２２は、デプス映像が、デプス映像を構成するブロックを、ＤＭＭ mode−１またはＤＭＭ mode−４を使用して予測することに対する許容いかん、及び復号する現在映像に係わるＤＭＭ予測モードの許容いかんを示すフラグをビットストリームから受信することができる。インターレイヤビデオ復号装置１０は、現在映像に係わるＤＭＭ予測モードの許容いかんを示すフラグ、及びデプス映像が、デプス映像を構成するブロックを、ＤＭＭ mode−１またはＤＭＭ mode−４を使用して予測することに対する許容いかんを示すフラグを利用して、所定条件を満足する場合にだけ、現在映像のＤＭＭ予測モードのタイプに係わる情報を示すフラグを、ビットストリームから追加して受信し、複雑度を低くすることができる。予測モード情報を含むフラグは、図４Ａないし図６を参照して詳細に後述する。

段階２３において、予測ブロック生成部２４は、獲得された予測モード情報に基づいて、現在ブロックの予測ブロックを生成することができる。

段階２５において、レジデュアルデータ生成部２６は、ビットストリームから、レジデュアルデータを獲得することができる。ただし、所定予測モードで予測モードが生成された場合、レジデュアルデータは、復号されないこともある。

段階２７において、復号部２８は、予測ブロックを利用して、現在ブロック及びデプス映像を復号することができる。

以下、図３を参照し、一実施形態によるインターレイヤビデオ符号化装置１０で遂行されるインターレイヤ予測構造について説明する。

図３は、一実施形態によるインターレイヤ予測構造を図示している。

一実施形態によるインターレイヤビデオ符号化装置１０は、図３に図示された多視点ビデオ予測構造の再生順序３０によって、基本視点映像、左視点映像及び右視点映像を予測符号化することができる。

関連技術による多視点ビデオ予測構造の再生順序３０によれば、横方向に、同一視点の映像が配列されている。従って、「left」と表記された左視点映像が横方向に一列に配列され、「center」と表記された基本視点映像が横方向に一列に配列され、「right」と表記された右視点映像が横方向に一列に配列されている。基本視点映像は、左視点／右視点映像に比べ、中央視点映像でもある。

また、縦方向に、ＰＯＣ順序の同一である映像が配列される。映像のＰＯＣ順序は、ビデオを構成する映像の再生順序を示す。多視点ビデオ予測構造３０で表示されている「ＰＯＣＸ」は、当該列に位置した映像の相対的な再生順序を示し、Ｘの数字が小さいほど、再生順序が先になり、大きくなるほど再生順序が後になる。

従って、関連技術による多視点ビデオ予測構造の再生順序３０によれば、「left」と表記された左視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列され、「center」と表記された基本視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列され、「right」と表記された右視点映像が、ＰＯＣ順序（再生順序）によって横方向に配列されている。また、基本視点映像と同一列（column）に位置した左視点映像及び右視点映像は、いずれも視点は異なるが、ＰＯＣ順序（再生順序）が同一である映像である。

各視点別に、４個の連続映像が１つのＧＯＰ（group of picture）を構成している。各ＧＯＰは、連続するアンカピクチャ（key picture）間の映像と、１つのアンカピクチャとを含む。

アンカピクチャは、ランダムアクセスポイント（random access point）であり、ビデオを再生するとき、映像の再生順序、すなわち、ＰＯＣ順序によって配列された映像のうち、任意に再生位置が選択されれば、再生位置において、ＰＯＣ順序が最も隣接するアンカピクチャが再生される。基本視点映像は、基本視点アンカピクチャ３１，３２，３３，３４，３５を含み、左視点映像は、左視点アンカピクチャ１３１，１３２，１３３，１３４，１３５を含み、右視点映像は、右視点アンカピクチャ２３１，２３２，２３３，２３４，２３５を含む。

多視点映像は、ＧＯＰ順に再生されて予測（復元）される。まず、多視点ビデオ予測構造の再生順序３０によれば、各視点別に、ＧＯＰ ０に含まれた映像が再生された後、ＧＯＰ １に含まれた映像が再生される。すなわち、ＧＯＰ ０、ＧＯＰ １、ＧＯＰ ２、ＧＯＰ ３の順序、各ＧＯＰに含まれた映像が再生される。また、多視点ビデオ予測構造のコーディング順序によれば、各視点別に、ＧＯＰ ０に含まれた映像が予測（復元）された後、ＧＯＰ １に含まれた映像が予測（復元）される。すなわち、ＧＯＰ ０、ＧＯＰ １、ＧＯＰ ２、ＧＯＰ ３の順序、各ＧＯＰに含まれた映像が予測（復元）される。

多視点ビデオ予測構造の再生順序３０によれば、映像に対して、視点間予測（インターレイヤ予測）及びインター予測がいずれも行われる。多視点ビデオ予測構造において、矢印が始まる映像が参照映像であり、矢印が終わる映像が、参照映像を利用して予測される映像である。

基本視点映像の予測結果は、符号化された後、基本視点映像ストリームの形態で出力され、付加視点映像の予測結果は、符号化された後、レイヤビットストリームの形態で出力される。また、左視点映像の予測符号化結果は、第１レイヤビットストリームとして出力され、右視点映像の予測符号化結果は、第２レイヤビットストリームとして出力される。

基本視点映像については、インター予測だけが行われる。すなわち、Ｉピクチャタイプであるアンカピクチャ３１，３２，３３，３４，３５は、他の映像を参照しないが、Ｂピクチャタイプ及びｂピクチャタイプである残りの映像は、他の基本視点映像を参照して予測される。Ｂピクチャタイプ映像は、ＰＯＣ順序が先になるＩピクチャタイプアンカピクチャと、後になるＩピクチャタイプアンカピクチャとを参照して予測される。ｂピクチャタイプ映像は、ＰＯＣ順序が先になるＩピクチャタイプアンカピクチャと、後になるＢピクチャタイプ映像とを参照するか、あるいはＰＯＣ順序が先になるＢピクチャタイプ映像と、後になるＩピクチャタイプアンカピクチャとを参照して予測される。

左視点映像及び右視点映像については、それぞれ、異なる視点映像を参照する視点間予測（インターレイヤ予測）、及び同一視点映像を参照するインター予測が行われる。

左視点アンカピクチャ１３１，１３２，１３３，１３４，１３５に対して、それぞれＰＯＣ順序が同一である基本視点アンカピクチャ３１，３２，３３，３４，３５を参照し、視点間予測（インターレイヤ予測）が行われる。右視点アンカピクチャ２３１，２３２，２３３，２３４，２３５については、それぞれＰＯＣ順序が同一である基本視点映像３１，３２，３３，３４，３５または左視点アンカピクチャ１３１，１３２，１３３，１３４，１３５を参照し、視点間予測が行われる。また、左視点映像及び右視点映像のうち、アンカピクチャ１３１，１３２，１３３，１３４，１３５，２３１，２３２，２３３，２３４，２３５ではない残りの映像に対しても、ＰＯＣが同一である他視点映像を参照する視点間予測（インターレイヤ予測）が行われる。

左視点映像及び右視点映像のうち、アンカピクチャ１３１，１３２，１３３，１３４，１３５，２３１，２３２，２３３，２３４，２３５ではない残りの映像は、同一視点映像を参照して予測される。

ただし、左視点映像及び右視点映像は、それぞれ、同一視点の付加視点映像のうち、再生順序が先行するアンカピクチャを参照して予測されないこともある。すなわち、現在左視点映像のインター予測のために、現在左視点映像より再生順序が先行する左視点アンカピクチャを除いた左視点映像が参照される。同様に、現在右視点映像のインター予測のために、現在右視点映像より再生順序が先行する右視点アンカピクチャを除いた右視点映像が参照される。

また、現在左視点映像のインター予測のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像を参照して予測が行われることが望ましい。右視点映像の場合も、同様である。

一実施形態によるインターレイヤビデオ復号装置２０は、図３に図示された多視点ビデオ予測構造の再生順序３０によって、基本視点映像、左視点映像及び右視点映像を復元することができる。

左視点映像は、基本視点映像を参照する視点間ディスパリティ補償と、左視点映像を参照するインター動き補償とを介して復元される。右視点映像は、基本視点映像及び左視点映像を参照する視点間ディスパリティ補償と、右視点映像を参照するインター動き補償とを介して復元される。左視点映像及び右視点映像のディスパリティ補償及び動き補償のために、参照映像が先に復元されなければならない。

左視点映像のインター動き補償のために、復元された左視点の参照映像を参照するインター動き補償を介して、左視点映像が復元される。右視点映像のインター動き補償のために、復元された右視点の参照映像を参照するインター動き補償を介して、右視点映像が復元される。

また、現在左視点映像のインター動き補償のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像だけ参照されることが望ましい。右視点映像の場合も、同様である。

以下、図４Ａないし図６を参照し、一実施形態によるインターレイヤビデオ復号装置が、デプス映像の予測及び復元のために、予測モード情報を受信する方法について説明する。

図４Ａは、一実施形態によるＳＰＳ（sequence parameter set）３Ｄ拡張シンタックスの一部を示している。

一実施形態によるインターレイヤビデオ復号装置２０は、デプス映像が、ＳＤＣモードのうちインターＳＤＣを許容するか否かということを示すフラグを受信することができる。また、インターレイヤビデオ復号装置２０は、デプス映像がＤＭＭ予測モードのうちＤＭＭ mode−４（ＤＭＭ＿ＣＰＲＥＤＴＥＸ）を許容するか否かということを示すフラグを受信することができる。また、インターレイヤビデオ復号装置２０は、デプス映像がＤＭＭ予測モードのうちＤＭＭ mode−１（ＤＭＭ＿ＷＦＵＬＬ）モードまたはイントラＳＤＣモードを許容するか否かということを示すフラグを受信することができる。

図４Ａの４１０は、ＤＭＭ予測モードのうちＤＭＭ mode−４使用の許容いかんを示すフラグintra＿contour＿enabled＿flag［ｄ］を示す。intra＿contour＿enabled＿flag［ｄ］４１０が１の値である場合、現在デプス映像は、デプス映像を構成するブロックを、ＤＭＭ mode−４の予測モードを使用して予測することを許容することができる。従って、現在デプス映像は、ＤＭＭ mode−４を使用して、予測ブロックを生成して復号される。反対に、intra＿contour＿enabled＿flag［ｄ］４１０が０の値を有する場合には、現在デプス映像は、ＤＭＭ mode−４を使用して復号されない。intra＿contour＿enabled＿flag［ｄ］４１０が定義されていない場合、intra＿contour＿enabled＿flag［ｄ］４１０の値は、０に推定される。

図４Ａの４２０は、ＤＭＭ予測モードのうちＤＭＭ mode−１の使用の許容いかん、及びイントラＳＤＣモード使用の許容いかんを示すフラグintra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］を示す。intra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］４２０が１の値を有する場合、現在デプス映像は、現在デプス映像を構成するブロックを、ＤＭＭ mode−１及びイントラＳＤＣモードのうち少なくとも１つのモードを使用して予測することを許容することができる。従って、現在デプス映像は、ＤＭＭ mode−１及びイントラＳＤＣモードのうち少なくとも１つのモードを使用して、予測ブロックを生成して復号される。反対に、intra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］４２０が０の値を有する場合、現在デプス映像は、ＤＭＭ mode−１及びイントラＳＤＣモードを使用して復号されない。intra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］４２０が定義されていない場合、intra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］４２０の値は、０に推定される。

図４Ａの４３０は、ＤＭＭ予測モードのうちインターＳＤＣモードの許容いかんを示すフラグinter＿ｄｃ＿only＿enabled＿flag［ｄ］を示す。inter＿ｄｃ＿only＿enabled＿flag［ｄ］４３０が１の値を有する場合、現在デプス映像は、現在デプス映像を構成するブロックを、インターＳＤＣモードを使用して予測することを許容することができる。従って、現在デプス映像は、インターＳＤＣモードを使用して、予測ブロックを生成して復号される。反対にinter＿ｄｃ＿only＿enabled＿flag［ｄ］４３０が０の値を有する場合、現在デプス映像は、インターＳＤＣモードを使用して復号されない。inter＿ｄｃ＿only＿enabled＿flag［ｄ］４３０が定義されていない場合、inter＿ｄｃ＿only＿enabled＿flag［ｄ］４３０の値は、０であると推定される。

図４Ｂは、ＤＭＭ予測モードの２つのタイプを示している。

前述のように、ＤＭＭ予測モードは、デプスモデリングモード技術であり、デプス映像の客体境界を正確であって効率的に表現するための方法である。具体的には、ＤＭＭ予測モードは、現在ブロックを、パターンによって、少なくとも２つの領域に分割して予測を行うモードであり、ウェッジレット及びコントゥールを利用して、現在ブロックを２以上の領域に分け、各領域別に平均値を計算することができる。

ＤＭＭ予測モードは、ＤＭＭ mode−１（ＤＭＭ＿ＷＦＵＬＬモードまたはＩＮＴＲＡ＿ＤＥＰ＿ＷＥＤＧＥともいう）タイプ及びＤＭＭ mode−４（ＤＭＭ＿ＣＰＲＥＤＴＥＸモードまたはＩＮＴＲＡ＿ＤＥＰ＿ＣＯＮＴＯＵＲともいう）タイプを含んでもよい。

インターレイヤビデオ復号装置２０は、現在ブロックに対してさまざまな境界線を適用し、２つの領域に分割した後、最も適する境界線を基準に領域を分割するウェッジレットモードであるＤＭＭ mode−１またはＤＭＭ mode−４を使用して、現在ブロックに対する予測ブロックを生成し、現在ブロックを復元することができる。また、インターレイヤビデオ復号装置２０は、現在ブロックに対してさまざまな境界線を適用し、２つの領域に分割し後、最も適する境界線を基準に領域を分割するウェッジレットモードであるＤＭＭ mode−１またはＤＭＭ mode−４を使用して、現在ブロックに対する予測ブロックを生成し、現在ブロックを復元することができる。このとき、ウェッジレットは、斜線を意味し、ウェッジレットパーティションは、斜線を境界に、現在ブロックから分割された２以上のパーティションを意味する。説明の便宜のために、インターレイヤビデオ復号装置２０が、現在ブロックをＤＭＭ予測モードを使用して復元することを例に挙げて説明するが、当業者であるならば、インターレイヤビデオ復号装置２０と対応する動作が、インターレイヤビデオ符号化装置１０で遂行されるということが分かるであろう。

インターレイヤビデオ復号装置２０は、現在ブロック４４０を、ウェッジレット４４３を利用して、Ｐ_１ ４４２とＰ_２ ４４４とに分割することができる。また、インターレイヤビデオ復号装置２０は、現在ブロック４６０を、コントゥール４６３を利用して、Ｐ_１ ４６２とＰ_２ ４６４とに分割することができる。

ＤＭＭ mode−１は、ウェッジレット４４３に係わる情報を、ビットストリームに直接伝送する方法で、ウェッジレット４４３の出発点及び終点の位置を、あらかじめ定義されたテーブルを利用して表現して伝送する予測モードである。インターレイヤビデオ復号装置２０は、ビットストリームから、ウェッジレット４４３の出発点及び終点の位置を獲得し、現在ブロック４４０をＰ１ ４４２とＰ２ ４４４とに分割することができる。

ＤＭＭ mode−４は、コントゥール４６３に係わる情報を獲得するために、現在ブロック４６０と同一位置のテクスチュア映像ブロック４８０であるＣＴＬＢ（co-located texture luma block）を参照する予測モードである。インターレイヤビデオ復号装置２０は、テクスチュア映像ブロック４８０の輝度平均を計算し、計算された輝度平均を臨界値として利用して、対応テクスチュア映像ブロック４８０を分割した後、分割情報を、現在ブロック４６０に同一に適用することができる。インターレイヤビデオ復号装置２０は、対応テクスチュア映像ブロック４８０の分割情報を利用して、現在ブロック４６０を、Ｐ１ ４６２とＰ２ ４６４とに分割することができる。

一実施形態によるインターレイヤビデオ復号装置２０は、ウェッジレットまたはコントゥールによって分割された領域別に、１つのＤＣ値を利用して予測することができる。例えば、Ｐ１ ４４２に属する全てのピクセル値は、Ｐ１ ４４２のＤＣ値で予測し、Ｐ２ ４４４に属する全てのピクセル値は、Ｐ２ ４４４のＤＣ値で予測することができる。

図５は、一実施形態によるcoding＿unitシンタックスの一部を示している。図５の５５０は、ＤＭＭ予測モードのパラメータを獲得するintra＿mode＿ｅｘｔを遂行するために、現在デプス映像に係わるＤＭＭ予測モードの許容いかんを確認する条件文である。すなわち、フラグIntracontourEnabledFlagとフラブIntraDCOnlyWedgeEnabledFlagとのうちいずれか１つの値が１であるならば、現在ブロックに対して、ＤＭＭ予測モードを利用して予測を行うためのパラメータを獲得するintra＿mode＿ｅｘｔを遂行することができる。IntraDCOnlyWedgeEnabledFlag及びIntracontourEnabledFlagは、数式（２）を参照して後述する。

図５の５７０は、現在ブロックに対するＤＭＭ予測モードの許容いかんを示すフラグであるno＿dim＿flag［ｘ０＋ｉ］［ｙ０＋ｊ］を示す。no＿dim＿flag［ｘ０＋ｉ］［ｙ０＋ｊ］５７０が１の値を有する場合、no＿dim＿flag［ｘ０＋ｉ］［ｙ０＋ｊ］に対応する現在ブロックには、ＤＭＭ予測モードが許容されず、反対に、no＿dim＿flag［ｘ０＋ｉ］［ｙ０＋ｊ］５７０が０の値を有する場合、no＿dim＿flag［ｘ０＋ｉ］［ｙ０＋ｊ］に対応する現在ブロックには、ＤＭＭ予測モードが許容されるということを示すことができる。

図６は、ＤＭＭパラメータを受信するintra＿mode＿ｅｘｔシンタックスを示している。

インターレイヤビデオ復号装置２０は、現在ブロックで使用されるＤＭＭ予測モードのタイプを示すフラグdepth＿intra＿mode＿ｉｄｘ＿flag［ｘ０］［ｙ０］６５０を追加して受信することができる。depth＿intra＿mode＿ｉｄｘ＿flag［ｘ０］［ｙ０］６５０の値が０であるならば、現在ブロックを、ＤＭＭ mode−１を使用して予測することができるということを示し、１であるならば、現在ブロックを、ＤＭＭ mode−４を使用して予測することができるということを示すことができるが、それに制限されるものではない。

条件６３０は、depth＿intra＿mode＿flag［ｘ０］［ｙ０］６５０を受信するための所定条件を示す。条件６３０において、no＿dim＿flag ５７０が０であり、IntraDCOnlyWedgeEnabledFlagが１であり、IntracontourEnabledFlagが１である場合に限り、depth＿intra＿mode＿flag［ｘ０］［ｙ０］６５０を受信することができる。

IntraDCOnlyWedgeEnabledFlag及びIntracontourEnabledFlagは、それぞれ現在ブロックに対して、ＤＭＭ mode−１とＤＭＭ mode−４とを使用して現在ブロックを予測することに対する許容いかんを示すことができる。IntraDCOnlyWedgeEnabledFlag及びIntracontourEnabledFlagは、以下の数式（２）のように定義される。

IntracontourEnabledFlag＝intra＿contour＿enabled＿flag［Depthflag］ ＆＆ in＿ｃｏｍｐ＿ｐｒｅｄ＿flag （２）
IntraDCOnlyWedgeEnabledFlag＝intra＿ｄｃ＿only＿wedge＿enabled＿flag［DepthFlag］
フラグIntracontourEnabledFlagは、前述のintra＿contour＿enabled＿flag［ｄ］と、フラグin＿ｃｏｍｐ＿ｐｒｅｄ＿flagとによって決定される。in＿ｃｏｍｐ＿ｐｒｅｄ＿flagは、デプス映像が対応するテクスチュア映像を参照することができるか否かということにに係わる情報を示す。in＿ｃｏｍｐ＿ｐｒｅｄ＿flagが１の値を持てばデプス映像に対応するテクスチュア映像を参照することができるし、０の値を有すれば、デプス映像に対応するテクスチュア映像を参照することができないということを示すことができる。すなわち、現在デプス映像に対応するテクスチュア映像を参照することができない場合（in＿ｃｏｍｐ＿ｐｒｅｄ＿flag＝０）は、ＤＭＭ mode−４を使用して、現在ブロックを予測することができないので、IntracontourEnabledFlagは、０になる。

IntraDCOnlyWedgeEnabledFlagは、前述のintra＿ｄｃ＿only＿wedge＿enabled＿flag［ｄ］と同一である。

従って、IntraDCOnlyWedgeEnabledFlagが１の値を有すれば、現在ブロックが属したデプス映像が、ＤＭＭ mode−１またはイントラＳＤＣモードを使用して予測することを許容するということを示し、０の値を有すれば、現在ブロックが属したデプス映像がＤＭＭ mode−１及びイントラＳＤＣモードを使用して予測することを許容しないということを示すことができる。また、IntracontourEnabledFlagが１の値を有すれば、現在ブロックが属したデプス映像が、ＤＭＭ mode−４を使用して予測することを許容するということを示し、０の値を有すれば、現在ブロックが属したデプス映像がＤＭＭ mode−４を使用して予測することを許容しないということを示すことができる。

言い換えれば、現在ブロックが属したデプス映像が、ＤＭＭ mode−１及びＤＭＭ−mode−４の予測をいずれも許容しないのであれば、現在ブロックに対するＤＭＭ予測モードのタイプ情報を示すフラグを受信しないことにより、装置の複雑度を低くすることができる。

もしno＿dim＿flag ５７０が０であり、IntracontourEnabledFlagが１であり、IntraDCOnlyWedgeEnabledFlagが０である場合には、depth＿intra＿mode＿flag［ｘ０］［ｙ０］６５０を受信せず、現在ブロックに対するＤＭＭ予測モードのタイプをＤＭＭ mode−４に決定することができる。もしno＿dim＿flag ５７０が０であり、IntracontourEnabledFlagが０であり、IntraDCOnlyWedgeEnabledFlagが１である場合には、depth＿intra＿mode＿flag［ｘ０］［ｙ０］６５０を受信せず、現在ブロックに対するＤＭＭ予測モードのタイプをＤＭＭ mode−１に決定することができる。

インターレイヤビデオ復号装置２０は、インターレイヤビデオ符号化装置１０から、no＿dim＿flag ５７０が含まれたＣＡＢＡＣ（context-based adaptive binary arithmetic coding）で符号化されたビットストリームを受信し、受信されたビットストリームをＣＡＢＡＣ復号することができる。このとき、フラグno＿dim＿flag ５７０は、周辺ブロック情報を参照せずに、独立した１つのコンテクストモデルを使用して伝送される。

一方、説明の便宜のために、図４ないし図６では、それぞれインターレイヤビデオ復号装置２０が遂行する動作のみについて詳細に説明し、インターレイヤビデオ符号化装置１０での動作は省略したが、インターレイヤビデオ符号化装置１０においても、それに対応する動作が遂行されるということは、本実施形態が属する技術分野の当業者であるならば、容易に理解することができるであろう。

一実施形態によるインターレイヤビデオ符号化装置１０、及び一実施形態によるインターレイヤビデオ復号装置２０において、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述の通りである。以下、図７ないし図１９を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号方法及びその装置が開示される。

図７は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図である。

以下、ビデオ符号化装置１００は、図１Ａを参照して説明したインターレイヤビデオ符号化装置１０の一実施形態である。従って、以下で省略された内容であるとしても、インターレイヤビデオ符号化装置１０について、以上で記述された内容は、ビデオ符号化装置１００にも適用される。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズ２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度と決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なっても決定される。従って、１つの最大符号化単位に対して、符号化深度が１以上設定され、最大符号化単位のデータは、１以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０では、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決まり、他の領域については、独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になる、それ以上さらに分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態による、ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図７ないし図１９を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位に符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なりもするので、データに対して、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、図１ないし図６を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図７のビデオ符号化装置１００は、図１を参照して説明したビデオ符号化装置１０の動作を遂行することができる。

符号化単位決定部１２０は、ビデオ符号化装置１０のイントラ予測部１２の動作を遂行することができる。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を決定し、予測単位ごとにイントラ予測を行うことができる。

出力部１３０は、ビデオ符号化装置１０のシンボル符号化部１４の動作を遂行することができる。予測単位ごとに、イントラ予測モードの予測のために、ＭＰＭフラグを符号化することができる。現在予測単位のイントラ予測モードが、左側／上端予測単位のイントラ予測モードのうち少なくとも一つと同一である場合には、左側イントラ予測モードと上端イントラ予測モードとが同一であるか、あるいは異なるかということに係わりなく、常に固定された個数の複数個の候補イントラ予測モードを決定し、候補イントラ予測モードに基づいて、現在予測単位のための現在イントラモード情報を決定して符号化することができる。

出力部１３０は、候補イントラ予測モードの個数を毎ピクチャごとに決定することができる。それと類似して、候補イントラ予測モードの個数が、スライスごとに、最大符号化単位ごとに、符号化単位ごとにまたは予測単位ごとに決定されもする。それらに制限されることなく、所定データ単位ごとに、候補イントラ予測モードの個数がさらに決定される。

出力部１３０は、候補イントラ予測モードの個数を更新したデータ単位のレベルによって、ＰＰＳ（picture parameter set）、ＳＰＳ（slice parameter set）、最大符号化単位レベル、符号化単位レベル、予測単位レベルなど多様なデータ単位レベルのパラメータであり、候補イントラ予測モードの個数を示す情報を符号化することもできる。ただし、所定データ単位ごとに、毎回候補イントラ予測モードの個数が決定されるとしても、常に候補イントラ予測モードの個数を示す情報が符号化されるものではない。

図８は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置２００のブロック図である。

以下、ビデオ復号装置２００は、図２Ａを参照して説明したインターレイヤビデオ復号装置２０の一実施形態である。従って、以下で省略された内容であるとしても、インターレイヤビデオ復号装置２０について、以上で記述された内容は、ビデオ復号装置２００にも適用される。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、「ビデオ復号装置２００」と縮約して呼称する。

一実施形態によるビデオ復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる、符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを、最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに映像データを復号する。

最大符号化単位別符号化深度及び符号化モードについての情報は、１以上の符号化深度情報に対して設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位大きさ情報を利用して復号することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。

さらに、図８のビデオ復号装置２００は、図２を参照して説明したビデオ復号装置２０の動作を遂行することができる。

受信部２１０は、ビデオ復号装置２０のパージング部２２の動作を遂行することができる。映像データ及び符号化情報抽出部２２０と、映像データ復号部２３０は、ビデオ復号装置２０のイントラ予測部２４の動作を遂行することができる。

パージング部２２は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が決定された場合、予測単位ごとに、ビットストリームからイントラ予測モードの予測のためのＭＰＭフラグをパージングすることができる。左側イントラ予測モードと上端イントラ予測モードとが相互同一であるか、あるいは異なるかということを判断する必要なく、ビットストリームからＭＰＭフラグに連続し、現在イントラモード情報がパージングされる。映像データ及び符号化情報抽出部２２０は、ＭＰＭフラグ及びイントラモード情報を含み、ブロックのシンボルのパージングを完了した後、パージングされた情報から、現在イントラ予測モードを復元することができる。固定個数の複数個の候補イントラ予測モードを利用して、現在イントラ予測モードが予測されもする。映像データ復号部２３０は、復元された現在イントラ予測モード及びレジデュアルデータを利用して、現在予測単位に対するイントラ予測を行うことができる。

映像データ及び符号化情報抽出部２２０は、候補イントラ予測モードの個数を毎ピクチャごとにさらに決定することができる。

パージング部２２は、ビットストリームのＰＰＳ（picture parameter set）、ＳＰＳ（slice parameter set）、最大符号化単位レベル、符号化単位レベル、予測単位レベルなど多様なデータ単位レベルのパラメータから、固定された個数の候補イントラ予測モードの個数を示す情報をパージングする場合がある。その場合、映像データ及び符号化情報抽出部２２０は、情報がパージングされたレベルに対応するデータ単位ごとに、パージングされた情報が示す個数ほどの候補イントラ予測モードを決定することができる。

ただし、映像データ及び符号化情報抽出部２２０は、候補イントラ予測モードの個数を示す情報がパージングされないとしても、スライスごとに、最大符号化単位ごとに、符号化単位ごとに、または予測単位など所定データ単位ごとに、候補イントラ予測モードの個数を更新することもできる。

結局、ビデオ復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。

図９は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、２に設定されている。ビデオデータ３２０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、３に設定されている。ビデオデータ３３０については、解像度は、３５２ｘ２８８に設定され、符号化単位の最大サイズは、１６に設定され、最大深度は、１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図１０は、本発明の一実施形態による、符号化単位に基づいた映像符号化部４００のブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

特に、イントラ予測部４１０は、ビデオ符号化装置１０のイントラ予測部１２の動作を遂行することができる。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を決定し、予測単位ごとにイントラ予測を行うことができる。

現在予測単位と左側／上端予測単位とが同一である場合、左側イントラ予測モードと上端イントラ予測モードとが同一であるか、あるいは異なる場合、いずれも複数個の候補イントラ予測モードが決定されるので、エントロピー符号化部４５０は、予測単位ごとに、ＭＰＭフラグを符号化し、すぐに現在予測単位のための候補イントラ予測モードに基づいて決定された現在イントラモード情報を符号化することができる。

図１１は、本発明の一実施形態による符号化単位に基づいた映像復号部５００のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号対象である符号化された映像データ、及び復号のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号装置２００の映像データ復号部２３０において映像データを復号するために、一実施形態による映像復号部５００のパージング部５１０以後の段階別作業が遂行される。

一実施形態によるビデオ復号装置２００に適用されるためには、映像復号部５００の構成要素である、パージング部５１０、エントロピー復号部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

特に、パージング部５１０は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が決定された場合、予測単位ごとに、ビットストリームからイントラ予測モードの予測のためのＭＰＭフラグをパージングすることができる。左側イントラ予測モードと上端イントラ予測モードとが相互同一であるか、あるいは異なるかということを判断する必要なく、ビットストリームからＭＰＭフラグに連続し、現在イントラモード情報がパージングされる。エントロピー復号部５２０は、ＭＰＭフラグ及び現在イントラモード情報を含み、ブロックのシンボルのパージングを完了した後、パージングされた情報から、現在イントラ予測モードを復元することができる。イントラ予測部５５０は、復元された現在イントラ予測モード及びレジデュアルデータを利用して、現在予測単位に対するイントラ予測を行うことができる。

図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であって、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に、横軸に沿って符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１３は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１４は、一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して復号に利用することができる。

図１５は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，２Ｎ＿０ｘＮ＿０のパーティションタイプ９１４及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１６のパーティションタイプのうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に対する「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度と決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号するのに利用することができる。一実施形態によるビデオ復号装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度と把握し、当該深度に係わる符号化モードについての情報を利用して、復号に利用することができる。

図１６、図１７及び図１８は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパティションと比較するとき、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号装置２００は、同一符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表1は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００で設定することができる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に対するパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさはＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態による、ツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるために、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ１３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などで増加して変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されはない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（Ａ）のように定義される。

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （Ａ）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（Ａ）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても異なる。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（Ｂ）によって決定される。数式（Ｂ）で、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍin（MaxTransformSize，PUSize） （Ｂ）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（Ｃ）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍin（MaxTransformSize，PartitionSize） （Ｃ）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。

図７ないし図１９を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送されたりする。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１Ａないし図１９を参照して説明したビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先に図１Ａないし図１９を参照して説明したビデオ復号方法及び／またはビデオ復号方法は、「本発明のビデオ復号方法」とする。

また、先に図１Ａないし図１９を参照して説明したビデオ符号化装置、ビデオ符号化装置またはビデオ符号化部で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先に図１Ａないし図１９を参照して説明したインターレイヤビデオ復号装置、ビデオ復号装置またはビデオ復号部で構成されたビデオ復号装置は、「本発明のビデオ復号装置」とする。

一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について以下で説明する。

図２０は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２１を参照して説明する。

図２１は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６７００に伝送される。

図２０及び図２１で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。

図２２は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベーステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設けられる。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２４に図示された構造だけに限定されるものではなく、デバイスは、選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されもする。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。

カメラ１２６００によって撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントが、符号化されたコンテンツデータを受信し、リアルタイムで復号して再生するようにし、個人放送（personal broadcasting）を可能にする。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本発明のビデオ符号化装置及びビデオ復号装置が適用される。

図２３及び図２４を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。図２３は、一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic lightemittingdiodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）で受信されたり、他の形態で獲得されたりするビデオや静止映像のように、符号化されるか、あるいは復号されたデータを保存するための記録媒体１２５７０、及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable andprogrammablereadonlymemory）のような他の形態のフラッシュメモリでもある。

図２４は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して、中央制御部１２７１０に連結される。

ユーザが、電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードでセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

携帯電話１２５００が外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００においてデジタル信号が生成される、例えば、音響処理部１２６５０においては、デジタル音響信号が生成され、ビデオ符号化部１２７２０においては、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０で直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換して、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digitalconversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。

データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとが分離される。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号部１２６９０の構造は、前述の本発明のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述の本発明のビデオ復号方法を利用して、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。
それによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号を、スピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、本発明のビデオ復号装置のみを含む受信端末機でもある。

本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２５は、一実施形態による通信システムが適用されたデジタル放送システムを図示している。

図２５の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生される。

再生装置１２８３０において、本発明のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に本発明のビデオ復号装置が搭載されもする。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号が、ＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。

図２６は、一実施形態によるビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。

クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望程度選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００からクラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００などインターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かようにクラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを求めて再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して動画データストリームを受信する場合、動画データストリームを復号してビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画がそれ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００が、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、該端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。

このとき、ユーザ端末機は、図１Ａないし図１９を参照して説明した本発明のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図１９を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図１９を参照して説明した本発明のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。

図１Ａないし図１９を参照して説明したビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される一実施形態について、図２０ないし図２６で説明した。しかし、図１Ａないし図１９を参照して説明したビデオ符号化方法及びビデオ復号方法が記録媒体に保存されるか、あるいはビデオ符号化装置及びビデオ復号装置がデバイスで具現される一実施形態は、図２０ないし図２６の実施形態に限定されるものではない。

本発明による方法、プロセス、装置、製品及び／またはシステムは、簡単であり、コスト面で効果的であり、複雑ではなく、非常に多様で正確である。また、本発明による、プロセス、装置、製品及びシステムに、周知の構成要素を適用することにより、直ちに利用することができ、効率的であって経済的な製造、応用及び活用を具現することができる。本発明の他の重要な側面は、コスト低減、システム単純化、性能向上を要求する現状に符合する。かような本発明の実施形態に見られる有用な様相は、結果的に、少なくとも現技術のレベルを高めるであろう。

本発明は、特定の最上の実施形態と係わって説明したが、それら以外に、本発明に、代替、変形及び修正が適用された発明は、前述の説明に照らし合わせ、当業者に明白であろう。すなわち、特許請求の範囲は、かような全ての代替、変形及び修正された発明を含むものであると解釈する。従って、本明細書及び図面で説明した全ての内容は、例示的であって非制限的な意味に解釈されるものではない。

Claims (10)

1. デプス映像を構成する現在ブロックの予測モード情報をビットストリームから獲得する段階と、
   前記獲得された予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成する段階と、
   前記予測ブロックを利用して、前記デプス映像を復号する段階と、を含み、
   前記現在ブロックの予測モード情報をビットストリームから獲得する段階は、
   前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを受信する段階と、
   前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを、前記ビットストリームから受信する段階と、を含むことを特徴とするインターレイヤビデオ復号方法。
2. 前記第２フラグは、
   前記デプス映像が、前記デプス映像を構成する構成するブロックを、イントラＳＤＣ（simplified depth coding）モードを使用して予測することに対する許容いかんをさらに含むことを特徴とする請求項１に記載のインターレイヤビデオ復号方法。
3. 前記第４フラグは、
   前記現在ブロックを、ウェッジレットを使用して、２個以上のパーティションに分割して予測する方法、及び前記現在ブロックを、コントゥールを使用して、２個以上のパーティションに分割して予測する方法のうちいずれか一つを特定することを特徴とする請求項１に記載のインターレイヤビデオ復号方法。
4. 前記第３フラグは、
   前記デプス映像が、前記デプス映像を構成する各ブロックと対応するテクスチュア映像を参照することを許容しない場合には、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示すことを特徴とする請求項１に記載のインターレイヤビデオ復号方法。
5. 前記デプス映像の予測モード情報を獲得する段階は、
   前記第１フラグが、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測する方法を許容するということを示し、前記第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容するということを示し、前記第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容するということを示す場合にだけ、前記所定条件を満足すると決定する段階を含むことを特徴とする請求項１に記載のインターレイヤビデオ復号方法。
6. 前記デプス映像の予測モード情報を獲得する段階は、
   前記所定条件を満足せず、第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容するということを示し、第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示すとき、前記現在ブロックを、ウェッジレットを使用して、２個以上のパーティションに分割して予測すると決定し、
   前記所定条件を満足せず、第２フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測する方法を許容しないことを示し、第３フラグが、前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測する方法を許容するということを示すとき、前記現在ブロックを、コントゥールを使用して、２個以上のパーティションに分割して予測すると決定することを特徴とする請求項１に記載のインターレイヤビデオ復号方法。
7. デプス映像を構成する現在ブロックの予測モードを決定する段階と、
   前記決定された予測モードを利用して、前記現在ブロックの予測ブロックを生成する段階と、
   前記予測ブロックを利用して、前記デプス映像を符号化してビットストリームを生成する段階と、を含み、
   前記現在ブロックの予測モードを決定する段階は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを生成する段階と、
   前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを生成する段階と、を含むことを特徴とするインターレイヤビデオ符号化方法。
8. デプス映像を構成する現在ブロックの予測モード情報をビットストリームから獲得する予測モード決定部と、
   前記獲得された予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成する予測ブロック生成部と、
   前記予測ブロックを利用して、前記デプス映像を復号する復号部と、を含み、
   前記予測モード決定部は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを受信して、前記受信された第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを、前記ビットストリームから受信することを特徴とするインターレイヤビデオ復号装置。
9. デプス映像を構成する現在ブロックの予測モードを決定する予測モード決定部と、
   前記決定された予測モードを利用して、前記現在ブロックの予測ブロックを生成する予測ブロック生成部と、
   前記予測ブロックを利用して、前記デプス映像を符号化してビットストリームを生成する符号化部と、を含み、
   前記予測モード決定部は、前記現在ブロックを、パターンによって、２以上のパーティションに分割して予測することに対する許容いかんを示す第１フラグ、前記デプス映像が、前記デプス映像を構成するブロックを、ウェッジレットを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第２フラグ、及び前記デプス映像が、前記デプス映像を構成するブロックを、コントゥールを境界に、２以上のパーティションに分割して予測することに対する許容いかんを示す第３フラグを生成し、前記第１フラグ、第２フラグ及び第３フラグに基づいて決定される所定条件を満足する場合に限り、前記現在ブロックを、パターンによって、２以上のパーティションに分割する方法のタイプに係わる情報を示す第４フラグを生成することを特徴とするインターレイヤビデオ符号化装置。
10. 請求項１ないし７のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。