JP7152503B2 - 映像符号化／復号化方法及び装置 - Google Patents

Description

本発明は映像符号化／復号化方法及び装置に関するものである。

インターネット及び携帯端末の普及と情報通信技術の発展につれてマルチメディアデータの利用が急増している。したがって、各種のシステムで映像予測によって多様なサービスや作業を遂行するために映像処理システムの性能及び効率の改善に対する必要性がよほど増加しているが、このような雰囲気に応えることができる研究開発の結果が充分でない実情である。

このように、従来技術の映像符号化復号化方法及び装置では、映像処理、特に映像符号化又は映像復号化に対する性能改善が要求されている実情である。

本発明は画面内予測方法及び装置を提供することを目的とする。また、本発明はサブブロック単位の画面内予測方法及び装置を提供することを目的とする。また、本発明はサブブロック単位の分割と符号化順序を決定する方法及び装置を提供することを目的とする。

本発明による映像符号化／復号化方法及び装置は、現在ブロックの分割形態に関する候補群を構成し、前記候補群と候補インデックスに基づいて現在ブロックのサブブロックへの分割形態を決定し、前記現在ブロック単位に対する画面内予測モードを誘導し、前記現在ブロックの画面内予測モードとサブブロックの分割形態に基づいて現在ブロックの画面内予測を遂行することができる。

本発明によれば、サブブロック単位の画面内予測によって符号化／復号化性能を向上させることができる。また、本発明によれば、サブブロック単位の分割形態に関する候補群を効率的に構成することによって予測の正確性を向上させることができる。また、本発明によれば、サブブロック単位の符号化順序を適応的に適用することによって画面内予測の符号化／復号化効率が向上することができる。

本発明の実施例による映像符号化及び復号化システムの概念図である。 本発明の一実施例による映像符号化装置のブロック構成図である。 本発明の一実施例による映像復号化装置のブロック構成図である。 本発明のブロック分割部で獲得することができる多様な分割形態を示す例示図である。 本発明の一実施例による画面内予測モードを示す例示図である。 本発明の一実施例による画面内予測に使われる参照画素構成を説明するための例示図である。 本発明の一実施例による画面内予測の対象ブロックとその対象ブロックに隣接したブロックとを示す概念図である。 符号化ブロックから獲得可能なサブブロックの多様な分割形態を示す。 本発明の一実施例による画面内予測モードに基づいて使われる参照画素領域に対する例示図である。 本発明の一実施例によるＤｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ方向の予測モードで有することができる符号化順序に対する例示を示す。 本発明の一実施例による水平モードで有することができる符号化順序に対する例示を示す。 本発明の一実施例によるＤｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ方向の予測モードで有することができる符号化順序に対する例示を示す。 本発明の一実施例による垂直モードで有することができる符号化順序に対する例示を示す。 本発明の一実施例によるＤｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ方向のモードで有することができる符号化順序に対する例示を示す。 本発明の一実施例による画面内予測モードと分割形態を考慮した符号化順序に対する例示図である。

本発明による映像符号化／復号化方法及び装置は、現在ブロックの分割形態に関する候補群を構成し、前記候補群と候補インデックスに基づいて現在ブロックのサブブロックへの分割形態を決定し、前記現在ブロック単位で画面内予測モードを誘導し、前記現在ブロックの画面内予測モードとサブブロックの分割形態に基づいて現在ブロックの画面内予測を遂行することができる。

発明の実施のための形態。

本発明は多様な変更を加えることができ、様々な実施例を有することができるが、特定の実施例を図面に例示して詳細に説明しようとする。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。

第１、第２、Ａ、Ｂなどの用語は多様な構成要素を説明するのに使うことができるが、前記構成要素は前記用語に限定されてはいけない。前記用語は一構成要素を他の構成要素と区別する目的のみで使われる。例えば、本発明の権利範囲を逸脱しない範疇内で第１構成要素は第２構成要素と名付けることができ、同様に第２構成要素も第１構成要素と名付けることができる。及び／又はという用語は複数の関連した記載項目の組合せ又は複数の関連した記載項目のいずれか項目を含む。

ある構成要素が他の構成要素に“連結される”か“接続される”と言及されたときには、その他の構成要素に直接的に連結されているか又は接続されていることもできるが、中間にさらに他の構成要素が存在することもできると理解すべきであろう。一方、ある構成要素が他の構成要素に“直接連結される”か“直接接続される”と言及されたときには、中間にさらに他の構成要素が存在しないと理解すべきであろう。

本発明で使用した用語はただ特定の実施例を説明するために使用したもので、本発明を限定しようとする意図ではない。単数の表現は文脈上ではっきり他に指示しない限り、複数の表現を含む。本発明で、“含む”又は“有する”などの用語は明細書相に記載した特徴、数字、段階、動作、構成要素、部品又はこれらの組合せが存在することを指定しようとするものであり、１個又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はこれらの組合せなどの存在又は付加の可能性を予め排除しないと理解すべきである。

他に定義しない限り、技術的又は科学的な用語を含めてここで使う全ての用語は本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同一のものを意味する。一般的に使われる辞書に定義されているような用語は関連技術の文脈上で有する意味と一致するものと解釈すべきであり、本発明ではっきり定義しない限り、理想的な又は過度に形式的な意味と解釈されない。

通常的に、映像のカラーフォーマット（Ｃｏｌｏｒ Ｆｏｒｍａｔ）によって１個以上のカラー空間から構成されることができる。カラーフォーマットによって一定のサイズを有する１個以上のピクチャー又は他のサイズを有する１個以上のピクチャーから構成されることができる。一例として、ＹＣｂＣｒカラー構成で、４：４：４、４：２：２、４：２：０、モノクロム（Ｙのみで構成）などのカラーフォーマットを支援することができる。一例として、ＹＣｂＣｒ４：２：０の場合は１個の輝度成分（本例で、Ｙ）と２個の色差成分（本例で、Ｃｂ／Ｃｒ）とから構成することができる。ここで、色差成分と輝度成分の構成比は、横縦１：２を有することができる。一例として、４：４：４の場合、横長及び縦長が同一の構成比を有することができる。前記例のように１個以上のカラー空間から構成される場合、ピクチャーは各カラー空間への分割を遂行することができる。

映像は、映像タイプ（例えば、ピクチャータイプ、スライスタイプ、タイルタイプなど）によって、Ｉ、Ｐ、Ｂなどに分類することができる。Ｉ映像タイプは、参照ピクチャーを使わずに自ら符号化／復号化する映像を意味することができ、Ｐ映像タイプは、参照ピクチャーを使って符号化／復号化するが、前方向予測のみ許す映像を意味することができ、Ｂ映像タイプは、参照ピクチャーを使って符号化／復号化し、前方向／後方向予測を許す映像を意味することができるが、符号化／復号化設定によって前記タイプの一部が結合（ＰとＢを結合）するか他の構成の映像タイプを支援することもできる。

本発明で発生する多様な符号化／復号化情報は明示的（Ｅｘｐｌｉｃｉｔ）又は黙示的（Ｉｍｐｌｉｃｉｔ）処理が可能である。ここで、明示的な処理は符号化情報に関する複数の候補群の一つの候補を示す選択情報をシーケンス、スライス、タイル、ブロック、サブブロックなどで生成し、これをビットストリームに収録することができ、復号化器で符号化器と同一水準の単位で関連情報をパーシング（Ｐａｒｓｉｎｇ）して復号化情報に復元することと理解することができる。ここで、黙示的な処理は符号化／復号化情報を符号化器と復号化器で同じ過程、規則などで処理することと理解することができる。

図１は本発明の実施例による映像符号化及び復号化システムの概念図である。

図１を参照すると、映像符号化装置１０５及び復号化装置１００は、個人用コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートブック型コンピュータ、個人用携帯端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型マルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、プレイステーションポータブル（ＰＳＰ：ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（ＳｍａｒｔＰｈｏｎｅ）又はＴＶなどの使用者端末であるか、応用サーバー、サービスサーバーなどのサーバー端末であることができ、各種の機器又は有無線通信網と通信を遂行するための通信モデムなどの通信装置、映像を符号化又は復号化するためにインター又はイントラ予測するための各種のプログラムとデータを保存するためのメモリ（ｍｅｍｏｒｙ）１２０、１２５、又はプログラムを実行して演算及び制御するためのプロセッサ（ｐｒｏｃｅｓｓｏｒ）１１０、１１５などを備える多様な装置を含むことができる。

また、映像符号化装置１０５によってビットストリームに符号化した映像は、実時間又は非実時間でインターネット、近距離無線通信網、無線ＬＡＮ網、ワイブロ網又は移動通信網などの有無線通信網（Ｎｅｔｗｏｒｋ）などを介して、又はケーブル又はユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの多様な通信インターフェースを介して映像復号化装置１００に伝送され、映像復号化装置１００で復号化して映像に復元されて再生されることができる。また、映像符号化装置１０５によってビットストリームに符号化した映像はコンピュータ可読の記録媒体を介して映像符号化装置１０５から映像復号化装置１００に伝達されることができる。

前述した映像符号化装置と映像復号化装置は互いに別個の装置であることができるが、具現によって１個の映像符号化／復号化装置に作られることができる。その場合、映像符号化装置の一部の構成は映像復号化装置の一部の構成と実質的に同じ技術要素であり、少なくとも同じ構造を含むか少なくとも同じ機能を果たすように具現されることができる。

よって、以下の技術要素とこれらの作動原理などについての詳細な説明では対応技術要素の重複説明を省略する。また、映像復号化装置は映像符号化装置で行われる映像符号化方法を復号化に適用するコンピュータ装置に対応するので、以下の説明では映像符号化装置を中心に説明する。

コンピュータ装置は、映像符号化方法及び／又は映像復号化方法を具現するプログラム又はソフトウェアモジュールを保存するメモリと、メモリに連結されてプログラムを実行するプロセッサとを含むことができる。ここで、映像符号化装置は符号化器と、映像復号化装置は復号化器とそれぞれいうことができる。

図２は本発明の一実施例による映像符号化装置のブロック構成図である。

図２を参照すると、映像符号化装置２０は、予測部２００、減算部２０５、変換部２１０、量子化部２１５、逆量子化部２２０、逆変換部２２５、加算部２３０、フィルター部２３５、符号化ピクチャーバッファー２４０及びエントロピー符号化部２４５を含むことができる。

予測部２００はソフトウェアモジュールである予測モジュール（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）を用いて具現することができ、符号化すべきブロックに対して画面内予測方式（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）又は画面間予測方式（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）で予測ブロックを生成することができる。予測部２００は、映像で現在符号化しようとする現在ブロックを予測して予測ブロックを生成することができる。言い換えれば、予測部２００は、映像で符号化しようとする現在ブロックの各画素の画素値（ｐｉｘｅｌ ｖａｌｕｅ）を画面内予測又は画面間予測によって予測して生成した各画素の予測画素値（ｐｒｅｄｉｃｔｅｄ ｐｉｘｅｌ ｖａｌｕｅ）を有する予測ブロックを生成することができる。また、予測部２００は、画面内予測モード又は画面間予測モードのような予測モードについての情報のような、予測ブロックを生成するのに必要な情報を符号化部に伝達し、符号化部にとって予測モードについての情報を符号化するようにすることができる。ここで、予測が行われる処理単位と予測方法及び具体的な内容が決定される処理単位は符号化／復号化設定によって決定することができる。例えば、予測方法、予測モードなどは予測単位で決定し、予測の遂行は変換単位で遂行することができる。

画面間予測部で、動き予測方法によって、移動モデルと移動外動きモデルに区分することができる。移動動きモデルの場合、平行移動のみ考慮して予測を遂行し、移動外動きモデルの場合、平行移動のみではなく、回転、遠近、ズームイン／アウト（Ｚｏｏｍ ｉｎ／ｏｕｔ）などの動きを考慮して予測を遂行することができる。単方向予測を仮定するとき、移動動きモデルの場合は１個の動きベクターが必要であり得るが、移動外動きモデルの場合は１個以上の動きベクターが必要であり得る。移動外動きモデルの場合、各動きベクターは現在ブロックの左上側頂点、右上側頂点などの現在ブロックの既設定の位置に適用される情報であることができ、該当動きベクターによって現在ブロックの予測しようとする領域の位置を画素単位又はサブブロック単位で獲得することができる。画面間予測部は、前記動きモデルによって、後述する一部の過程は共通で適用することができ、一部の過程は個別的に適用することができる。

画面間予測部は、参照ピクチャー構成部、動き推定部、動き補償部、動き情報決定部、及び動き情報符号化部を含むことができる。参照ピクチャー構成部は、現在ピクチャーを中心に以前又は以後に符号化したピクチャーを参照ピクチャーリスト（Ｌ０、Ｌ１）に含むことができる。前記参照ピクチャーリストに含まれた参照ピクチャーから予測ブロックを獲得することができ、符号化設定によって現在映像も参照ピクチャーから構成され、参照ピクチャーリストの少なくとも１個に含まれることができる。

画面間予測部で、参照ピクチャー構成部は参照ピクチャー補間部を含むことができ、補間精度によって少数単位画素のための補間過程を遂行することができる。例えば、輝度成分の場合は８－ｔａｐ ＤＣＴに基づく補間フィルターを適用し、色差成分の場合は４－ｔａｐ ＤＣＴに基づく補間フィルターを適用することができる。

画面間予測部で、動き推定部は現在ブロックとの相関性が高いブロックを参照ピクチャーによって探索する過程であり、ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ ｓｔｅｐ ｓｅａｒｃｈ）などの多様な方法を使うことができ、動き補償部は、動き推定過程によって予測ブロックを獲得する過程を意味する。

画面間予測部で、動き情報決定部は現在ブロックの最適の動き情報を選定するための過程を遂行することができ、動き情報はスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、併合モード（Ｍｅｒｇｅ Ｍｏｄｅ）、競争モード（Ｃｏｍｐｅｔｉｔｉｏｎ Ｍｏｄｅ）などの動き情報符号化モードによって符号化することができる。前記モードは動きモデルによって支援されるモードが結合されて構成されることができ、スキップモード（移動）、スキップモード（移動外）、併合モード（移動）、併合モード（移動外）、競争モード（移動）、競争モード（移動外）がそれに対する例であることができる。符号化設定によって、前記モードの一部が候補群に含まれることができる。

前記動き情報符号化モードは、少なくとも１個の候補ブロックで現在ブロックの動き情報（動きベクター、参照ピクチャー、予測方向など）の予測値を獲得することができ、２個以上の候補ブロックを支援する場合には、最適の候補選択情報が発生することができる。スキップモード（残留信号なし）と併合モード（残留信号あり）は前記予測値をそのまま現在ブロックの動き情報として使うことができ、競争モードは現在ブロックの動き情報と前記予測値との差分値情報が発生することができる。

現在ブロックの動き情報予測値のための候補群は、動き情報符号化モードによって適応的で多様な構成を有することができる。現在ブロックに空間的に隣接したブロック（例えば、左側、上側、左上側、右上側、左下側ブロックなど）の動き情報を候補群に含むことができ、時間的に隣接したブロックの動き情報を候補群に含むことができ、空間的候補と時間的候補の組合せ動き情報などを候補群に含むことができる。

前記時間的に隣接したブロックは、現在ブロックに対応（又は相応）する他の映像内のブロックを含み、該当ブロックを中心に左側、右側、上側、下側、左上側、右上側、左下側、右下側ブロックなどに位置するブロックを意味することができる。前記組合せ動き情報は、空間的に隣接したブロックの動き情報と時間的に隣接したブロックの動き情報から、平均、中央値などとして獲得される情報を意味することができる。

動き情報予測値候補群構成のための優先順位が存在することができる。前記優先順位によって予測値候補群構成に含まれる手順を決定することができ、前記優先順位によって候補群の個数（動き情報符号化モードによって決定される）だけ満たされれば候補群構成を完了することができる。ここで、空間的に隣接したブロックの動き情報、時間的に隣接したブロックの動き情報、空間的候補と時間的候補の組合せ動き情報の順に優先順位を決定することができるが、それ以外の変形も可能である。

例えば、空間的に隣接したブロックの中では、左側－上側－右上側－左下側－左上側ブロックなどの順に候補群に含むことができ、時間的に隣接したブロックの中では、右下側－中側－右側－下側ブロックなどの順に候補群に含むことができる。

減算部２０５は、現在ブロックで予測ブロックを減算して残留ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。言い換えれば、減算部２０５は、符号化しようとする現在ブロックの各画素の画素値と予測部によって生成された予測ブロックの各画素の予測画素値との間の差を計算してブロック形態の残留信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）である残留ブロックを生成することができる。また、減算部２０５は、後述するブロック分割部によって獲得したブロック単位以外の単位によって残留ブロックを生成することもできる。

変換部２１０は、空間領域に属する信号を周波数領域に属する信号に変換することができ、変換過程によって獲得される信号を変換係数（Ｔｒａｎｓｆｏｒｍｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）と言う。例えば、減算部から伝達された残留信号を有する残留ブロックを変換して変換係数を有する変換ブロックを獲得することができる。入力された信号は符号化設定によって決定され、これは残留信号に限定されない。

変換部は、残留ブロックをアダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（ＤＳＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散コサイン変換（ＤＣＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの変換技法を使って変換することができるが、これに限定されず、これを改良及び変形した多様な変換技法を使うことができる。

前記変換技法の少なくとも１個の変換技法を支援することができ、各変換技法の少なくとも１個の細部変換技法を支援することができる。ここで、前記細部変換技法は各変換技法において基底ベクターの一部が異なるように構成される変換技法であることができる。

例えば、ＤＣＴの場合、ＤＣＴ－１～ＤＣＴ－８の１個以上の細部変換技法を支援することができ、ＤＳＴの場合、ＤＳＴ－１～ＤＳＴ－Ｖ８の１個以上の細部変換技法を支援することができる。前記細部変換技法の一部を構成して変換技法候補群を構成することができる。一例として、ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７を変換技法候補群に構成して変換を遂行することができる。

変換は水平／垂直方向に遂行することができる。例えば、ＤＣＴ－２の変換技法を使って水平方向に１次元変換を遂行し、ＤＳＴ－７の変換技法を使って垂直方向に１次元変換を遂行して、総２次元変換を遂行することにより、空間領域の画素値を周波数領域に変換することができる。

固定的な１個の変換技法を使って変換を遂行することができるか、符号化／復号化設定によって変換技法を適応的に選択して変換を遂行することができる。ここで、適応的な場合には、明示的又は黙示的方法を使って変換技法を選択することができる。明示的な場合には、水平、垂直方向に適用されるそれぞれの変換技法選択情報又は変換技法セット選択情報がブロックなどの単位で発生することができる。黙示的な場合は、映像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分、ブロックのサイズ、形態、画面内予測モードなどによって符号化設定を定義することができ、これによって予め定義された変換技法を選択することができる。

また、符号化設定によって前記一部変換を省略する場合があり得る。すなわち、明示的又は黙示的に水平／垂直単位の１個以上を省略することができることを意味する。

また、変換部は、変換ブロックを生成するのに必要な情報を符号化部に伝達してこれを符号化するようにすることができ、それによる情報をビットストリームに収録し、これを復号化器に伝送し、復号化器の復号化部はこれについての情報をパーシングして逆変換過程に使うことができる。

量子化部２１５は、入力された信号を量子化することができる。ここで、量子化過程によって獲得される信号を量子化係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）と言う。例えば、変換部から伝達された残留変換係数を有する残留ブロックを量子化して量子化係数を有する量子化ブロックを獲得することができる。入力された信号は符号化設定によって決定され、これは残留変換係数に限定されない。

量子化部は、変換された残留ブロックをデッドゾーン均一閾値量子化（Ｄｅａｄ Ｚｏｎｅ Ｕｎｉｆｏｒｍ Ｔｈｒｅｓｈｏｌｄ Ｑｕａｎｔｉｚａｔｉｏｎ）、量子化加重値マトリックス（Ｑｕａｎｔｉｚａｔｉｏｎ Ｗｅｉｇｈｔｅｄ Ｍａｔｒｉｘ）などの量子化技法を使って量子化することができるが、これに限定されず、これを改良及び変形した多様な量子化技法を使うことができる。

符号化設定によって量子化過程は省略することができる。例えば、符号化設定（例えば、量子化パラメーターが０。すなわち、無損失圧縮環境）によって量子化過程を省略（逆過程も含み）することができる。他の例として、映像の特性によって量子化による圧縮性能が発揮されない場合には、量子化過程を省略することができる。ここで、量子化ブロック（Ｍ×Ｎ）の中で量子化過程が省略される領域は全体領域であるか又は一部領域（Ｍ／２×Ｎ／２、Ｍ×Ｎ／２、Ｍ／２×Ｎなど）であることができ、量子化省略選択情報は黙示的又は明示的に決定することができる。

量子化部は、量子化ブロックを生成するのに必要な情報を符号化部に伝達してこれを符号化するようにすることができ、それによる情報をビットストリームに収録し、これを復号化器に伝送し、復号化器の復号化部はこれについての情報をパーシングし、これを逆量子化過程に使うことができる。

前記例では変換部及び量子化部によって残留ブロックを変換して量子化するという仮定の下で説明したが、残留信号を変換して変換係数を有する残留ブロックを生成し、量子化過程を遂行しないことができ、残留ブロックの残留信号を変換係数に変換せずに量子化過程のみ遂行することができるだけでなく、変換及び量子化過程のいずれも遂行しないこともできる。これは符号化器設定によって決定することができる。

逆量子化部２２０は、量子化部２１５によって量子化した残留ブロックを逆量子化する。すなわち、逆量子化部２２０は、量子化周波数係数列を逆量子化して周波数係数を有する残留ブロックを生成する。

逆変換部２２５は、逆量子化部２２０によって逆量子化した残留ブロックを逆変換する。すなわち、逆変換部２２５は、逆量子化した残留ブロックの周波数係数を逆変換し、画素値を有する残留ブロック、すなわち復元した残留ブロックを生成する。ここで、逆変換部２２５は、変換部２１０で使用した変換した方式を逆に使用して逆変換を遂行することができる。

加算部２３０は、予測部２００で予測された予測ブロックと逆変換部２２５によって復元した残留ブロックを加算して現在ブロックを復元する。復元された現在ブロックは符号化ピクチャーバッファー２４０に参照ピクチャー（又は参照ブロック）として保存され、現在ブロックの次のブロック又は今後の他のブロック、他のピクチャーを符号化するときに参照ピクチャーとして使われることができる。

フィルター部２３５は、デブロッキングフィルター、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）などの１個以上の後処理フィルター過程を含むことができる。デブロッキングフィルターは、復元されたピクチャーからブロック間の境界で生じたブロック歪みを除去することができる。ＡＬＦは、デブロッキングフィルターを介してブロックがフィルタリングされてから復元された映像と元の映像を比較した値に基づいてフィルタリングを遂行することができる。ＳＡＯは、デブロッキングフィルターが適用された残留ブロックに対し、画素単位で原本映像とのオフセット差を復元することができる。このような後処理フィルターは復元されたピクチャー又はブロックに適用することができる。

符号化ピクチャーバッファー２４０は、フィルター部２３５を介して復元されたブロック又はピクチャーを保存することができる。符号化ピクチャーバッファー２４０に保存された復元ブロック又はピクチャーは画面内予測又は画面間予測を行う予測部２００に提供することができる。

エントロピー符号化部２４５は、生成された量子化周波数係数列を多様なスキャン方式でスキャンして量子化係数列を生成し、これをエントロピー符号化技法などで符号化することによって出力する。スキャンパターンは、ジグザグ、対角線、ラスター（ｒａｓｔｅｒ）などの多様なパターンの１個に設定することができる。また、各構成部から伝達される符号化情報を含む符号化データを生成してビットストリームとして出力することができる。

図３は本発明の一実施例による映像復号化装置のブロック構成図である。

図３を参照すると、映像復号化装置３０は、エントロピー復号化部３０５、予測部３１０、逆量子化部３１５、逆変換部３２０、加減算器３２５、フィルター３３０及び復号化ピクチャーバッファー３３５を含んでなることができる。

また、予測部３１０は、さらに画面内予測モジュール及び画面間予測モジュールを含んでなることができる。

まず、映像符号化装置２０から伝達された映像ビットストリームが受信されれば、エントロピー復号化部３０５に伝達することができる。

エントロピー復号化部３０５は、ビットストリームを復号化して量子化した係数と各構成部に伝達される復号化情報を含む復号化データを復号化することができる。

予測部３１０は、エントロピー復号化部３０５から伝達されたデータに基づいて予測ブロックを生成することができる。ここで、復号化ピクチャーバッファー３３５に保存された参照映像に基づいて、デフォルト（ｄｅｆａｕｌｔ）構成技法を用いた参照ピクチャーリストを構成することもできる。

画面間予測部は、参照ピクチャー構成部、動き補償部、及び動き情報復号化部を含むことができ、一部は符号化器と同じ過程を遂行し、一部は逆に誘導する過程を遂行することができる。

逆量子化部３１５は、ビットストリームとして提供されてエントロピー復号化部３０５によって復号化した量子化変換係数を逆量子化することができる。

逆変換部３２０は、逆ＤＣＴ、逆整数変換又はそれと類似した概念の逆変換技法を変換係数に適用して残留ブロックを生成することができる。

ここで、逆量子化部３１５及び逆変換部３２０は、前述した映像符号化装置２０の変換部２１０及び量子化部２１５で遂行した過程を逆に遂行し、多様な方法で具現されることができる。例えば、変換部２１０及び量子化部２１５と共有する同じ過程及び逆変換を使うこともでき、映像符号化装置２０から変換及び量子化過程についての情報（例えば、変換サイズ、変換形状、量子化タイプなど）を用いて変換及び量子化過程を逆に遂行することができる。

逆量子化及び逆変換過程を経た残留ブロックは予測部３１０によって導出された予測ブロックに加算されて復元した映像ブロックを生成することができる。このような加算は加減算器３２５によって行うことができる。

フィルター３３０は、復元した映像ブロックに対し、必要によってブロッキング（ｂｌｏｃｋｉｎｇ）現象を除去するために、デブロッキングフィルターを適用することもでき、前記復号化過程の前後に他のループフィルターを、ビデオ品質を向上させるために、追加的に使うこともできる。

復元及びフィルターを経た映像ブロックは復号化ピクチャーバッファー３３５に保存されることができる。

図面に示していないが、映像符号化／復号化装置にピクチャー分割部とブロック分割部をさらに含むことができる。

ピクチャー分割部は、ピクチャーをカラー空間（例えば、ＹＣｂＣｒ、ＲＧＢ又はＸＹＺなど）、タイル、スライス、基本符号化単位（又は最大符号化単位、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）などの少なくとも１個の処理単位に分割（又は区画）することができ、ブロック分割部は、基本符号化単位を少なくとも１個の処理単位（例えば、符号化、予測、変換、量子化、エントロピー及びインループフィルター単位など）に分割することができる。

基本符号化単位は、水平方向及び垂直方向にピクチャーを一定の間隔で分割して獲得することができる。これに基づいてタイル、スライスなどの分割を遂行することができるが、これに限定されない。前記タイルとスライスのような分割単位は基本符号化ブロックの整数倍で構成されることができるが、映像境界に位置する分割単位では例外的な場合が発生し得る。このために、基本符号化ブロックサイズの調整が発生することもできる。

例えば、ピクチャーを基本符号化単位に区画してから前記単位に分割することができるか、又はピクチャーを前記単位に区画してから基本符号化単位に分割することができる。本発明では各単位の区画及び分割順が前者である場合を仮定して説明するが、これに限定されず、符号化／復号化設定によって後者の場合も可能である。後者の場合、基本符号化単位のサイズが分割単位（タイルなど）によって適応的な場合への変形が可能である。すなわち、分割単位ごとに異なるサイズを有する基本符号化ブロックを支援することができることを意味する。

本発明ではピクチャーを基本符号化単位に区画する場合を基本設定にして後述の例を説明する。前記基本設定は、ピクチャーがタイル又はスライスに分割されないか又はピクチャーが１個のタイル又は１個のスライスである場合を意味することができる。しかし、前述したように、各分割単位（タイル、スライスなど）を先に区画し、獲得された単位によって基本符号化単位に分割する場合（すなわち、各分割単位が基本符号化単位の整数倍にならない場合など）にも後述する多様な実施例を同様に又は変更して適用することができることを理解すべきである。

前記分割単位の中で、スライスの場合、スキャンパターンによって連続する少なくとも１個のブロックの束から構成されることができ、タイルの場合、空間的に隣接したブロックの長方形の束から構成されることができ、それ以外の追加的な分割単位を支援し、それによる定義によって構成されることができる。スライスとタイルは並列処理などのための目的で支援する分割単位であることができ、このために分割単位間の参照は制限（すなわち、参照できない）することができる。

スライスは連続するブロックの開始位置についての情報で各単位の分割情報を生成することができ、タイルの場合、水平及び垂直方向の分割線についての情報を生成するか又はタイルの位置情報（例えば、左上側、右上側、左下側、右下側位置）を生成することができる。

ここで、スライスとタイルは符号化／復号化設定によって複数の単位に区分されることができる。

例えば、一部の単位＜Ａ＞は符号化／復号化過程に影響を及ぼす設定情報を含む単位（すなわち、タイルヘッダー又はスライスヘッダーを含み）であることができ、一部の単位＜Ｂ＞は設定情報を含まない単位であることができる。もしくは、一部の単位＜Ａ＞は符号化／復号化過程で他の単位を参照することができない単位であることができ、一部の単位＜Ｂ＞は参照することができる単位であることができる。また、一部の単位＜Ａ＞は他の単位＜Ｂ＞を含む上下関係であることができるか、一部の単位＜Ａ＞は他の単位＜Ｂ＞と対等な関係であることができる。

ここで、ＡとＢはスライスとタイル（又はタイルとスライス）であることができる。もしくは、ＡとＢはスライス及びタイルの１個で構成されることができる。例えば、Ａはスライス／タイル＜タイプ１＞であり、Ｂはスライス／タイル＜タイプ２＞のような構成が可能である。

ここで、タイプ１とタイプ２はそれぞれ１個のスライス又はタイルであることができる。もしくは、タイプ１は（タイプ２を含む）複数のスライス又はタイル（スライス集合又はタイル集合）であることができ、タイプ２は１個のスライス又はタイルであることができる。

既に前述したように、本発明はピクチャーが１個のスライス又はタイルから構成される場合を仮定して説明するが、２個以上の分割単位が発生する場合であれば、前記説明を後述する実施例に適用して理解することができる。また、Ａ及びＢは分割単位が有することができる特性に対する例示であり、各例示のＡ及びＢを組合せて構成する例も可能である。

一方、ブロック分割部はピクチャー分割部から基本符号化単位についての情報を獲得することができ、基本符号化単位は、映像符号化／復号化過程で予測、変換、量子化などに対する基本（又は開始）単位を意味することができる。ここで、基本符号化単位は、カラーフォーマット（本例で、ＹＣｂＣｒ）によって一つの輝度基本符号化ブロック（又は、最大符号化ブロック。Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ。ＣＴＢ）と二つの基本色差符号化ブロックとから構成されることができ、カラーフォーマットによって各ブロックのサイズを決定することができる。そして、分割過程によって符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ。ＣＢ）を獲得することができる。符号化ブロックは一定の制限によってそれ以上の符号化ブロックに分割されない単位と理解することができ、下位単位への分割の開始単位に設定することができる。本発明で、ブロックは方形にのみ制限されず、三角形、円形などの多様な形態を含む広い概念と理解することができる。説明の便宜のために、長方形の場合を仮定して説明する。

後述する内容は１個のカラー成分を対象とするが、カラーフォーマットによる比（例えば、ＹＣｂＣｒ４：２：０の場合、輝度成分と色差成分の横長と縦長の比は２：１）に比例して他のカラー成分に変更して適用することができることを理解すべきである。また、他のカラー成分に依存的なブロック分割（例えば、Ｃｂ／ＣｒでＹのブロック分割結果に依存的な場合）ができるが、各カラー成分に独立的なブロック分割が可能であることを理解すべきである。また、共通する１個のブロック分割設定（長さ比に比例することを考慮）を使うことができるが、カラー成分によって個別的なブロック分割設定を使うことも考慮して理解する必要がある。

ブロック分割部で、ブロックはＭ×Ｎとして表現することができ、各ブロックの最大値と最小値を範囲内で獲得することができる。例えば、ブロックの最大値を２５６×２５６、最小値を４×４に決定する場合、２^ｍ×２^ｎサイズのブロック（本例で、ｍとｎは２から８までの整数）又は２^ｍ×２^ｍサイズのブロック（本例で、ｍとｎは２から１２８までの整数）又はｍ×ｍサイズのブロック（本例で、ｍとｎは４から２５６までの整数）を獲得することができる。ここで、ｍとｎは同一であるか同一でないことができ、前記最大値と最小値などのブロックを支援する範囲は一つ以上発生することができる。

例えば、ブロックの最大サイズ及び最小サイズなどについての情報が発生することができ、一部の分割設定でブロックの最大サイズ及び最小サイズなどについての情報が発生することができる。ここで、前者の場合、映像内で発生可能な最大及び最小サイズに対する範囲情報であることができ、後者の場合、一部の分割設定によって発生可能な最大及び最小サイズについての情報であることができる。ここで、前記分割設定は映像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（ＹＣｂＣｒなど）、ブロック種類（符号化／予測／変換／量子化など）、分割種類（Ｉｎｄｅｘ ｏｒ Ｔｙｐｅ）、分割方式（Ｔｒｅｅ方式でＱＴ、ＢＴ、ＴＴなど、Ｉｎｄｅｘ方式でＳＩ２、ＳＩ３、ＳＩ４など）などによって定義することができる。

また、ブロックが有することができる横長と縦長の比（ブロックの形態）に対する制限が存在することができ、これに対する境界値条件を設定することができる。ここで、任意の境界値（ｋ）以下／未満のブロックのみ支援することができ、ｋはＡ／Ｂ（Ａは横長及び縦長の中でより長いか同じ値、Ｂはその他の値）のような横長と縦長の比によって定義することができ、１、５、２、３、４などの１以上の実数であることができる。前記例のように映像での一つのブロックの形態に関する制限条件を支援するか又は分割設定によって一つ以上の制限条件を支援することができる。

まとめると、前記説明のような範囲及び条件と後述する分割設定などによってブロック分割の支援可否を決定することができる。例えば、ブロック（親ブロック）の分割による候補（子ブロック）を支援するブロック条件が満たされる場合、該当分割を支援することができ、満たされない場合、該当分割を支援しないことができる。

ブロック分割部は映像符号化装置及び復号化装置の各構成部に関連して設定されることができ、この過程によってブロックのサイズ及び形態を決定することができる。ここで、設定されるブロックは構成部によって異なるように定義されることができ、予測部の場合は予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、変換部の場合は変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）、量子化部の場合は量子化ブロック（Ｑｕａｎｔｉｚａｔｉｏｎ Ｂｌｏｃｋ）などがこれに相当することができる。ただ、これに限定されず、他の構成部によるブロック単位が追加的に定義されることができる。本発明では各構成部で入力と出力が方形である場合を中心に説明するが、一部の構成部では他の形態（例えば、三角形など）の入力／出力が可能である。

ブロック分割部の初期（又は開始）ブロックのサイズ及び形態は上位単位から決定することができる。前記初期ブロックはより小さいサイズのブロックに分割することができ、ブロックの分割による最適のサイズ及び形態が決定されれば、そのブロックは下位単位の初期ブロックに決定することができる。ここで、上位単位は符号化ブロック、下位単位は予測ブロック又は変換ブロックであることができるが、これに限定されず、多様な変形例が可能である。前記例のように下位単位の初期ブロックが決定されれば、上位単位と同様に、最適のサイズ及び形態のブロックを捜すための分割過程を遂行することができる。

まとめると、ブロック分割部は、基本符号化ブロック（又は最大符号化ブロック）を少なくとも一つの符号化ブロックに分割することができ、符号化ブロックを少なくとも一つの予測ブロック／変換ブロック／量子化ブロックに分割することができる。また、予測ブロックを少なくとも一つの変換ブロック／量子化ブロックに分割することができ、変換ブロックを少なくとも一つの量子化ブロックに分割することができる。ここで、一部のブロックは他のブロックと従属的な関係（すなわち、上位単位と下位単位によって定義）を有するか独立的な関係を有することができる。一例として、予測ブロックは変換ブロックの上位単位であるか又は変換ブロックと独立的な単位であることができ、ブロックの種類によって多様な関係設定が可能である。

符号化／復号化設定によって上位単位と下位単位の結合可否を決定することができる。ここで、単位間の結合は、上位単位から下位単位への分割を遂行せず、上位単位のブロック（サイズ及び形態）への下位単位の符号化／復号化過程（例えば、予測部、変換部、逆変換部など）を遂行することを意味する。すなわち、複数の単位での分割過程を共有し、分割情報はその中で一つの単位（例えば、上位単位）で発生することを意味することができる。

一例として、（符号化ブロックが予測ブロック、変換ブロックと結合する場合）、符号化ブロックで予測過程、変換及び逆変換過程を遂行することができる。

一例として、（符号化ブロックが予測ブロックと結合する場合）、符号化ブロックで予測過程を遂行することができ、符号化ブロックと同一であるかそれより小さい変換ブロックで変換及び逆変換過程を遂行することができる。

一例として、（符号化ブロックが変換ブロックと結合する場合）、符号化ブロックと同一であるかそれより小さい予測ブロックで予測過程を遂行することができ、符号化ブロックで変換及び逆変換過程を遂行することができる。

一例として、（予測ブロックが変換ブロックと結合する場合）、符号化ブロックと同一であるかそれより小さい予測ブロックで予測過程を遂行することができ、予測ブロックで変換及び逆変換過程を遂行することができる。

一例として、（何のブロックも結合しない場合）、符号化ブロックと同一であるかそれより小さい予測ブロックで予測過程を、符号化ブロックと同一であるかそれより小さい変換ブロックで変換及び逆変換過程を遂行することができる。

前記例で符号化、予測、変換ブロックに関する多様な場合を説明したが、これに限定されない。

前記単位間の結合は、映像で固定的な設定を支援することができるか、又は多様な符号化／復号化要素を考慮して適応的な設定を支援することができる。ここで、前記符号化／復号化要素は、映像タイプ、カラー成分、符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）、分割設定、ブロックのサイズ／形態／位置、横長と縦長の比、予測関連情報（例えば、画面内予測モード、画面間予測モードなど）、変換関連情報（例えば、変換技法選択情報など）、量子化関連情報（例えば、量子化領域選択情報、量子化した変換係数符号化情報など）などを含むことができる。

上述したように、最適のサイズ及び形態のブロックを捜した場合、これについてのモード情報（例えば、分割情報など）が生成されることができる。モード情報はブロックが属する構成部で発生する情報（例えば、予測関連情報及び変換関連情報など）とともにビットストリームに収録されて復号化器に伝送されることができ、復号化器で同一水準の単位でパーシングされて映像復号化過程で使われることができる。

以下では分割方式について説明し、説明の便宜上、初期ブロックが正方形であることを仮定するが、初期ブロックが長方形の場合にも同一に又は同様に適用することができるので、これに限定されるものではない。

ブロック分割部は多様な種類の分割を支援することができる。例えば、ツリー基盤の分割又はインデックス基盤の分割を支援することができ、その他の方法を支援することができる。ツリー基盤の分割は多様な種類の情報（例えば、分割可否、ツリー種類、分割方向など）に基づいて分割形態を決定することができ、インデックス基盤の分割は所定のインデックス情報に基づいて分割形態を決定することができる。

図４は本発明のブロック分割部で獲得することができる多様な分割形態を示す例示図である。本例では、一回の分割遂行（又は過程）によって図４のような分割形態を獲得する場合を仮定するが、これに限定されず、複数の分割動作によって獲得する場合も可能である。また、図４に示していない追加的な分割形態が可能である。

（ツリー基盤の分割）

本発明のツリー基盤の分割において、ツリー方式は、クワッドツリー（Ｑｕａｄ Ｔｒｅｅ．ＱＴ）、バイナリーツリー（Ｂｉｎａｒｙ Ｔｒｅｅ．ＢＴ）、ターナリーツリー（Ｔｅｒｎａｒｙ Ｔｒｅｅ．ＴＴ）などを支援することができる。１個のツリー方式を支援する場合は単一ツリー分割、２個以上のツリー方式を支援する場合は多重ツリー分割ということができる。

ＱＴの場合はブロックを水平方向と垂直方向にそれぞれ２分割（すなわち、４分割）する方式（ｎ）を意味し、ＢＴの場合はブロックを水平方向又は垂直方向の一方向に２分割する方式（ｂ～ｇ）を意味し、ＴＴの場合はブロックを水平方向又は垂直方向の一方向に３分割する方式（ｈ～ｍ）を意味する。

ここで、ＱＴの場合、分割方向を水平方向及び垂直方向の一方向に限定して４分割する方式（ｏ、ｐ）を支援することもできる。また、ＢＴの場合、均等なサイズを有する方式（ｂ、ｃ）のみ支援するか又は非均等なサイズを有する方式（ｄ～ｇ）のみ支援するか又は両方式を組み合せて支援することができる。また、ＴＴの場合、分割が特定の方向に偏る配置（左側→右側方向に又は上側→下側方向に１：１：２、２：１：１など）を有する方式（ｈ、ｊ、ｋ、ｍ）のみ支援するか又は中央に配置（１：２：１など）される方式（ｉ、ｌ）のみ支援するか又は両方式を組み合わせて支援することができる。また、分割方向を水平方向と垂直方向にそれぞれ４分割（すなわち、１６分割）する方式（ｑ）も支援することができる。

そして、前記ツリー方式のうち、水平分割方向に限定してｚ分割する方式（ｂ、ｄ、ｅ、ｈ、ｉ、ｊ、ｏ）を支援するか又は垂直分割方向に限定してｚ分割する方式（ｃ、ｆ、ｇ、ｋ、ｌ、ｍ、ｐ）を支援するか又は両方式を組み合わせて支援することができる。ここで、ｚは２、３、４のような２以上の整数であることができる。

本発明で、ＱＴはｎ、ＢＴはｂとｃ、ＴＴはｉとｌを支援する場合を仮定して説明する。

符号化／復号化設定によって前記ツリー分割の中で一つ以上の方式を支援することができる。例えば、ＱＴを支援することができるか、ＱＴ／ＢＴを支援することができるか、ＱＴ／ＢＴ／ＴＴを支援することができる。

前記例は基本ツリー分割がＱＴであり、その他のツリーの支援可否によってＢＴとＴＴを追加分割方式に含む場合に対する例であるが、多様な変形が可能である。ここで、その他のツリー支援可否についての情報（ｂｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｔｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど。０又は１の値を有することができ、０であれば支援しなく、１であれば支援する）は符号化／復号化設定によって黙示的に決定されるか又はシーケンス、ピクチャー、スライス、タイルなどの単位で明示的に決定されることができる。

分割情報は分割可否についての情報（ｔｒｅｅ＿ｐａｒｔ＿ｆｌａｇ。又はｑｔ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｐａｒｔ＿ｆｌａｇ、ｔｔ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｐａｒｔ＿ｆｌａｇ。０又は１の値を有することができ、０であれば分割しなく、１であれば分割する）を含むことができる。また、分割方式（ＢＴとＴＴ）によって分割方向（ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ。又はｂｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ、ｔｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ。０又は１の値を有することができ、０であれば＜横／水平＞であり、１であれば＜縦／垂直＞）についての情報を加えることができ、これは分割を行う場合に発生可能な情報であることができる。

複数のツリー分割を支援する場合には多様な分割情報構成が可能である。次に１個の深さ（Ｄｅｐｔｈ）水準（すなわち、支援される分割深さが１個以上に設定されて再帰的な分割が可能であるが、説明の便宜のための目的）で分割情報がどのように構成されているかに対する例を仮定して説明する。

一例（１）で、分割可否についての情報を確認する。ここで、分割を遂行しない場合であれば分割を終了する。

仮に、分割を行う場合であれば、分割種類についての選択情報（例えば、ｔｒｅｅ＿ｉｄｘ。０であればＱＴ、１であればＢＴ、２であればＴＴ）を確認する。ここで、選択される分割種類によって分割方向情報をさらに確認し、次の段階（分割深さが最大に到逹しない場合などの理由で追加分割ができれば再び初めから始め、分割が不可の場合であれば、分割を終了）に移る。

一例（２）で、一部のツリー方式（ＱＴ）に対する分割可否についての情報を確認し、次の段階に移る。ここで、分割を遂行しない場合であれば、一部のツリー方式（ＢＴ）の分割可否についての情報を確認する。ここで、分割を遂行しない場合であれば、一部のツリー方式（ＴＴ）の分割可否についての情報を確認する。ここで、分割を遂行しない場合であれば、分割を終了する。

仮に、一部のツリー方式（ＱＴ）の分割を遂行する場合であれば、次の段階に移る。また、仮に、一部のツリー方式（ＢＴ）の分割を遂行する場合であれば、分割方向情報を確認し、次の段階に移る。また、仮に、一部のツリー分割方式（ＴＴ）の分割を遂行する場合であれば、分割方向情報を確認し、次の段階に移る。

一例（３）で、一部のツリー方式（ＱＴ）に対する分割可否についての情報を確認する。ここで、分割を遂行しない場合であれば、一部のツリー方式（ＢＴ及びＴＴ）の分割可否についての情報を確認する。ここで、分割を遂行しない場合であれば、分割を終了する。

仮に、一部のツリー方式（ＱＴ）の分割を遂行する場合であれば、次の段階に移る。また、仮に、一部のツリー方式（ＢＴ及びＴＴ）の分割を遂行する場合であれば、分割方向情報を確認し、次の段階に移る。

前記例はツリー分割の優先順位が存在（２番と３番例）するか存在しない場合（１番例）であるが、多様な変形例が可能である。また、前記例で、現在段階の分割は以前段階の分割結果とは無関係な場合を説明する例であるが、現在段階の分割が以前段階の分割結果に依存的な設定も可能である。

例えば、１～３番例の場合、以前段階で一部のツリー方式の分割（ＱＴ）を遂行して現在段階に移った場合であれば、現在段階でも同一ツリー方式（ＱＴ）の分割を支援することができる。

一方、以前段階で一部のツリー方式の分割（ＱＴ）を遂行せずに他のツリー方式の分割（ＢＴ又はＴＴ）を遂行して現在段階に移った場合であれば、一部のツリー方式の分割（ＱＴ）を除き、一部のツリー方式の分割（ＢＴ及びＴＴ）を現在段階を含めた後続の段階で支援する設定も可能である。

このような場合には、ブロック分割に支援するツリー構成が適応的であることを意味するので、前述した分割情報構成も異なるように構成されることができることを意味する（後述する例は３番例であると仮定）。すなわち、前記例で一部のツリー方式（ＱＴ）の分割を以前段階で遂行しなかった場合、現在段階では一部のツリー方式（ＱＴ）は考慮せずに分割過程を遂行することができる。また、関連のツリー方式についての分割情報（例えば、分割可否についての情報、分割方向情報など。本例＜ＱＴ＞では分割可否についての情報）を除去して構成することができる。

前記例はブロック分割が許される場合（例えば、ブロックサイズが最大値と最小値との間の範囲内に存在、各ツリー方式の分割深さが最大深さ＜許容深さ＞に到逹しないなど）に対する適応的な分割情報構成に対する場合であり、ブロック分割が制限される場合（例えば、ブロックのサイズが最大値と最小値との間の範囲に存在しなく、各ツリー方式の分割深さが最大深さに到逹するなど）にも適応的な分割情報構成が可能である。

前述したように、本発明で、ツリーに基づく分割は再帰的な方式で遂行することができる。例えば、分割深さがｋである符号化ブロックの分割フラグが０の場合、符号化ブロックの符号化は分割深さがｋである符号化ブロックで遂行し、分割深さがｋである符号化ブロックの分割フラグが１の場合、符号化ブロックの符号化は分割方式によって分割深さがｋ＋１であるＮ個のサブ符号化ブロック（ここで、Ｎは２、３、４のような２以上の整数）で遂行する。

前記サブ符号化ブロックはさらに符号化ブロック（ｋ＋１）に設定し、前記過程を経てサブ符号化ブロック（ｋ＋２）に分割することができ、このような階層的分割方式は分割範囲及び分割許容深さなどの分割設定によって決定することができる。

ここで、分割情報を表現するためのビットストリーム構造は１個以上のスキャン方法の中で選択することができる。例えば、分割深さ順を基準に分割情報のビットストリームを構成することができるか分割可否を基準に分割情報のビットストリームを構成することができる。

例えば、分割深さ順を基準にする場合、最初ブロックを基準に現水準の深さでの分割情報を獲得した後、次の水準の深さでの分割情報を獲得する方法であり、分割可否を基準にする場合、最初ブロックを基準に分割されたブロックでの追加分割情報を優先的に獲得する方法を意味し、他の追加的なスキャン方法を考慮することができる。

（インデックス基盤の分割）

本発明のインデックス基盤の分割では、ＣＳＩ（Ｃｏｎｓｔａｎｔ Ｓｐｌｉｔ Ｉｎｄｅｘ）方式とＶＳＩ（Ｖａｒｉａｂｌｅ Ｓｐｌｉｔ Ｉｎｄｅｘ）方式などを支援することができる。

ＣＳＩ方式は所定の方向の分割によってｋ個のサブブロックを獲得する方式であることができ、ｋは２、３、４などの２以上の整数であることができる。詳細には、ブロックのサイズ及び形態にかかわらず、前記ｋ値に基づいてサブブロックのサイズ及び形態を決定する構成の分割方式であることができる。ここで、所定の方向は水平、垂直、対角線方向（左上側→右下側方向。もしくは、左下側→右上側方向など）の中で一つ又は二つ以上の方向を結合することができる。

本発明のインデックス基盤のＣＳＩ分割方式は水平方向又は垂直方向の一方向にｚ個に分割される候補を含むことができる。ここで、ｚは２、３、４のような２以上整数であることができ、各サブブロックの横長と縦長の一つは同一であり、他の一つは同一であるか異なることができる。前記サブブロックの横長と縦長の比はＡ_１：Ａ_２：．．．：Ａ_Ｚであり、Ａ_１～Ａ_Ｚは１、２、３のような１以上の整数であることができる。

また、水平方向と垂直方向にそれぞれｘ個、ｙ個に分割される候補を含むことができる。ここで、ｘとｙは１、２、３、４のような１以上の整数であることができるが、ｘとｙが同時に１の場合（ａが既に存在するので）は制限することができる。図４の場合、各サブブロックの横長と縦長の比が同一である場合を示しているが、異なる場合を含む候補を含むこともできる。

また、一部の対角線方向（左上側→右下側方向）又は一部の対角線方向（左下側→右上側方向）の一方向にｗ個に分割される候補を含むことができ、ｗは２、３のような２以上の整数であることができる。

図４を参照すると、各サブブロックの長さ比によって対称的な分割形態（ｂ）と非対称的な分割形態（ｄ、ｅ）に区分することができ、特定の方向に偏る分割形態（ｋ、ｍ）と中央に配置される分割形態（ｋ）に区分することができる。サブブロックの長さ比だけでなくサブブロックの形態などを含む多様な符号化／復号化要素によって分割形態を定義することができ、符号化／復号化設定によって支援される分割形態を黙示的に又は明示的に決定することができる。よって、支援される分割形態に基づいてインデックス基盤の分割方式での候補群を決定することができる。

一方、ＶＳＩ方式はサブブロックの幅（ｗ）又は高さ（ｈ）が固定されたままで所定の方向への分割によって一つ以上のサブブロックを獲得する方式であることができ、ｗとｈは１、２、４、８などの１以上の整数であることができる。詳細には、ブロックのサイズ及び形態と前記ｗ又はｎ値に基づいてサブブロックの個数が決定される構成の分割方式であることができる。

本発明のインデックス基盤のＶＳＩ分割方式は、サブブロックの横長及び縦長の一つを固定したままで候補を分割することができる。もしくは、サブブロックの横長と縦長を固定したままで候補を分割することができる。サブブロックの横長と縦長が固定されるから水平方向又は垂直方向に均等分割を許す特徴を有することができるが、これに限定されない。

分割前のブロックがＭ×Ｎであり、サブブロックの横長が固定（ｗ）されるか又は縦長が固定（ｈ）されるか又は横長及び縦長が固定（ｗ、ｈ）される場合、獲得されるサブブロックの個数はそれぞれ（Ｍ＊Ｎ）／ｗ、（Ｍ＊Ｎ）／ｈ、（Ｍ＊Ｎ）／ｗ／ｈであることができる。

符号化／復号化設定によってＣＳＩ方式のみ支援するか又はＶＳＩ方式のみ支援することができ、両方式を支援することもでき、支援される方式についての情報を黙示的又は明示的に決定することができる。

本発明ではＣＳＩ方式を支援する場合を仮定して説明する。

符号化／復号化設定によって前記インデックス分割で二つ以上の候補を含めて候補群を構成することができる。

例えば、｛ａ、ｂ、ｃ｝、｛ａ、ｂ、ｃ、ｎ｝、｛ａ～ｇ、ｎ｝のような候補群を構成することができる。候補群は、水平方向又は垂直方向に２分割されるか水平方向及び垂直方向にそれぞれ２分割されるブロック形態のように、一般的な統計的特性に基づいて多く発生すると予測されるブロック形態を含む例であることができる。

もしくは、｛ａ、ｂ｝、｛ａ、ｏ｝、｛ａ、ｂ、ｏ｝又は｛ａ、ｃ｝、｛ａ、ｐ｝、｛ａ、ｃ、ｐ｝のような候補群を構成することができる。候補群は、それぞれ水平方向及び垂直方向に２、４分割される候補を含む。候補群は、特定方向の分割が多く発生すると予測されるブロック形態を含む例であることができる。

もしくは、｛ａ、ｏ、ｐ｝又は｛ａ、ｎ、ｑ｝のような候補群を構成することができる。候補群は、分割前のブロックより小さいサイズを有する分割が多く発生すると予測されるブロック形態を含む例であることができる。

もしくは、｛ａ、ｒ、ｓ｝のような候補群を構成することができる。候補群は、分割前のブロックから他の方式（ツリー方式）で長方形から最適の分割結果を得ることができると判断し、非方形の分割形態を含む例であることができる。

前記例のように多様な候補群構成が可能であり、一つ以上の候補群構成を多様な符号化／復号化要素を考慮して支援することができる。

前記候補群構成が完了すれば、多様な分割情報構成が可能である。

例えば、分割されない候補（ａ）と分割される候補（ｂ～ｓ）を含んで構成される候補群でインデックス選択情報が発生することができる。

もしくは、分割可否を示す情報（分割形態がａであるかないか）が発生することができ、分割が行われる場合（ａではない場合）に分割される候補（ｂ～ｓ）から構成される候補群でインデックス選択情報が発生することができる。

前記説明以外の多様な方式の分割情報構成が可能であり、前記分割可否を示す情報を除き、候補群で各候補のインデックスに固定長二進化、可変長二進化などの多様な方法によって二進ビットを割り当てることができる。仮に、候補群の個数が２個である場合、インデックス選択情報に１ビットを割り当てることができ、３個以上の場合、インデックス選択情報に１ビット以上を割り当てることができる。

ツリー基盤の分割方式とは違い、インデックス基盤の分割方式は多く発生すると予測される分割形態を選別的に候補群に構成する方式であることができる。

そして、支援される候補群の個数によってインデックス情報を表現するためのビット量が増加することができるから、ツリー基盤の方式の階層的分割（再帰的分割）ではない単一階層分割（例えば、分割深さが０に限定）に適した方式であることができる。すなわち、一回の分割動作を支援する方式であることができ、インデックス基盤の分割によって獲得されたサブブロックはそれ以上の追加分割が不可能な方式であることができる。

ここで、より小さいサイズを有する同種のブロックへの追加分割が不可能な場合（例えば、インデックス分割方式で獲得された符号化ブロックは符号化ブロックへの追加分割が不可）を意味することができるが、他種のブロックへの追加分割が不可能な設定（例えば、符号化ブロックから符号化ブロックだけでなく予測ブロックへの分割も不可）も可能である。もちろん、前記例に制限されなく、他の変形例が可能である。

次に符号化／復号化要素の中でブロックの種類を中心にブロック分割設定を決定する場合を説明する。

まず、分割過程によって符号化ブロックを獲得することができる。ここで、分割過程はツリー基盤の分割方式を使うことができ、ツリーの種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｎ（ＱＴ）、ｂ、ｃ（ＢＴ）、ｉ、ｌ（ＴＴ）などの分割形態結果が出ることができる。符号化／復号化設定によってＱＴ／ＱＴ＋ＢＴ／ＱＴ＋ＢＴ＋ＴＴなどの各ツリー種類の多様な組合せが可能である。

後述する例は前記過程によって獲得された符号化ブロックに基づいて予測ブロックと変換ブロックを最終に区画する過程を示し、それぞれの区画されたサイズに基づいて予測、変換及び逆変換過程を遂行する場合を仮定する。

一例（１）で、符号化ブロックのサイズのままで予測ブロックを設定して予測過程を遂行することができ、符号化ブロック（又は予測ブロック）のサイズのままで変換ブロックを設定して変換及び逆変換過程を遂行することができる。予測ブロックと変換ブロックの場合、符号化ブロックに基づいて設定したから別に発生する分割情報は存在しない。

一例（２）で、符号化ブロックのサイズのままで予測ブロックを設定して予測過程を遂行することができる。変換ブロックの場合、符号化ブロック（又は予測ブロック）に基づいて分割過程によって変換ブロックを獲得することができ、獲得されたサイズに基づいて変換及び逆変換過程を遂行することができる。

ここで、分割過程はツリー基盤の分割方式を使うことができ、ツリーの種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ（ＢＴ）、ｉ、ｌ（ＴＴ）、ｎ（ＱＴ）などの分割形態結果が出ることができる。符号化／復号化設定によってＱＴ／ＢＴ／ＱＴ＋ＢＴ／ＱＴ＋ＢＴ＋ＴＴなどの各ツリー種類の多様な組合せが可能である。

ここで、分割過程はインデックス基盤の分割方式を使うことができ、インデックス種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ、ｄなどの分割形態結果が出ることができる。符号化／復号化設定によって｛ａ、ｂ、ｃ｝、｛ａ、ｂ、ｃ、ｄ｝などの多様な候補群構成が可能である。

一例（３）で、予測ブロックの場合、符号化ブロックに基づいて分割過程を遂行して予測ブロックを獲得することができ、獲得されたサイズに基づいて予測過程を遂行することができる。変換ブロックの場合、符号化ブロックのサイズのままで設定して変換及び逆変換過程を遂行することができる。本例は予測ブロックと変換ブロックが互いに独立的な関係を有する場合に相当することができる。

ここで、分割過程はインデックス基盤の分割方式を使うことができ、インデックス種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ～ｇ、ｎ、ｒ、ｓなどの分割形態結果が出ることができる。符号化／復号化設定によって｛ａ、ｂ、ｃ、ｎ｝、｛ａ～ｇ、ｎ｝、｛ａ、ｒ、ｓ｝などの多様な候補群構成が可能である。

一例（４）で、予測ブロックの場合、符号化ブロックに基づいて分割過程を遂行して予測ブロックを獲得することができ、獲得されたサイズに基づいて予測過程を遂行することができる。変換ブロックの場合、予測ブロックのサイズのままで設定して変換及び逆変換過程を遂行することができる。本例は獲得された予測ブロックサイズのままで変換ブロックを設定する場合であることができるか又はその反対の場合（変換ブロックサイズのままで予測ブロックを設定）であることができる。

ここで、分割過程はツリー基盤の分割方式を使うことができ、ツリー種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ（ＢＴ）、ｎ（ＱＴ）などの分割形態が出ることができる。符号化／復号化設定によってＱＴ／ＢＴ／ＱＴ＋ＢＴなどの各ツリー種類の多様な組合せが可能である。

ここで、分割過程はインデックス基盤の分割方式を使うことができ、インデックス種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ、ｎ、ｏ、ｐなどの分割形態が出ることができる。符号化／復号化設定によって｛ａ、ｂ｝、｛ａ、ｃ｝、｛ａ、ｎ｝、｛ａ、ｏ｝、｛ａ、ｐ｝、｛ａ、ｂ、ｃ｝、｛ａ、ｏ、ｐ｝、｛ａ、ｂ、ｃ、ｎ｝、｛ａ、ｂ、ｃ、ｎ、ｐ｝などの多様な候補群構成が可能である。また、インデックス基盤の分割方式の中でＶＳＩ方式を単独で又は前記ＣＳＩ方式と組み合せて候補群を構成することもできる。

一例（５）で、予測ブロックの場合、符号化ブロックに基づいて分割過程を遂行して予測ブロックを獲得することができ、獲得されたサイズに基づいて予測過程を遂行することができる。また、変換ブロックの場合も符号化ブロックに基づいて分割過程を遂行して予測ブロックを獲得することができ、獲得されたサイズに基づいて変換及び逆変換過程を遂行することができる。本例は符号化ブロックに基づいて予測ブロックと変換ブロックのそれぞれの分割を遂行する場合であることができる。

ここで、分割過程はツリー基盤の分割方式とインデックス基盤の分割方式を使うことができ、４番例と同一に又は同様に候補群を構成することができる。

前記例は各種類のブロックの分割過程を共有するかなどによって発生し得る一部の場合を説明しているが、これに限定されず、多様な変形例が可能である。また、ブロックの種類だけでなく多様な符号化／復号化要素を考慮してブロック分割設定を決定することができる。

ここで、符号化／復号化要素は、映像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（ＹＣｂＣｒ）、ブロックのサイズ／形態／位置、ブロックの横長と縦長の比、ブロックの種類（符号化ブロック、予測ブロック、変換ブロック、量子化ブロックなど）、分割状態、符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）、予測関連情報（画面内予測モード、画面間予測モードなど）、変換関連情報（変換技法選択情報など）、量子化関連情報（量子化領域選択情報、量子化した変換係数符号化情報など）などを含むことができる。

本発明の一実施例による映像符号化方法において、画面内予測は次のように構成することができる。予測部の画面内予測は、参照画素の構成段階、予測ブロック生成段階、予測モード決定段階、及び予測モード符号化段階を含むことができる。また、映像符号化装置は、参照画素構成段階、予測ブロック生成段階、予測モード決定段階、及び予測モード符号化段階を具現する参照画素構成部、予測ブロック生成部、及び予測モード符号化部を含むように構成されることができる。前述した過程の一部は省略することができるか他の過程を追加することができ、前記記載の順ではない他の順に変更することができる。

図５は本発明の一実施例による画面内予測モードを示す例示図である。

図５を参照すると、６７個の予測モードが画面内予測のための予測モード候補群として構成されている。このうち、６５個は方向性モードであり、２個は非方向性モード（ＤＣ、Ｐｌａｎａｒ）である場合を仮定して説明するが、これに限定されず、多様な構成が可能である。ここで、方向性モードは勾配（例えば、ｄｙ／ｄｘ）又は角度情報（Ｄｅｇｒｅｅ）で区分することができる。また、前記予測モードの全部又は一部が輝度成分又は色差成分の予測モード候補群に含まれることができ、それ以外の追加的なモードが予測モード候補群に含まれることができる。

本発明で、方向性モードの方向は直線型（Ｓｔｒａｉｇｈｔ ｌｉｎｅ）を意味することができ、曲線型（Ｃｕｒｖｅ）の方向性モードも追加的に予測モードに構成することができる。また、非方向性モードの場合、現在ブロックに隣接した周辺ブロック（例えば、左側、上側、左上側、右上側、左下側ブロックなど）の画素の平均（又は加重値平均など）から予測ブロックを獲得するＤＣモード、及び周辺ブロックの画素を線形補間などによって予測ブロックを獲得するＰｌａｎａｒモードを含むことができる。

ここで、ＤＣモードの場合、予測ブロックの生成に使われる参照画素は、左側、上側、左側＋上側、左側＋左下側、上側＋右上側、左側＋上側＋左下側＋右上側などの多様な組合せからなるブロックから獲得することができ、映像タイプ、カラー成分、ブロックのサイズ／形態／位置などによって定義される符号化／復号化設定によって参照画素獲得ブロック位置を決定することができる。

ここで、Ｐｌａｎａｒモードの場合、予測ブロック生成に使われる画素は、参照画素から構成された領域（例えば、左側、上側、左上側、右上側、左下側など）と参照画素から構成されない領域（例えば、右側、下側、右下側など）から獲得することができ、参照画素から構成されない領域（すなわち、符号化しない）の場合、参照画素から構成された領域から１個以上の画素を使用（例えば、そのままコピー、加重値平均など）して黙示的に獲得することができるか、又は参照画素から構成されない領域の少なくとも１個の画素についての情報を明示的に発生させることができる。それで、このように参照画素から構成された領域と参照画素から構成されない領域を使って予測ブロックを生成することができる。

前記説明以外の追加的な非方向性モードを含むことができる。本発明では直線型方向性モードとＤＣ、Ｐｌａｎａｒの非方向性モードを中心に説明するが、他の場合への変更適用も可能である。

図５はブロックのサイズにかかわらず固定的に支援される予測モードであることができる。また、ブロックのサイズによって支援される予測モードは図４と違うことができる。

例えば、予測モード候補群の個数が適応的（例えば、予測モード間の角度は等間隔であるが、角度を異に設定する。方向性モードを基準に９、１７、３３、６５、１２９個など）であるか又は予測モード候補群の個数は固定的であるが他の構成（例えば、方向性モード角度、非方向性種類など）からなることができる。

また、図５はブロックの形態にかわわらず固定的に支援される予測モードであることができる。また、ブロックの形態によって支援される予測モードは図４と違うことができる。

例えば、予測モード候補群の個数が適応的（例えば、ブロックの横長と縦長の比によって水平又は垂直方向に派生される予測モードの個数を少なく又は多く設定）であるか、又は予測モード候補群の個数は固定的であるが他の構成（例えば、ブロックの横長と縦長の比によって水平又は垂直方向に派生される予測モードをもっと細密に設定）からなることができる。

もしくは、ブロックの長さが長い側の予測モードはもっと多い個数を、ブロックの長さが短い側の予測モードはもっと少ない個数を支援することができ、ブロックの長さが長い場合、予測モード間隔を図５で６６番モードの右側に位置するモード（例えば、５０番モードを基準に＋４５度以上の角度を有するモード。すなわち、６７～８０番などの番号を有するモード）又は２番モードの左側に位置するモード（例えば、１８番モードを基準に－４５度以上の角度を有するモード。すなわち、－１～－１４番などの番号を有するモード）を支援することもできる。これはブロックの横長と縦長の比によって決定することができ、その反対の状況が可能である。

本発明では図５のように予測モードが（何の符号化／復号化要素にも関係なく）固定的に支援される予測モードの場合を中心に説明するが、符号化設定によって適応的に支援される予測モード設定も可能である。

また、予測モードを分類するとき、水平及び垂直モード（１８番と５０番モード）、一部の対角線モード（Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ＜２番＞、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ＜３４番＞、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ＜６６番＞など）などが基準となることができ、これは一部の方向性（又は角度４５度、９０度など）によって行う分類方法であり得る。

そして、方向性モードの中で両端に位置する一部のモード（２番と６６番モード）が予測モード分類に基準となるモードであることができ、これは図５のような画面内予測モード構成であるときに可能な例である。すなわち、予測モード構成が適応的である場合には、前記基準となるモードが変更される例も可能である。例えば、２番モードが２より小さいか大きい番号を有するモード（－２、－１、３、４など）に代替されるか、６６番モードが６６より小さいか大きい番号を有するモード（６４、６６、６７、６８など）に代替されることができる。

また、カラー成分に関する追加的な予測モード（カラーコピーモード、カラーモード）を予測モード候補群に含むことができる。ここで、カラーコピーモードは、他のカラー空間内に位置する領域から予測ブロック生成するためのデータを獲得する方法に関連した予測モードであることができ、カラーモードは、他のカラー空間内に位置する領域から予測モードを獲得する方法に関連した予測モードであることができる。

図６は本発明の一実施例による画面内予測に使われる参照画素構成を説明するための例示図である。予測ブロックのサイズ及び形態（Ｍ×Ｎ）はブロック分割部によって獲得することができる。

画面内予測は予測ブロック単位で行うことが一般的であることができるが、ブロック分割部の設定によって符号化ブロック、変換ブロックなどの単位で遂行することができる。ブロック情報を確認した後、参照画素構成部では現在ブロックの予測に使われる参照画素を構成することができる。ここで、参照画素は臨時メモリ（例えば、配列＜Ａｒｒａｙ＞。１次、２次配列など）によって管理することができ、ブロックの画面内予測過程ごとに生成及び除去され、臨時メモリのサイズは参照画素の構成によって決定することができる。

本例では現在ブロックを中心に左側、上側、左上側、右上側、左下側ブロックを現在ブロックの予測に使う場合を仮定して説明するが、これに限定されず、他の構成のブロック候補群を現在ブロックの予測に使うこともできる。例えば、前記参照画素のための隣りブロックの候補群はラスター又はＺスキャンによる場合の一例であることができ、スキャン順によって前記候補群の一部を除去することができるか又は他のブロック候補群（例えば、右側、下側、右下側ブロックなどが追加構成）を含んでなることができる。

また、一部の予測モード（カラーコピーモード）を支援する場合であれば、他のカラー空間の一部領域を現在ブロックの予測に使うことができるから、これも参照画素として考慮することができる。

図７は本発明の一実施例による画面内予測の対象ブロックに隣接したブロックを示す概念図である。詳細には、図１０の左側は現在カラー空間の現在ブロックに隣接したブロックを示し、右側は他のカラー空間の対応ブロックを示す。後述する内容は、説明の便宜のために、現在カラー空間の現在ブロックに隣接したブロックが基本参照画素の構成である場合を仮定して説明する。

図６のように、現在ブロックの予測に使われる参照画素は、左側、上側、左上側、右上側、左下側ブロックの隣接した画素（図６のＲｅｆ＿Ｌ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬ）から構成することができる。ここで、参照画素は現在ブロックに最も隣接した隣りブロックの画素（図６のａ。これを参照画素ラインと表現）から構成することが一般的であるがその他の画素（図６のｂとその他の外側ラインの画素）も参照画素に構成することができる。

現在ブロックに隣接した画素は少なくとも１個の参照画素ラインに分類することができ、現在ブロックに最も隣接した画素はｒｅｆ＿０｛例えば、現在ブロックの境界画素と画素との間の距離が１である画素。ｐ（－１、－１）～ｐ（２ｍ－１、－１）、ｐ（－１、０）～ｐ（－１、２ｎ－１）｝、その次の隣接した画素｛例えば、現在ブロックの境界画素と画素との間の距離が２。ｐ（－２、－２）～ｐ（２ｍ、－２）、ｐ（－２、－１）～ｐ（－２、２ｎ）｝はｒｅｆ＿１、その次の隣接した画素｛例えば、現在ブロックの境界画素と画素との間の距離が３。ｐ（－３、－３）～ｐ（２ｍ＋１、－３）、ｐ（－３、－２）～ｐ（－３、２ｎ＋１）｝はｒｅｆ＿２などに分けることができる。すなわち、現在ブロックの境界画素と隣接した画素との間の距離によって参照画素ラインに分類することができる。

ここで、支援される参照画素ラインはＮ個以上であることができ、Ｎは１～５のような１以上の整数であることができる。ここで、現在ブロックに最も隣接した参照画素ラインから順に参照画素ライン候補群に含まれることが一般的である、これに限定されない。例えば、Ｎが３の場合、＜ｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿２＞のように順次前記候補群を構成することができるか、又は＜ｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿３＞、＜ｒｅｆ＿０、ｒｅｆ＿２、ｒｅｆ＿３＞、＜ｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ＿３＞のように順次ではないか最も隣接した参照画素ラインを除く構成で前記候補群を構成することもできる。

前記候補群内の全ての参照画素ラインを使って予測を遂行するか又は一部の参照画素ライン（１個以上）を使って予測を遂行することができる。

例えば、符号化／復号化設定によって複数の参照画素ラインの１個を選択し、該当参照画素ラインを使って画面内予測を遂行することができる。もしくは、複数の参照画素ラインの中で２個以上を選択し、該当参照画素ラインを使用（例えば、各参照画素ラインのデータに加重値平均などを適用）して画面内予測を遂行することができる。

ここで、参照画素ラインの選択は黙示的又は明示的に決定することができる。例えば、黙示的な場合は、映像タイプ、カラー成分、ブロックのサイズ／形態／位置などの要素の１個又は２個以上の組合せによって定義される符号化／復号化設定によって決定することを意味する。また、明示的な場合はブロックなどの単位で参照画素ライン選択情報が発生することができることを意味する。

本発明では最も隣接した参照画素ラインを使って画面内予測を行う場合を中心に説明するが、後述する多様な実施例が複数の参照画素ラインを使う場合にも同一又は同様な適用が可能であることを理解すべきである。

例えば、後述するサブブロック単位の画面内予測には最も隣接した参照画素ラインを使う場合のみ考慮して前記情報を黙示的に決定する設定を支援することができる。すなわち、既設定の参照画素ラインを使ってサブブロック単位の画面内予測を遂行することができ、黙示的な処理によって参照画素ラインを選択することができる。ここで、前記参照画素ラインは最も隣接した参照画素ラインを意味することができるが、これに限定されない。

もしくは、サブブロック単位の画面内予測のために適応的に参照画素ラインを選択することができ、最も隣接した参照画素を含む多様な参照画素ラインを選択してサブブロック単位の画面内予測を遂行することができる。すなわち、多様な符号化／復号化要素を考慮して決定する参照画素ラインを使ってサブブロック単位の画面内予測を遂行することができ、黙示的又は明示的な処理によって参照画素ラインを選択することができる。

本発明の画面内予測の参照画素構成部は、参照画素生成部、参照画素補間部、参照画素フィルター部などを含むことができ、前記構成の全部又は一部を含んでなることができる。

参照画素構成部で参照画素使用可能性（Ａｖａｉｌａｂｉｌｉｔｙ）を確認して使用可の参照画素と使用不可の参照画素を分類することができる。ここで、前記参照画素使用可能性は次の条件の少なくとも一つを満たす場合に使用不可と判断する。

例えば、ピクチャー境界の外に位置する場合、現在ブロックと同じ分割単位（例えば、スライス、タイルなどのように互いに参照不可の単位。ただ、スライス又はタイルのような単位であっても互いに参照可能な特性を有する場合には同じ分割単位ではなくても例外処理）に属しない場合、符号化／復号化が完了しなかった場合の１個でも満たす場合には使用不可と判断することができる。すなわち、前記条件を一つでも満たさない場合には使用可と判断することができる。

また、符号化／復号化設定によって参照画素の使用を制限することができる。例えば、前記条件によって使用可と判断した場合と言っても制限された画面内予測（例えば、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ）の遂行可否によって参照画素の使用を制限することができる。制限された画面内予測は、通信環境などの外部要人にエラー強靭な符号化／復号化を遂行しようとするときに他の映像から参照されて復元されたブロックを参照画素として使用することを禁止しようとするときに遂行することができる。

制限された画面内予測が非活性化した場合（例えば、Ｉ映像タイプ。もしくはＰ又はＢ映像タイプでｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝０）、参照画素候補ブロックは全部使用可であることができる。

もしくは、制限された画面内予測が活性化した場合（例えば、Ｐ又はＢ映像タイプでｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１）、参照画素候補ブロックは符号化モード（Ｉｎｔｒａ又はＩｎｔｅｒ）によって使用可否を判断する条件と仮定するが、その他の多様な符号化／復号化要素によって条件を決定することもできる。

参照画素は１個以上のブロックから構成されているから、前記参照画素可能性を確認してから分類すれば＜全部使用可＞、＜一部使用可＞、＜全部使用不可＞のように３種の場合に分類することができる。全部使用可の場合を除いた残りの場合には使用不可の候補ブロック位置の参照画素を満たすか生成することができる。

参照画素候補ブロックが使用可の場合には、該当位置の画素を現在ブロックの参照画素メモリに含むことができる。ここで、前記画素データをそのままコピーするか、参照画素フィルタリング、参照画素補間などの過程によって参照画素メモリに含むことができる。また、参照画素候補ブロックが使用不可の場合には、参照画素生成過程によって獲得された画素を現在ブロックの参照画素メモリに含むことができる。

次は多様な方法を使って使用不可のブロック位置の参照画素を生成する例を示す。

例えば、任意の画素値を使って参照画素を生成することができる。ここで、任意の画素値とは、画素値範囲（例えば、ビット深度に基づく画素値範囲又は該当映像内の画素分布による画素値範囲）に属する１個の画素値（例えば、画素値範囲の最小値、最大値、中央値など）であることができる。詳細には、参照画素候補ブロックが全部使用不可の場合に適用可能な例であることができる。

もしくは、映像の符号化／復号化が完了した領域から参照画素を生成することができる。詳細には、使用不可のブロックに隣接した少なくとも１個の使用可のブロックから参照画素を生成することができる。ここで、外挿、内挿、コピーなどの方法の少なくとも１個を使うことができる。

参照画素補間部で前記参照画素の構成を完了した後、参照画素の線形補間によって少数単位の参照画素を生成することができる。もしくは、後述する参照画素フィルター過程を遂行した後、参照画素補間過程を遂行することもできる。

ここで、水平、垂直、一部の対角線モード（例えば、Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔのように、垂直／水平に４５度差のモード。図５で２番、３４番、６６番モードに対応）、非方向性モード、カラーコピーモードなどの場合には補間過程を遂行しなく、その他のモード（他の対角線モード）の場合には補間過程を遂行することができる。

予測モード（例えば、予測モードの方向性。ｄｙ／ｄｘなど）と参照画素及び予測画素の位置によって補間を行う画素位置（すなわち、どの少数単位が補間されるか。１／２～１／６４などから決定）を決定することができる。ここで、少数単位の精度にかかわらず、１個のフィルター（例えば、フィルター係数又はフィルタータップの長さを決定するために使われる数学式は同じフィルターを仮定。ただ、少数単位の精度＜例として、１／３２、７／３２、１９／３２＞によって係数のみ調整されるフィルターを仮定）を適用することができるか又は複数のフィルター（例えば、フィルター係数又はフィルタータップの長さを決定するために使われる数学式が区分されるフィルターを仮定）の中で１個を少数単位によって選択して適用することができる。

前者の場合、少数単位画素の補間のために整数単位の画素を入力として使用する例であることができ、後者の場合、段階別に入力画素を異にする例（例えば、１／２単位の場合は整数の画素使用。１／４単位の場合は整数及び１／２単位画素の使用など）であることができるが、これに限定されない。本発明では前者の場合を中心に説明する。

参照画素補間のために固定的なフィルタリング又は適応的なフィルタリングを遂行することができ、これは符号化／復号化設定（例えば、映像タイプ、カラー成分、ブロックの位置／サイズ／形態、ブロックの横長と縦長の比、予測モードなどから１個又は２個以上の組合せ）によって決定することができる。

固定的なフィルタリングは１個のフィルターを使って参照画素補間を遂行することができ、適応的なフィルタリングは複数のフィルターの中で１個を使用して参照画素補間を遂行することができる。

ここで、適応的なフィルタリングの場合、符号化／復号化設定によって複数のフィルターの中で１個を黙示的に決定することができるか明示的に決定することができる。ここで、フィルターの種類は、４－ｔａｐ ＤＣＴ－ＩＦフィルター、４－ｔａｐキュービックフィルター、４－ｔａｐガウシアンフィルター、６－ｔａｐウィーナーフィルター、８－ｔａｐカルマンフィルターなどから構成することができ、カラー成分によって支援されるフィルター候補群が異に定義されること（例えば、フィルターの種類が一部は同じか異なり、又はフィルタータップの長さが短いか長いかなど）もできる。

参照画素フィルター部で符号化／復号化過程によって残っている劣化を減らすことによって予測の正確度を高める目的で参照画素にフィルタリングを遂行することができる。このときに使われるフィルターは低域通過フィルター（Ｌｏｗ－ｐａｓｓ Ｆｉｌｔｅｒ）であることができるが、これに限定されない。符号化／復号化設定（前述した説明から誘導可能）によってフィルタリングの適用有無を決定することができる。また、フィルタリングを適用する場合には固定的なフィルタリング又は適応的なフィルタリングを適用することができる。

固定的なフィルタリングは参照画素フィルタリングを遂行しないか又は１個のフィルターを使って参照画素フィルタリングを適用することを意味する。適応的なフィルタリングはフィルタリングの適用可否が符号化／復号化設定によって決定され、支援されるフィルターの種類が２種以上の場合、その中で１個を選択することができることを意味する。

ここで、フィルターの種類は［１、２、１］／４のような３－ｔａｐフィルター、［２、３、６、３、２］／１６のような５－ｔａｐフィルターなどの多様なフィルター係数、フィルタータップ長さなどによって区分される複数のフィルターを支援することができる。

前記参照画素の構成段階で紹介した参照画素補間部と参照画素フィルター部は予測の正確性向上のために必要な構成であることができる。前記２過程は独立的に行われる過程であることができるが、２過程を組み合わせる構成（すなわち、一つのフィルタリングで処理）も可能である。

予測ブロック生成部で少なくとも１個の予測モードによって予測ブロックを生成することができ、前記予測モードに基づいて参照画素を使うことができる。ここで、参照画素は予測モードによって外挿（Ｅｘｔｒａｐｏｌａｔｉｏｎ）などの方法（方向性モード）に使うことができ、内挿（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）又は平均（ＤＣ）又はコピー（Ｃｏｐｙ）などの方法（非方向性モード）に使うことができる。

予測モード決定部では複数の予測モード候補群の中で最適のモードを選定するための過程を遂行する。一般的に、ブロックの歪み｛例えば、現在ブロックと復元ブロックのＤｉｓｔｏｒｔｉｏｎ。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅなど｝と該当モードによる発生ビット量を考慮する速度歪み（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ）技法を用いて符号化費用の側面で最適のモードを決定することができる。前記過程によって決定される予測モードに基づいて生成される予測ブロックを減算部と加算部に送信することができる。

最適の予測モードを決定するために予測モード候補群に存在する全ての予測モードを探索することができるか又は演算量／複雑度減少のための目的で他の決定過程を経て最適の予測モードを選定することができる。例えば、第１段階では画面内予測モード候補の全体に対して画質劣化の観点で良い性能を現す一部のモードを選定し、第２段階では第１段階で選定されたモードに対して画質劣化だけでなく発生ビット量まで考慮して最適の予測モードを選定することができる。前記方法の他に、演算量／複雑度減少の側面の多様な方法を適用することができる。

また、予測モード決定部は一般的に符号化器にのみ含まれる構成であることができるが、符号化／復号化設定によって復号化器にも含まれる構成であることができる。例えば、テンプレートマッチングを予測方法として含むか又は画面内予測モードを現在ブロックの隣接した領域で誘導する方法を含む場合、後者の場合、予測モードを復号化器で黙示的に獲得する方法を使ったと理解することができる。

予測モード符号化部では、予測モード決定部で選定された予測モードを符号化することができる。予測モード候補群で前記予測モードに対応するインデックス情報を符号化することができるか又は前記予測モードを予測してそれについての情報を符号化することができる。前者の場合は輝度成分に適用される方法であることができ、後者の場合は色差成分に適用される方法であることができるが、これに限定されない。

予測モードを予測して符号化する場合、予測モードの予測値（又は予測情報）をＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）ということができる。ＭＰＭは１個の予測モードで構成することができるか又は複数の予測モードで構成することができ、予測モード候補群個数などによってＭＰＭの個数（ｋ個。ｋは１、２、３、６などの１以上の整数）を決定することができる。ＭＰＭが複数の予測モードで構成される場合、ＭＰＭ候補群ということができる。

ＭＰＭ候補群は固定的な設定の下で支援することができるか又は多様な符号化／復号化要素によって適応的な設定を支援することができる。適応的な設定に対する例を挙げると、複数の参照画素階層の中でどの参照画素階層を使うかによって候補群構成を決定することができ、ブロック単位で画面内予測を遂行するか又はサブブロック単位で画面内予測を遂行するかによって候補群構成を決定することができる。説明の便宜のために、一つの設定の下でＭＰＭ候補群を構成する場合を仮定し、ＭＰＭ候補群だけでなく他の画面内予測モードに関する候補群構成も適応的であることができることを理解すべきである。

ＭＰＭは予測モードを効率的に符号化するために支援する概念であり、実際に現在ブロックの予測モードで、発生可能性の高い予測モードで候補群を構成することができる。

例えば、ＭＰＭ候補群は、既設定の予測モード（又は統計的によく発生する予測モード。ＤＣ、Ｐｌａａｎｒ、垂直、水平、一部の対角線モードなど）、隣接したブロック（左側、上側、左上側、右上側、左下側ブロックなど）の予測モードなどで構成することができる。ここで、隣接したブロックの予測モードは、図１０でＬ０～Ｌ３（左側ブロック）、Ｔ０～Ｔ３（上側ブロック）、ＴＬ（左上側ブロック）、Ｒ０～Ｒ３（右上側ブロック）、Ｂ０～Ｂ３（左下側ブロック）から獲得することができる。

隣接したブロック（例えば、左側ブロック）で２個以上のサブブロック位置（例えば、Ｌ０、Ｌ２など）からＭＰＭ候補群を構成することができる場合、予め定義された優先順位（例えば、Ｌ０－Ｌ１－Ｌ２など）によって該当ブロックの予測モードを候補群に構成することができる。もしくは、２個以上サブブロック位置からＭＰＭ候補群を構成することができない場合、予め定義された位置（例えば、Ｌ０など）に相当するサブブロックの予測モードを候補群に構成することができる。詳細には、隣接したブロックの中でＬ３、Ｔ３、ＴＬ、Ｒ０、Ｂ０位置の予測モードを該当隣接したブロックの予測モードとして選定してＭＰＭ候補群に含むことができる。前記説明は隣接したブロックの予測モードを候補群に構成する一部の場合であり、これに限定されない。後述する例で予め定義された位置の予測モードを候補群に構成する場合を仮定する。

また、１個以上の予測モードがＭＰＭ候補群に構成されている場合、既に含まれた１個以上の予測モードから誘導されるモードもＭＰＭ候補群に追加的に構成されることができる。詳細には、ｋ番モード（方向性モード）がＭＰＭ候補群に含まれた場合、該当モードから誘導可能なモード（ｋを基準に＋ａ、－ｂの間隔を有するモード。ａとｂは１、２、３などの１以上の整数）をＭＰＭ候補群に追加的に含むことができる。

ＭＰＭ候補群構成のための優先順位が存在することができ、隣接したブロックの予測モード－既設定の予測モード－誘導される予測モードなどの順にＭＰＭ候補群を構成することができる。ＭＰＭ候補群を構成する過程は、優先順位によって最大ＭＰＭ候補の個数だけ満たせば完了することができる。前記過程で既に含まれた予測モードと一致する場合、該当予測モードは候補群に構成せず、次の優先順位の候補に手順が移る重複性確認過程を含むことができる。

次はＭＰＭ候補群が６個の予測モードで構成される場合を前提とする。

例えば、Ｌ－Ｔ－ＴＬ－ＴＲ－ＢＬ－Ｐｌａｎａｒ－ＤＣ－垂直－水平－対角線モードなどの順に候補群を構成することができる。隣接したブロックの予測モードを候補群に優先的に構成し、既設定の予測モードを追加的に構成しようとする場合であることができる。

もしくは、Ｌ－Ｔ－Ｐｌａｎａｒ－ＤＣ－＜Ｌ＋１＞－＜Ｌ－１＞－＜Ｔ＋１＞－＜Ｔ－１＞－垂直－水平－対角線モードなどの順に候補群を構成することができる。一部の隣接したブロックの予測モードと既設定の予測モードの一部を優先的に構成し、隣接したブロックの予測モードと類似した方向の予測モードが発生するという仮定の下で誘導されるモードと既設定の予測モードの一部を追加的に構成しようとする場合であることができる。

前記例はＭＰＭ候補群構成に関する一部の場合であり、これに限定されず、多様な変形例が可能である。

ＭＰＭ候補群は、候補群内のインデックスに基づいて単項二進化（Ｕｎａｒｙ Ｂｉｎａｒｉｚａｔｉｏｎ）、トランケーティドライス二進化（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ Ｂｉｎａｒｉｚａｔｉｏｎ）などの二進化を使うことができる。すなわち、小さいインデックスを有する候補には短いビットを割り当て、大きいインデックスを有する候補には長いビットを割り当ててモードビットを表現することができる。

ＭＰＭ候補群に含まれることができなかったモードはｎｏｎ－ＭＰＭ候補群に分類することができる。また、符号化／復号化設定によってｎｏｎ－ＭＰＭ候補群は２個以上の候補群に分類することができる。

次は予測モード候補群に方向性モードと非方向性モードを含む６７個のモードが存在し、ＭＰＭ候補は６個を支援してｎｏｎ－ＭＰＭ候補群に６１個の予測モードで構成される場合を前提とする。

ｎｏｎ－ＭＰＭ候補群が１個で構成される場合はＭＰＭ候補群の構成過程に含まれることができなかった予測モードが残ったものであるから、追加的な候補群構成過程は要求されない。それで、ｎｏｎ－ＭＰＭ候補群内のインデックスに基づいて固定長二進化（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｂｉｎａｒｉｚａｔｉｏｎ）、トランケーティド単項二進化（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ Ｂｉｎａｒｉｚａｔｉｏｎ）などの二進化を使うことができる。

ｎｏｎ－ＭＰＭ候補群が２個以上の候補群で構成される場合を仮定して、本例でｎｏｎ－ＭＰＭ候補群はｎｏｎ－ＭＰＭ＿Ａ（以下、Ａ候補群）とｎｏｎ－ＭＰＭ＿Ｂ（以下、Ｂ候補群）に分類する。Ａ候補群（ｐ個。ＭＰＭ候補群個数以上）がＢ候補群（ｑ個。Ａ候補群個数以上）より現在ブロックの予測モードで発生可能性の高い予測モードで候補群を構成すると仮定する。ここで、Ａ候補群構成過程を追加することができる。

例えば、方向性モードの中で均等な間隔（例えば、２番、４番、６番モードなど）を有する一部の予測モードをＡ候補群に構成するか既設定の予測モード（例えば、ＭＰＭ候補群に含まれた予測モードから誘導されるモードなど）を構成することができる。前記ＭＰＭ候補群構成とＡ候補群構成から残った予測モードはＢ候補群に構成することができ、追加的な候補群構成過程は要求されない。Ａ候補群とＢ候補群内のインデックスに基づいて固定長二進化、トランケーティド単項二進化などの二進化を使うことができる。

前記例はｎｏｎ－ＭＰＭ候補群が２個以上で構成されている一部の場合であり、これに限定されず、多様な変形例が可能である。

次に予測モードを予測して符号化する場合に対する過程を示す。

現在ブロックの予測モードがＭＰＭ（又はＭＰＭ候補群内の一部のモード）と一致するかについての情報（ｍｐｍ＿ｆｌａｇ）を確認することができる。

ＭＰＭと一致する場合、ＭＰＭの構成（１個又は２個以上）によってＭＰＭインデックス情報（ｍｐｍ＿ｉｄｘ）を追加的に確認することができる。その後、現在ブロックの符号化過程を完了する。

ＭＰＭと一致しない場合、ｎｏｎ－ＭＰＭ候補群が１個で構成されていれば、ｎｏｎ－ＭＰＭインデックス情報（ｒｅｍａｉｎｉｎｇ＿ｉｄｘ）を確認することができる。その後、現在ブロックの符号化過程を完了する。

仮に、ｎｏｎ－ＭＰＭ候補群が複数（本例で２個）で構成されていれば、現在ブロックの予測モードがＡ候補群内の一部の予測モードと一致するかについての情報（ｎｏｎ＿ｍｐｍ＿ｆｌａｇ）を確認することができる。

Ａ候補群と一致する場合、Ａ候補群インデックス情報（ｎｏｎ＿ｍｐｍ＿Ａ＿ｉｄｘ）を確認することができ、Ａ候補群と一致しない場合、Ｂ候補群インデックス情報（ｒｅｍａｉｎｉｎｇ＿ｉｄｘ）を確認することができる。その後、現在ブロックの符号化過程を完了する。

予測モード候補群構成が固定的な場合、現在ブロックで支援される予測モード、隣接したブロックで支援される予測モード、及び既設定の予測モードは同じ予測番号インデックスを使うことができる。

一方、予測モード候補群構成が適応的な場合には、現在ブロックで支援される予測モード、隣接したブロックで支援される予測モード、及び既設定の予測モードは同じ予測番号インデックスを使うか異なる予測番号インデックスを使うことができる。次の説明のために図４を参照する。

前記予測モード符号化過程でＭＰＭ候補群などの構成のための予測モード候補群統一（又は調整）過程を遂行することができる。例えば、現在ブロックの予測モードは－５番～６１番モードの予測モード候補群の１個であり、隣接したブロックの予測モードは２番～６６番モードの予測モード候補群の１個であることができる。この場合、隣接したブロックの予測モードの一部（６６番モード）は現在ブロックの予測モードに支援されないモードであることができるから、予測モード符号化過程でこれを統一させる過程を遂行することができる。すなわち、固定的な画面内予測モード候補群構成を支援する場合に要求されない過程であることができ、適応的な画面内予測モード候補群構成を支援する場合には要求される過程であることができ、これについての詳細な説明は省略する。

前記ＭＰＭを用いる方式とは違い、予測モード候補群に属する予測モードにインデックスを割り当てて符号化を遂行することができる。

例えば、予め定義された優先順位によって予測モードにインデックスを割り当て、現在ブロックの予測モードが選定されれば、該当インデックスを符号化する方法がそれに相当する。これは、固定的に予測モード候補群が構成され、予測モードに固定的なインデックスを割り当てる場合を意味する。

もしくは、予測モード候補群が適応的に構成される場合には前記固定的なインデックス割当方法が相応しくないことができる。このために、適応的な優先順位によって予測モードにインデックスを割り当て、現在ブロックの予測モードが選定されれば、該当インデックスを符号化する方法を適用することができる。これは、予測モード候補群の適応的な構成によって予測モードに割り当てられるインデックスを異にして予測モードを効率的に符号化することができる。すなわち、適応的な優先順位は、現在ブロックの予測モードとして選定される可能性が高い候補を短いモードビットが発生するインデックスに割り当てるためである。

次は予測モード候補群に既設定の予測モード（方向性モード及び非方向性モード）、カラーコピーモード、及びカラーモードを含む８個の予測モードを支援する場合（色差成分）を前提とする。

例えば、既設定の予測モードは、Ｐｌａｎａｒ、ＤＣ、水平、垂直、対角線モード（本例でＤｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ）の中で４個を支援し、カラーモード１個（Ｃ）とカラーコピーモード３個（ＣＰ１、ＣＰ２、ＣＰ３）を支援する場合を仮定する。予測モードに割り当てられるインデックスの基本順は既設定の予測モード－カラーコピーモード－カラーモードなどとして与えられることができる。

ここで、既設定の予測モードである方向性モード、非方向性モード、及びカラーコピーモードは予測方法が区分される予測モードに容易に区分することができる。ただ、カラーモードの場合、方向性モード又は非方向性モードであることができ、これは既設定の予測モードと重複する可能性が存在することができる。一例として、カラーモードが垂直モードの場合、既設定の予測モードの１個である垂直モードと重複する場合が発生し得る。

符号化／復号化設定によって予測モード候補群の数を適応的に調整する場合、前記重複する場合が発生すれば、候補群の数を調整（８個→７個）することができる。もしくは、予測モード候補群の数を固定的に維持する場合、前記重複する場合が発生すれば、他の候補を追加及び考慮してインデックスを割り当てることができ、この設定を仮定して後述する。また、適応的な予測モード候補群はカラーモードのように可変的なモードを含む場合にも支援される構成であることができる。したがって、適応的なインデックス割当を行う場合は適応的な予測モード候補群構成の一例と見なすことができる。

次にカラーモードによって適応的なインデックス割当を行う場合を説明する。基本インデックスは、Ｐｌａｎａｒ（０）－垂直（１）－水平（２）－ＤＣ（３）－ＣＰ１（４）－ＣＰ２（５）－ＣＰ３（６）－Ｃ（７）の順に割り当てると前提する。また、カラーモードが既設定の予測モードと一致しない場合には、前記順にインデックス割当を遂行することを前提とする。

例えば、カラーモードが既設定の予測モード（Ｐｌａｎａｒ、垂直、水平、ＤＣモード）の１個と一致する場合には、カラーモードのインデックス（７）に一致する予測モードが満たされる。一致する予測モードのインデックス（０～３の１個）には既設定の予測モード（Ｄｉａｇｏａｎａｌ ｄｏｗｎ ｌｅｆｔ）が満たされる。詳細には、カラーモードが水平モードの場合、Ｐｌａｎａｒ（０）－垂直（１）－Ｄｉａｇｏａｎａｌ ｄｏｗｎ ｌｅｆｔ（２）－ＤＣ（３）－ＣＰ１（４）－ＣＰ２（５）－ＣＰ３（６）－水平（７）のようなインデックス割当を遂行することができる。

もしくは、カラーモードが既設定の予測モードの１個と一致する場合には、０番インデックスに一致する予測モードが満たされる。そして、カラーモードのインデックス（７）に既設定の予測モード（Ｄｉａｇｏａｎａｌ ｄｏｗｎ ｌｅｆｔ）が満たされる。ここで、満たされた予測モードが既存の０番インデックスではない場合（すなわち、Ｐｌａｎａｒモードではない場合）であれば、既存インデックス構成を調整することができる。詳細には、カラーモードがＤＣモードの場合、ＤＣ（０）－Ｐｌａｎａｒ（１）－垂直（２）－水平（３）－ＣＰ１（４）－ＣＰ２（５）－ＣＰ３（６）－Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ（７）のようなインデックス割当を遂行することができる。

前記例は適応的なインデックス割当に関する一部の場合であり、これに限定されず、多様な変形例が可能である。また、前記候補群内のインデックスに基づいて固定長二進化、単項二進化、トランケーティド単項二進化、トランケーティドライス二進化などの二進化を使うことができる。

次に予測モード候補群に属する予測モードにインデックスを割り当てて符号化を遂行する他の例を説明する。

例えば、予測モード、予測方法などに区分して複数の予測モード候補群に分類し、該当候補群に属する予測モードにインデックスを割り当てて符号化する方法がそれに相当する。この場合、候補群選択情報符号化を前記インデックス符号化に先立って行うことができる。一例として、同じカラー空間で予測を行う予測モードである方向性モード、非方向性モード、カラーモードが１個の候補群（以下、Ｓ候補群）に属することができ、他のカラー空間で予測を行う予測モードであるカラーコピーモードが１個の候補群（以下、Ｄ候補群）に属することができる。

次は予測モード候補群に既設定の予測モード、カラーコピーモード、及びカラーモードを含む９個の予測モードを支援する場合（色差成分）を前提とする。

例えば、既設定の予測モードは、Ｐｌａｎａｒ、ＤＣ、水平、垂直、対角線モードの中で４個を支援し、カラーモード１個（Ｃ）とカラーコピーモード４個（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）を支援する場合を仮定する。Ｓ候補群は既設定の予測モードとカラーモードで構成される５個の候補を有することができ、Ｄ候補群はカラーコピーモードで構成される４個の候補を有することができる。

Ｓ候補群は適応的に構成される予測モード候補群の一例であり、適応的なインデックス割当に関する例は前述したので、詳細な説明は省略する。Ｄ候補群は固定的に構成される予測モード候補群の一例であるので、固定的なインデックス割当方法を使うことができる。例えば、ＣＰ１（０）－ＣＰ２（１）－ＣＰ３（２）－ＣＰ４（３）のようなインデックス割当を遂行することができる。

前記候補群内のインデックスに基づいて固定長二進化、単項二進化、トランケーティド単項二進化、トランケーティドライス二進化などの二進化を使うことができる。また、前記例に限定されず、多様な変形例が可能である。

予測モード符号化のためのＭＰＭなどの候補群構成はブロック単位で遂行することができる。もしくは、前記候補群構成過程を省略することができ、所定の候補群を使うか多様な方法によって獲得された候補群を使うことができる。これは複雑度減少などのための目的で支援することができる構成であることができる。

一例（１）で、予め定義された一つの候補群を使うか又は符号化／復号化設定によって予め定義された複数の候補群の一つを使うことができる。例えば、ＭＰＭ候補群の場合、｛Ｐｌａｎａｒ－ＤＣ－垂直－水平－Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ＜図５の６６番＞－Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ＜図５の３４番＞｝などの予め定義された候補群を使うことができる。もしくは、ＭＰＭ候補群構成の中で隣接したブロックが全部使用不可の場合に構成される候補群を本例に適用することができる。

一例（２）で、符号化が完了したブロックの候補群を使うことができる。ここで、符号化が完了したブロックは、符号化順（所定のスキャン方法。例えば、ｚ－ｓｃａｎ、ｖｅｒｔｉｃａｌ ｓｃａｎ、ｈｏｒｉｚｏｎｔａｌ ｓｃａｎなど）に基づいて選定することができるか又は現在ブロックの左側、上側、左上側、右上側、左下側などの隣接したブロックから選定することができる。ただ、隣接したブロックは、現在ブロックと互いに参照可能な分割単位（例えば、各ブロックが属するスライスやタイルが違っても参照可能な属性を有する場合。一例として、同じタイルグループに属するが異なるタイルの場合）に属する位置に制限することができ、参照不可の分割単位（例えば、各ブロックが属するスライスやタイルが異なるが互いに参照不可の属性を有する場合。一例として、異なるタイルグループに属する場合）に属する場合、該当位置のブロックを候補から除くことができる。

ここで、隣接したブロックは現在ブロックの状態によって決定することができる。例えば、現在ブロックが正方形の場合、所定の第１優先順位によって位置するブロックの中で利用可能なブロックの候補群を借用（又は共有）することができる。もしくは、現在ブロックが長方形の場合、第２優先順位によって位置するブロックの中で利用可能なブロックの候補群を借用することができる。ここで、ブロックの横長と縦長の比によって第２又は第３優先順位を支援することができる。借用する候補ブロックの選定のための優先順位は、左側－上側－右上側－左下側－左上側、上側－左側－左上側－右上側－左下側などの多様な構成が可能である。ここで、前記第１～３優先順位は全部同じ構成を有するか又は全部異なる構成を有するか又は一部の構成が同じ構成を有することができる。

現在ブロックの候補群は、所定の境界値以上／超過の場合にのみ隣接したブロックからの借用を遂行することができる。もしくは、所定の境界値以下／未満の場合にのみ隣接したブロックからの借用を遂行することができる。ここで、前記境界値は候補群借用を許すブロックの最小サイズ又は最大サイズと定義することができる。前記境界値はブロックの横長（Ｗ）、縦長（Ｈ）、Ｗ×Ｈ、Ｗ＊Ｈなどと表現することができ、前記ＷとＨは４、８、１６、３２又はそれ以上の整数であることができる。

一例（３）で、所定のブロックの束から構成された上位ブロックで共通の候補群を構成することができ、上位ブロック内に属する下位ブロックが該当候補群を使うことができる。ここで、下位ブロックの個数は１、２、３、４のような１以上の整数であることができる。

ここで、上位ブロックは下位ブロックの先祖ブロック（親ブロック含み）であることができるか又は任意のブロックの束から構成されたブロックであることができる。ここで、先祖ブロックとは下位ブロックを獲得するための分割過程のうち以前段階（分割深さの差が１以上）の分割前のブロックを意味することができる。一例として、図４のｂで４Ｎ×２Ｎの０番と１番サブブロックの親ブロックは図４のａの４Ｎ×４Ｎを示すことができる。

上位ブロックの候補群は、所定の第１境界値以上／超過の場合にのみ下位ブロックからの借用（又は共有）を遂行することができる。もしくは、所定の第２境界値以下／未満の場合にのみ下位ブロックからの借用を遂行することができる。

ここで、前記境界値は候補群借用を許すブロックの最小サイズ又は最大サイズと定義することができる。前記境界値の中で一つのみ支援するか二つとも支援することができ、境界値はブロックの横長（Ｗ）、縦長（Ｈ）、Ｗ×Ｈ、Ｗ＊Ｈなどと表現することができ、前記ＷとＨは８、１６、３２、６４又はそれ以上の整数であることができる。

一方、下位ブロックの候補群は、所定の第３境界値以上／超過の場合にのみ上位ブロックからの借用を遂行することができる。もしくは、所定の第４境界値以下／未満の場合にのみ上位ブロックからの借用を遂行することができる。

ここで、前記境界値は候補群借用を許すブロックの最小サイズ又は最大サイズと定義することができる。前記境界値の中で一つのみ支援するか二つとも支援することができ、境界値はブロックの横長（Ｗ）、縦長（Ｈ）、Ｗ×Ｈ、Ｗ＊Ｈなどと表現することができ、前記ＷとＨは４、８、１６、３２又はそれ以上の整数であることができる。

ここで、第１境界値（又は第２境界値）は第３境界値（又は第４境界値）より大きいか同一であることができる。

前述した実施例のいずれか一つに基づいて候補群借用（又は共有）を選択的に用いることができ、実施例１～３の少なくとも２個の組合せに基づいて候補群借用を選択的に用いることもできる。そして、各実施例の詳細構成もいずれか一つに基づいて候補群借用を選択的に用いることができ、一つ以上の詳細構成の組合せなどによって選択的に用いることができる。

また、候補群借用可否、候補群借用に関与するブロックの属性（サイズ／形態／位置／横長と縦長の比）、分割状態（分割方式、分割種類、分割深さなど）などについての情報を明示的に処理することができる。また、映像タイプ、カラー成分などの符号化要素が候補群借用設定に入力変数として作用することができる。前記情報及び符号化／復号化設定に基づいて候補群の借用を遂行することができる。

予測モード符号化部によって生成される予測関連情報は符号化部に伝送されてビットストリームに収録されることができる。

本発明の一実施例による映像復号化方法で画面内予測は次のように構成されることができる。予測部の画面内予測は、予測モード復号化段階、参照画素の構成段階、及び予測ブロック生成段階を含むことができる。また、映像復号化装置は、予測モード復号化段階、参照画素の構成段階、及び予測ブロック生成段階を具現する予測モード復号化部、参照画素構成部、及び予測ブロック生成部を含むように構成することができる。前述した過程の一部は省略することができるか他の過程を追加することができ、前記記載した順ではない他の順に変更することができる。

映像復号化装置の参照画素構成部、及び予測ブロック生成部は映像符号化装置の対応する構成と同じ役割を果たすので、詳細な説明は省略し、予測モード復号化部は予測モード符号化部で使用した方式を逆に使用して遂行することができる。

（サブブロック単位の画面内予測）

図８は符号化ブロックに基づいて獲得可能なサブブロックの多様な分割形態を示す。ここで、符号化ブロックは親ブロックといい、サブブロックは子ブロックであることができる。ここで、サブブロックは予測が行われる単位又は変換が行われる単位であることができる。本例では一つの予測情報をサブブロックの間に共有する場合を仮定する。すなわち、一つの予測モードが発生し、これを各サブブロックで使うことを意味する。

図８を参照すると、図８のａ～ｐの多様な順序組合せによってサブブロックの符号化順序を決定することができる。例えば、ｚ－ｓｃａｎ（左→右、上→下）、ｖｅｒｔｉｃａｌ ｓｃａｎ（上→下）、ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ（左→右）、ｉｎｖｅｒｓｅ ｖｅｒｔｉｃａｌ ｓｃａｎ（下→上）、ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ（右→左）などの順の中で一つによることができる。

前記符号化順は、映像部／復号化器に既に約束された順序あることができる。もしくは、前記サブブロックの符号化順序は、親ブロックの分割方向を考慮して決定することもできる。例えば、親ブロックが水平方向に分割された場合、サブブロックの符号化順序はｖｅｒｔｉｃａｌ ｓｃａｎに決定することができる。親ブロックが垂直方向に分割された場合、サブブロックの符号化順序はｈｏｒｉｚｏｎｔａｌ ｓｃａｎに決定することができる。

サブブロック単位で符号化を遂行する場合、予測のために使われる参照データをより近接した位置で獲得することができ、一つの予測モードのみ生成され、サブブロックでこれを共有する方式であるから効率的であることができる。

例えば、図８の（ｂ）を参照すると、親ブロック単位で符号化するとき、右下側サブブロックは親ブロックに隣接した画素を使って予測を遂行することができる。一方、サブブロック単位で符号化するとき、右下側サブブロックは所定の符号化順序（本例で、ｚ－ｓｃａｎ）によって復元された左上側、右上側、左下側サブブロックが存在するから、親ブロックより隣接した画素を使って予測を遂行することができる。

映像特性を考慮した最適の分割による画面内予測のために発生可能性の高い一つ以上の分割形態に基づいて候補群を構成することができる。

本例ではインデックス基盤の分割方式を使って分割情報を生成する場合を仮定する。次のような多様な分割形態に候補群を構成することができる。

具体的に、Ｎ個の分割形態に構成された候補群を構成することができる。ここで、Ｎは２より大きいか同一である整数であることができる。前記候補群は、図８に示した７個の分割形態の少なくとも２個の組合せを含むことができる。

親ブロックは、前記候補群に属する複数の分割形態のいずれか一つを選択的に用いて所定のサブブロックに分割することができる。前記選択は、映像符号化装置でシグナリングされるインデックスに基づいて遂行することができる。前記インデックスは、親ブロックの分割形態を特定する情報を意味することができる。もしくは、前記選択は、映像復号化装置で親ブロックの属性を考慮して遂行することもできる。ここで、属性は、ブロックの位置、サイズ、形態、広さ、横長と縦長の比、横長及び縦長のいずれか一つの長さ、分割深さ、映像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（例えば、輝度、色差）、画面内予測モードの値、画面内予測モードが非方向性モードであるか、画面内予測モードの角度、参照画素の位置などを意味することができる。前記ブロックは符号化ブロックを意味することができるか又は符号化ブロックに対応する予測ブロック及び／又は変換ブロックを意味することができる。前記ブロックの位置は、親ブロックの所定の映像（又は断片映像）の境界に位置するかを意味することができる。ここで、映像（又は断片映像）とは親ブロックが属するピクチャー、スライスグループ、タイルグループ、スライス、タイル、ＣＴＵ列（ＣＴＵ ｒｏｗ）、ＣＴＵの少なくとも一つを意味することができる。

一例（１）で、図８の｛ａ～ｄ｝、｛ａ～ｇ｝などの候補群を構成することができ、これは多様な分割形態を考慮した候補群構成であることができる。｛ａ～ｄ｝の場合を仮定すれば、各インデックスに多様な二進ビットを割り当てることができる（アルファベット順にインデックスを割り当てたと仮定。次の例にも同一に仮定）

前記表１で、ｂｉｎ ｔｙｐｅ １は発生可能な分割形態を全部考慮した二進化の例であることができ、ｂｉｎ ｔｙｐｅ ２は分割可否を示すビット（第１ビット）を先に割り当て、分割される場合（第１ビットが１）には発生可能な分割形態の中で分割されなかった候補のみ除いて遂行する二進化の例であることができる。

一例（２）で、図８の｛ａ、ｃ、ｄ｝、｛ａ、ｆ、ｇ｝などの候補群を構成することができ、これは特定の方向（水平方向又は垂直方向）の分割を考慮した候補群構成であることができる。｛ａ、ｆ、ｇ｝の場合を仮定すれば、各インデックスに多様な二進ビットを割り当てることができる。

前記表２はブロックの属性に基づいて割り当てられる二進化の例であり、その中でブロックの形態を考慮した場合の一例であることができる。ｂｉｎ ｔｙｐｅ １では、親ブロックが正方形であるとき、分割されない場合に１ビットを割り当て、水平方向又は垂直方向に分割された場合に２ビットを割り当てる例であることができる。

ｂｉｎ ｔｙｐｅ ２の場合、親ブロックが長方形の中で横方向に長いとき、水平方向に分割される場合に１ビットを、残りは２ビットを割り当てる例であることができる。ｂｉｎ ｔｙｐｅ ３は、親ブロックが長方形の中で縦方向に長いとき、垂直方向に分割される場合は１ビットを、残りは２ビットを割り当てる例であることができる。これは親ブロックの形態のような分割がさらに起こる可能性が高いと判断されればより短いビットを割り当てる例であることができるが、これに限定されず、反対の場合を含む変形例を含むことができる。

一例（３）で、図８の｛ａ、ｃ、ｄ、ｆ、ｇ｝などの候補群を構成することができ、これは特定方向の分割を考慮した候補群構成の他の例であることができる。

前記表３で、ｂｉｎｔ ｙｐｅ １は分割可否を示すフラグ（第１ビット）を先に割り当て、その次に分割個数を区分するフラグを割り当てる。ここで、分割個数を区分するフラグ（第２ビット）が０であれば分割個数が２個、１であれば分割個数が４個である場合であることができる。そして、後続のフラグは分割方向を表現するフラグであることができ、０であれば水平方向分割、１であれば垂直方向分割の場合であることができる。前記説明は一例であるだけ、これに限定されず、反対の構成などを含む多様な変形が可能である。

前記分割情報は一般的な状況で支援する構成であることができるが、符号化／復号化環境などによって他の設定への変形が可能である。すなわち、分割情報に関する例外的な構成を支援するか又は分割情報によって表現される分割形態を他の分割形態に代替することができる。

例えば、ブロックの属性によって支援されない分割形態が存在することができる。ここで、ブロックの属性は以前の例で言及したので、詳細な説明は省略する。ここで、ブロックは親ブロック又はサブブロックの少なくとも一つを意味することができる。

例えば、支援される分割形態は図８の｛ａ、ｆ、ｇ｝であり、親ブロックのサイズは４Ｍ×４Ｎであると仮定する。仮に、映像内のブロックの最小値条件、親ブロックの所定の映像（又は断片映像）の境界に位置することによって一部の分割形態を支援しない場合には多様な処理が可能である。次の例のために、映像内のブロックの横長の最小値が２Ｍであり、ブロックの広さの最小値が４＊Ｍ＊Ｎであると仮定する。

まず、獲得不可の分割形態を除いて候補群を再構成することができる。既存の候補群で有することができる候補は４Ｍ×４Ｎ、４Ｍ×Ｎ、Ｍ×４Ｎであり、獲得不可の候補（４Ｍ×Ｎ）を除いて再構成される候補群は４Ｍ×４Ｎ、４Ｍ×Ｎであることができる。この場合、再構成された候補群内の候補に二進化を再び遂行することができる。本例では一つのフラグ（１ビット）として４Ｍ×４Ｎ、４Ｍ×Ｎを選択することができる。

他の例で、獲得不可の分割形態を代替する候補で候補群を再構成することができる。前記例で獲得不可の分割形態は垂直方向の分割形態（４分割）であることができる。しかし、垂直方向の分割形態を維持する他の分割形態（例えば、２Ｍ×４Ｎ）を代替して候補群を再構成することができる。これは既存の分割情報によるフラグ構成をそのまま維持することができる。

前記例のように候補群の数を調整するか又は既存候補を代替する方式で候補群を再構成することができ、前記例は一部の場合についての説明を含むだけ、多様な変形例が可能である。

（サブブロックの符号化順序）

図８のような多様なサブブロックの符号化順序の設定が可能である。前記符号化順序は符号化／復号化設定によって黙示的に決定することができる。ここで、分割形態、映像タイプ、カラー成分、親ブロックのサイズ／形態／位置、ブロックの横長と縦長の比、予測モード関連情報（例えば、画面内予測モード、使われる参照画素位置など）、分割状態などを前記符号化／復号化要素に含むことができる。

もしくは、サブブロックの符号化順序に対する明示的な処理が可能である。詳細には、分割形態によって発生可能性の高い候補で候補群を構成し、その一つについての選択情報を発生することができる。よって、分割形態によって支援する符号化順序候補は適応的に構成することができる。

前記例のように一つの固定的な符号化順序を使ってサブブロックの符号化を遂行することもできるが、適応的な符号化順序を適用する方法も可能である。

図８を参照すると、図面に記載したａ～ｐの多様な順序割当によって多くの符号化順序を獲得することができる。各分割形態によって獲得されるサブブロックの位置及び個数が異なることができるから、分割形態に特化する符号化順序に対する構成が重要であることができる。そして、サブブロックへの分割が遂行されない図８の（ａ）のような分割形態には符号化順序に対する処理が必要ではない。よって、明示的に符号化順序についての情報を処理する場合、分割情報を先に確認した後、選択された分割情報に基づいてサブブロックの符号化順序についての情報を生成することができる。

図８の（ｃ）を参照すると、ａ、ｂに０、１が適用されるｖｅｒｔｉｃａｌ ｓｃａｎとそれぞれ１、０が適用されるｉｎｖｅｒｓｅ ｓｃａｎを候補として支援することができ、この中で一つを選択するための１ビットフラグを発生することができる。

もしくは、図８の（ｂ）を参照すると、ａ～ｄに０～３が適用されるｚ－ｓｃａｎ、それぞれ１、３、０、２が適用され、左側に９０度回転したｚ－ｓｃａｎ、それぞれ３、２、１、０が適用されたｉｎｖｅｒｓｅ ｚ－ｓｃａｎ、それぞれ２、０、３、１が適用され、右側に９０度回転したｚ－ｓｃａｎを支援することができ、この中で一つを選択するための１ビット以上のフラグを発生することができる。

次にサブブロックの符号化順序を黙示的に決定する場合を説明する。説明の便宜のために、図８の（ｃ）｛又は（ｆ）｝と（ｄ）｛又は（ｇ）｝の分割形態を獲得する場合に対する符号化順序を示す（予測モードは図５を参照）。

例えば、画面内予測モードが垂直モード、水平モード、Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ方向のモード（１９番～４９番モード）、Ｄｉａｇｏａｎａｌ ｄｏｗｎ ｌｅｆｔ方向のモード（５１番以上）、Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ方向のモード（１７番以下）であるとき、ｖｅｒｔｉｃａｌ ｓｃａｎ、ｈｏｒｉｚｏｎｔａｌ ｓｃａｎを決定することができる。

もしくは、画面内予測モードがＤｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ方向のモード（５１番以上）であるとき、ｖｅｒｔｉｃａｌ ｓｃａｎ、ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎを決定することができる。

もしくは、画面内予測モードがＤｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ方向のモード（１７番以下）であるとき、ｉｎｖｅｒｓｅ ｖｅｒｔｉｃａｌ ｓｃａｎ、ｈｏｒｉｚｏｎｔａｌ ｓｃａｎを決定することができる。

前記例は所定のスキャン順序による符号化順序あることができる。ここで、所定のスキャン順序はｚ－ｓｃａｎ、ｖｅｒｔｉｃａｌ ｓｃａｎ、ｈｏｒｉｚｏｎｔａｌ ｓｃａｎの一つであることができる。もしくは、画面内予測の際に参照される画素の位置と距離によって決定されるスキャン順序であることができる。このために、ｉｎｖｅｒｓｅ ｓｃａｎを追加的に考慮することができる。

図９は本発明の一実施例による画面内予測モードに基づいて使われる参照画素領域に対する例示図である。図９を参照すると、予測モードの方向によって参照される領域は陰影で処理されたことを確認することができる。

図９の（ａ）は親ブロックに隣接した領域を左側、上側、左上側、右上側、左下側領域に区分した例を示す。図９の（ｂ）はＤｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ方向のモードで参照される左側、左下側領域を示し、図９の（ｃ）は水平モードで参照される左側領域を示し、図９の（ｄ）はＤｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ方向のモードで参照される左側、上側、左上側領域を示し、図９の（ｅ）は垂直モードで参照される上側領域を示し、図９の（ｆ）はＤｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ方向のモードで参照される上側、右上側領域を示す。

隣接した参照画素（又はサブブロックの復元画素）を使って予測を遂行するとき、サブブロックの符号化順序を予め定義することが別に関連情報をシグナリングしなくても良い利点が存在することができる。多様な分割形態を有することができ、これにより参照される領域（又は予測モード）に基づいて次のような例示を有することができる。

図１０は本発明の一実施例によるＤｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ方向の予測モードで有することができる符号化順序に対する例示を示す。左下側方向に隣接したサブブロックに先立つ優先順位が割り当てられる例を図１０の（ａ）～（ｇ）で確認することができる。

図１１は本発明の一実施例による水平モードで有することができる符号化順序に対する例示を示す。左側方向に隣接したサブブロックに先立つ順位が割り当てられる例を図１１の（ａ）～（ｇ）で確認することができる。

図１２は本発明の一実施例によるＤｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ方向の予測モードで有することができる符号化順序に対する例示を示す。左上側方向に隣接したサブブロックに先立つ順位が割り当てられる例を図１２の（ａ）～（ｇ）で確認することができる。

図１３は本発明の一実施例による垂直モードで有することができる符号化順序に対する例示を示す。上側方向に隣接したサブブロックに先立つ順位が割り当てられる例を図１３の（ａ）～（ｇ）で確認することができる。

図１４は本発明の一実施例によるＤｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ方向のモードで有することができる符号化順序に対する例示を示す。右上側方向に隣接したサブブロックに先立つ順位が割り当てられる例を図１４の（ａ）～（ｇ）で確認することができる。

前記例は隣接した符号化／復号化が完了した領域から符号化順序を定義する一例であり、他の変形例が可能である。また、他の符号化／復号化要素によって符号化順序を定義する多様な構成が可能である。

図１５は本発明の一実施例による画面内予測モードと分割形態を考慮した符号化順序に対する例示図である。詳細には、画面内予測モードによって各分割形態に対して黙示的にサブブロックの符号化順序を決定することができる。また、獲得不可の分割形態がある場合、他の分割形態に代替される候補群再構成に対する例を説明している。説明の便宜のために、親ブロックは４Ｍ×４Ｎの場合を仮定する。

図１５の（ａ）を参照すると、サブブロック単位の画面内予測のために４Ｍ×Ｎ形態に分割することができる。本例では、ｉｎｖｅｒｓｅ ｖｅｒｔｉｃａｌ ｓｃａｎ順によることができる。仮に、４Ｍ×Ｎの分割形態が獲得不可の場合、所定の優先順位による２Ｍ×２Ｎの分割形態への分割を遂行することができる。この場合に対する符号化順序は図面に示されているので、詳細な説明は省略する。仮に、２Ｍ×２Ｎ形態が獲得不可の場合、その次優先順位の４Ｍ×２Ｎ形態への分割を遂行することができる。このような所定の優先順位によって分割形態を支援することができ、これに基づいてサブブロック単位の分割を遂行することができる。仮に、予め定義された分割形態が全部獲得不可であれば、該当親ブロックのサブブロックへの分割が不可能であって親ブロックへの符号化を遂行することが分かる。

図１５の（ｂ）を参照すると、サブブロック単位の画面内予測のためにＭ×４Ｎ形態に分割することができる。図１５の（ａ）のように、各分割形態に基づいて符号化順序が予め決定されると仮定する。本例では、２Ｍ×２Ｎ、２Ｍ×４Ｎの順に代替されると理解することができる。

図１５の（ｃ）を参照すると、サブブロック単位の画面内予測のために２Ｍ×２Ｎ形態に分割することができる。本例では、４Ｍ×２Ｎ、２Ｍ×４Ｎの順に代替されると理解することができる。

図１５の（ｄ）を参照すると、サブブロック単位の画面内予測のために４Ｍ×Ｎ形態に分割することができる。本例では、２Ｍ×２Ｎ、４Ｍ×２Ｎの順に代替されると理解することができる。

図１５の（ｅ）を参照すると、サブブロック単位の画面内予測のためにＭ×４Ｎ形態に分割することができる。本例では、２Ｍ×２Ｎ、２Ｍ×４Ｎの順に代替されると理解することができる。

前記例は獲得不可の分割形態が存在する場合、所定の順序によって他の形態への分割を支援する一例であり、多様な変形例が可能である。

例えば、｛４Ｍ×４Ｎ、Ｍ×４Ｎ、４Ｍ×Ｎ｝の分割形態を支援する場合、分割されるＭ×４Ｎ又は４Ｍ×Ｎ形態が獲得不可の場合、２Ｍ×４Ｎ又は４Ｍ×２Ｎ形態に代替される場合が可能である。

前記例のように多様な符号化／復号化要素によってサブブロックの分割設定を決定することができ、符号化／復号化要素は既に前述したサブブロック分割についての説明から誘導可能であるので、詳細な説明は省略する。

また、サブブロックの分割が決定される場合、そのまま予測及び変換を遂行することができる。先に前述したように、親ブロック単位で画面内予測モードを決定し、これによって予測を遂行することができる。

また、変換及び逆変換は、親ブロックに基づいて関連設定を決定し、親ブロックで決定された設定によってサブブロック単位の変換及び逆変換を遂行することができる。もしくは、サブブロックに基づいて関連設定を決定し、該当設定によってサブブロック単位の変換及び逆変換を遂行することができる。前記設定の一つに基づいて変換及び逆変換を遂行することができる。

本発明による方法は多様なコンピュータ手段を介して遂行可能なプログラム命令形態に具現されてコンピュータ可読の媒体に記録されることができる。コンピュータ可読の媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。コンピュータ可読の媒体に記録されるプログラム命令は本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア当業者に公知となって使用可能なものであることもできる。

コンピュータ可読の媒体の例には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ、フラッシュメモリー（ｆｌａｓｈ ｍｅｍｏｒｙ）などのようにプログラム命令を保存して遂行するように特別に構成されたハードウェア装置を含むことができる。プログラム命令の例には、コンパイラー（ｃｏｍｐｉｌｅｒ）によって作られるもののような機械語コードだけでなくインタープリター（ｉｎｔｅｒｐｒｅｔｅｒ）などを使ってコンピュータによって実行可能な高級言語コードを含むことができる。上述したハードウェア装置は、本発明の動作を遂行するために、少なくとも１個のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

また、上述した方法又は装置は、その構成又は機能の全部又は一部が結合されて具現されるか、分離されて具現されることができる。

以上では本発明の好適な実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範疇内で本発明を多様に修正及び変更することができることを理解することができるであろう。

本発明は映像を符号化／復号化するのに用いられることができる。

Claims (11)

1. 画像復号装置により実行される方法であって、
   符号化ブロックの分割情報であって、４つのサブブロックに分割するかどうかを示す第１分割情報、２つのサブブロックに分割するかどうかを示す第２分割情報、又は、分割方向を示す第３分割情報のうち少なくとも１つを含む分割情報に基づいて、前記符号化ブロックを複数のサブブロックに分割するステップと、
   前記分割情報に基づいて、前記サブブロックの符号化順序を決定するステップと、
   前記サブブロックの符号化順序と、それぞれのサブブロックの画面内予測モードに基づいて、前記それぞれのサブブロックの予測ブロックを生成するステップと、
   を備え、
   前記符号化ブロックが左側サブブロックと右側サブブロックとを含む２つのサブブロックに分割される場合に、前記サブブロックの前記符号化順序が、水平スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序及び逆水平スキャン（ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序を含む複数の所定の符号化順序候補から適応的に決定される、
   画面内予測方法。
2. 前記符号化順序は、前記第3分割情報にしたがって前記符号化ブロックが垂直方向に分割されるか、水平方向に分割されるかに基づいて決定される
   請求項１に記載の画面内予測方法。
3. 前記符号化順序は、前記符号化ブロックの形状が高さよりも幅が大きい非正方形の形状であるか否かに基づいて適応的に決定される、
   請求項２に記載の画面内予測方法。
4. 前記符号化順序は、前記符号化ブロックのサイズに基づいて適応的に決定される、
   請求項３に記載の画面内予測方法。
5. 前記サブブロックの前記符号化順序を決定するステップは、前記複数の所定の符号化順序候補の中から前記サブブロックの前記符号化順序を決定する選択情報をビットストリームから取得するステップ、
   を備え、
   前記符号化順序は、取得された前記選択情報をさらに考慮することにより決定される、
   請求項１に記載の画面内予測方法。
6. 前記予測ブロックは、現在ブロックの隣接ブロックを用いて生成され、
   前記現在ブロックは、前記サブブロックのうち1つを表し、
   前記隣接ブロックは、左側隣接ブロック、上側隣接ブロック、左上側隣接ブロック、左下側隣接ブロック、又は、右上側隣接ブロック、のうち少なくとも1つを含む、
   請求項５に記載の画面内予測方法。
7. 前記隣接ブロックは、さらに、右側隣接ブロック、又は、右下側隣接ブロック、のうち少なくとも1つを含む、
   請求項６に記載の画面内予測方法。
8. 前記現在ブロックの画面内予測のための前記隣接ブロックの位置は、決定された前記符号化順序に基づいて変化して決定される、
   請求項７に記載の画面内予測方法。
9. 画像符号化装置により実行される方法であって、
   符号化ブロックを複数のサブブロックに分割する分割情報であって、4つのサブブロックに分割するかを示す第1分割情報、2つのサブブロックに分割するかを示す第2分割情報、又は、分割方向を示す第3分割情報、のうち少なくとも1つを含む分割情報を決定するステップと、
   前記サブブロックの符号化順序を前記分割情報に基づいて決定するステップと、
   それぞれのサブブロックの予測ブロックを前記サブブロックの前記符号化順序及び前記それぞれのサブブロックの画面内予測モードに基づいて生成するステップと、
   を備え、
   前記符号化ブロックが左側サブブロックと右側サブブロックを含む２つのサブブロックに分割される場合に、前記サブブロックの前記符号化順序が、水平スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序及び逆水平スキャン（ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序を含む複数の所定の符号化順序候補から適応的に決定される、
   画面内予測方法。
10. プロセッサに実行させると、
    符号化ブロックの分割情報であって、４つのサブブロックに分割するかどうかを示す第１分割情報、２つのサブブロックに分割するかどうかを示す第２分割情報、又は、分割方向を示す第３分割情報のうち少なくとも１つを含む分割情報に基づいて、前記符号化ブロックを複数のサブブロックに分割するステップと、
    前記分割情報に基づいて、前記サブブロックの符号化順序を決定するステップと、
    前記サブブロックの符号化順序と、それぞれのサブブロックの画面内予測モードに基づいて、前記それぞれのサブブロックの予測ブロックを生成するステップと、
    を備え、
    前記符号化ブロックが左側サブブロックと右側サブブロックを含む２つのサブブロックに分割される場合に、前記サブブロックの前記符号化順序が、水平スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序及び逆水平スキャン（ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序を含む複数の所定の符号化順序候補から適応的に決定される、
    方法を実行する命令を格納したコンピュータ可読媒体。
11. 画像符号化装置により実行される方法であって、
    符号化ブロックを複数のサブブロックに分割する分割情報であって、4つのサブブロックに分割するかを示す第1分割情報、2つのサブブロックに分割するかを示す第2分割情報、又は、分割方向を示す第3分割情報、のうち少なくとも1つを含む分割情報を決定するステップと、
    前記サブブロックの符号化順序を前記分割情報に基づいて決定するステップと、
    それぞれのサブブロックの予測ブロックを前記サブブロックの前記符号化順序及び前記それぞれのサブブロックの画面内予測モードに基づいて生成するステップと、
    前記予測ブロックに基づいてビットストリームを生成するステップと、
    画像復号装置に前記ビットストリームを送信するステップと、
    を備え、
    前記符号化ブロックが左側サブブロックと右側サブブロックを含む２つのサブブロックに分割される場合に、前記サブブロックの前記符号化順序が、水平スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序及び逆水平スキャン（ｉｎｖｅｒｓｅ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）順序を含む複数の所定の符号化順序候補から適応的に決定される、
    ビットストリームの送信方法。

Images